JP5048826B2 - 動画像復号化方法、動画像復号化装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、動画像を符号化してストリームを生成する動画像符号化方法、符号化されたストリームを復号化する動画像復号化方法、およびそのストリームに関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧
縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264 の標準化活動が進んでいる。2002年8月の時点で、次世代画像符号化方式はコミッティー・ドラフト（CD）と呼ばれるものが発行されている。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を用いずに画面内予測符号化を行うピクチャをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うピクチャをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるピクチャをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

ＰピクチャまたはＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけ参照ピクチャをシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図１はビットストリームのデータ構造の例を示した説明図である。図１に示すようにビットストリームは以下のような階層構造を有している。ビットストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成される。グループ・オブ・ピクチャを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、ＰピクチャまたはＢピクチャがある。各ピクチャはさらに複数のスライスから構成されている。スライスは、各ピクチャ内の帯状の領域であり、複数のマクロブロックから構成されている。ストリーム、GOP、ピクチャおよびスライスはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。

また、ストリームが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図１のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図１で説明した符号化ビットストリームの場合と同じである。

一般に人間の視覚特性は画像中の低周波数成分に敏感であり、高周波数成分は低周波数成分ほど感度が高くないといわれている。更に、画像信号は低周波数成分のエネルギーが高周波数成分のエネルギーよりも大きいことから、画像符号化は低周波数成分から高周波数成分の順序で行われる。その結果、低周波数成分の符号化に必要なビット数よりも高周波数成分の符号化に必要なビット数の方が多くなる。

以上の観点から、従来の符号化方法では、直交変換により得られる周波数毎の変換係数の量子化において、低周波数成分よりも高周波数成分に対応する量子化ステップを粗くしている。これにより、主観的画質の劣化はわずかでありながら大幅に圧縮率を向上する方法が従来採用されている。

さて、低周波数成分に対して高周波数成分の量子化ステップをどの程度粗くするかについては画像信号に依存するため、画像に応じて各周波数成分の量子化ステップの大きさを変更する手法が採用されている。各周波数成分の量子化ステップを導出するために量子化マトリクスが用いられる。図２は量子化マトリクスの一例を示す図である。図２の量子化マトリクスの例において、左上が直流成分、右方が水平高周波数成分、下方が垂直高周波数成分に対応する。また、数値が大きいほど量子化ステップが粗くなることを示す。量子化マトリクスは、通常各ピクチャ単位で変更可能となっており、ピクチャのヘッダに記述されている。よって、例えば同じ内容の量子化マトリクスであっても、各ピクチャのヘッダに記述され、伝送されることになる。

ところで、現行のMPEG-4 AVCでは、MPEG-2やMPEG-4のように量子化マトリックスを搭載していない。その結果、すべてのDCT（離散コサイン変換）係数もしくはDCT同様の係数において均一の量子化を用いている、現行のMPEG-4 AVC符号化方式やその他の方式において最適な主観的画質を達成することは難しくなっている。このような量子化マトリックス方式を現行のMPEG-4 AVCの規定やその他の規格に導入する際には、これまでとの互換を重視しつつ量子化マトリックスを搭載できるようにしなくてはならない。

さらに、符号化効率が向上するにつれて、MPEG-4 AVCが様々なアプリケーション領域で使用される可能性も出てきた。その汎用性から考えて、異なる量子化マトリックスのセットを異なるアプリケーションで使用したり、異なる量子化マトリックスのセットを異なるカラーチャンネルで使用したりするといったことが、必要になるだろう。エンコーダではアプリケーションや符号化する画像に応じて異なる量子化マトリックスを選択することができる。従って、効率的な量子化マトリックスの定義づけと搭載プロトコルの策定をすすめることによって、量子化マトリックス情報をよりフレキシブルに効果的に伝送できるようにする必要がある。

そこで、本発明は上記の事情に鑑みてなされたものであり、符号化量を減少し、効率よく符号化および復号化を行うことができる動画像符号化方法および動画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像復号化方法は、量子化マトリクスを用いて、複数の符号化ピクチャをブロック単位で復号化する動画像復号化方法であって、デフォルト量子化マトリクスと異なる第２の量子化マトリクス、及び、前記第２の量子化マトリクスを特定するマトリクスＩＤを符号列から取得し、保持する保持ステップと、カレントピクチャを符号化して生成されたピクチャ符号化データに付随し、前記カレントピクチャを符号化する際に使用した量子化マトリクスを特定するマトリクスＩＤを前記符号列から抽出するステップと、抽出された前記マトリクスＩＤを用いて、前記保持ステップで保持された量子化マトリクスの中から前記マトリクスＩＤに対応する量子化マトリクスを特定する量子化マトリクス特定ステップと、特定された前記量子化マトリクスを用いて、前記ピクチャ符号化データを復号化するピクチャ復号化ステップとを含み、前記ピクチャは、輝度成分および２つの色差成分により構成され、前記量子化マトリクス特定ステップにおいて、前記マトリクスＩＤにより特定される前記量子化マトリクスに、輝度成分用量子化マトリクスと前記２つの色差成分の内の片方の色差成分に対応する色差成分用量子化マトリクスが存在するが、前記２つの色差成分の内の他方の色差成分に対応する色差成分用量子化マトリクスが存在しない場合、存在する色差成分用量子化マトリクスを、存在しない色差成分用量子化マトリクスとして代用することにより、前記２つの色差成分の内の前記他方の色差成分に対応する色差成分用量子化マトリクスを特定し、前記ピクチャ復号化ステップにおいて、前記ピクチャの前記輝度成分に対しては、特定された前記輝度成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の片方の色差成分に対しては、特定された前記色差成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の他方の色差成分に対しては、代用により特定された色差成分用量子化マトリクスを用いて復号化することを特徴とする。

また、上記目的を達成するために、本発明に係る動画像符号化方法は、動画像を構成するピクチャをブロック単位に符号化して符号化ストリームを生成する動画像符号化方法であって、前記ピクチャをブロック単位に空間周波数成分を示す係数に変換し、変換された前記係数を量子化マトリクスを用いて量子化し、量子化に用いられた前記量子化マトリクスを特定する特定情報を生成し、前記特定情報を所定単位で前記符号化ストリームに付加することを特徴とする。

これによって、例えばピクチャ、スライス、またはマクロブロック等の所定の単位では用いた量子化マトリクスを記載する必要がなく、符号化量を減少し、効率よく符号化を行うことができる。

また、前記量子化マトリクスを用いて量子化されたデータが格納される前記符号化ストリーム中の位置より前の位置に当該量子化マトリクスを格納してもよい。

ここで、前記量子化マトリクスの格納において、前記量子化マトリクスを用いて量子化されたデータが格納される前記符号化ストリーム中の位置より前に位置する、符号化に必要な情報を格納する第１のパラメータセットまたは第２のパラメータセットに前記量子化マトリクスを格納してもよい。

これによって、復号化時に特定情報により特定された量子化マトリクスを用いることができる。

また、前記動画像符号化方法は、さらに、前記特定情報により特定される前記量子化マトリクスとあらかじめ設定されている量子化マトリクスとの切り替えを指定するフラグを所定単位で前記符号化ストリームに付加してもよい。

これによって、特定情報により特定される量子化マトリクスとあらかじめ設定されている量子化マトリクスとの切り替えを指定することができる。

また、本発明に係る動画像復号化方法は、動画像を構成するピクチャがブロック単位に直交変換および量子化されることによって符号化された符号化ストリームを復号化する動画像復号化方法であって、少なくとも1つの量子化マトリクスを保持し、量子化に用いられた量子化マトリクスを特定する特定情報を所定単位で前記符号化ストリームから抽出し、保持されている少なくとも1つの前記量子化マトリクスから、前記特定情報に基づいて量子化マトリクスを特定し、符号化されている前記ピクチャを、特定された前記量子化マトリクスを用いてブロック単位に逆量子化し、逆量子化された空間周波数成分を示す係数を逆直交変換することによって前記ピクチャに復号化することを特徴とする。

これによって、量子化マトリクスがあらかじめ伝送され、例えばピクチャ、スライス、またはマクロブロック等の所定の単位では用いられた量子化マトリクスを特定するマトリクスＩＤだけが付加されている符号化ストリームを復号化することができる。

また、前記動画像復号化方法は、さらに、前記符号化ストリームから少なくとも1つの量子化マトリクスを抽出するとともに、前記保持において、前記符号化ストリームから抽出した前記量子化マトリクスを保持してもよい。

ここで、前記量子化マトリクスの抽出において、復号化に必要な情報を格納されている第１のパラメータセットまたは第２のパラメータセットから前記量子化マトリクスを抽出してもよい。

これによって、特定情報により特定された量子化マトリクスを用いることができる。

また、前記動画像符号化方法は、さらに、前記特定情報により特定される前記量子化マトリクスとあらかじめ設定されている量子化マトリクスとの切り替えを指定するフラグを所定単位で前記符号化ストリームから抽出し、前記量子化マトリクスの特定において、前記特定情報により特定される前記量子化マトリクスとあらかじめ設定されている量子化マトリクスとを切り替えてもよい。

これによって、特定情報により特定される量子化マトリクスとあらかじめ設定されている量子化マトリクスとの切り替えをフラグに基づいて行うことができる。

また、前記ピクチャは、輝度成分および２つの色差成分により構成され、前記量子化マトリクスの特定において、前記特定情報により特定される前記量子化マトリクスに色差成分用量子化マトリクスが存在しない場合、輝度成分用量子化マトリクスを用いる量子化マトリクスと特定してもよい。

また、前記ピクチャは、輝度成分および２つの色差成分により構成され、前記量子化マトリクスの特定において、前記特定情報により特定される前記量子化マトリクスに対応する色差成分用量子化マトリクスが存在しない場合、他方の色差成分用量子化マトリクスを用いる量子化マトリクスと特定してもよい。

これによって、色差用量子化マトリクスが省略されている場合であっても、符号化ストリームを復号化することができる。

さらに、本発明は、このような動画像符号化方法および動画像復号化方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備える動画像符号化装置および動画像復号化装置として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したり、前記動画像符号化方法により符号化した符号化ストリームとして実現したりすることもできる。そして、そのようなプログラムおよび符号化ストリームは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る動画像符号化方法および動画像復号化方法によれば、符号化量を減少し、効率よく符号化および復号化を行うことができる。

図１は、ビットストリームのデータ構造の例を示した説明図である。 図２は、量子化マトリクスの一例を示す図である。 図３は、本発明に係る動画像符号化方法を実現する動画像符号化装置の構成を示すブロック図である。 図４は、シーケンスパラメータセットおよびピクチャパラメータセットとスライスとの対応関係を示す図である。 図５は、シーケンスパラメータセットの構成の一部を示す図である。 図６は、ピクチャパラメータセットの構成の一部を示す図である。 図７は、パラメータセットにおける量子化マトリクスの記載例を示す図である。 図８は、マトリクスＩＤを付加する際の動作を示すフローチャートである。 図９は、本発明に係る動画像復号化方法を実現する動画像復号化装置の構成を示すブロック図である。 図１０は、量子化マトリクスを特定する際の動作を示すフローチャートである。 図１１は、色差成分に用いる量子化マトリクスを特定する際の動作を示すフローチャートである。 図１２は、別データとして伝送された量子化マトリクスとシーケンスで用いる量子化マトリクスとの対応関係を示す図である。 図１３は、各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 図１５は、携帯電話の一例を示す図である。 図１６は、携帯電話の内部構成を示すブロック図である。 図１７は、ディジタル放送用システムの全体構成を示すブロック図である。

本発明の実施の形態について、図面を参照して説明する。

（実施の形態１）
図３は、本発明に係る動画像符号化方法を実現する動画像符号化装置の構成を示すブロック図である。

動画像符号化装置３は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した符号化ストリームStr を出力する装置であり、図３に示すように動き検出部１０１、動き補償部１０２、減算部１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、ピクチャメモリ１０９、スイッチ１１０、可変長符号化部１１１、および量子化マトリクス保持部１１２を備えている。

画像信号Vin は、減算部１０３および動き検出部１０１に入力される。減算部１０３は、入力された画像信号Vin と予測画像の差分値を計算し、直交変換部１０４に出力する。直交変換部１０４は、差分値を周波数係数に変換し、量子化部１０５に出力する。量子化部１０５は、入力された周波数係数を、入力された量子化マトリクスWMを用いて量子化し、量子化値Qcoefを可変長符号化部１１１に出力する。

逆量子化部１０６は、入力された量子化マトリクスWMを用いて量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換部１０７に出力する。逆直交変換部１０７は、周波数係数から画素差分値に逆周波数変換し、加算部１０８に出力する。加算部１０８は、画素差分値と動き補償部１０２から出力される予測画像とを加算して復号化画像とする。スイッチ１１０は、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリ１０９に保存される。

一方、画像信号Vin がマクロブロック単位で入力された動き検出部１０１は、ピクチャメモリ１０９に格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出してその位置を指し示す動きベクトルＭＶを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができるため、参照するピクチャを指定するための識別番号（参照インデックスIndex）がブロックごとに必要となる。参照インデックスIndexによって、ピクチャメモリ１０９中の各ピクチャが有するピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。

動き補償部１０２では、上記処理によって検出された動きベクトルＭＶおよび参照インデックスIndexを用いて、ピクチャメモリ１０９に格納されている復号化画像から予測画像に最適な画像領域を取り出す。

量子化マトリクス保持部１１２は、すでにパラメータセットで伝送されている量子化マトリクスWMを、この量子化マトリクスWMを特定するためのマトリクスＩＤと対応付けて保持する。

可変長符号化部１１１は、量子化に用いられた量子化マトリクスWMに対応するマトリクスＩＤを量子化マトリクス保持部１１２より取得する。また、可変長符号化部１１１は、量子化値Qcoef、マトリクスＩＤ、参照インデックスIndex、ピクチャタイプPtype、および動きベクトルＭＶを可変長符号化して符号化ストリームStrとする。このとき、マトリ
クスＩＤは、ピクチャ、スライス、またはマクロブロックの単位で付加され、そのピクチャ、スライス、またはマクロブロックで用いられる量子化マトリクスを指定することになる。

図４はシーケンスパラメータセットおよびピクチャパラメータセットとピクチャとの対応関係を示す図である。また、図５はシーケンスパラメータセットの構成の一部を示す図であり、図６はピクチャパラメータセットの構成の一部を示す図である。ピクチャはスライスで構成されるが、同じピクチャに含まれるスライスは全て同じPPSを示す識別子を有している。

MPEG-4 AVCでは、ヘッダという概念は無く、共通データはストリームの先頭にパラメータセットという名称で配置される。パラメータセットには、各ピクチャのヘッダに相当するデータであるピクチャパラメータセットPPSと、MPEG-2のGOPもしくはシーケンス単位のヘッダに相当するシーケンスパラメータセットSPSとがある。 シーケンスパラメータセットSPSには、最大参照可能ピクチャ数、画像サイズ等が含まれており、ピクチャパラメータセットPPSには、可変長符号化のタイプ（ハフマン符号化と算術符号化の切替）、量子化ステップの初期値、参照ピクチャ数等が含まれている。

シーケンスパラメータセットSPSには識別子が付与されており、ピクチャパラメータセットPPSの中でこの識別子を指定することで、どのシーケンスに属するかが識別される。また、ピクチャパラメータセットPPSにも識別子が付与されており、スライスの中でこの識別子を指定することで、どのピクチャパラメータセットPPSを用いるかが識別される。

例えば、図４に示す例では、ピクチャ＃１の中に含まれるスライスが参照するピクチャパラメータセットPPSの識別子（PPS＝１）が含まれている。また、ピクチャパラメータセットPPS＃１の中に参照するシーケンスパラメータセットSPSの識別子（SPS＝１）が含まれている。

また、シーケンスパラメータセットSPSおよびピクチャパラメータセットPPSには、図５および図６に示すようにそれぞれ量子化マトリクスが伝送されるか否かを示すフラグ５０１、６０１が含まれており、伝送される場合には量子化マトリクス５０２、６０２が記載される。

この量子化マトリクスには、量子化を行う単位（例えば水平４×垂直４画素や水平８×垂直８画素）に応じて、４×４用量子化マトリクス、８×８用量子化マトリクス等がある。

図７は、パラメータセットにおける量子化マトリクスの記載例を示す図である。

画像信号Vinは、輝度成分（luma）と２つの色差成分（chroma）とで構成されているので、量子化を行う際に輝度成分と２つの色差成分とでそれぞれ別の量子化マトリクスを用いることが可能である。また、画面内予測符号化（intra）を行う場合と、画面間予測符号化（inter）を行う場合とでも、それぞれ別の量子化マトリクスを用いることが可能である。

よって、量子化マトリクスは、例えば図７に示すように量子化を行う単位、輝度成分および２つの色差成分、画面内予測符号化および画面間予測符号化、それぞれに対応する量子化マトリクスを記載することができる。

次に、上記のように構成された動画像符号化装置においてマトリクスＩＤを付加する際の動作について説明する。図８は、マトリクスＩＤを付加する際の動作を示すフローチャートである。

可変長符号化部１１１は、量子化に用いられた量子化マトリクスWMを取得する（ステップＳ１０１）。次に、可変長符号化部１１１は、取得した量子化マトリクスWMが量子化マトリクス保持部１１２に保持されているか否かを判定する（ステップＳ１０２）。ここで、取得した量子化マトリクスWMが量子化マトリクス保持部１１２に保持されている場合（ステップＳ１０２でＹＥＳ）には、可変長符号化部１１１は、取得した量子化マトリクスWMに対応するマトリクスＩＤを量子化マトリクス保持部１１２より取得する（ステップＳ１０３）。そして、可変長符号化部１１１は、取得したマトリクスＩＤを所定の単位（例えばピクチャ、スライス、またはマクロブロック）で付加する（ステップＳ１０４）。

一方、取得した量子化マトリクスWMが量子化マトリクス保持部１１２に保持されていない場合（ステップＳ１０２でＮＯ）には、量子化マトリクス保持部１１２は、この量子化マトリクスWMのマトリクスＩＤを生成する（ステップＳ１０５）。そして、量子化マトリクス保持部１１２は、この量子化マトリクスWMを生成したマトリクスＩＤと対応付けて保持する（ステップＳ１０６）。可変長符号化部１１１は、生成されたマトリクスＩＤを所定の単位（例えばピクチャ、スライス、またはマクロブロック）で付加する（ステップＳ１０７）。可変長符号化部１１１は、生成されたマトリクスＩＤおよび量子化マトリクスWMをパラメータセットに記載する（ステップＳ１０８）。なお、このマトリクスＩＤおよび量子化マトリクスWMが記載されたパラメータセットは、このマトリクスＩＤが付加された所定の単位（すなわち、この量子化マトリクスWMを用いて量子化された符号化データ）よりも符号化ストリームStrの中で前に伝送する。

以上のように、量子化マトリクスWMをパラメータセットに記載して伝送し、所定の単位（例えばピクチャ、スライス、またはマクロブロック）では用いた量子化マトリクスWMを特定するマトリクスＩＤだけを付加しているので、所定の単位ごとに用いた量子化マトリクスWMを記載する必要がない。よって、符号化量を減少し、効率よく符号化を行うことができる。

なお、シーケンスパラメータセットSPSで伝送した量子化マトリクスWMを更新（マトリ
クスＩＤは同一）してピクチャパラメータセットPPSで伝送しても構わない。この場合、そのピクチャパラメータセットPPSを参照する際のみ、更新された量子化マトリクスWMが用いられる。

また、ディフォルトの量子化マトリクスWMとマトリクスＩＤにより指定された量子化マトリクスWMとを切り替えるフラグを符号化ストリームに付加しても構わない。この場合、フラグに基づいてディフォルトの量子化マトリクスWMとマトリクスＩＤにより指定された量子化マトリクスWMとを切り替える。

図９は、本発明に係る動画像復号化方法を実現する動画像復号化装置の構成を示すブロック図である。

動画像復号化装置２は、上記のように動画像符号化装置１により符号化された符号化ストリームStr を復号化する装置であり、可変長復号化部２０１、量子化マトリクス保持部２０２、ピクチャメモリ２０３、動き補償部２０４、逆量子化部２０５、逆直交変換部２０６、および加算部２０７を備えている。

可変長復号化部２０１は、符号化ストリームStrを復号化し、量子化値Qcoef、参照インデックスIndex、ピクチャタイプPtypeおよび動きベクトルＭＶを出力する。また、可変長復号化部２０１は、符号化ストリームStrを復号化し、抽出したマトリクスＩＤにより量子化マトリクスWMを特定して出力する。

量子化マトリクス保持部２０２は、すでにパラメータセットで伝送されている量子化マトリクスWMを、この量子化マトリクスWMを特定するためのマトリクスＩＤと対応付けて保持する。

量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶは、ピクチャメモリ２０３、動き補償部２０４および逆量子化部２０５に入力され復号化処理が行われるが、その動作は図３に示す動画像符号化装置１と同様である。

次に、上記のように構成された動画像復号化装置において量子化マトリクスを特定する際の動作について説明する。図１０は、量子化マトリクスを特定する際の動作を示すフローチャートである。

可変長復号化部２０１は、符号化ストリームStrを復号化し、所定の単位で付加されているマトリクスＩＤを抽出する（ステップＳ２０１）。次に、可変長復号化部２０１は、抽出したマトリクスＩＤにより量子化マトリクス保持部２０２に保持されている量子化マトリクスWMを特定する（ステップＳ２０２）。そして、可変長復号化部２０１は、特定した量子化マトリクスWMを逆量子化部２０５へ出力する（ステップＳ２０３）。

以上のように、量子化マトリクスWMがパラメータセットに記載されて伝送され、所定の単位（例えばピクチャ、スライス、またはマクロブロック）では用いられた量子化マトリクスWMを特定するマトリクスＩＤだけが付加されている符号化ストリームを復号化することができる。

なお、本実施の形態では、量子化マトリクスWMをパラメータセットに記載して伝送しているが、これに限られるものではない。例えば、符号化ストリームとは別にあらかじめ送信していても構わない。

ところで、上記で述べたように、画像信号Vinは、輝度成分（luma）と２つの色差成分（chroma）とで構成されているので、量子化を行う際に輝度成分と２つの色差成分とでそれぞれ別の量子化マトリクスを用いることが可能である。また、逆に、輝度成分と２つの色差成分とでそれぞれ別の量子化マトリクスを用いず、同じ量子化マトリクスを用いることも可能である。

次に、色差成分に用いる量子化マトリクスを特定する際の動作を説明する。図１１は、色差成分に用いる量子化マトリクスを特定する際の動作を示すフローチャートである。

可変長復号化部２０１は、上記のように特定した量子化マトリクスWMの中に、対応する色差用量子化マトリクスがあるか否かを判定する（ステップＳ３０１）。例えば、復号化対象の量子化値Qcoefが第１色差成分である場合には、第１色差用量子化マトリクスがあるか否かを判定する。また、復号化対象の量子化値Qcoefが第２色差成分である場合には、第２色差用量子化マトリクスがあるか否かを判定する。ここで、対応する色差用量子化マトリクスがある場合（ステップＳ３０１でＹＥＳ）には、対応する色差用量子化マトリクスを用いるとして、逆量子化部２０５へ出力する（ステップＳ３０２）。

一方、対応する色差用量子化マトリクスがない場合（ステップＳ３０１でＮＯ）には、他方の色差用量子化マトリクスがあるか否かを判定する（ステップＳ３０３）。例えば、復号化対象の量子化値Qcoefが第１色差成分である場合には、第２色差用量子化マトリクスがあるか否かを判定する。また、復号化対象の量子化値Qcoefが第２色差成分である場合には、第１色差用量子化マトリクスがあるか否かを判定する。ここで、他方の色差用量子化マトリクスがある場合（ステップＳ３０３でＹＥＳ）には、他方の色差用量子化マトリクスを用いるとして、逆量子化部２０５へ出力する（ステップＳ３０４）。一方、他方の色差用量子化マトリクスがない場合（ステップＳ３０３でＮＯ）には、輝度用量子化マトリクスを用いるとして、逆量子化部２０５へ出力する（ステップＳ３０５）。

これによって、色差用量子化マトリクスが省略されている場合であっても、符号化ストリームを復号化することができる。

（実施の形態２）
最初に、本実施の形態の要点について説明する。

１点目として、ビデオビットストリームの部分部分によって選択可能な、シーケンスレベルのストリーム記述データ構造が複数ある場合、量子化マトリックスは、いずれかのシーケンスヘッダデータ構造とは別個の各データ構造に記載されるものとする。

２点目として、シーケンスビデオストリームの最初にユーザがカスタマイズした複数の量子化マトリックスを定義する。その量子化マトリックスは、ビットストリーム内の異なる場所の異なるピクチャごとに選択可能とする。MPEG-2では量子化マトリックス方式を使っているが、複数のマトリックスのうちのひとつを選択できるマトリックスセットは使っていなかった。また、量子化マトリックスの更新が行われる場合には、新たに量子化マトリックスを再記載しなくてはならなかった。

よって、３点目として、上記の場合に適合した量子化マトリックス更新方式となるように、量子化更新に適用されるシンタックス要素として更新が行われる頻度を規定する。本実施の形態の方式においては、MPEG-2における単一の有効量子化マトリックスと後の更新は、単なる一特例にすぎない。

次に、本実施の形態の概要について説明する。

ビデオ符号化規格の中には、シーケンスの中に異なる符号化構成を用いて符号化されるいくつかのセグメントがある場合があり、その場合は、シーケンス内の各セグメントごとに、異なるシーケンスヘッダまたはセグメントヘッダの記述が必要となる。量子化マトリックスを伝送するには相当なビット数が必要なため、本実施の形態では、シーケンスで使われるすべての量子化マトリックスをシーケンスヘッダまたはセグメントヘッダとは別の場所に置いている。シーケンス内で複数の異なる量子化マトリックスのセットを使用するセグメントについては、識別番号のようなものを使って量子化マトリックスを参照するだけでよく、MPEG-2で用いられているメカニズムのようにマトリックスを使用する度にエンコーダからデコーダにマトリックスを伝送する必要はない。

ビデオコーディック規格で規定されていないすべての量子化マトリックスを定義し、ひとつにまとめなくてはならない。このような量子化マトリックスを記載したビットストリーム内のセグメントやブロックは、符号化ビデオデータを伝送する前にシーケンスのビットストリームの頭に置かなくてはならない。それぞれのビデオコーディック規格による選択肢として、これらの量子化マトリックスをビデオ基本ストリームの一部として含めることもできるし、またはビデオストリームの本体とは別の、トランスポートストリーム、パケットもしくはファイルといったバンド外に記載することもできる。

MPEG-2、MPEG-4といった多くのコーディック規格において、1つのシーケンスセグメントにはより低レベルのデータ構造が含まれる。すなわち、そのシーケンスセグメントは、ビデオデータを、ＧＯＰ（group of pictures）、ピクチャ、スライス、レイヤ、マクロブロックなどにまとめたものである。シーケンスセグメントのヘッダや記述子が複数の量子化マトリックスからなる１以上のセットを参照する場合、そのうち使用するセットを一つ選択するのは、より低レベルのデータ構造の規定次第で決まる。この点については本実施の形態の中で後述する。

１以上の量子化マトリックスセットを参照するシーケンスセグメントについては、シーケンスの最初にすべての量子化マトリックスが伝送される。シーケンスの最初にすべての量子化マトリックスを受信したデコーダは、次のような方法で内部メモリにその量子化マトリックスを保持するものとする。すなわち、デコーダがある特定の量子化マトリックスを参照する場合、量子化マトリックスと対応づけられた参照テーブルがあれば、それらテーブルすべてを利用することができる。シンタックスの規定を実行するにあたっては、デコーダの能力を考慮し、デコーダが装着されるアプリケーションの要件にその能力が収まるようにしなくてはならない。従って、所定の時間内に利用できる量子化マトリックスの数は、一定の範囲を超えてはならない。

新たな量子化マトリックスセットが必要になったにもかかわらず、デコーダの能力から１以上の量子化マトリックスを格納しておくことができない場合、新しい量子化マトリックスセットが格納されて有効になる前に、古いセットをデコーダのメモリから削除しなくてはならない。これはMPEG-2の規格で用いられているのと同様のシナリオになる。

図１２は、別データとして伝送された量子化マトリクスとシーケンスで用いる量子化マトリクスとの対応関係の一例を示す図である。

図１２に示す例では、シーケンスSEQ1では量子化マトリクスQ-matrix1およびQ-matrix3を用いることが記載されている。また、シーケンスSEQ2では量子化マトリクスQ-matrix2 、Q-matrix4およびQ-matrix5を、シーケンスSEQ3では量子化マトリクスQ-matrix4を用いることが記載されている。

次に、量子化マトリックスの使用をサポートするシンタクッスの特徴について説明する。

量子化マトリックスは、ピクチャシーケンスあるいはプログラム全体に対して、固定的に使用することができる。

しかし、より高品質を達成するよりフレキシブルな方法では、量子化方式および量子化マトリックスを動的に変えることができる。この場合、問題はどのデータレベルで、どのように量子化方式やマトリックスを変えることができるかということである。アプリケーション領域で可能な複雑度によって、データレベルごとに可能な量子化マトリックスのセット数には制約がある。

すべてのストリームデータ構造レベル、すなわちシーケンス、セグメント、ピクチャ、スライスからマクロブロック（マクロブロックはほとんどすべてのコーディック規格で使われており、１６×１６画素のブロックのことを指すが、所有権を主張できるコーディックや将来のコーディックではサイズを変えてもよい）までについて、そのビットストリーム内に、すぐ下のレベルの１つのデータから別のデータまでに対して変更できる量子化のタイプを示す以下の表１のビットである６ビットのフラグを有している。例えばMPEG-4 AVCでは、「シーケンス」のすぐ下のレベルは「ピクチャ」で、「ピクチャ」のすぐ下のレベルは「スライス」である。

ただし、ビットAだけが設定されていてビットBが設定されていない場合、ビットCは設定できない。同様に、ビットDだけが設定されていてビットEが設定されていない場合、ビットFは設定できない。

ビットBとビットCが両方設定されている場合、量子化マトリックスセットを別のセットに変えることができるという意味である。一つの量子化マトリックスセットはブロック符号化モードごとに一つのマトリックスを含んでいる。ブロック符号化モードは、特定方向のピクチャ内予測、ピクチャ間予測ブロック、２方向ピクチャ間予測ブロック等などである。

ビットCとビットFは、量子化方式、量子化マトリックス、あるいは両方の変更を示している。MPEG-4 AVCのシーケンスレベルにおいて、量子化マトリックスを使った８×８非均一量子化が設定されている場合、使用される量子化マトリックスは「ピクチャ」データごとに変えることができる。

シーケンスヘッダのようなデータシンタックスの一番高いレベルで、量子化マトリックス方式が用いられる場合、ディフォルトの量子化セットが規定される。

ビットCまたはビットFがあるデータレベルに設定されている場合、それより低レベルのデータヘッダそれぞれにフラッグが設定されて、そのレベルでディフォルトの量子化マトリックスセットを使用するかどうかが示される。

低レベルデータヘッダでフラグがオンであれば、そのデータレベル用に新たなディフォルト量子化セットを定義し、そのデータレベルで６ビットのフラッグを用いて、さらに低いデータレベルでディフォルトが変更されるかどうか示す。同様のことが、最も低いレベルまで、あるいはアプリケーション要件で認められる最も低いレベルまで、すべてのデータレベルについて行われる。

ビットCまたはビットFが設定されていない場合、より低レベルのデータヘッダにおいてこのフラグは使用されず、自動的にディフォルトが使用されるものとする。

このような量子化方式に関する情報を伝送するための再帰的信号送信方法には適用される制約がありうる。例えば、一定のレートを上限とする量子化マトリックスの変更頻度の制約などがある。

次に、ディフォルトおよびカスタマイズ可能な量子化マトリックスについて説明する。

非均一量子化マトリックス方式を使ったビデオ符号化規格において、ビデオコーディック規格に予め定義したマトリックスがいくつかあるかもしれない。このようなディフォルトもしくは規定のマトリックスは規格対応のデコーダにとっては既知であり、そのようなマトリックスをデコーダに転送する必要はない。同様に、このような量子化マトリックスは上記と同じ方法で参照することができる。規定のマトリックスが利用可能な場合、デコーダは、受信したカスタマイズされたマトリックスを、デコーダ自身が保存している量子化マトリックスに加えるものとする。上述した通り、それぞれの量子化マトリックスは、エンコーダが割り振ってデコーダへ送信された識別番号で識別される。

ビットストリームシンタックスにおいて複数の量子化マトリックスを分類するにあたって、同じサイズの量子化をひとまとめにすることができる。あるマトリックスをピクチャ間符号化ブロックで使うのかピクチャ内符号化で使うのか、あるいは輝度成分で使うのか色差成分で使うのかに関する情報も、それぞれの属性で確認できる。

次に、量子化マトリックスの更新について説明する。

ビデオコーディックビットストリームのシンタックスによって、デコーダに既知の量子化マトリックスを追加したり更新したりできる。

ある量子化マトリックスが新たな識別番号と対応づけられている場合、このマトリックスは新たな量子化マトリックスとみなされ、新たな識別番号で参照することができる。その識別番号がすでに別の量子化マトリックスと対応づけられている場合、既存の量子化マトリックスはデコーダにおいて新しいマトリックスに修正される。古いマトリックスと同じサイズの量子化マトリックスだけが古いマトリックスと入れ替えることができる。使用中の量子化マトリックスの状態把握は、エンコーダ側で行われる。更新された量子化マトリックスの送信中は、更新する必要のある量子化マトリックスだけがネットワークパケット内で定義される。

次に、MPEG-4 AVCにおける量子化マトリックスの記載について説明する。

MPEG-4 AVCにおいて、ビデオデータやヘッダはすべてNAL（Network Abstract Layer）というビットストリームレイヤにまとめられる。NALは多数のNAL単位のシーケンスである。各NAL単位は特定のタイプのビデオデータもしくはデータヘッダを含んでいる。

MPEG-4 AVCはまた、１つのデータ階層構造の下にいくつかのピクチャデータグループを定義している。この階層構造はまずシーケンスパラメータセットによって記述されるシーケンスから始まる。「シーケンス」は異なるピクチャパラメータセットを用いて複数のピクチャを含むことができる。「ピクチャ」の下にはスライスがあり、スライスはスライスヘッダを持っている。スライスは通常、マクロブロックと呼ばれる多数の１６×１６画素のブロックから成る。

量子化マトリックス方式をMPEG-4 AVCに導入する場合、ユーザが定義した量子化マトリックスあるいはエンコーダで規定したマトリックスをNAL単位にも当てはめることができる。NAL単位の使用は以下の３方法で実行可能である。

（１）１つのNAL単位で各マトリックスと対応づけられたすべてのマトリックス情報（量子化テーブルを含む）を記載する。（２）複数のNAL単位のそれぞれが特定のタイプの量子化マトリックスとそれらの情報とを記載する。（３）各NAL単位に１つの量子化マトリックスの定義を記載する。

上記（１）と（２）の場合、NAL単位は量子化マトリックスの総数も規定する。（３）の場合、ユーザ定義の量子化マトリックスの総数は、ビデオ基本ストリームでは明確には示されていない。エンコーダもデコーダも処理の進行に従って総数をカウントしなくてはならない。（２）の例としては、４×４の量子化マトリックスと８×８の量子化マトリックスを分類してそれぞれをNALに記載する場合などがある。

シーケンスパラメータセットにおいて、MPEG-4でどの量子化マトリックスを使うかを規定するものとする。６ビットのフラグを定義して、どの量子化方式が用いられるのか、次のレベル、すなわちヘッダがピクチャパラメータセットとなるピクチャレベルで変更は可能かどうか、を示す。

定義された量子化マトリックスのサブセットを参照するシーケンスパラメータセットはすべての量子化マトリックスＩＤを列挙する。そのＩＤとして、ビデオコーディック規格用のディフォルトのＩＤ、およびコーディックオペレータによって特にあるコンテンツ用に定義したＩＤが含まれる。シーケンスパラメータセットは、いくつかの共通の量子化パラメータを記載することができる。シーケンスパラメータセットは、輝度成分について各４×４および８×８ブロックのピクチャ間予測およびピクチャ内予測のそれぞれについて、また色差成分についても同様にピクチャ間予測およびピクチャ内予測のそれぞれについて、ディフォルト量子化マトリックスのセットを宣言することができる。しかし、ピクチャパラメータセット、スライスヘッダ、マクロブロックレベルは、自らの量子化マトリックスのセットを宣言することにより、より高いレベルの規定を無効にすることができる。しかし、これらの量子化マトリックスは現在利用可能なシーケンスパラメータセットにおいても利用可能なものでなくてはならない。

量子化マトリックスをNAL単位に当てはめる場合、その量子化マトリックスはシーケンスのビットストリームの最初に伝送することができる。その位置は、シーケンスパラメータセットを記載したNAL単位の後でも前でもよい。初期定義の後、追加となったカスタマイズされた量子化マトリックスをビットストリームに挿入して、更新したり新しいマトリックスを追加したりすることができる。追加するか更新するかという動作の決定は量子化マトリックスＩＤによって行う。ＩＤがあれば更新する。ＩＤがなければ、新しいマトリックスが保存してあるマトリックスに追加となる。

（実施の形態３）
さらに、上記各実施の形態で示した動画像符号化方法および動画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１３は、上記各実施の形態の動画像符号化方法および動画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１３(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１３(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１３(c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法および動画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内の動画像符号化方法および動画像復号化方法を実現するプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態４）
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図１５は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１６を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１６に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

また、図３および図９に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

以上のように、本発明に係る動画像符号化方法および動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号化ストリームを生成したり、生成された符号化ストリームを復号化したりするための方法として有用である。

Claims (6)

1. 量子化マトリクスを用いて、複数の符号化ピクチャをブロック単位で復号化する動画像復号化方法であって、
   デフォルト量子化マトリクスと異なる第２の量子化マトリクス、及び、前記第２の量子化マトリクスを特定するマトリクスＩＤを符号列から取得し、保持する保持ステップと、
   カレントピクチャを符号化して生成されたピクチャ符号化データに付随し、前記カレントピクチャを符号化する際に使用した量子化マトリクスを特定するマトリクスＩＤを前記符号列から抽出するステップと、
   抽出された前記マトリクスＩＤを用いて、前記保持ステップで保持された量子化マトリクスの中から前記マトリクスＩＤに対応する量子化マトリクスを特定する量子化マトリクス特定ステップと、
   特定された前記量子化マトリクスを用いて、前記ピクチャ符号化データを復号化するピクチャ復号化ステップと
   を含み、
   前記ピクチャは、輝度成分および２つの色差成分により構成され、
   前記量子化マトリクス特定ステップにおいて、前記マトリクスＩＤにより特定される前記量子化マトリクスに、輝度成分用量子化マトリクスと前記２つの色差成分の内の片方の色差成分に対応する色差成分用量子化マトリクスが存在するが、前記２つの色差成分の内の他方の色差成分に対応する色差成分用量子化マトリクスが存在しない場合、存在する色差成分用量子化マトリクスを、存在しない色差成分用量子化マトリクスとして代用することにより、前記２つの色差成分の内の前記他方の色差成分に対応する色差成分用量子化マトリクスを特定し、
   前記ピクチャ復号化ステップにおいて、前記ピクチャの前記輝度成分に対しては、特定された前記輝度成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の片方の色差成分に対しては、特定された前記色差成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の他方の色差成分に対しては、代用により特定された色差成分用量子化マトリクスを用いて復号化する
   ことを特徴とする動画像復号化方法。
2. 前記ピクチャ符号化データに付随する前記マトリクスＩＤは、ピクチャ単位、スライス単位、あるいはマクロブロック単位で前記ピクチャ符号化データに付随する
   ことを特徴とする請求項１に記載の動画像復号化方法。
3. 前記第２の量子化マトリクス、及び、前記第２の量子化マトリクスを特定するマトリクスＩＤは、複数のピクチャ単位あるいはピクチャ単位で前記符号列に配置する
   ことを特徴とする請求項１に記載の動画像復号化方法。
4. 量子化マトリクスを用いて、複数の符号化ピクチャをブロック単位で復号化する動画像復号化装置であって、
   デフォルト量子化マトリクスと異なる第２の量子化マトリクス、及び、前記第２の量子化マトリクスを特定するマトリクスＩＤを符号列から取得し、保持する量子化マトリクス保持部と、
   カレントピクチャを符号化して生成されたピクチャ符号化データに付随し、前記カレントピクチャを符号化する際に使用した量子化マトリクスを特定するマトリクスＩＤを前記符号列から抽出し、抽出された前記マトリクスＩＤを用いて、前記量子化マトリクス保持部に保持されている量子化マトリクスの中から前記マトリクスＩＤに対応する量子化マトリクスを特定する可変長復号化部と、
   特定された前記量子化マトリクスを用いて、前記ピクチャ符号化データを復号化する逆量子化部と
   を備え、
   前記ピクチャは、輝度成分および２つの色差成分により構成され、
   前記可変長復号化部は、前記マトリクスＩＤにより特定される前記量子化マトリクスに、輝度成分用量子化マトリクスと前記２つの色差成分の内の片方の色差成分に対応する色差成分用量子化マトリクスが存在するが、前記２つの色差成分の内の他方の色差成分に対応する色差成分用量子化マトリクスが存在しない場合、存在する色差成分用量子化マトリクスを、存在しない色差成分用量子化マトリクスとして代用することにより、前記２つの色差成分の内の前記他方の色差成分に対応する色差成分用量子化マトリクスを特定し、
   前記ピクチャの前記輝度成分に対しては、特定された前記輝度成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の片方の色差成分に対しては、特定された前記色差成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の他方の色差成分に対しては、代用により特定された色差成分用量子化マトリクスを用いて復号化する
   ことを特徴とする動画像復号化装置。
5. コンピュータに、量子化マトリクスを用いて、複数の符号化ピクチャをブロック単位で復号化する処理を実行させるためのプログラムであって、
   デフォルト量子化マトリクスと異なる第２の量子化マトリクス、及び、前記第２の量子化マトリクスを特定するマトリクスＩＤを符号列から取得し、保持する保持ステップと、
   カレントピクチャを符号化して生成されたピクチャ符号化データに付随し、前記カレントピクチャを符号化する際に使用した量子化マトリクスを特定するマトリクスＩＤを前記符号列から抽出するステップと、
   抽出された前記マトリクスＩＤを用いて、前記保持ステップで保持された量子化マトリクスの中から前記マトリクスＩＤに対応する量子化マトリクスを特定する量子化マトリクス特定ステップと、
   特定された前記量子化マトリクスを用いて、前記ピクチャ符号化データを復号化するピクチャ復号化ステップと
   をコンピュータに実行させ、
   前記ピクチャは、輝度成分および２つの色差成分により構成され、
   前記量子化マトリクス特定ステップにおいて、前記マトリクスＩＤにより特定される前記量子化マトリクスに、輝度成分用量子化マトリクスと前記２つの色差成分の内の片方の色差成分に対応する色差成分用量子化マトリクスが存在するが、前記２つの色差成分の内の他方の色差成分に対応する色差成分用量子化マトリクスが存在しない場合、存在する色差成分用量子化マトリクスを、存在しない色差成分用量子化マトリクスとして代用することにより、前記２つの色差成分の内の前記他方の色差成分に対応する色差成分用量子化マトリクスを特定し、
   前記ピクチャ復号化ステップにおいて、前記ピクチャの前記輝度成分に対しては、特定された前記輝度成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の片方の色差成分に対しては、特定された前記色差成分用量子化マトリクスを用いて復号化を行い、前記２つの色差成分の内の他方の色差成分に対しては、代用により特定された色差成分用量子化マトリクスを用いて復号化する
   プログラム。
6. 請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images