JPWO2010070897A1 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路 - Google Patents

Abstract

符号化方法は、画像の画素値を、周波数を示すｎ個の係数で構成される２次元マトリクスに変換する変換ステップと、ｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、二分木を定義する木構造情報及び２次元マトリクスに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、１次元シーケンス及びｎ個の量子化係数の少なくとも一部を符号化する符号化ステップとを含む。シーケンス生成ステップは、２次元マトリクスに基づいて、ｎ個のリーフノードそれぞれが参照する２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップ（Ｓ３１）と、２次元マトリクス及び参照先情報に基づいて、二分木の各ノードに第１及び第２の値のいずれかを割り当てる値割り当てステップ（Ｓ３２）と、各ノードに割り当てられた値を行きがけ順に並べて１次元シーケンスを生成する走査ステップ（Ｓ３３）とを含む。

Description

本発明は、動画像データを圧縮する符号化に関し、特に、高い符号化効率を実現する動画像符号化方法、動画像復号方法およびその装置に関する。特に量子化された非ゼロ係数の位置の記述方法を適応的に変化させるものである。

動画像データは、ビデオ電話やビデオ会議からＤＶＤやデジタルテレビにわたって、広く応用されている。動画像データを送信または記録する際には、相当量のデータが限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信されるか、もしくは限られたデータ容量をもつ従来の記録メディアに格納されなければならない。そのため、デジタルデータを従来のチャンネルに送信、またはメディアに格納するためには、デジタルデータ量を圧縮もしくは削減することが不可欠である。

動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このような動画像規格には、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔ規格、及びＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣ規格がある。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格（非特許文献１）である。

これら規格の多くの基礎となる符号化アプローチは、以下に示す主なステージを含む。

（ａ）個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、それぞれのビデオフレームを複数の画素ブロックに分割する。
（ｂ）動画像データのそれぞれのブロックを空間領域から周波数領域に変換する。
（ｃ）周波数領域の変換係数を量子化することによって、全体のデータ量を削減する。
（ｄ）量子化変換係数をエントロピー符号化する。
（ｅ）連続するフレームのブロック間の変化のみを符号化するために、連続するフレームのブロック間の時間的依存性を利用する。これは、動き予測及び補償技術を用いる。

画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周波数要素で表すことによって実現できる。自然画像コンテンツの周波数成分は、その多くが低周波数領域の係数に集中している。高周波成分は人間の目にはほとんど影響がないため、符号化対象となるデータ量を減らすために、削除もしくは量子化される。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、およびＨ．２６４／ＡＶＣといった現在の動画像符号化規格は、量子化後の周波数係数をさらに圧縮するためにエントロピー符号化を用いる。

このエントロピー符号化は、２次元の量子化変換係数ブロックを１次元シーケンスに変換するために、量子化された変換係数の２次元ブロックを走査する処理を含む。ジグザグ走査のような所定の走査方法が用いられる場合と、ゼロツリー走査方法（特許文献２）が用いられる場合がある。

図１はジグザグ走査の概念図である。２次元の量子化変換係数ブロック１１を図のジグザグ走査順１２で走査すると、量子化変換係数の１次元シーケンス１３が得られる。この走査は、最低周波数係数（つまり、ＤＣ係数）から開始され、ブロックのゼロでない全ての係数が走査されると同時に終了する。このような走査方法の問題点の一つは、ゼロでない最後の係数に達するまでに多くのゼロである係数を走査しなければならないことである。

このようにして取得された量子化変換係数の１次元シーケンスは、非ゼロ係数と、ゼロ係数とに分離される。非ゼロ係数は、レベル及びサインと呼ばれる一連のいくつかの組として表現される。レベルは絶対値のことであり、サインは＋−の符号のことである。図２は非ゼロ係数とゼロ係数への分離の概念図である。幾つかの０を要素に持つ量子化変換係数ブロック２１を入力として説明すると、これは前述のように１次元シーケンス２２へと走査される。この１次元シーケンスは、非ゼロ係数の位置を示すバイナリシーケンス２３と非ゼロ係数を集めた非ゼロ係数シーケンス２４へと分離される。

多くの応用において、符号化動画像データの蓄積又は転送が可能な量もしくは帯域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性がある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮率を増加させることは、符号化画像の画質劣化を引き起こす。

ゼロである係数の冗長性を軽減する技術として周波数選択符号化（Ｆｒｅｑｕｅｎｃｙ Ｓｅｌｅｃｔｉｖｅ Ｃｏｄｉｎｇ）が知られている（特許文献１）。人間の視覚特性が高域には鈍感である性質を利用し、高域係数の符号化頻度を抑えること、及び、特定の高域係数位置には同一フレーム内で全く係数を符号化せず、ゼロである係数のデータ量を軽減できるようにした符号化方法及び復号方法である。

図３は周波数選択符号化ＦＳＣの概念図である。２次元の量子化変換係数ブロック１１は、ＦＳＣ走査順３２によりａ、ｂ、ｅ、ｌの位置のみが走査され、それ以外の位置は走査されない。これにより得られる１次元シーケンス３３のデータ個数を大幅に軽減できる。高域を複数のフレームにわたって循環的に符号化することにより、劣化を抑えることができる。図４は循環的な高域符号化の概念図であり、フレームｆ１では高域６を、フレームｆ２では高域７を、フレームｆ３では高域８を符号化する例である。

前述のように周波数選択符号化では高域係数の符号量を抑圧している。しかしながら、エッジなどの情報量の多い領域（ブロックなどの単位）では、高域係数を符号化しないと劣化を視認できる場合もある。

前述のゼロツリー走査方法（特許文献２）を説明する。図５はゼロツリー走査方法の概念図である。ゼロツリー走査方法では、２次元の量子化変換係数ブロック６１に対して、各係数の位置をツリー構造６２で表現する。ツリーはノードにより構成され、子を持つノードを内部ノード、子を持たないノードをリーフノードと呼ぶ。

このツリー構造に対して、深さ方向優先で左から右へ探索した時に、通過したリーフノードの順番が、量子化変換係数ブロック６１に対するゼロツリー走査順６５となる。ノードが有効な値を持つか（内部ノードの場合には子ノードを持つか、リーフノードの場合には係数を持つか）を通過順に示す情報を、有効ノードを示すバイナリシーケンス６６、あるいは、ノードの値を示すバイナリシーケンス６６と呼ぶ。

この例では有効ノードを示すバイナリシーケンス６６（あるいは、ノードの値を示すバイナリシーケンス）はノードの数だけ要素１を持つ。この例では全てのノードが有効（値が１、つまり、リーフノードは係数を持ち、中間ノードは有効な子ノードを持つ）であるため、要素は全て１となった。しかしながら、あるリーフや中間ノードが有効ではない場合は、要素は０となる。中間ノードが０となる場合は、その子ノードの探索を行わない。つまり、その子（さらに子があればその子も）のノードに関する値を記述する必要がなくなるので、有効ノードを示すバイナリシーケンス６６は短くなる。

例えば、図６に示されるように、幾つかの０を要素に持つ量子化変換係数ブロック７１に対して、前述のツリー構造６２で走査する。このとき、ノード７３の子ノードは全て値を持たないので、ノード７３の値は０と示す。復号時においては、あるノードが０の値を持つとき、その子ノードは値を持たないことがわかる。この例に対応する、有効ノードを示すバイナリシーケンス７２は図示したようになり、図５の例と比べて、データ量を削減できることがわかる。

図５及び図６で示したようにツリー構造６２は、ジグザグ走査と比べてデータ構造が複雑であり、符号化及び復号の処理量やメモリ量が多い。そのため、ツリー構造データの全体を頻繁に符号化することは冗長である。しかし、周波数選択的更新や、周波数選択的符号化の場合には、発生しにくい係数の位置、あるいは、発生しない係数の位置がフレームなどの単位で更新させる必要があり、効率的なデータ記述が望まれる。

また、ジグザグ走査の場合には、走査が一筆書きであるため、周波数選択的符号化において、符号化しなかったゼロ係数の個数に基づき、容易に、非ゼロ係数の位置を特定できた。しかし、ゼロツリー走査順では、係数の位置は分岐して記述されるため、符号化しなかったゼロ係数の有無の前後において係数の位置関係を把握するのが容易ではないという課題がある。

国際公開第２００６／１１８２８８号公報 米国特許出願公開第２００６／０１３３６８０号公報

ＩＴＵ−Ｔ Ｒｅｃ．Ｈ２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０ ｖｅｒｓｉｏｎ １ "Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ"

本発明は、画質を劣化させず、かつ高いデータ圧縮率を実現する動画像符号化方法、動画像復号方法およびその装置を提供することを目的とする。

本発明の一形態に係る符号化方法は、画像を符号化する方法である。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換ステップと、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、前記シーケンス生成ステップで生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化ステップとを含む。前記シーケンス生成ステップは、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップと、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当てステップと、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査ステップとを含む。

上記構成のように、１次元シーケンスを生成するたびに参照先情報を更新することにより、１次元シーケンスの符号量を削減することができる。その結果、符号化効率の高い復号方法を実現することができる。また、木構造情報そのものを変更する必要がないので、処理負荷を軽減することができる。

一形態として、前記値割り当てステップでは、前記ｎ個のリーフノードそれぞれに対して、前記参照先情報で示される前記２次元マトリクスの位置に保持される前記量子化係数を、前記符号化ステップで符号化する場合に前記第１の値を割り当て、前記符号化ステップで符号化しない場合に前記第２の値を割り当て、前記内部ノードに対して、２つの子ノードの少なくとも一方に前記第１の値が割り当てられている場合に前記第１の値を割り当て、２つの子ノードのいずれにも前記第２の値が割り当てられている場合に前記第２の値を割り当る。前記走査ステップでは、前記内部ノードに前記第２の値が割り当てられていた場合に、当該内部ノードの子孫ノードの走査を省略する。そして、前記参照先決定ステップでは、前記走査ステップで生成される前記１次元シーケンスが最も短くなるように、前記参照先情報を決定してもよい。上記構成のように、１次元シーケンスが最も短くなるように参照先情報を更新することにより、符号量を削減することができる。

また、前記符号化ステップでは、前記参照先決定ステップで生成された参照先情報が直前の参照先情報と異なる場合に、さらに、当該生成された参照先情報を符号化してもよい。このように、更新された場合にのみ参照先情報を符号化することにより、符号化効率の悪化を抑制することができる。

また、前記参照先情報は、前記２次元マトリクスの各位置を特定する位置情報と、前記位置情報を特定するインデックスとを対応付けて保持する中間テーブルであってもよい。そして、前記木構造情報は、前記二分木の構造を特定する構造情報と、前記ｎ個のリーフノードが参照する前記中間テーブルのインデックスを示すインデックス情報とを含んでもよい。これにより、既存の復号装置への影響が極小化されるので、レガシー資産を有効利用することができる。

また、前記参照先情報決定ステップでは、符号化される前記量子化係数を保持する前記２次元マトリクスの位置が、符号化されない前記量子化係数を保持する前記２次元マトリクスの位置より走査順の早い前記リーフノードに割り当てられるように、前記２次元マトリクスの各位置とインデックスとの組み合わせを変更してもよい。これにより、１次元シーケンスを短くすることができる。

一形態として、前記符号化ステップでは、前記ｎ個の量子化係数のうち、０でない量子化係数のみを選択的に符号化してもよい。他の形態として、前記２次元マトリクスは、第１のグループと第２のグループとに分割されている。そして、前記符号化ステップでは、前記第１のグループに属する全ての前記量子化係数と、前記第１のグループに属する前記量子化係数の値に応じて前記第２のグループから選択される前記量子化係数のみを選択的に符号化してもよい。

本発明の一形態に係る復号方法は、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する方法である。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号ステップと、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成ステップと、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化ステップと、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換ステップとを含む。そして、前記マトリクス生成ステップは、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当てるステップであって、前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査ステップと、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当てステップとを含む。

本発明の一形態に係る符号化装置は、画像を符号化する装置である。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換部と、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化部と、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成部と、前記シーケンス生成部で生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化部とを備える。そして、前記シーケンス生成部は、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定部と、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当て部と、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査部とを備える。

本発明の一形態に係る復号装置は、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する装置である。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号部と、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成部と、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化部と、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換部とを備える。そして、前記マトリクス生成部は、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当て、且つ前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査部と、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当て部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、画像を符号化させる。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換ステップと、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、前記シーケンス生成ステップで生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化ステップとを含む。そして、前記シーケンス生成ステップは、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップと、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当てステップと、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査ステップとをコンピュータに実行させる。

本発明の他の形態に係るプログラムは、コンピュータに、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成させる。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号ステップと、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成ステップと、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化ステップと、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換ステップとを含む。そして、前記マトリクス生成ステップは、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当てるステップであって、前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査ステップと、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当てステップとをコンピュータに実行させる。

本発明の一形態に係る集積回路は、画像を符号化する。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換部と、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化部と、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成部と、前記シーケンス生成部で生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化部とを備える。そして、前記シーケンス生成部は、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定部と、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当て部と、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査部とを備える。

本発明の他の形態に係る集積回路は、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号部と、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成部と、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化部と、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換部とを備える。そして、前記マトリクス生成部は、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当て、且つ前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査部と、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当て部とを備える。

前記従来の課題である、ゼロツリー走査において周波数適応符号化を適用すると、非ゼロ係数の位置関係の管理が困難である課題を解決するために、本発明の動画像符号化方法は、ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数をポジション情報とレベルとサイン（符号）へ符号化し、前記複数の量子化係数を少なくとも２つ以上の係数グループに分割し、第１のグループのポジション情報とレベルとサイン（符号）を符号化し、第２のグループの係数のサブセットを選択するか全体を選択するかを決定し、前記選択された係数のポジション情報とレベルとサインを符号化することを特徴とする動画像符号化方法である。

本発明によって、低域の係数の位置情報を符号化した後、ただちに、低域の係数を符号化させ、低域部分の必要な情報を全て揃えることで、後続の高域部分とデータの並び上において処理を独立させることにより、ゼロ係数のスキップがあっても、非ゼロ係数の位置関係の把握が容易になる。

本発明の動画像復号方法は、複数の画素をブロックに分割して符号化したデータを復号する動画像復号方法であって、当該ブロックの非ゼロ係数のポジション情報を非ゼロ係数の有無情報と非ゼロ係数の位置のツリー構造情報とから復号し、非ゼロ係数のレベルとサイン（符号）を復号し、前記非ゼロ係数のポジション情報と前記レベルと前記サインとを統合し、前記統合信号を逆量子化し、前記逆量子化信号を逆直交変換し画素値へと変換し、当該ブロックの非ゼロ係数のポジション情報の前記復号は、ある非ゼロ係数のポジション情報の決定時点において復号済みの非ゼロ係数の情報に応じて変化することを特徴とする動画像復号方法である。

また、当該ブロックの非ゼロ係数のポジション情報の前記復号は、下記（ｉ）〜（ｉｖ）の少なくとも１つに応じて復号される。（ｉ）復号済みの前記非ゼロ係数のポジション情報、（ｉｉ）復号済みの前記統合信号、（ｉｉｉ）復号済みの逆量子化信号、（ｉｖ）量子化パラメータ。

本発明の動画像符号化方法によれば、ゼロツリー構造のツリー部分のデータ（木構造情報）を変更せずに、容易に係数の位置を変更できる。その結果、符号化効率の高い動画像符号化方法を実現することができる。

図１は、従来のジグザグ走査の概念図である。 図２は、従来の非ゼロ係数とゼロ係数への分離の概念図である。 図３は、従来の周波数選択符号化ＦＳＣの概念図である。 図４は、従来の周波数選択符号化ＦＳＣの時間変化の概念図である。 図５は、従来のゼロツリー走査方法の概念図である。 図６は、従来のゼロツリー走査方法の概念図である。 図７は、本発明の実施の形態１に係るリーフと係数位置との対応関係のみを更新する方法の概念図である。 図８は、実施の形態１に係るリーフと係数位置との対応関係のみを更新するための中間メモリの概念図である。 図９は、実施の形態１に係る動画像符号化装置のブロック図である。 図１０は、図９に示される動画像符号化装置の動作を示すフローチャートである。 図１１は、実施の形態１に係る動画像復号装置のブロック図である。 図１２は、図１１に示される動画像復号装置の動作を示すフローチャートである。 図１３は、実施の形態１に係るシーケンス生成部のブロック図である。 図１４は、実施の形態１に係るマトリクス生成部のブロック図である。 図１５Ａは、実施の形態１に係る動画像符号化方法を示すフローチャートである。 図１５Ｂは、実施の形態１に係る動画像復号方法を示すフローチャートである。 図１６は、実施の形態１に係るシーケンス生成処理を示すフローチャートである。 図１７は、図１６のシーケンス生成処理を示す概念図である。 図１８は、実施の形態１に係るマトリクス生成処理を示すフローチャートである。 図１９は、図１８のマトリクス生成処理を示す概念図である。 図２０は、実施の形態２に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２１は、実施の形態２に係る動画像符号化方法を示すフローチャートである。 図２２Ａは、実施の形態２に係る動画像符号化方法を示すフローチャートである。 図２２Ｂは、実施の形態２に係る動画像復号化装置を示すフローチャートである。 図２３は、実施の形態３に係る局所適応ＦＳＣの概念図である。 図２４は、実施の形態４に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２５は、実施の形態４に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２６は、実施の形態４に係る動画像符号化方法の動作フローチャートである。 図２７は、実施の形態５に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２８は、実施の形態５に係る復号化済みのデータに応じてツリー構造を更新するゼロツリー復号部と周辺のブロック図である。 図２９は、実施の形態５に係る復号化済みのデータに応じてツリー構造を更新するゼロツリー復号部の動作フローチャートである。 図３０は、実施の形態６に係る複数の値を持つノードのツリー構造の探索に関する概念図である。 図３１は、実施の形態６に係る複数の値を持つノードのツリー構造の探索に関する動作フローチャートである。 図３２は、実施の形態７に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図３３は、実施の形態７に係るバイナリシーケンスと非ゼロ係数シーケンスのデータの並びを示す図である。 図３４Ａは、実施の形態７に係る動画像符号化方法を示すフローチャートである。 図３４Ｂは、実施の形態７に係る動画像復号方法を示すフローチャートである。 図３５は、実施の形態７に係る係数位置を指し示す情報を持たないゼロツリー構造の一例を示す概念図である。 図３６は、実施の形態８における係数位置を指し示すシーケンスを符号化する一例を示す概念図である。 図３７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図３８は、携帯電話の外観を示す図である。 図３９は、携帯電話の構成例を示すブロック図である。 図４０は、デジタル放送用システムの全体構成の一例を示す模式図である。 図４１は、テレビの構成例を示すブロック図である。 図４２は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図４３は、光ディスクである記録メディアの構造例を示す図である。 図４４は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。

（実施の形態１）
まず、図７及び図８を参照して、本発明の実施の形態１に係る符号化方法及び復号方法の概念を説明する。前述のように、周波数選択的更新では、発生しない係数の位置が少なくともフレーム単位に変化するが、ツリー構造６２は複雑であるため、頻繁に更新するのは冗長である。これを解決するため、図７の概念図で示しているように、ツリー構造６２のうち、ノード間の接続関係は更新せずに、リーフノードと係数との位置関係の対応のみを更新する。

また、図８の概念図で示すように、リーフノードと係数との位置関係の対応の間に、並び替え用のデータ配列（「参照先情報」ともいう）１１０１を設けることで、係数の位置情報のみの更新を実現できる。あるリーフノードの値は、データ配列１１０１内の順番を指し示しており、指し示された要素は、係数の位置を示している。

この例では、３の値を持つリーフノードの位置は、データ配列１１０１の３番目の要素を参照して得られる。フレームｆ１の時点におけるデータ配列１１０１の３番目の要素は、係数の位置ａを指している。一方、フレームｆ２の時点におけるデータ配列１１０１の３番目の要素は、係数の位置ｂを指している。

データ配列はツリー構造のような複雑さは無いので容易に実現できる。別の表現を用いると、リーフノードが指し示す位置情報とは、間接位置情報であり、データ配列１１０１上の位置を示している。データ配列１１０１の中で、指し示された要素の値が指しているのが、係数の位置情報である。

また、図８の係数ゼロを示す要素１１０２のように、ブロックの係数位置ａ〜ｆ以外の値を割り当てることで、この要素を指しているリーフノード（値５を持つノード）は、非ゼロ係数を持たないことを示すことができる。この場合では、係数位置ｆは、インデックスポインタ１１０３のいかなる要素からも指されていないので、非ゼロ係数を持たない、つまり、係数はゼロであることがわかる。

次に、図９及び図１０を参照して、本発明の実施の形態１に係る動画像符号化装置１００を説明する。図９は、動画像符号化装置１００の機能ブロック図である。図１０は、動画像符号化装置１００の動作を示すフローチャートである。

動画像符号化装置１００は、図９に示されるように、減算器１０５と、変換／量子化部１１０と、逆量子化／逆変換部１２０と、加算器１２５と、デブロッキングフィルタ１３０と、シーケンス生成部１８０と、エントロピー符号化部１９０と、符号化信号を出力する出力部（図示省略）と、予測ブロック生成部（図示省略）とを備える。

この動画像符号化装置１００は、入力信号としての動画像信号を符号化し、符号化信号を出力する。出力先は特に限定されないが、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体でもよいし、伝送路を通じて動画像復号装置２００に伝送してもよい。

減算器１０５は、符号化対象ブロック（入力信号）から予測ブロック（予測信号）を減算して予測誤差信号を生成する。変換／量子化部１１０は、予測誤差信号をＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）すると共に、量子化して量子化係数を生成する。より具体的には、動画像信号の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する。そして、当該２次元マトリクスを構成するｎ個の係数それぞれを量子化して、ｎ個の量子化係数を生成する。

シーケンス生成部１８０は、ｎ個の量子化係数を含む２次元マトリクスを、１次元シーケンスと量子化係数とに分割する。シーケンス生成部１８０の具体的な動作は、後述する。エントロピー符号化部１９０は、シーケンス生成部１８０から出力される１次元シーケンス等をエントロピー符号化して符号化信号を生成する。

逆量子化／逆変換部１２０は、変換／量子化部１１０から出力された量子化係数を逆量子化すると共に、ＤＣＴ逆変換して量子化予測誤差信号を生成する。加算器１２５は、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。

予測ブロック生成部は、符号化対象ブロック（入力信号）より前に符号化された画像に基づいて、当該符号化対象ブロックを予測した予測信号を生成する。この予測ブロック生成部は、メモリ１４０と、補間フィルタ１５０と、動き予測部１６５と、動き補償予測部１６０と、イントラフレーム予測部１７０と、スイッチ１７５とによって構成されている。

メモリ１４０は、復号信号を一時記憶する遅延器として機能する。より具体的には、変換／量子化部１１０で量子化され、且つ逆量子化／逆変換部１２０で逆量子化されたブロックを順次記憶し、１枚の画像（ピクチャ）を記憶する。補間フィルタ１５０は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１６５は、復号信号と次の符号化対象ブロックとに基づいて動き予測を行い、動きデータ（動きベクトル）を生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測信号を生成する。イントラフレーム予測部１７０は、復号信号を画面内予測して予測信号を生成する。スイッチ１７５は、予測モードとして「イントラ」モード及び「インター」モードのいずれかを選択する。そして、スイッチ１７５から出力される予測ブロックは、次の符号化対象ブロックを予測した信号となる。

次に、図１０を参照して、動画像符号化装置１００の動作を説明する。

まず、減算器１０５は、入力信号から予測信号を減算して、予測誤差信号を生成する（Ｓ１１）。次に、変換／量子化部１１０は、予測誤差信号をＤＣＴ変換すると共に、量子化して量子化係数を生成する（Ｓ１２）。ここで、変換／量子化部１１０から出力されるのは、ｎ個（典型的には、８×８＝６４個）の量子化係数で構成される２次元マトリクスである。

次に、シーケンス生成部１８０は、変換／量子化部１１０から出力される２次元マトリクスを１次元シーケンスに変換するシーケンス生成処理を実行する（Ｓ１３）。シーケンス生成処理の詳細は、後述する。次に、エントロピー符号化部１９０は、１次元シーケンス、量子化係数、動きデータ、及び参照先情報（後述）等をエントロピー符号化して符号化信号を生成する（Ｓ１４）。

一方、エントロピー符号化部１９０の動作と平行して、逆量子化／逆変換部１２０は、変換／量子化部１１０から出力される量子化係数を逆量子化すると共に、ＤＣＴ逆変換して量子化予測誤差信号を生成する。また、加算器１２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。そして、予測ブロック生成部は、復号信号に基づいて予測ブロックを生成する（Ｓ１６）。

次に、図１１及び図１２を参照して、本発明の一実施形態に係る動画像復号装置２００の構成及び動作を説明する。図１１は、動画像復号装置２００のブロック図である。図１２は、動画像復号装置２００の動作を示すフローチャートである。

動画像復号装置２００は、図１１に示されるように、符号化信号を取得する取得部（取得部）と、エントロピー復号部２９０と、マトリクス生成部２８０と、逆量子化／逆変換部２２０と、加算器２２５と、デブロッキングフィルタ２３０と、予測ブロック生成部（図示省略）とを備える。この動画像復号装置２００は、図９に示される動画像符号化装置１００で符号化された符号化信号を復号して復号ブロック（復号信号）を生成する。

エントロピー復号部２９０は、動画像符号化装置１００から出力された符号化信号をエントロピー復号して、１次元シーケンス、量子化係数、動きデータ、及び参照先情報を取得する。マトリクス生成部２８０は、１次元シーケンスと量子化係数とを結合して、ｎ個の量子化係数で構成される２次元マトリクスを生成する。マトリクス生成部２８０の具体的な動作は、後述する。

逆量子化／逆変換部２２０は、マトリクス生成部２８０から出力される２次元マトリクスの各量子化係数を逆量子化すると共に、ＤＣＴ逆変換することにより、量子化予測誤差信号を生成する。加算器２２５は、逆量子化／逆変換部２２０から出力される量子化予測誤差信号と、予測ブロック生成部から出力される予測信号とを加算して、再構築信号を生成する。デブロッキングフィルタ２３０は、加算器２２５から出力される再構築信号に対して適用され、ブロックのエッジを平滑化して主観的画質を改善する。

予測ブロック生成部は、メモリ２４０と、イントラフレーム予測部２７０と、動き補償予測部２６０と、補間フィルタ２５０と、スイッチ２７５とを備える。この予測ブロック生成部は、基本的な構成及び動作は共通するが、動き予測部１６５を省略して、動きデータをエントロピー復号部２９０から取得する点が異なる。

次に、図１２を参照して、動画像復号装置２００の動作を説明する。

まず、エントロピー復号部２９０は、符号化信号をエントロピー復号して、１次元シーケンス、量子化係数、動きデータ、及び参照先情報を取得する（Ｓ２１）。次に、マトリクス生成部２８０は、１次元シーケンスと量子化係数とを結合して２次元マトリクスを生成するマトリクス生成処理を実行する（Ｓ２２）。マトリクス生成処理の詳細は、後述する。

次に、逆量子化／逆変換部２２０は、マトリクス生成部２８０から出力される２次元マトリクスの各量子化係数を逆量子化すると共に、ＤＣＴ逆変換することにより、量子化予測誤差信号を生成する（Ｓ２３）。次に、加算器２２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。また、デブロッキングフィルタ２３０は、再構築信号からブロック歪みを除去して復号信号を生成する。そして、動画像復号装置２００は、当該復号信号を出力（典型的には、ディスプレイに表示）する（Ｓ２４）。一方、予測ブロック生成部は、再構築信号を用いて、予測信号を生成する（Ｓ２５）。

図１３は本実施の形態１におけるシーケンス生成部１８０のブロック図である。シーケンス生成部１８０は、木構造決定部１００１と、木構造情報メモリ１００３と、参照先決定部１００５と、参照先情報メモリ１００７と、係数走査ユニット１００９とを備える。

木構造決定部１００１は、あらかじめ決められた構造情報１０００、あるいは、直前に符号化したフレームやスライスの係数の発生頻度や強度情報等を基に、木構造情報１００２を決定する。木構造決定部１００１は、決定した木構造情報１００２を、木構造情報メモリ１００３へ格納するとともに、蓄積メディアや伝送路１０３０へ出力する。同時にリーフノードに格納する参照先情報１０１３の初期値を決定し、参照先情報メモリ１００７へ格納する。

ここで、木構造情報１００２は、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木（「ゼロツリー」ともいう）を定義する情報である。参照先情報１０１３は、ｎ個のリーフノードそれぞれが参照する２次元マトリクスの位置を示す情報である。

ｎ個の量子化係数で構成される２次元マトリクス１０１０は、係数走査ユニット１００９に入力される。係数走査ユニット１００９は、木構造情報メモリ１００３から読み出した木構造情報１００４と、参照先情報メモリ１００７から読み出した参照先情報１００６とを基に、ゼロツリーの走査方法に従って係数を走査し、有効ノードを示すバイナリシーケンスと非ゼロ係数のレベルとサインの情報１０１２へ変換し、蓄積メディアや伝送路１０３０へ出力する。

より具体的には、係数走査ユニット１００９は、木構造情報１００４、参照先情報１００６、及びｎ個の量子化係数を含む２次元マトリクス１０１０に基づいて１次元シーケンスを生成する。この係数走査ユニット１００９は、値割り当て部１００９ａと、走査部１００９ｂとで構成される。

値割り当て部１００９ａは、木構造情報１００４で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる。実施の形態１において、第１の値は「１」、第２の値は「０」である。

値割り当て部１００９ａは、まず、ｎ個のリーフノードそれぞれに対して、参照先情報１０１３で示される２次元マトリクスの位置に保持される量子化係数を、エントロピー符号化部１９０で符号化する場合に「１」を割り当て、エントロピー符号化部１９０で符号化しない場合に「０」を割り当てる。次に、内部ノードに対して、２つの子ノードの少なくとも一方に「１」が割り当てられている場合に「１」を割り当て、２つの子ノードのいずれにも「０」が割り当てられている場合に「０」を割り当てる。

走査部１００９ｂは、二分木を行きがけ順（ｐｒｅｏｒｄｅｒ）で走査して、各ノードに割り当てられた値を走査順に並べることにより、１次元シーケンスを生成する。このとき、走査部１００９ｂは、内部ノードに「０」が割り当てられていた場合に、当該内部ノードの子孫ノードの走査を省略する。

参照先決定部１００５は、並び替えを行うトリガ信号１０１１を受信すると、新たな参照先情報１００６を生成する。そして、当該新たな参照先情報１００６で参照先情報メモリ１００７を上書きすると共に、新たな参照先情報１００６を蓄積メディアまたは伝送路１０３０へ出力する。ここで、並び替えを行うトリガ信号１０１１とは、周波数適応選択更新における、更新する高域係数の位置が変更された場合等である。このとき、参照先決定部１００５は、値割り当て部１００９ａの処理によって、より上位の内部ノードに「０」が割り当てられるように（言い換えれば、１次元シーケンスができるだけ短くなるように）、参照先情報１００６を決定する。

図１４は、本実施の形態１におけるマトリクス生成部２８０のブロック図である。マトリクス生成部２８０は、木構造情報メモリ１００３と、参照先情報メモリ１００７と、係数逆走査ユニット２２０９とを備える。

蓄積メディアや伝送路１０３０より、フレームやスライスや複数のブロックなどの比較的広い周期で木構造情報１００２を受信し、木構造情報メモリ１００３に格納する。格納された木構造情報１００２は、係数逆走査ユニット２２０９へ出力される。木構造情報１００２は、リーフノードと係数の位置情報との関係を示す参照先情報１０１３の初期値を持つ場合があるので、持つ場合には参照先情報メモリ１００７へ格納する。同様の頻度あるいはブロック単位の頻度で新たな参照先情報１００６を受信すると、当該新たな参照先情報１００６で参照先情報メモリ１００７が上書きされる。

係数逆走査ユニット２２０９は、有効ノードを示すバイナリシーケンスと非ゼロ係数のレベルとサインの情報１０１２を入力し、木構造情報１００２と参照先情報１００６とを基に、有効ノードを示すバイナリシーケンスに従い非ゼロ係数の位置を決定し、非ゼロ係数のレベルとサインを統合し、ｎ個の量子化係数を含む２次元マトリクス１０１０を出力する。

より具体的には、係数逆走査ユニット２２０９は、１次元シーケンス、量子化係数、参照先情報１００６、及び木構造情報１００２に基づいて、ｎ個の量子化係数で構成される２次元マトリクス１０１０を生成する。この係数逆走査ユニット２２０９は、逆走査部２２０９ａと、係数割り当て部２２０９ｂとで構成される。

逆走査部２２０９ａは、二分木を行きがけ順（ｐｒｅｏｒｄｅｒ）で走査して、１次元シーケンスに示される値を各ノードに割り当てる。但し、内部ノードに「０」が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する。係数割り当て部２２０９ｂは、参照先情報１００６に基づいて、「０」が割り当てられたリーフノードが参照する２次元マトリクスの位置に、量子化係数を順に割り当てる。

図１５Ａは、本実施の形態１における動画像符号化装置１００の動作手順を示すフローチャートである。まず、木構造決定部１００１で生成された木構造情報１００２は、エントロピー符号化部１９０で符号化されて出力される（Ｓ９０１）。この木構造情報１００２は比較的情報量が大きいので、１度だけ生成されて出力されるのが一般的である。

次に、フレーム単位あるいはスライス単位あるいは、複数のブロックの単位の繰り返し処理（Ｓ９０２〜Ｓ９０５）において、一つまたは複数のブロックの量子化係数及び１次元シーケンスが符号化される（Ｓ９０３）。また、周波数適応更新における、更新する係数の位置が変化した場合などには、リーフノードが持つ係数の参照先情報１００６を符号化する（Ｓ９０４）。そして、これらの情報は、エントロピー符号化部１９０で符号化されて符号化済みストリーム（「符号化信号」ともいう）として出力される。符号化対象のフレームまたはスライスまたは複数のブロックがまだ残っていれば、再び係数の符号化（Ｓ９０３）を行う。なお、参照先情報の更新（Ｓ９０４）は、量子化係数の符号化（Ｓ９０３）の前に行ってもよい。

また、前述のＦＳＣでは符号化しない係数位置があるが、位置情報の並び替え時において、有効な係数位置が存在しないことを特別な値で表現してもよい（例えば−１．と割り当てる。あるいは、４＊４の１６係数を持つブロックにおいて０から１５の値を係数位置に割り当てている場合に１６と割り当てるなど）。このような無効な位置がリーフノードの値に割り当てられる場合、その親が持つもう一方の子ノードの値も０である場合には、その親の値も０に書き換える必要がある。この書き換えは全てのリーフノードから根に向かって行われる。

図１５Ｂは、本実施の形態における動画像復号装置２００の動作手順を示すフローチャートである。まず、符号化済みストリームから、木構造情報１００２が復号される（Ｓ９１１）。次に、フレーム単位またはスライス単位または複数のブロック単位の繰り替えし処理（Ｓ９１２〜Ｓ９１５）において、量子化係数および１次元シーケンスが復号される（Ｓ９１３）。また、リーフノードが持つ係数の参照先情報１００６を更新する情報が符号化済みストリームにあれば、参照先情報メモリ１００７の参照先情報１００６を更新する（Ｓ９１４）。

符号化済みストリームにまだ復号していない符号化済みデータが残っていれば（Ｓ９１５）、復号処理を継続する（Ｓ９１２）。なお、参照先情報１００６の復号（Ｓ９１４）と量子化係数及び１次元シーケンスの復号（Ｓ９１３）は順序を入れ替えてもよい。

次に、図１６及び図１７を参照して、実施の形態１におけるシーケンス生成処理の一例を説明する。図１６は、シーケンス生成処理のフローチャートである。図１７は、シーケンス生成処理で生成されるデータの一例を示す図である。

２次元マトリクス１０１０は、ｎ個の量子化係数で構成されている。また、図１７では、２次元マトリクス１０１０の各セルの位置をａ〜ｆで示している。なお、図１７では、簡単のために６個の量子化係数で構成される２次元マトリクス１０１０の例を示したが、本発明はこれに限定されるものではない。例えば、４×４（＝１６）マトリクスや８×８（＝６４）マトリクスであってもよい。

木構造情報１００２は、二分木の構造を定義するための情報である。具体的なデータ構造は特に限定されないが、例えば、構造情報（ｚｔｒｅｅ＿ｓｔｒｕｃｔｕｒｅ）と、インデックス情報（ｚｔｒｅｅ＿ｌｅａｆ＿ｉｎｄｅｘ）とで構成される。

構造情報は、二分木の構造を特定するための情報であって、例えば、二分木を行きがけ順で走査した場合の内部ノード及びリーフノードの並び順を示す。ここで、「行きがけ順」とは、二分木を構成する各部分木毎に「親ノード→左ノード→右ノード」の順、又は「親ノード→右ノード→左ノード」の順で走査することを指す。図１７の例では、「０」が内部ノードを示し、「１」がリーフノードを示す。インデックス情報は、ｎ個のリーフノードが参照する中間テーブル（後述）のインデックスを示す。なお、図１７の二分木において、各ノードの左肩に示す数値ｘは、当該ノードの走査順を示す。以下、特定のノードを指す場合に「ノード（ｘ）」と表記する。

そして、参照先決定部１００５は、２次元マトリクス１０１０及び木構造情報１００２に基づいて、参照先情報１００６を生成する（Ｓ３１）。図１７に参照先情報１００６の具体例である参照先情報１００６ａ、１００６ｂを示す。参照先情報１００６ａ、１００６ｂは、２次元マトリクスの各位置（ａ〜ｆ）を示す位置情報と、当該位置情報を特定するインデックス（Ｉ〜ＶＩ）とを対応付けて保持する中間テーブルである。インデックス（Ｉ〜ＶＩ）は、木構造情報１００２のインデックス情報に対応する。つまり、二分木の各リーフノードは、参照先情報１００６ａ、１００６ｂを経由して、２次元マトリクス１０１０にアクセスする。

ここで、参照先決定部１００５は、生成される１次元シーケンスが最も短くなるような参照先情報１００６を生成する。つまり、２次元マトリクスの各位置を示す位置情報と、インデックスとの組み合わせを変更する。例えば、値割り当て部１００９ａの処理によって、より上位の内部ノードに「０」が割り当てられるような参照先情報１００６を生成する。または、符号化される量子化係数を保持する２次元マトリクスの位置が、符号化されない量子化係数を保持する２次元マトリクスの位置より走査順の早いリーフノードに割り当てられるように、参照先情報１００６を生成する。

参照先情報１００６の具体的な決定方法は特に限定されないが、例えば、予め複数の参照先情報１００６ａ、１００６ｂを用意しておき、当該複数の参照先情報１００６ａ、１００６ｂに基づいて１次元シーケンスを生成し、最も短い１次元シーケンスを生成できる参照先情報１００６を選択するようにしてもよい。または、直前に生成された参照先情報１００６ａに基づいて１次元シーケンスを生成し、当該生成された１次元シーケンスより短い１次元シーケンスが生成できるように、参照先情報１００６ａの位置情報とインデックスとの組み合わせを変更して、新たな参照先情報１００６ｂを生成してもよい。

まず、参照先情報１００６ａを用いて１次元シーケンスを生成する処理を説明する。

値割り当て部１００９ａは、木構造情報１００２で定義される二分木の各ノードに、「１」及び「０」のいずれかを割り当てる（Ｓ３２）。

まず、ｎ個のリーフノードそれぞれに対して値を割り当てる。具体的には、参照先情報１００６ａで示される２次元マトリクス１０１０の位置に保持される量子化係数を符号化する場合は「１」を割り当てる。一方、当該量子化係数を符号化しない場合は「０」を割り当てる。ここで、実施の形態１では、０でない量子化係数のみを符号化する。

例えば、ノード（３）のインデックスはＩであり、参照先情報１００６ａのインデックスＩには位置ａが対応付けられている。位置ａの量子化係数は「１５」であり、当該量子化係数は符号化されるので、ノード（３）には「１」が割り当てられる。一方、ノード（１１）のインデックスはＶＩであり、参照先情報１００６ａのインデックスＶＩには位置ｆが対応付けられている。位置ｆの量子化係数は「０」であり、当該量子化係数は符号化されないので、ノード（１１）には「０」が割り当てられる。

次に、内部ノードに対して値を割り当てる。具体的には、２つの子ノードの少なくとも一方に「１」が割り当てられている場合は「１」を割り当てる。一方、２つの子ノードのいずれにも「０」が割り当てられている場合は「０」を割り当てる。

例えば、ノード（２）の子ノードであるノード（３）及びノード（４）には「１」が割り当てられる。すなわち、ノード（２）には「１」が割り当てられる。一方、ノード（８）の子ノードであるノード（９）及びノード（１０）には「０」が割り当てられる。すなわち、ノード（８）には「０」が割り当てられる。

次に、走査部１００９ｂは、各ノードに値が割り当てられた二分木を行きがけ順で走査し、各ノードに割り当てられた値を走査順に並べる（Ｓ３３）。その結果、参照先情報１００６ａを用いることにより、１次元シーケンス（１１１１１１１００）が得られる。また、符号化される量子化係数の列は（１５，７，２）である。

次に、参照先情報１００６ｂを用いて１次元シーケンスを生成する処理を説明する。なお、参照先情報１００６ｂは、インデックスＩＩＩと位置ｆとが対応付けられ、インデックスＶＩと位置ｃとが対応付けられている点で、参照先情報１００６ａと異なる。また、１次元シーケンスの生成手順は既に説明したので、再度の説明は省略する。参照先情報１００６ｂを用いることにより、１次元シーケンス（１１１１１０１）が得られる。また、符号化される量子化係数の列は（１５，７，２）である。

図１７を参照すれば明らかなように、参照先情報１００６ａを用いた場合、ノード（８）に「０」が割り当てられる。一方、参照先情報１００６ｂを用いた場合、ノード（６）に「０」が割り当てられる。すなわち、参照先情報１００６ｂを用いることにより、より上位の内部ノードに「０」を割り当てることができる。

また、参照先情報１００６ａを用いて生成される１次元シーケンスは、９ビットである。それに対して、参照先情報１００６ｂを用いて生成される１次元シーケンスは、７ビットである。すなわち、参照先情報１００６ｂを用いることにより、より短い１次元シーケンスを生成することができる。

次に、シーケンス生成部１８０は、生成（使用）された参照先情報１００６ｂが直前に生成（使用）された参照先情報と異なるか否か（つまり、更新されたか）を判断する（Ｓ３４）。参照先情報１００６ｂが直前に生成されたものと異なる場合（Ｓ３４でＹｅｓ）、シーケンス生成部１８０は、１次元シーケンス、量子化係数の列、及び参照先情報１００６ｂをエントロピー符号化部１９０に出力する（Ｓ３５）。なお、エントロピー符号化部１９０は、参照先情報１００６ｂ全体を符号化してもよいし、直近の参照先情報１００６ａとの差分のみを符号化してもよい。

一方、参照先情報１００６ｂが直前に生成されたものと同一である場合（Ｓ３４でＮｏ）、シーケンス生成部１８０は、１次元シーケンス及び量子化係数の列をエントロピー符号化部１９０に出力する（Ｓ３６）。

上記構成とすることにより、エントロピー符号化部１９０での符号量を削減することができる。また、上記の処理は、データ量の大きい木構造情報１００２を変更することなく、参照先情報１００６の変更のみで実現することができるので、処理負荷が大きく増大することはない。

なお、実施の形態１における木構造情報１００２は、構造情報（ｚｔｒｅｅ＿ｓｔｒｕｃｔｕｒｅ）と、インデックス情報（ｚｔｒｅｅ＿ｌｅａｆ＿ｉｎｄｅｘ）とを含む。また、参照先情報１００６は、２次元マトリクス１０１０の各位置を特定する位置情報と、位置情報を特定するインデックスとを対応付けて保持する中間テーブルである。しかしながら、中間テーブルを省略し、木構造情報１００２のうちのインデックス情報を最適化する（つまり、インデックス情報が参照先情報に相当する）構成であってもよい。

次に、図１８及び図１９を参照して、実施の形態１におけるマトリクス生成処理の一例を説明する。図１８は、マトリクス生成処理のフローチャートである。図１９は、マトリクス生成処理で生成されるデータの一例を示す図である。

まず、マトリクス生成部２８０は、エントロピー復号部２９０から出力される信号を取得する。この信号には、動画像符号化装置１００で生成された１次元シーケンス（１１１１１０１）、量子化係数の列（１５，７，２）、及び新たに生成された参照先情報１００６ｂが含まれる。

そこで、マトリクス生成部２８０は、エントロピー復号部２９０から出力される信号に参照先情報１００６ｂが含まれる場合、つまり、参照先情報１００６が更新されていた場合（Ｓ４１でＹｅｓ）、当該新たな参照先情報１００６ｂで参照先情報メモリ１００７を上書きする（Ｓ４２）。一方、エントロピー復号部２９０から出力される信号に参照先情報１００６が含まれていない場合（Ｓ４１でＮｏ）、マトリクス生成部２８０は、Ｓ４２の処理を省略する。

次に、逆走査部２２０９ａは、二分木を行きがけ順で走査して、１次元シーケンスに示される値を各ノードに割り当てる（Ｓ４３）。ただし、内部ノードに「０」が割り当てられた場合に、内部ノードの子孫ノードの走査を省略する。

この逆走査処理（Ｓ４３）を図１９を用いて説明する。まず、１次元シーケンスの各値を各ノードに割り当てる。具体的には、ノード（１）〜（５）に「１」を割り当て、ノード（６）に「０」を割り当てる。ここで、内部ノードであるノード（６）に「０」が設定されたので、当該ノード（６）の子孫ノードであるノード（７）〜（１０）の走査（値の割り当て）を省略する。つまり、１次元シーケンスの最後の値「１」はノード（１１）に割り当てられる。

次に、係数割り当て部２２０９ｂは、参照先情報１００６ｂに基づいて、「１」が割り当てられたリーフノードが参照する２次元マトリクスの位置に、量子化係数の列に含まれる各係数を順に割り当てる（Ｓ４４）。これにより、２次元マトリクスが生成される。

逆走査処理（Ｓ４３）で「１」が割り当てられたリーフノードは、ノード（３）、（４）、（１１）である。また、ノード（３）には参照先情報１００６ｂのインデックスＩが、ノード（４）にはインデックスＩＩが、ノード（１１）にはインデックスＶＩがそれぞれ割り当てられている。そこで係数割り当て部２２０９ｂは、ノード（３）が参照先情報１００６ｂを経由して参照する２次元マトリクスの位置ａに量子化係数の列のうちの最初の係数「１５」を割り当てる。同様に、係数割り当て部２２０９ｂは、ノード（４）が参照する位置ｂに量子化係数「７」を、ノード（１１）が参照する位置ｃに量子化係数「２」を割り当てる。一方、「０」が設定されたリーフノード（ノード（７）、（９）、（１０））が参照する位置ｄ、ｅ、ｆには、量子化係数「０」が設定される。

上記構成によれば、データ量の大きい木構造情報１００２を変更することなく、参照先情報１００６の変更のみで、１次元シーケンスから２次元マトリクスを再構成することができるので、処理負荷が大きく増大することはない。

（実施の形態２）
次に、図２０〜図２２Ｂを参照して、本発明の実施の形態２に係る動画像符号化装置１００及び動画像復号装置２００の動作を説明する。なお、動画像符号化装置１００及び動画像復号装置２００の構成及び基本的な動作は、実施の形態１と共通するので、詳しい説明は省略する。

実施の形態１においては、２次元マトリクス中の０でない量子化係数のみを符号化する例を示したが、本発明はこれに限定されない。例えば、周波数選択符号化を利用して、符号化すべき量子化係数を選択するようにしてもよい。

つまり、予め２次元マトリクスを、第１のグループと第２のグループとに分割しておく。そして、エントロピー符号化部１９０は、第１のグループに属する全ての量子化係数と、第１のグループに属する量子化係数の値に応じて第２のグループから選択される量子化係数のみを選択的に符号化する。そして、シーケンス生成部１８０は、上記のルールに基づいて、符号化される量子化係数と、符号化されない量子化係数とを区別すればよい。

前述のように、周波数選択的更新では、低域の係数と一部の高域の係数のみが符号化され、残りの多くの係数は符号化されない。この場合、図２０の概念図に示すように、ゼロツリー構造１２０２の最も親のノード１２０３から見て、最初に走査される方の子供（この例では左から右への優先順位があるとしているので、左側の部分木１２０４）に、非ゼロ係数を持つ可能性のある係数の位置を配置し、２番目に走査される方の子供（この例では右側の部分木１２０５）に、非ゼロ係数を持たない係数の位置を全て配置する。

非ゼロ係数を持つ可能性のある状態とは、非ゼロとなる場合もゼロとなる場合もあり、ゼロと決まっているわけではない状態のことを指している。周波数選択的更新では、非ゼロ係数を持たない係数の個数が一般的には多いが、このように非ゼロ係数を持たない係数の位置を集めることで、有効ノードを示すバイナリシーケンス（１次元シーケンス）１２０６の、非ゼロ係数に関する部分シーケンス１２０７を最小限の個数とすることができる（この例では１個）。

本実施の形態２にかかる動画像符号化装置１００は、図２１のフローチャートで示すように、ゼロツリー構造を決定する。係数位置を、常にゼロ係数を持つ係数の位置と、非ゼロ係数を持つ可能性のある係数の位置とに分類する（Ｓ１３０１）。次に、非ゼロ係数を持つ可能性のある係数の位置をまず同一の子ノードの下に符号化する（Ｓ１３０２）。そして、常にゼロ係数を持つ係数の位置を別の同一の子ノードの下に符号化する（Ｓ１３０３）。これにより、有効ノードを示すバイナリシーケンスのデータ量を最小限にすることができる。

そして、図１６及び図１７を用いて説明したシーケンス生成処理は、実施の形態２に係る動画像符号化装置１００にも応用することができる。つまり、シーケンス生成部１８０の参照先決定部１００５は、符号化される非ゼロ係数が部分木１２０４に、符号化されないゼロ係数が部分木１２０５に割り当てられるように、参照先情報１００６を決定する。これにより、周波数選択符号化における１次元シーケンスを最小化することができる。

図２２Ａは、本発明の実施の形態２における動画像符号化装置の動作フローチャートである。図１５Ａを変形し、周波数選択符号化ＦＳＣにより特定位置の係数が符号化されない場合に、符号化しない係数位置を通知することに対応したものである。

ゼロツリー構造は符号化される（Ｓ２３０１）。ゼロツリー構造のリーフノードの値が示す先は、係数の位置を直接指すのではなく、並び替えのデータ配列を経由して、係数の位置情報を指し示す、間接位置情報である。

次に、フレーム単位あるいはスライス単位あるいは、複数のブロックの単位の繰り返し処理（Ｓ２３０２）において、符号化しない係数位置を決定する（Ｓ２３０３）。一方、符号化しない係数位置は、ゼロツリーの任意のリーフノードより参照しない状態として表現する。例えば、特別な値（ブロックの係数の総数を超える数値や−１など）で表現した位置更新情報を、並び替えのデータ配列上に符号化する（Ｓ２３０４）。

次いで、係数を符号化する可能性のある係数位置についてのみ、量子化係数が符号化される（Ｓ２３０５）。Ｓ２３０３〜Ｓ２３０５の処理は、Ｓ２３０１に対応して繰り返される（Ｓ２３０６）。位置更新情報の符号化Ｓ２３０４は、以前のフレームまたはスライスまたは複数のブロックと、位置情報が同じ場合には省略されうる。また、ゼロツリー構造の符号化Ｓ２３０１は、Ｓ２３０２〜Ｓ２３０６の繰り返しの中で行われることもありうる。

図２２Ｂは、本発明の実施の形態２における動画像復号装置の動作フローチャートである。図１５Ｂを変形し、周波数選択符号化ＦＳＣにより特定位置の係数が符号化されない場合に、符号化しない係数位置が通知されることに対応したものである。

ゼロツリー構造は復号され（Ｓ２３１１）、全てのリーフノードについて、リーフノードから並び替えのデータ配列上の要素を指し示す関係（つまり間接位置情報）が復号される。フレーム単位あるいはスライス単位あるいは、複数のブロックの単位の繰り返し処理（Ｓ２３１２）において、位置更新情報があれば位置情報を更新し、なければ、直前状態の位置情報を用いるなどして、位置情報を決定する（Ｓ２３１３）。

ここで、あるリーフノードに割り当てられた間接位置情報の指す、並び替えのデータ配列上の要素が、符号化しない係数位置を表現した特別な値（ブロックの係数の総数を超える数値や−１など）である場合には、そのリーフノードの値は０とする。その０となったノードの親が持つもう一方の子ノードの値も０となる場合には親ノードも０とする。

次に、根方向に向かって順に書き換えを行う（Ｓ２３１３）。さらに、並び替えのデータ配列上のどの要素からも指し示されない係数位置がある場合、その係数は符号化されない係数であるとわかり、その係数には０を設定する（Ｓ２３１４）。

次に、量子化係数をゼロツリー走査の逆走査の手順に従い、本来の係数位置へ設定していく。本発明の復号方法では、ゼロツリーのリーフノードが指し示すのは直接の係数位置ではなく、間接位置情報である。つまり、並び替えのデータ配列上の要素を指している。並び替えのデータ配列上で指し示された要素が示す先が、最終的な係数の位置情報である（Ｓ２３１５）。Ｓ２３１３〜Ｓ２３１５について、前述のＳ２３１２の単位で繰り返しを行う（Ｓ２３１６）。

また、局所適応の周波数選択符号化を実現するために、周波数選択符号化の条件が真になった場合に適用される、第２の並び替えのデータ配列を定義してもよい。

（実施の形態３）
次に、図２３を参照して、本発明の実施の形態３を説明する。実施の形態３では、実施の形態２に係るシーケンス生成処理やマトリクス生成処理を、ジグザグ走査に応用したものである。

前述のように周波数選択符号化では高域係数の符号量を抑圧している。しかしながら、エッジなどの情報量の多い領域（ブロックなどの単位）では高域係数を符号化しないと劣化がわかりやすい傾向もあるため、このような領域ではＦＳＣは行わないことが望ましい。ブロック単位のＦＳＣの有無情報を復号装置へ通知する仕組みが必要であるが、毎ブロックに情報を付与すると、ブロックが多数であるがために全体の符号量が著しく増加する課題がある。本実施の形態３における局所適応周波数選択符号化の装置及び方法は、ＦＳＣの有無に依らず常に符号化される低域係数の情報を基に、ＦＳＣの有無を決定する。

図２３を用いて局所適応周波数選択符号化を説明する。２次元の量子化変換係数ブロック１１は、第１の走査順５０２により走査されるが、あらかじめ決められた位置まで走査したのち、ＦＳＣ有無の判定を行う。この図では、位置ｅまで走査した後に判定を行う。

エッジなどの劣化を知覚しやすい領域では、低域でも大きな係数が発生している傾向がある。この傾向を利用して、低域の係数を基にＦＳＣの判定５０４を行う。係数ではなく、前述のレベルやサイン、あるいは、ゼロ係数であるか非ゼロ係数であるかを基に判定を行ってもよい。あるいは、これらの情報に位置による重み付けを行ってもよいし、何らかの関数処理を適用した後の結果を基に判定してもよい。

ここでは、第１の走査順５０２によって走査された係数シーケンス、及び第１の係数シーケンス５０３を基に、係数の絶対値の和をあらかじめ決めておいた閾値比較をしている。閾値よりも大きければ、第２の走査順５０５により残りの係数を走査する。第１の係数シーケンス５０３とあわせて、図２３のように１次元シーケンス５０６が得られる。一方、判定５０４において、低域の係数が強くは無いと判断された場合、第３の走査順５０７により残りの係数を走査する。この例では、１の位置の係数のみを走査する。第１の係数シーケンス５０３とあわせて、１次元シーケンス５０８が得られる。

なお、ここでは第１の走査順５０２と第２の走査順５０５とは独立のものとして説明したが、第１の走査順５０２と第２の走査順５０５とは連続したものである。第１の走査順５０２は、その連続した走査順の前半の一部であると考えることができる。また、この連続した走査順は、ジグザグ走査などの一般的な走査とすることで実装を容易にできる。

（実施の形態４）
前述の実施の形態２の例では、非ゼロ係数の位置を示すバイナリシーケンスのデータ量を軽減したが、さらに、非ゼロ係数を持たない係数の位置を配置した部分木１２０５を符号化しないことで、ゼロツリー構造のデータ量の削減、および有効ノードを示すバイナリシーケンスのデータ量もさらに削減する。

図２４は、本実施の形態にかかる動画像符号化方法を説明する図である。具体的には、ゼロツリー構造の決定、および非ゼロ係数の位置を示すバイナリシーケンスの決定を示した概念図である。

非ゼロ係数を持つ可能性のある係数の位置のみに対して、ゼロツリー構造１４０２と、有効ノードを示すバイナリシーケンス１４０６とを符号化する。この図では、非ゼロ係数の持つ可能性のある係数は全て非ゼロ（全て１）である例であるが、一部の係数がゼロである場合も含まれる。また、ゼロツリー構造の最も親のノード１４０３は冗長であるので、図２５に示すゼロツリー構造１５０２としてもよい。

本実施の形態４にかかる動画像符号化方法は、ゼロツリー構造の決定において、図２６のフローチャートで示すように、ゼロツリー構造を決定する。まず、係数位置を、常にゼロ係数を持つ係数の位置と、非ゼロ係数を持つ可能性のある係数（ゼロまたは非ゼロ係数になる）の位置とに分類する（Ｓ１６０１）。そして、非ゼロ係数を持つ可能性のある係数（ゼロまたは非ゼロ係数になる）の位置のみを符号化する（Ｓ１６０２）。

（実施の形態５）
前述の実施の形態３では、ジグザグ走査の場合の局所適応周波数選択符号化（局所適応ＦＳＣ）を示した。本実施の形態５では、ゼロツリー構造の場合の局所適応ＦＳＣを示す。図２７は、本実施の形態５を示す概念図である。ゼロツリー構造の既に復号された部分木１７０２の状態に応じて、後続の部分のゼロツリー構造を切り替える。

図２７の例では、切り替え判定を行うタイミングを示す仮想的なノードである条件付ノード１７０３を定義している。ゼロツリー構造の探索（あるいは、トラバース）がこのノードの位置に到達したときに、局所適応ＦＳＣの条件判定を行う。これは仮想的なノードであり、このノードに関連付けられた有効ノードを示すバイナリシーケンスの要素は不要である。この条件付ノードの判定結果が真の場合には、ゼロツリー構造の部分１７０４を選択する。そして、判定結果が真ではない場合は、ゼロツリー構造の部分１７０５を選択する。

前述の既に復号された部分木１７０２の状態とは、部分木１７０２に含まれる位置の係数そのものや、その係数のレベルやサイン、係数がゼロ係数か非ゼロ係数であるか、あるいは、ノードが有効な値を持つかなどの情報に基づき定義する。これらの情報に位置による重み付けを行ってもよいし、何らかの関数処理を適用した後の結果を基に定義してもよい。

さらには、量子化パラメータやブロックのフレーム内における位置情報、予測画像を生成する方式の種別に基づいて定義してもよい。量子化パラメータは、符号化装置側において、視覚的に劣化の目立つ領域とあまり目立たない領域へのデータ量の配分を変更するために制御するパラメータである。このパラメータに応じて、条件判定を適応させることより、劣化の目立ちにくい制御ができる。

なお、上記では、局所適応ＦＳＣの判定を行うタイミングは仮想的なノードであり、有効ノードを示すバイナリシーケンスの要素は関係付けられないとした。しかしながら、局所適応ＦＳＣの判定条件の一つとして、有効ノードを示すバイナリシーケンスの要素を関連付ける構成も考えることができる。この構成では、局所適応ＦＳＣの判定を符号化装置側より明示的に制御できるメリットがあるが、データ量が増えるデメリットもある。本実施の形態５では、関連付けられたバイナリシーケンスの要素は無いものとする。

図２８は、本実施の形態５の復号装置のブロック図である。本復号装置は、ゼロツリー復号部１８０１と、統合部１８０２と、逆量子化部１８０３と、逆直交変換部１８０４とから構成される。

ゼロツリー復号部１８０１は、ゼロツリー構造１８１１と有効ノードを示すバイナリシーケンス１８１２を入力し、ツリー上でノードの有効無効判定を行う。そして、次の有効なリーフノードが見つかるまでツリー上で探索を行い、探索されたリーフノードに関連付けられた（非ゼロの）係数の位置情報１８１４を出力する。この位置情報１８１４は、統合部１８０２に入力される。

統合部１８０２は、別途入力されるレベルとサイン１８１３を、位置情報１８１４に従って、本来の並び（２次元ブロック等）へと変換した統合信号１８１５を出力する。なお、符号化装置側でこの信号と対応するのは量子化係数のことである。

逆量子化部１８０３は、統合信号１８１５を入力し、逆量子化変換を行い、逆量子化後信号１８１６を出力する。なお、符号化装置側でこの信号と対応するのは直交変換係数のことである。逆直交変換部１８０４は、逆量子化後信号１８１６を入力とし、逆直交変換を行い、信号１８１７を出力する。

本実施の形態５における復号装置において特徴的な構成は、次の（ｉ）から（ｉｖ）をひとつ以上複数個備えることである。（ｉ）ゼロツリー復号部１８０１の過去の出力が、ゼロツリー復号部１８０１へ入力され、出力の位置情報１８１４を適応的に変化させる。（ｉｉ）過去の統合信号１８１５が、ゼロツリー復号部１８０１に入力され、出力の位置情報１８１４を適応的に変化させる。（ｉｉｉ）過去の逆量子化後信号１８１６が、ゼロツリー復号部１８０１に入力され、出力の位置情報１８１４を適応的に変化させる。（ｉｖ）その他の当該ブロック内にて利用可能な情報（信号１８１７）が、ゼロツリー復号部１８０１に入力され、出力の位置情報１８１４を適応的に変化させる。なお、（ｉ）はゼロツリー上で既に探索されたノードが持つ値を含む場合もある。

また、本実施の形態５における符号化装置は、局所適応ＦＳＣでＦＳＣの判定条件として参照される部分ゼロツリー構造、あるいは、低域の係数に対応する部分ゼロツリー構造を、第１のゼロツリー構造と呼ぶならば、第１のゼロツリー構造に属する係数の発生頻度に応じて最適となるように、第１のゼロツリー構造を決定する。同様に、局所適応ＦＳＣにより切り替えられる部分の、二つの部分ゼロツリー構造を、第２のゼロツリー構造、第３のゼロツリー構造と呼ぶならば、第２のゼロツリー構造に属する係数の発生頻度に応じて最適となるように、第２のゼロツリー構造を決定する。第３のゼロツリー構造に属する係数の発生頻度に応じて最適となるように、第３のゼロツリー構造を決定する。

図２９は、本実施の形態５にかかる符号化装置及び復号装置における、ゼロツリー復号部の局所適応処理を説明するフローチャートである。ゼロツリー復号部においては、ノードを探索していく過程において、従来とは異なり、条件付ノードが含まれる場合がある。

そこで、まず、現在の探索位置のノードのタイプを調べる（Ｓ１９０１）。次に、そのノードタイプが、条件付ではない通常のノードであれば、有効ノードを示すバイナリシーケンスから要素を一つ取り出し（Ｓ１９０３）、次のノードへ移動する（Ｓ１９０７）。

ノードのタイプが、過去に得られたノードの値に依存するタイプの条件付ノードである場合には、その条件の判定を行い、判定結果に応じてあらかじめ定義された（符号化装置より通知された）方法に従って、ツリー構造を決定する（Ｓ１９０４）。ツリー構造の決定とは、一部分の変更でもよいし、ツリーの構造は変更せずに、リーフノードと係数の位置との関係の再変更でもよい。

ツリー構造の決定後は、次のノードへ移動する（Ｓ１９０７）。ノードのタイプが、過去に得られたノードが指し示す係数の、レベル、サイン、または係数そのものに依存するタイプの条件付ノードである場合には、必要となるレベル、サイン、または係数そのものを取得する（Ｓ１９０５）。

その後、前述の判定動作Ｓ１９０４と同様に、レベル、サイン、または係数そのものに基づき、ツリー構造を決定する（Ｓ１９０６）。ツリー構造の決定後は、次のノードへ移動する（Ｓ１９０７）。次のノードへの移動（Ｓ１９０７）においては、次のノードがツリー構造に存在しない場合には、処理を終了する。

（実施の形態６）
本実施の形態６では、局所適応ＦＳＣのようにツリーの部分を変更するためのツリー構造として、一つのノードの複数の値を持たせるデータ構造、および、このデータ構造を符号化及び復号する方法を提供する。複数の値を持つノードによるツリー構造の部分変更の概念図を図３０に示す。

実施の形態６に係るゼロツリー構造では、各ノードは複数、少なくとも二つの値を持つ構造とする。ゼロツリー構造の探索開始時は、第１の値を参照する状態となる。ＦＳＣの判定が切り替えノード２０００にて真となった場合、それ以降は、第２の値を参照する状態となる。第２の値は、従来と同様に、探索時に、有効ノードを示すバイナリシーケンスから要素を取り出すことを示す値である“フェッチ”と、あらかじめ、フレーム単位やスライス単位や複数のブロックの単位で値が固定されている“デフォルト”の二種類の値を定義する。

“フェッチ”は、図３０では、内部ノードでは“−”、リーフでは係数の位置に対応するアルファベットで記載している。第２の値に“デフォルト”の０をあらかじめ入力しておくことで、ノードの無効化を記述でき、ゼロ係数の符号化をスキップできる（図３０ではノード２００２とノード２００４が相当）。

また、ノード２００３のように、第２の値に、第１の値とは異なる係数位置を設定することもメリットがある。ノード２００５とノード２００３の係数ｆ、ｃの例のように、探索までの通過すべきノード数を変更できる。このように、より発生頻度の高い係数を通過順の早いノードに移動させることで、有効ノードを示すバイナリシーケンスのデータ量を削減できる可能性が高い。

図３１は、複数の値を持つノードのうち、どの値を読むかを切り替えながら、ツリー構造を探索する、本実施の形態のツリー構造復号方法の動作フローチャートである。ここではあるノードの中でどの値を読むべきかの情報をレーンと呼ぶことにする。

まず、はじめに、レーンが初期化される（Ｓ２１０１）。次に、探索が開始されあるノードにて、ノードの形式を確認する。そのノードが局所適応ＦＳＣなどの条件判定を行う、スイッチングノードであれば（Ｓ２１０２でＹｅｓ）、関連付けられた条件判定を行う（Ｓ２１０３）。

判定結果が真であれば（Ｓ２１０３でＹｅｓ）、関連付けられたレーン変更などの動作を行い（Ｓ２１０４）、次のノードへ移動する（Ｓ２１０５）。一方、判定結果が真でなければ（Ｓ２１０３でＮｏ）、レーン変更は行わず、次のノードへ移動する（Ｓ２１０５）。

前述のノードのタイプ判定において、スイッチングノードで無ければ（Ｓ２１０２でＮｏ）、現在のノードの現在のレーンの値を読み込み（Ｓ２１０４）、ゼロツリー構造復号の通常動作を行い、次のノードへ移動する（Ｓ２１０５）。次のノードへの移動（Ｓ２１０５）は、残りのノードがあればノードのタイプ判定Ｓ２１０２へ戻り、残りのノードが無ければ終了する。

（実施の形態７）
図２７では仮想的なノードを用いる構成を示したが、ツリーが全体として大きくなることは管理上の不都合がある場合も考えられる。図３２で示すように、２次元の量子化変換係数ブロック２４０１は、第１のグループと、第２のグループにグループ化される。

第１のグループについて、ひとつの部分ゼロツリー構造２４０２を定義する。第２のグループについては、一つまたは複数個の部分ゼロツリー構造２４０３、２４０５を定義する。第２のグループの部分ゼロツリー構造２４０３、２４０５のどれが選択されるかは、第１のグループの部分ゼロツリー構造２４０２の探索（またはトラバース）後に得られる、係数やレベルやサインや有効ノードを示すバイナリシーケンスを基に決定される。

この構成では、条件分岐の仮想ノードがツリーとは別に定義されているので、ツリー構造を復号するユニットを従来から変更しなくてもよいという利点がある。第２のグループの部分ツリー構造２４０３、２４０５は、図３２では２個だが、３個以上あってもよい。また、図３２では、量子化係数グループを第１のグループと第２のグループに分割しているが、３個以上のグループに分割してもよい。

従来の固定的な走査であるジグザグ走査、および、ゼロツリー走査のどちらにおいても、量子化係数は、符号化装置により、非ゼロ係数を示すバイナリシーケンス（または、有効ノードを示すバイナリシーケンス）と、非ゼロ係数シーケンスに分解され、非ゼロ係数はレベルとサインにさらに分解される。本実施の形態７のように、量子化係数を二つ以上のグループに分割しバイナリシーケンスと非ゼロ係数シーケンス（レベルまたはサインも含む）も二つのグループに分割する必要がある。

図３３は、バイナリシーケンスと非ゼロ係数シーケンスのデータの並びを示している。第１グループの有効ノードのバイナリシーケンス２５０１の後に、第１グループの非ゼロ係数シーケンス２５０２、その後に、第２グループの有効ノードのバイナリシーケンス２５０３、その後に、第２グループの非ゼロ係数シーケンス２５０４が並ぶ。第１グループの非ゼロ係数シーケンス２５０２がこの順位にあるのは、第２グループの部分ゼロツリー構造を決定するために、非ゼロ係数を必要とするためである。

一方、非ゼロ係数を用いないで決定する場合（第１グループの有効ノードのバイナリシーケンス２５０１のみを用いる、あるいは、当該ブロックの量子化パラメータを用いるなど）には、データの並びは、第１グループの有効ノードのバイナリシーケンス２５０１、第２グループの有効ノードのバイナリシーケンス２５０３、第１グループの非ゼロ係数シーケンス２５０２、第２グループの非ゼロ係数シーケンス２５０４、という並びでもよい。さらに、二つの非ゼロ係数シーケンス２５０２、２５０４は、分割しなくてもよい。

図３４Ａは、本実施の形態７の符号化装置の各ブロックにおける動作フローチャートである。あらかじめ、フレーム単位たまはスライス単位あるいは複数のブロックの単位で、第１グループの部分ゼロツリー構造、第２グループの部分ゼロツリー構造を符号化しておく。各ブロックにおいて、第１グループの有効ノードのバイナリシーケンスを符号化する（Ｓ２６０１）。次に、第１グループの非ゼロシーケンスの符号化する（Ｓ２６０２）。次に、第２グループの部分ゼロツリー構造を決定する（Ｓ２６０３）。決定後、第２グループの有効ノードのバイナリシーケンスの符号化する（Ｓ２６０４）。そして、第２グループの非ゼロ係数シーケンスの符号化を行う（Ｓ２６０５）。

図３４Ｂは、本実施の形態７の復号装置の各ブロックにおける動作フローチャートである。復号装置と対応する動作となる。あらかじめ、フレーム単位たまはスライス単位あるいは複数のブロックの単位で、第１グループの部分ゼロツリー構造、第２グループの部分ゼロツリー構造が復号されているとする。各ブロックにおいて、第１グループの有効ノードのバイナリシーケンスを復号する（Ｓ２６１１）。次に、第１グループの非ゼロシーケンスを復号する（Ｓ２６１２）。次に、第２グループの部分ゼロツリー構造を決定する（Ｓ２６１３）。決定後、第２グループの有効ノードのバイナリシーケンスを復号する（Ｓ２６１４）。そして、第２グループの非ゼロ係数シーケンスを復号する（Ｓ２６１５）。

なお、ここで、第２グループの部分ゼロツリーは、フレーム単位などで、明示的に符号化装置より復号装置へ通知されるとしている。しかしながら、係数を複数グループに分割したことにより、グループの要素数は減少しているため、ゼロツリー走査を用いずに、従来のようにジグザグ走査を用いることで処理量を軽減できる構成も考えられる。特に、第１のグループが低域領域の狭い範囲（２×２）である場合には、ジグザグ走査の方が簡易である。

また、周波数選択符号化ＦＳＣを用いる場合、高域の係数の個数は少ないので、ゼロツリー構造を用いずに、係数位置のシーケンスを直接通知し、ゼロツリー構造は枝を持たない構造であると限定する方法が簡易である。図３５の概念図で例を示す。

図３５に示されるように、係数位置の個数ごとに、係数位置を指し示す情報を持たないゼロツリー構造２７１２、２７２２、２７３２、２７４２をあらかじめ規定しておく。そして、係数位置シーケンス２７１１、２７２１、２７３１、２７４１と、係数位置を指し示す情報を持たないゼロツリー構造２７１２、２７２２、２７３２、２７４２とを組み合わせることで、ゼロツリー構造２７１３、２７２３、２７３３、２７４３を得ている。

係数位置を指し示す情報を持たないゼロツリー構造２７１２、２７２２、２７３２、２７４２は、複数のフレームの符号化を行う先頭のみで送るか、あるいは、複数のフレームの単位で送るなどのように、送出頻度を抑えることで、データ量を削減できる。周波数選択符号化ＦＳＣの場合のように、多くの応用例では、係数位置を指し示す情報を持たないゼロツリー構造は複数のフレームにわたって変化せず、係数の位置のみが更新されるので、効果を期待できる。

（実施の形態８）
２次元の量子化変換係数ブロック２４０１を、第１のグループと、第２のグループにグループ化する実施の形態７の変形例として、より少ないデータ量で第２のグループの部分ゼロツリー構造を符号化、及び復号する方法を提供する。

局所適応の周波数選択符号化では、第２グループの符号化する係数位置がフレーム単位（やスライス単位や複数のブロック単位）で更新されるが、係数の個数は一定であり、係数の位置のみが変化する。したがって、第２のグループの部分ゼロツリー構造のみを更新できれば、更新に必要なデータ量を最小限とできる。さらに、図３５で示したような、係数位置を指し示す情報を持たないゼロツリー構造をあらかじめ定義しておけば、各フレームにおいては、符号化する係数位置のシーケンスのみを符号化すればよい。図３６の概念図を用いて説明する。

複数のフレームの単位で、第１グループの部分ゼロツリー構造２７０２を符号化し、第２グループの部分ゼロツリー構造のうち、周波数選択符号化が当該ブロックにおいて真となる場合に選択される第２の部分ゼロツリー構造２７０３を符号化し、さらに、第２グループの残りの部分ゼロツリー構造２７０４を符号化する。

周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０３は、図３６に示すように、係数位置を指し示す情報を持っていてもよいし、あるいは、係数位置を指し示す情報を持たないゼロツリー構造でもよい。いずれの場合でも、各フレーム単位において、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０３を、各フレーム単位で符号化する係数位置のシーケンスを上書きする（または組み合わせる）ことで、各フレームにおける、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造を得る。

フレームｆ１において、係数位置シーケンス２７０５を、第２の部分ゼロツリー構造２７０３と組み合わせ、フレームｆ１における、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０６を得る。同様に、フレームｆ２において、係数位置シーケンス２７０７を、第２の部分ゼロツリー構造２７０３と組み合わせ、フレームｆ２における、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０８を得る。

（実施の形態９）
上記実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図３７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３７のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図３８は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図３９を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４０に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図４１は、上記実施の形態で説明した画像復号方法および画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４２に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図４３に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態１０）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４４に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、本発明に係る画像符号化方法、画像符号化装置、画像復号方法および画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明は、画像符号化方法（装置）及び画像復号方法（装置）に有利に利用される。

１１，２１，６１，７１，２４０１ 量子化変換係数ブロック
１２ ジグザグ走査順
１３，２２，３３，５０６，５０８ １次元シーケンス
２３，６６，７２，１２０６，１４０６，１８１２，２５０１，２５０３ バイナリシーケンス
２４ 非ゼロ係数シーケンス
３２ ＦＳＣ走査順
６２ ツリー構造
６５ ゼロツリー走査順
７３，１２０３，１４０３，２００２，２００３，２００４，２００５ ノード
１００ 動画像符号化装置
１０５ 減算器
１１０ 変換／量子化部
１２０ 逆量子化／逆変換部
１２５，２２５ 加算器
１３０，２３０ デブロッキングフィルタ
１４０，２４０ メモリ
１５０，２５０ 補間フィルタ
１６０，２６０ 動き補償予測部
１６５ 動き予測部
１７０，２７０ イントラフレーム予測部
１７５，２７５ スイッチ
１８０ シーケンス生成部
１９０ エントロピー符号化部
２００ 動画像復号装置
２２０ 逆量子化／逆変換部
２８０ マトリクス生成部
２９０ エントロピー復号部
５０２ 第１の走査順
５０３ 第１の係数シーケンス
５０４ 判定
５０５ 第２の走査順
５０７ 第３の走査順
１０００ 構造情報
１００１ 木構造決定部
１００２，１００４ 木構造情報
１００３ 木構造情報メモリ
１００５ 参照先決定部
１００６，１００６ａ，１００６ｂ，１０１３ 参照先情報
１００７ 参照先情報メモリ
１００９ 係数走査ユニット
１００９ａ 値割り当て部
１００９ｂ 走査部
１０１０ ２次元マトリクス
１０１１ トリガ信号
１０１２ 情報
１０３０ 伝送路
１１０１ データ配列
１１０２ 要素
１１０３ インデックスポインタ
１２０２，１４０２，１５０２，１８１１，２７１２，２７１３，２７２２，２７２３，２７３２，２７３３，２７４２，２７４３ ゼロツリー構造
１２０４，１２０５，１７０２ 部分木
１２０７ 部分シーケンス
１７０３ 条件付ノード
１７０４，１７０５ 部分
１８０１ ゼロツリー復号部
１８０２ 統合部
１８０３ 逆量子化部
１８０４ 逆直交変換部
１８１３ レベルとサイン
１８１４ 位置情報
１８１５ 統合信号
１８１６ 逆量子化後信号
１８１７ 信号
２０００ 切り替えノード
２２０９ 係数逆走査ユニット
２２０９ａ 逆走査部
２２０９ｂ 係数割り当て部
２４０２，２４０３，２４０５，２７０２，２７０４ 部分ゼロツリー構造
２５０２，２５０４ 非ゼロ係数シーケンス
２７０３，２７０６，２７０８ 第２の部分ゼロツリー構造
２７０５，２７０７，２７１１，２７２１，２７３１，２７４１ 係数位置シーケンス
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６，ｅｘ１０７，ｅｘ１０８，ｅｘ１０９，ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３，ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４，ｅｘ２０５，ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３，ｅｘ２１９ モニタ
ｅｘ２１４，ｅｘ２１５，ｅｘ２１６，ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６，ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８，ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０，ｅｘ５０１ 制御部
ｅｘ３１１，ｅｘ５０５，ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４，ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８，ｅｘ３１９，ｅｘ３２０，ｅｘ３２１，ｅｘ４０４，ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

本発明は、動画像データを圧縮する符号化に関し、特に、高い符号化効率を実現する動画像符号化方法、動画像復号方法およびその装置に関する。特に量子化された非ゼロ係数の位置の記述方法を適応的に変化させるものである。

動画像データは、ビデオ電話やビデオ会議からＤＶＤやデジタルテレビにわたって、広く応用されている。動画像データを送信または記録する際には、相当量のデータが限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信されるか、もしくは限られたデータ容量をもつ従来の記録メディアに格納されなければならない。そのため、デジタルデータを従来のチャンネルに送信、またはメディアに格納するためには、デジタルデータ量を圧縮もしくは削減することが不可欠である。

動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このような動画像規格には、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔ規格、及びＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣ規格がある。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格（非特許文献１）である。

これら規格の多くの基礎となる符号化アプローチは、以下に示す主なステージを含む。

（ａ）個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、それぞれのビデオフレームを複数の画素ブロックに分割する。
（ｂ）動画像データのそれぞれのブロックを空間領域から周波数領域に変換する。
（ｃ）周波数領域の変換係数を量子化することによって、全体のデータ量を削減する。
（ｄ）量子化変換係数をエントロピー符号化する。
（ｅ）連続するフレームのブロック間の変化のみを符号化するために、連続するフレームのブロック間の時間的依存性を利用する。これは、動き予測及び補償技術を用いる。

画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周波数要素で表すことによって実現できる。自然画像コンテンツの周波数成分は、その多くが低周波数領域の係数に集中している。高周波成分は人間の目にはほとんど影響がないため、符号化対象となるデータ量を減らすために、削除もしくは量子化される。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、およびＨ．２６４／ＡＶＣといった現在の動画像符号化規格は、量子化後の周波数係数をさらに圧縮するためにエントロピー符号化を用いる。

このエントロピー符号化は、２次元の量子化変換係数ブロックを１次元シーケンスに変換するために、量子化された変換係数の２次元ブロックを走査する処理を含む。ジグザグ走査のような所定の走査方法が用いられる場合と、ゼロツリー走査方法（特許文献２）が用いられる場合がある。

図１はジグザグ走査の概念図である。２次元の量子化変換係数ブロック１１を図のジグザグ走査順１２で走査すると、量子化変換係数の１次元シーケンス１３が得られる。この走査は、最低周波数係数（つまり、ＤＣ係数）から開始され、ブロックのゼロでない全ての係数が走査されると同時に終了する。このような走査方法の問題点の一つは、ゼロでない最後の係数に達するまでに多くのゼロである係数を走査しなければならないことである。

このようにして取得された量子化変換係数の１次元シーケンスは、非ゼロ係数と、ゼロ係数とに分離される。非ゼロ係数は、レベル及びサインと呼ばれる一連のいくつかの組として表現される。レベルは絶対値のことであり、サインは＋−の符号のことである。図２は非ゼロ係数とゼロ係数への分離の概念図である。幾つかの０を要素に持つ量子化変換係数ブロック２１を入力として説明すると、これは前述のように１次元シーケンス２２へと走査される。この１次元シーケンスは、非ゼロ係数の位置を示すバイナリシーケンス２３と非ゼロ係数を集めた非ゼロ係数シーケンス２４へと分離される。

多くの応用において、符号化動画像データの蓄積又は転送が可能な量もしくは帯域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性がある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮率を増加させることは、符号化画像の画質劣化を引き起こす。

ゼロである係数の冗長性を軽減する技術として周波数選択符号化（Ｆｒｅｑｕｅｎｃｙ Ｓｅｌｅｃｔｉｖｅ Ｃｏｄｉｎｇ）が知られている（特許文献１）。人間の視覚特性が高域には鈍感である性質を利用し、高域係数の符号化頻度を抑えること、及び、特定の高域係数位置には同一フレーム内で全く係数を符号化せず、ゼロである係数のデータ量を軽減できるようにした符号化方法及び復号方法である。

図３は周波数選択符号化ＦＳＣの概念図である。２次元の量子化変換係数ブロック１１は、ＦＳＣ走査順３２によりａ、ｂ、ｅ、ｌの位置のみが走査され、それ以外の位置は走査されない。これにより得られる１次元シーケンス３３のデータ個数を大幅に軽減できる。高域を複数のフレームにわたって循環的に符号化することにより、劣化を抑えることができる。図４は循環的な高域符号化の概念図であり、フレームｆ１では高域６を、フレームｆ２では高域７を、フレームｆ３では高域８を符号化する例である。

前述のように周波数選択符号化では高域係数の符号量を抑圧している。しかしながら、エッジなどの情報量の多い領域（ブロックなどの単位）では、高域係数を符号化しないと劣化を視認できる場合もある。

前述のゼロツリー走査方法（特許文献２）を説明する。図５はゼロツリー走査方法の概念図である。ゼロツリー走査方法では、２次元の量子化変換係数ブロック６１に対して、各係数の位置をツリー構造６２で表現する。ツリーはノードにより構成され、子を持つノードを内部ノード、子を持たないノードをリーフノードと呼ぶ。

このツリー構造に対して、深さ方向優先で左から右へ探索した時に、通過したリーフノードの順番が、量子化変換係数ブロック６１に対するゼロツリー走査順６５となる。ノードが有効な値を持つか（内部ノードの場合には子ノードを持つか、リーフノードの場合には係数を持つか）を通過順に示す情報を、有効ノードを示すバイナリシーケンス６６、あるいは、ノードの値を示すバイナリシーケンス６６と呼ぶ。

この例では有効ノードを示すバイナリシーケンス６６（あるいは、ノードの値を示すバイナリシーケンス）はノードの数だけ要素１を持つ。この例では全てのノードが有効（値が１、つまり、リーフノードは係数を持ち、中間ノードは有効な子ノードを持つ）であるため、要素は全て１となった。しかしながら、あるリーフや中間ノードが有効ではない場合は、要素は０となる。中間ノードが０となる場合は、その子ノードの探索を行わない。つまり、その子（さらに子があればその子も）のノードに関する値を記述する必要がなくなるので、有効ノードを示すバイナリシーケンス６６は短くなる。

例えば、図６に示されるように、幾つかの０を要素に持つ量子化変換係数ブロック７１に対して、前述のツリー構造６２で走査する。このとき、ノード７３の子ノードは全て値を持たないので、ノード７３の値は０と示す。復号時においては、あるノードが０の値を持つとき、その子ノードは値を持たないことがわかる。この例に対応する、有効ノードを示すバイナリシーケンス７２は図示したようになり、図５の例と比べて、データ量を削減できることがわかる。

図５及び図６で示したようにツリー構造６２は、ジグザグ走査と比べてデータ構造が複雑であり、符号化及び復号の処理量やメモリ量が多い。そのため、ツリー構造データの全体を頻繁に符号化することは冗長である。しかし、周波数選択的更新や、周波数選択的符号化の場合には、発生しにくい係数の位置、あるいは、発生しない係数の位置がフレームなどの単位で更新させる必要があり、効率的なデータ記述が望まれる。

また、ジグザグ走査の場合には、走査が一筆書きであるため、周波数選択的符号化において、符号化しなかったゼロ係数の個数に基づき、容易に、非ゼロ係数の位置を特定できた。しかし、ゼロツリー走査順では、係数の位置は分岐して記述されるため、符号化しなかったゼロ係数の有無の前後において係数の位置関係を把握するのが容易ではないという課題がある。

国際公開第２００６／１１８２８８号 米国特許出願公開第２００６／０１３３６８０号

ＩＴＵ−Ｔ Ｒｅｃ．Ｈ２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０ ｖｅｒｓｉｏｎ １ "Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ"

本発明は、画質を劣化させず、かつ高いデータ圧縮率を実現する動画像符号化方法、動画像復号方法およびその装置を提供することを目的とする。

本発明の一形態に係る符号化方法は、画像を符号化する方法である。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換ステップと、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、前記シーケンス生成ステップで生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化ステップとを含む。前記シーケンス生成ステップは、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップと、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当てステップと、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査ステップとを含む。

上記構成のように、１次元シーケンスを生成するたびに参照先情報を更新することにより、１次元シーケンスの符号量を削減することができる。その結果、符号化効率の高い復号方法を実現することができる。また、木構造情報そのものを変更する必要がないので、処理負荷を軽減することができる。

一形態として、前記値割り当てステップでは、前記ｎ個のリーフノードそれぞれに対して、前記参照先情報で示される前記２次元マトリクスの位置に保持される前記量子化係数を、前記符号化ステップで符号化する場合に前記第１の値を割り当て、前記符号化ステップで符号化しない場合に前記第２の値を割り当て、前記内部ノードに対して、２つの子ノードの少なくとも一方に前記第１の値が割り当てられている場合に前記第１の値を割り当て、２つの子ノードのいずれにも前記第２の値が割り当てられている場合に前記第２の値を割り当る。前記走査ステップでは、前記内部ノードに前記第２の値が割り当てられていた場合に、当該内部ノードの子孫ノードの走査を省略する。そして、前記参照先決定ステップでは、前記走査ステップで生成される前記１次元シーケンスが最も短くなるように、前記参照先情報を決定してもよい。上記構成のように、１次元シーケンスが最も短くなるように参照先情報を更新することにより、符号量を削減することができる。

また、前記符号化ステップでは、前記参照先決定ステップで生成された参照先情報が直前の参照先情報と異なる場合に、さらに、当該生成された参照先情報を符号化してもよい。このように、更新された場合にのみ参照先情報を符号化することにより、符号化効率の悪化を抑制することができる。

また、前記参照先情報は、前記２次元マトリクスの各位置を特定する位置情報と、前記位置情報を特定するインデックスとを対応付けて保持する中間テーブルであってもよい。そして、前記木構造情報は、前記二分木の構造を特定する構造情報と、前記ｎ個のリーフノードが参照する前記中間テーブルのインデックスを示すインデックス情報とを含んでもよい。これにより、既存の復号装置への影響が極小化されるので、レガシー資産を有効利用することができる。

また、前記参照先情報決定ステップでは、符号化される前記量子化係数を保持する前記２次元マトリクスの位置が、符号化されない前記量子化係数を保持する前記２次元マトリクスの位置より走査順の早い前記リーフノードに割り当てられるように、前記２次元マトリクスの各位置とインデックスとの組み合わせを変更してもよい。これにより、１次元シーケンスを短くすることができる。

一形態として、前記符号化ステップでは、前記ｎ個の量子化係数のうち、０でない量子化係数のみを選択的に符号化してもよい。他の形態として、前記２次元マトリクスは、第１のグループと第２のグループとに分割されている。そして、前記符号化ステップでは、前記第１のグループに属する全ての前記量子化係数と、前記第１のグループに属する前記量子化係数の値に応じて前記第２のグループから選択される前記量子化係数のみを選択的に符号化してもよい。

本発明の一形態に係る復号方法は、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する方法である。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号ステップと、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成ステップと、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化ステップと、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換ステップとを含む。そして、前記マトリクス生成ステップは、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当てるステップであって、前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査ステップと、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当てステップとを含む。

本発明の一形態に係る符号化装置は、画像を符号化する装置である。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換部と、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化部と、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成部と、前記シーケンス生成部で生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化部とを備える。そして、前記シーケンス生成部は、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定部と、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当て部と、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査部とを備える。

本発明の一形態に係る復号装置は、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する装置である。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号部と、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成部と、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化部と、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換部とを備える。そして、前記マトリクス生成部は、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当て、且つ前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査部と、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当て部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、画像を符号化させる。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換ステップと、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、前記シーケンス生成ステップで生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化ステップとを含む。そして、前記シーケンス生成ステップは、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップと、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当てステップと、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査ステップとをコンピュータに実行させる。

本発明の他の形態に係るプログラムは、コンピュータに、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成させる。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号ステップと、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成ステップと、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化ステップと、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換ステップとを含む。そして、前記マトリクス生成ステップは、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当てるステップであって、前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査ステップと、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当てステップとをコンピュータに実行させる。

本発明の一形態に係る集積回路は、画像を符号化する。具体的には、前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換部と、前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化部と、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成部と、前記シーケンス生成部で生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化部とを備える。そして、前記シーケンス生成部は、前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定部と、前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当て部と、前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査部とを備える。

本発明の他の形態に係る集積回路は、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する。具体的には、前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号部と、前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成部と、前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化部と、前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換部とを備える。そして、前記マトリクス生成部は、前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当て、且つ前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査部と、前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当て部とを備える。

前記従来の課題である、ゼロツリー走査において周波数適応符号化を適用すると、非ゼロ係数の位置関係の管理が困難である課題を解決するために、本発明の動画像符号化方法は、ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数をポジション情報とレベルとサイン（符号）へ符号化し、前記複数の量子化係数を少なくとも２つ以上の係数グループに分割し、第１のグループのポジション情報とレベルとサイン（符号）を符号化し、第２のグループの係数のサブセットを選択するか全体を選択するかを決定し、前記選択された係数のポジション情報とレベルとサインを符号化することを特徴とする動画像符号化方法である。

本発明によって、低域の係数の位置情報を符号化した後、ただちに、低域の係数を符号化させ、低域部分の必要な情報を全て揃えることで、後続の高域部分とデータの並び上において処理を独立させることにより、ゼロ係数のスキップがあっても、非ゼロ係数の位置関係の把握が容易になる。

本発明の動画像復号方法は、複数の画素をブロックに分割して符号化したデータを復号する動画像復号方法であって、当該ブロックの非ゼロ係数のポジション情報を非ゼロ係数の有無情報と非ゼロ係数の位置のツリー構造情報とから復号し、非ゼロ係数のレベルとサイン（符号）を復号し、前記非ゼロ係数のポジション情報と前記レベルと前記サインとを統合し、前記統合信号を逆量子化し、前記逆量子化信号を逆直交変換し画素値へと変換し、当該ブロックの非ゼロ係数のポジション情報の前記復号は、ある非ゼロ係数のポジション情報の決定時点において復号済みの非ゼロ係数の情報に応じて変化することを特徴とする動画像復号方法である。

また、当該ブロックの非ゼロ係数のポジション情報の前記復号は、下記（ｉ）〜（ｉｖ）の少なくとも１つに応じて復号される。（ｉ）復号済みの前記非ゼロ係数のポジション情報、（ｉｉ）復号済みの前記統合信号、（ｉｉｉ）復号済みの逆量子化信号、（ｉｖ）量子化パラメータ。

本発明の動画像符号化方法によれば、ゼロツリー構造のツリー部分のデータ（木構造情報）を変更せずに、容易に係数の位置を変更できる。その結果、符号化効率の高い動画像符号化方法を実現することができる。

図１は、従来のジグザグ走査の概念図である。 図２は、従来の非ゼロ係数とゼロ係数への分離の概念図である。 図３は、従来の周波数選択符号化ＦＳＣの概念図である。 図４は、従来の周波数選択符号化ＦＳＣの時間変化の概念図である。 図５は、従来のゼロツリー走査方法の概念図である。 図６は、従来のゼロツリー走査方法の概念図である。 図７は、本発明の実施の形態１に係るリーフと係数位置との対応関係のみを更新する方法の概念図である。 図８は、実施の形態１に係るリーフと係数位置との対応関係のみを更新するための中間メモリの概念図である。 図９は、実施の形態１に係る動画像符号化装置のブロック図である。 図１０は、図９に示される動画像符号化装置の動作を示すフローチャートである。 図１１は、実施の形態１に係る動画像復号装置のブロック図である。 図１２は、図１１に示される動画像復号装置の動作を示すフローチャートである。 図１３は、実施の形態１に係るシーケンス生成部のブロック図である。 図１４は、実施の形態１に係るマトリクス生成部のブロック図である。 図１５Ａは、実施の形態１に係る動画像符号化方法を示すフローチャートである。 図１５Ｂは、実施の形態１に係る動画像復号方法を示すフローチャートである。 図１６は、実施の形態１に係るシーケンス生成処理を示すフローチャートである。 図１７は、図１６のシーケンス生成処理を示す概念図である。 図１８は、実施の形態１に係るマトリクス生成処理を示すフローチャートである。 図１９は、図１８のマトリクス生成処理を示す概念図である。 図２０は、実施の形態２に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２１は、実施の形態２に係る動画像符号化方法を示すフローチャートである。 図２２Ａは、実施の形態２に係る動画像符号化方法を示すフローチャートである。 図２２Ｂは、実施の形態２に係る動画像復号化装置を示すフローチャートである。 図２３は、実施の形態３に係る局所適応ＦＳＣの概念図である。 図２４は、実施の形態４に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２５は、実施の形態４に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２６は、実施の形態４に係る動画像符号化方法の動作フローチャートである。 図２７は、実施の形態５に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図２８は、実施の形態５に係る復号化済みのデータに応じてツリー構造を更新するゼロツリー復号部と周辺のブロック図である。 図２９は、実施の形態５に係る復号化済みのデータに応じてツリー構造を更新するゼロツリー復号部の動作フローチャートである。 図３０は、実施の形態６に係る複数の値を持つノードのツリー構造の探索に関する概念図である。 図３１は、実施の形態６に係る複数の値を持つノードのツリー構造の探索に関する動作フローチャートである。 図３２は、実施の形態７に係る動画像符号化方法の生成するツリー構造に関連するデータの概念図である。 図３３は、実施の形態７に係るバイナリシーケンスと非ゼロ係数シーケンスのデータの並びを示す図である。 図３４Ａは、実施の形態７に係る動画像符号化方法を示すフローチャートである。 図３４Ｂは、実施の形態７に係る動画像復号方法を示すフローチャートである。 図３５は、実施の形態７に係る係数位置を指し示す情報を持たないゼロツリー構造の一例を示す概念図である。 図３６は、実施の形態８における係数位置を指し示すシーケンスを符号化する一例を示す概念図である。 図３７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図３８は、携帯電話の外観を示す図である。 図３９は、携帯電話の構成例を示すブロック図である。 図４０は、デジタル放送用システムの全体構成の一例を示す模式図である。 図４１は、テレビの構成例を示すブロック図である。 図４２は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図４３は、光ディスクである記録メディアの構造例を示す図である。 図４４は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。

（実施の形態１）
まず、図７及び図８を参照して、本発明の実施の形態１に係る符号化方法及び復号方法の概念を説明する。前述のように、周波数選択的更新では、発生しない係数の位置が少なくともフレーム単位に変化するが、ツリー構造６２は複雑であるため、頻繁に更新するのは冗長である。これを解決するため、図７の概念図で示しているように、ツリー構造６２のうち、ノード間の接続関係は更新せずに、リーフノードと係数との位置関係の対応のみを更新する。

また、図８の概念図で示すように、リーフノードと係数との位置関係の対応の間に、並び替え用のデータ配列（「参照先情報」ともいう）１１０１を設けることで、係数の位置情報のみの更新を実現できる。あるリーフノードの値は、データ配列１１０１内の順番を指し示しており、指し示された要素は、係数の位置を示している。

この例では、３の値を持つリーフノードの位置は、データ配列１１０１の３番目の要素を参照して得られる。フレームｆ１の時点におけるデータ配列１１０１の３番目の要素は、係数の位置ａを指している。一方、フレームｆ２の時点におけるデータ配列１１０１の３番目の要素は、係数の位置ｂを指している。

データ配列はツリー構造のような複雑さは無いので容易に実現できる。別の表現を用いると、リーフノードが指し示す位置情報とは、間接位置情報であり、データ配列１１０１上の位置を示している。データ配列１１０１の中で、指し示された要素の値が指しているのが、係数の位置情報である。

また、図８の係数ゼロを示す要素１１０２のように、ブロックの係数位置ａ〜ｆ以外の値を割り当てることで、この要素を指しているリーフノード（値５を持つノード）は、非ゼロ係数を持たないことを示すことができる。この場合では、係数位置ｆは、インデックスポインタ１１０３のいかなる要素からも指されていないので、非ゼロ係数を持たない、つまり、係数はゼロであることがわかる。

次に、図９及び図１０を参照して、本発明の実施の形態１に係る動画像符号化装置１００を説明する。図９は、動画像符号化装置１００の機能ブロック図である。図１０は、動画像符号化装置１００の動作を示すフローチャートである。

動画像符号化装置１００は、図９に示されるように、減算器１０５と、変換／量子化部１１０と、逆量子化／逆変換部１２０と、加算器１２５と、デブロッキングフィルタ１３０と、シーケンス生成部１８０と、エントロピー符号化部１９０と、符号化信号を出力する出力部（図示省略）と、予測ブロック生成部（図示省略）とを備える。

この動画像符号化装置１００は、入力信号としての動画像信号を符号化し、符号化信号を出力する。出力先は特に限定されないが、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体でもよいし、伝送路を通じて動画像復号装置２００に伝送してもよい。

減算器１０５は、符号化対象ブロック（入力信号）から予測ブロック（予測信号）を減算して予測誤差信号を生成する。変換／量子化部１１０は、予測誤差信号をＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）すると共に、量子化して量子化係数を生成する。より具体的には、動画像信号の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する。そして、当該２次元マトリクスを構成するｎ個の係数それぞれを量子化して、ｎ個の量子化係数を生成する。

シーケンス生成部１８０は、ｎ個の量子化係数を含む２次元マトリクスを、１次元シーケンスと量子化係数とに分割する。シーケンス生成部１８０の具体的な動作は、後述する。エントロピー符号化部１９０は、シーケンス生成部１８０から出力される１次元シーケンス等をエントロピー符号化して符号化信号を生成する。

逆量子化／逆変換部１２０は、変換／量子化部１１０から出力された量子化係数を逆量子化すると共に、ＤＣＴ逆変換して量子化予測誤差信号を生成する。加算器１２５は、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。

予測ブロック生成部は、符号化対象ブロック（入力信号）より前に符号化された画像に基づいて、当該符号化対象ブロックを予測した予測信号を生成する。この予測ブロック生成部は、メモリ１４０と、補間フィルタ１５０と、動き予測部１６５と、動き補償予測部１６０と、イントラフレーム予測部１７０と、スイッチ１７５とによって構成されている。

メモリ１４０は、復号信号を一時記憶する遅延器として機能する。より具体的には、変換／量子化部１１０で量子化され、且つ逆量子化／逆変換部１２０で逆量子化されたブロックを順次記憶し、１枚の画像（ピクチャ）を記憶する。補間フィルタ１５０は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１６５は、復号信号と次の符号化対象ブロックとに基づいて動き予測を行い、動きデータ（動きベクトル）を生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測信号を生成する。イントラフレーム予測部１７０は、復号信号を画面内予測して予測信号を生成する。スイッチ１７５は、予測モードとして「イントラ」モード及び「インター」モードのいずれかを選択する。そして、スイッチ１７５から出力される予測ブロックは、次の符号化対象ブロックを予測した信号となる。

次に、図１０を参照して、動画像符号化装置１００の動作を説明する。

まず、減算器１０５は、入力信号から予測信号を減算して、予測誤差信号を生成する（Ｓ１１）。次に、変換／量子化部１１０は、予測誤差信号をＤＣＴ変換すると共に、量子化して量子化係数を生成する（Ｓ１２）。ここで、変換／量子化部１１０から出力されるのは、ｎ個（典型的には、８×８＝６４個）の量子化係数で構成される２次元マトリクスである。

次に、シーケンス生成部１８０は、変換／量子化部１１０から出力される２次元マトリクスを１次元シーケンスに変換するシーケンス生成処理を実行する（Ｓ１３）。シーケンス生成処理の詳細は、後述する。次に、エントロピー符号化部１９０は、１次元シーケンス、量子化係数、動きデータ、及び参照先情報（後述）等をエントロピー符号化して符号化信号を生成する（Ｓ１４）。

一方、エントロピー符号化部１９０の動作と平行して、逆量子化／逆変換部１２０は、変換／量子化部１１０から出力される量子化係数を逆量子化すると共に、ＤＣＴ逆変換して量子化予測誤差信号を生成する。また、加算器１２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。デブロッキングフィルタ１３０は、再構築信号からブロック歪みを除去して復号信号を生成する。そして、予測ブロック生成部は、復号信号に基づいて予測ブロックを生成する（Ｓ１６）。

次に、図１１及び図１２を参照して、本発明の一実施形態に係る動画像復号装置２００の構成及び動作を説明する。図１１は、動画像復号装置２００のブロック図である。図１２は、動画像復号装置２００の動作を示すフローチャートである。

動画像復号装置２００は、図１１に示されるように、符号化信号を取得する取得部（取得部）と、エントロピー復号部２９０と、マトリクス生成部２８０と、逆量子化／逆変換部２２０と、加算器２２５と、デブロッキングフィルタ２３０と、予測ブロック生成部（図示省略）とを備える。この動画像復号装置２００は、図９に示される動画像符号化装置１００で符号化された符号化信号を復号して復号ブロック（復号信号）を生成する。

エントロピー復号部２９０は、動画像符号化装置１００から出力された符号化信号をエントロピー復号して、１次元シーケンス、量子化係数、動きデータ、及び参照先情報を取得する。マトリクス生成部２８０は、１次元シーケンスと量子化係数とを結合して、ｎ個の量子化係数で構成される２次元マトリクスを生成する。マトリクス生成部２８０の具体的な動作は、後述する。

逆量子化／逆変換部２２０は、マトリクス生成部２８０から出力される２次元マトリクスの各量子化係数を逆量子化すると共に、ＤＣＴ逆変換することにより、量子化予測誤差信号を生成する。加算器２２５は、逆量子化／逆変換部２２０から出力される量子化予測誤差信号と、予測ブロック生成部から出力される予測信号とを加算して、再構築信号を生成する。デブロッキングフィルタ２３０は、加算器２２５から出力される再構築信号に対して適用され、ブロックのエッジを平滑化して主観的画質を改善する。

予測ブロック生成部は、メモリ２４０と、イントラフレーム予測部２７０と、動き補償予測部２６０と、補間フィルタ２５０と、スイッチ２７５とを備える。この予測ブロック生成部は、基本的な構成及び動作は共通するが、動き予測部１６５を省略して、動きデータをエントロピー復号部２９０から取得する点が異なる。

次に、図１２を参照して、動画像復号装置２００の動作を説明する。

まず、エントロピー復号部２９０は、符号化信号をエントロピー復号して、１次元シーケンス、量子化係数、動きデータ、及び参照先情報を取得する（Ｓ２１）。次に、マトリクス生成部２８０は、１次元シーケンスと量子化係数とを結合して２次元マトリクスを生成するマトリクス生成処理を実行する（Ｓ２２）。マトリクス生成処理の詳細は、後述する。

次に、逆量子化／逆変換部２２０は、マトリクス生成部２８０から出力される２次元マトリクスの各量子化係数を逆量子化すると共に、ＤＣＴ逆変換することにより、量子化予測誤差信号を生成する（Ｓ２３）。次に、加算器２２５は、量子化予測誤差信号と予測ブロックとを加算して再構築信号を生成する。また、デブロッキングフィルタ２３０は、再構築信号からブロック歪みを除去して復号信号を生成する。そして、動画像復号装置２００は、当該復号信号を出力（典型的には、ディスプレイに表示）する（Ｓ２４）。一方、予測ブロック生成部は、再構築信号を用いて、予測信号を生成する（Ｓ２５）。

図１３は本実施の形態１におけるシーケンス生成部１８０のブロック図である。シーケンス生成部１８０は、木構造決定部１００１と、木構造情報メモリ１００３と、参照先決定部１００５と、参照先情報メモリ１００７と、係数走査ユニット１００９とを備える。

木構造決定部１００１は、あらかじめ決められた構造情報１０００、あるいは、直前に符号化したフレームやスライスの係数の発生頻度や強度情報等を基に、木構造情報１００２を決定する。木構造決定部１００１は、決定した木構造情報１００２を、木構造情報メモリ１００３へ格納するとともに、蓄積メディアや伝送路１０３０へ出力する。同時にリーフノードに格納する参照先情報１０１３の初期値を決定し、参照先情報メモリ１００７へ格納する。

ここで、木構造情報１００２は、内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木（「ゼロツリー」ともいう）を定義する情報である。参照先情報１０１３は、ｎ個のリーフノードそれぞれが参照する２次元マトリクスの位置を示す情報である。

ｎ個の量子化係数で構成される２次元マトリクス１０１０は、係数走査ユニット１００９に入力される。係数走査ユニット１００９は、木構造情報メモリ１００３から読み出した木構造情報１００４と、参照先情報メモリ１００７から読み出した参照先情報１００６とを基に、ゼロツリーの走査方法に従って係数を走査し、有効ノードを示すバイナリシーケンスと非ゼロ係数のレベルとサインの情報１０１２へ変換し、蓄積メディアや伝送路１０３０へ出力する。

より具体的には、係数走査ユニット１００９は、木構造情報１００４、参照先情報１００６、及びｎ個の量子化係数を含む２次元マトリクス１０１０に基づいて１次元シーケンスを生成する。この係数走査ユニット１００９は、値割り当て部１００９ａと、走査部１００９ｂとで構成される。

値割り当て部１００９ａは、木構造情報１００４で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる。実施の形態１において、第１の値は「１」、第２の値は「０」である。

値割り当て部１００９ａは、まず、ｎ個のリーフノードそれぞれに対して、参照先情報１０１３で示される２次元マトリクスの位置に保持される量子化係数を、エントロピー符号化部１９０で符号化する場合に「１」を割り当て、エントロピー符号化部１９０で符号化しない場合に「０」を割り当てる。次に、内部ノードに対して、２つの子ノードの少なくとも一方に「１」が割り当てられている場合に「１」を割り当て、２つの子ノードのいずれにも「０」が割り当てられている場合に「０」を割り当てる。

走査部１００９ｂは、二分木を行きがけ順（ｐｒｅｏｒｄｅｒ）で走査して、各ノードに割り当てられた値を走査順に並べることにより、１次元シーケンスを生成する。このとき、走査部１００９ｂは、内部ノードに「０」が割り当てられていた場合に、当該内部ノードの子孫ノードの走査を省略する。

参照先決定部１００５は、並び替えを行うトリガ信号１０１１を受信すると、新たな参照先情報１００６を生成する。そして、当該新たな参照先情報１００６で参照先情報メモリ１００７を上書きすると共に、新たな参照先情報１００６を蓄積メディアまたは伝送路１０３０へ出力する。ここで、並び替えを行うトリガ信号１０１１とは、周波数適応選択更新における、更新する高域係数の位置が変更された場合等である。このとき、参照先決定部１００５は、値割り当て部１００９ａの処理によって、より上位の内部ノードに「０」が割り当てられるように（言い換えれば、１次元シーケンスができるだけ短くなるように）、参照先情報１００６を決定する。

図１４は、本実施の形態１におけるマトリクス生成部２８０のブロック図である。マトリクス生成部２８０は、木構造情報メモリ１００３と、参照先情報メモリ１００７と、係数逆走査ユニット２２０９とを備える。

蓄積メディアや伝送路１０３０より、フレームやスライスや複数のブロックなどの比較的広い周期で木構造情報１００２を受信し、木構造情報メモリ１００３に格納する。格納された木構造情報１００２は、係数逆走査ユニット２２０９へ出力される。木構造情報１００２は、リーフノードと係数の位置情報との関係を示す参照先情報１０１３の初期値を持つ場合があるので、持つ場合には参照先情報メモリ１００７へ格納する。同様の頻度あるいはブロック単位の頻度で新たな参照先情報１００６を受信すると、当該新たな参照先情報１００６で参照先情報メモリ１００７が上書きされる。

係数逆走査ユニット２２０９は、有効ノードを示すバイナリシーケンスと非ゼロ係数のレベルとサインの情報１０１２を入力し、木構造情報１００２と参照先情報１００６とを基に、有効ノードを示すバイナリシーケンスに従い非ゼロ係数の位置を決定し、非ゼロ係数のレベルとサインを統合し、ｎ個の量子化係数を含む２次元マトリクス１０１０を出力する。

より具体的には、係数逆走査ユニット２２０９は、１次元シーケンス、量子化係数、参照先情報１００６、及び木構造情報１００２に基づいて、ｎ個の量子化係数で構成される２次元マトリクス１０１０を生成する。この係数逆走査ユニット２２０９は、逆走査部２２０９ａと、係数割り当て部２２０９ｂとで構成される。

逆走査部２２０９ａは、二分木を行きがけ順（ｐｒｅｏｒｄｅｒ）で走査して、１次元シーケンスに示される値を各ノードに割り当てる。但し、内部ノードに「０」が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する。係数割り当て部２２０９ｂは、参照先情報１００６に基づいて、「０」が割り当てられたリーフノードが参照する２次元マトリクスの位置に、量子化係数を順に割り当てる。

図１５Ａは、本実施の形態１における動画像符号化装置１００の動作手順を示すフローチャートである。まず、木構造決定部１００１で生成された木構造情報１００２は、エントロピー符号化部１９０で符号化されて出力される（Ｓ９０１）。この木構造情報１００２は比較的情報量が大きいので、１度だけ生成されて出力されるのが一般的である。

次に、フレーム単位あるいはスライス単位あるいは、複数のブロックの単位の繰り返し処理（Ｓ９０２〜Ｓ９０５）において、一つまたは複数のブロックの量子化係数及び１次元シーケンスが符号化される（Ｓ９０３）。また、周波数適応更新における、更新する係数の位置が変化した場合などには、リーフノードが持つ係数の参照先情報１００６を符号化する（Ｓ９０４）。そして、これらの情報は、エントロピー符号化部１９０で符号化されて符号化済みストリーム（「符号化信号」ともいう）として出力される。符号化対象のフレームまたはスライスまたは複数のブロックがまだ残っていれば、再び係数の符号化（Ｓ９０３）を行う。なお、参照先情報の更新（Ｓ９０４）は、量子化係数の符号化（Ｓ９０３）の前に行ってもよい。

また、前述のＦＳＣでは符号化しない係数位置があるが、位置情報の並び替え時において、有効な係数位置が存在しないことを特別な値で表現してもよい（例えば−１．と割り当てる。あるいは、４＊４の１６係数を持つブロックにおいて０から１５の値を係数位置に割り当てている場合に１６と割り当てるなど）。このような無効な位置がリーフノードの値に割り当てられる場合、その親が持つもう一方の子ノードの値も０である場合には、その親の値も０に書き換える必要がある。この書き換えは全てのリーフノードから根に向かって行われる。

図１５Ｂは、本実施の形態における動画像復号装置２００の動作手順を示すフローチャートである。まず、符号化済みストリームから、木構造情報１００２が復号される（Ｓ９１１）。次に、フレーム単位またはスライス単位または複数のブロック単位の繰り替えし処理（Ｓ９１２〜Ｓ９１５）において、量子化係数および１次元シーケンスが復号される（Ｓ９１３）。また、リーフノードが持つ係数の参照先情報１００６を更新する情報が符号化済みストリームにあれば、参照先情報メモリ１００７の参照先情報１００６を更新する（Ｓ９１４）。

符号化済みストリームにまだ復号していない符号化済みデータが残っていれば（Ｓ９１５）、復号処理を継続する（Ｓ９１２）。なお、参照先情報１００６の復号（Ｓ９１４）と量子化係数及び１次元シーケンスの復号（Ｓ９１３）は順序を入れ替えてもよい。

次に、図１６及び図１７を参照して、実施の形態１におけるシーケンス生成処理の一例を説明する。図１６は、シーケンス生成処理のフローチャートである。図１７は、シーケンス生成処理で生成されるデータの一例を示す図である。

２次元マトリクス１０１０は、ｎ個の量子化係数で構成されている。また、図１７では、２次元マトリクス１０１０の各セルの位置をａ〜ｆで示している。なお、図１７では、簡単のために６個の量子化係数で構成される２次元マトリクス１０１０の例を示したが、本発明はこれに限定されるものではない。例えば、４×４（＝１６）マトリクスや８×８（＝６４）マトリクスであってもよい。

木構造情報１００２は、二分木の構造を定義するための情報である。具体的なデータ構造は特に限定されないが、例えば、構造情報（ｚｔｒｅｅ＿ｓｔｒｕｃｔｕｒｅ）と、インデックス情報（ｚｔｒｅｅ＿ｌｅａｆ＿ｉｎｄｅｘ）とで構成される。

構造情報は、二分木の構造を特定するための情報であって、例えば、二分木を行きがけ順で走査した場合の内部ノード及びリーフノードの並び順を示す。ここで、「行きがけ順」とは、二分木を構成する各部分木毎に「親ノード→左ノード→右ノード」の順、又は「親ノード→右ノード→左ノード」の順で走査することを指す。図１７の例では、「０」が内部ノードを示し、「１」がリーフノードを示す。インデックス情報は、ｎ個のリーフノードが参照する中間テーブル（後述）のインデックスを示す。なお、図１７の二分木において、各ノードの左肩に示す数値ｘは、当該ノードの走査順を示す。以下、特定のノードを指す場合に「ノード（ｘ）」と表記する。

そして、参照先決定部１００５は、２次元マトリクス１０１０及び木構造情報１００２に基づいて、参照先情報１００６を生成する（Ｓ３１）。図１７に参照先情報１００６の具体例である参照先情報１００６ａ、１００６ｂを示す。参照先情報１００６ａ、１００６ｂは、２次元マトリクスの各位置（ａ〜ｆ）を示す位置情報と、当該位置情報を特定するインデックス（Ｉ〜ＶＩ）とを対応付けて保持する中間テーブルである。インデックス（Ｉ〜ＶＩ）は、木構造情報１００２のインデックス情報に対応する。つまり、二分木の各リーフノードは、参照先情報１００６ａ、１００６ｂを経由して、２次元マトリクス１０１０にアクセスする。

ここで、参照先決定部１００５は、生成される１次元シーケンスが最も短くなるような参照先情報１００６を生成する。つまり、２次元マトリクスの各位置を示す位置情報と、インデックスとの組み合わせを変更する。例えば、値割り当て部１００９ａの処理によって、より上位の内部ノードに「０」が割り当てられるような参照先情報１００６を生成する。または、符号化される量子化係数を保持する２次元マトリクスの位置が、符号化されない量子化係数を保持する２次元マトリクスの位置より走査順の早いリーフノードに割り当てられるように、参照先情報１００６を生成する。

参照先情報１００６の具体的な決定方法は特に限定されないが、例えば、予め複数の参照先情報１００６ａ、１００６ｂを用意しておき、当該複数の参照先情報１００６ａ、１００６ｂに基づいて１次元シーケンスを生成し、最も短い１次元シーケンスを生成できる参照先情報１００６を選択するようにしてもよい。または、直前に生成された参照先情報１００６ａに基づいて１次元シーケンスを生成し、当該生成された１次元シーケンスより短い１次元シーケンスが生成できるように、参照先情報１００６ａの位置情報とインデックスとの組み合わせを変更して、新たな参照先情報１００６ｂを生成してもよい。

まず、参照先情報１００６ａを用いて１次元シーケンスを生成する処理を説明する。

値割り当て部１００９ａは、木構造情報１００２で定義される二分木の各ノードに、「１」及び「０」のいずれかを割り当てる（Ｓ３２）。

まず、ｎ個のリーフノードそれぞれに対して値を割り当てる。具体的には、参照先情報１００６ａで示される２次元マトリクス１０１０の位置に保持される量子化係数を符号化する場合は「１」を割り当てる。一方、当該量子化係数を符号化しない場合は「０」を割り当てる。ここで、実施の形態１では、０でない量子化係数のみを符号化する。

例えば、ノード（３）のインデックスはＩであり、参照先情報１００６ａのインデックスＩには位置ａが対応付けられている。位置ａの量子化係数は「１５」であり、当該量子化係数は符号化されるので、ノード（３）には「１」が割り当てられる。一方、ノード（１１）のインデックスはＶＩであり、参照先情報１００６ａのインデックスＶＩには位置ｆが対応付けられている。位置ｆの量子化係数は「０」であり、当該量子化係数は符号化されないので、ノード（１１）には「０」が割り当てられる。

次に、内部ノードに対して値を割り当てる。具体的には、２つの子ノードの少なくとも一方に「１」が割り当てられている場合は「１」を割り当てる。一方、２つの子ノードのいずれにも「０」が割り当てられている場合は「０」を割り当てる。

例えば、ノード（２）の子ノードであるノード（３）及びノード（４）には「１」が割り当てられる。すなわち、ノード（２）には「１」が割り当てられる。一方、ノード（８）の子ノードであるノード（９）及びノード（１０）には「０」が割り当てられる。すなわち、ノード（８）には「０」が割り当てられる。

次に、走査部１００９ｂは、各ノードに値が割り当てられた二分木を行きがけ順で走査し、各ノードに割り当てられた値を走査順に並べる（Ｓ３３）。その結果、参照先情報１００６ａを用いることにより、１次元シーケンス（１１１１１１１００）が得られる。また、符号化される量子化係数の列は（１５，７，２）である。

次に、参照先情報１００６ｂを用いて１次元シーケンスを生成する処理を説明する。なお、参照先情報１００６ｂは、インデックスＩＩＩと位置ｆとが対応付けられ、インデックスＶＩと位置ｃとが対応付けられている点で、参照先情報１００６ａと異なる。また、１次元シーケンスの生成手順は既に説明したので、再度の説明は省略する。参照先情報１００６ｂを用いることにより、１次元シーケンス（１１１１１０１）が得られる。また、符号化される量子化係数の列は（１５，７，２）である。

図１７を参照すれば明らかなように、参照先情報１００６ａを用いた場合、ノード（８）に「０」が割り当てられる。一方、参照先情報１００６ｂを用いた場合、ノード（６）に「０」が割り当てられる。すなわち、参照先情報１００６ｂを用いることにより、より上位の内部ノードに「０」を割り当てることができる。

また、参照先情報１００６ａを用いて生成される１次元シーケンスは、９ビットである。それに対して、参照先情報１００６ｂを用いて生成される１次元シーケンスは、７ビットである。すなわち、参照先情報１００６ｂを用いることにより、より短い１次元シーケンスを生成することができる。

次に、シーケンス生成部１８０は、生成（使用）された参照先情報１００６ｂが直前に生成（使用）された参照先情報と異なるか否か（つまり、更新されたか）を判断する（Ｓ３４）。参照先情報１００６ｂが直前に生成されたものと異なる場合（Ｓ３４でＹｅｓ）、シーケンス生成部１８０は、１次元シーケンス、量子化係数の列、及び参照先情報１００６ｂをエントロピー符号化部１９０に出力する（Ｓ３５）。なお、エントロピー符号化部１９０は、参照先情報１００６ｂ全体を符号化してもよいし、直近の参照先情報１００６ａとの差分のみを符号化してもよい。

一方、参照先情報１００６ｂが直前に生成されたものと同一である場合（Ｓ３４でＮｏ）、シーケンス生成部１８０は、１次元シーケンス及び量子化係数の列をエントロピー符号化部１９０に出力する（Ｓ３６）。

上記構成とすることにより、エントロピー符号化部１９０での符号量を削減することができる。また、上記の処理は、データ量の大きい木構造情報１００２を変更することなく、参照先情報１００６の変更のみで実現することができるので、処理負荷が大きく増大することはない。

なお、実施の形態１における木構造情報１００２は、構造情報（ｚｔｒｅｅ＿ｓｔｒｕｃｔｕｒｅ）と、インデックス情報（ｚｔｒｅｅ＿ｌｅａｆ＿ｉｎｄｅｘ）とを含む。また、参照先情報１００６は、２次元マトリクス１０１０の各位置を特定する位置情報と、位置情報を特定するインデックスとを対応付けて保持する中間テーブルである。しかしながら、中間テーブルを省略し、木構造情報１００２のうちのインデックス情報を最適化する（つまり、インデックス情報が参照先情報に相当する）構成であってもよい。

次に、図１８及び図１９を参照して、実施の形態１におけるマトリクス生成処理の一例を説明する。図１８は、マトリクス生成処理のフローチャートである。図１９は、マトリクス生成処理で生成されるデータの一例を示す図である。

まず、マトリクス生成部２８０は、エントロピー復号部２９０から出力される信号を取得する。この信号には、動画像符号化装置１００で生成された１次元シーケンス（１１１１１０１）、量子化係数の列（１５，７，２）、及び新たに生成された参照先情報１００６ｂが含まれる。

そこで、マトリクス生成部２８０は、エントロピー復号部２９０から出力される信号に参照先情報１００６ｂが含まれる場合、つまり、参照先情報１００６が更新されていた場合（Ｓ４１でＹｅｓ）、当該新たな参照先情報１００６ｂで参照先情報メモリ１００７を上書きする（Ｓ４２）。一方、エントロピー復号部２９０から出力される信号に参照先情報１００６が含まれていない場合（Ｓ４１でＮｏ）、マトリクス生成部２８０は、Ｓ４２の処理を省略する。

次に、逆走査部２２０９ａは、二分木を行きがけ順で走査して、１次元シーケンスに示される値を各ノードに割り当てる（Ｓ４３）。ただし、内部ノードに「０」が割り当てられた場合に、内部ノードの子孫ノードの走査を省略する。

この逆走査処理（Ｓ４３）を図１９を用いて説明する。まず、１次元シーケンスの各値を各ノードに割り当てる。具体的には、ノード（１）〜（５）に「１」を割り当て、ノード（６）に「０」を割り当てる。ここで、内部ノードであるノード（６）に「０」が設定されたので、当該ノード（６）の子孫ノードであるノード（７）〜（１０）の走査（値の割り当て）を省略する。つまり、１次元シーケンスの最後の値「１」はノード（１１）に割り当てられる。

次に、係数割り当て部２２０９ｂは、参照先情報１００６ｂに基づいて、「１」が割り当てられたリーフノードが参照する２次元マトリクスの位置に、量子化係数の列に含まれる各係数を順に割り当てる（Ｓ４４）。これにより、２次元マトリクスが生成される。

逆走査処理（Ｓ４３）で「１」が割り当てられたリーフノードは、ノード（３）、（４）、（１１）である。また、ノード（３）には参照先情報１００６ｂのインデックスＩが、ノード（４）にはインデックスＩＩが、ノード（１１）にはインデックスＶＩがそれぞれ割り当てられている。そこで係数割り当て部２２０９ｂは、ノード（３）が参照先情報１００６ｂを経由して参照する２次元マトリクスの位置ａに量子化係数の列のうちの最初の係数「１５」を割り当てる。同様に、係数割り当て部２２０９ｂは、ノード（４）が参照する位置ｂに量子化係数「７」を、ノード（１１）が参照する位置ｃに量子化係数「２」を割り当てる。一方、「０」が設定されたリーフノード（ノード（７）、（９）、（１０））が参照する位置ｄ、ｅ、ｆには、量子化係数「０」が設定される。

上記構成によれば、データ量の大きい木構造情報１００２を変更することなく、参照先情報１００６の変更のみで、１次元シーケンスから２次元マトリクスを再構成することができるので、処理負荷が大きく増大することはない。

（実施の形態２）
次に、図２０〜図２２Ｂを参照して、本発明の実施の形態２に係る動画像符号化装置１００及び動画像復号装置２００の動作を説明する。なお、動画像符号化装置１００及び動画像復号装置２００の構成及び基本的な動作は、実施の形態１と共通するので、詳しい説明は省略する。

実施の形態１においては、２次元マトリクス中の０でない量子化係数のみを符号化する例を示したが、本発明はこれに限定されない。例えば、周波数選択符号化を利用して、符号化すべき量子化係数を選択するようにしてもよい。

つまり、予め２次元マトリクスを、第１のグループと第２のグループとに分割しておく。そして、エントロピー符号化部１９０は、第１のグループに属する全ての量子化係数と、第１のグループに属する量子化係数の値に応じて第２のグループから選択される量子化係数のみを選択的に符号化する。そして、シーケンス生成部１８０は、上記のルールに基づいて、符号化される量子化係数と、符号化されない量子化係数とを区別すればよい。

前述のように、周波数選択的更新では、低域の係数と一部の高域の係数のみが符号化され、残りの多くの係数は符号化されない。この場合、図２０の概念図に示すように、ゼロツリー構造１２０２の最も親のノード１２０３から見て、最初に走査される方の子供（この例では左から右への優先順位があるとしているので、左側の部分木１２０４）に、非ゼロ係数を持つ可能性のある係数の位置を配置し、２番目に走査される方の子供（この例では右側の部分木１２０５）に、非ゼロ係数を持たない係数の位置を全て配置する。

非ゼロ係数を持つ可能性のある状態とは、非ゼロとなる場合もゼロとなる場合もあり、ゼロと決まっているわけではない状態のことを指している。周波数選択的更新では、非ゼロ係数を持たない係数の個数が一般的には多いが、このように非ゼロ係数を持たない係数の位置を集めることで、有効ノードを示すバイナリシーケンス（１次元シーケンス）１２０６の、非ゼロ係数に関する部分シーケンス１２０７を最小限の個数とすることができる（この例では１個）。

本実施の形態２にかかる動画像符号化装置１００は、図２１のフローチャートで示すように、ゼロツリー構造を決定する。係数位置を、常にゼロ係数を持つ係数の位置と、非ゼロ係数を持つ可能性のある係数の位置とに分類する（Ｓ１３０１）。次に、非ゼロ係数を持つ可能性のある係数の位置をまず同一の子ノードの下に符号化する（Ｓ１３０２）。そして、常にゼロ係数を持つ係数の位置を別の同一の子ノードの下に符号化する（Ｓ１３０３）。これにより、有効ノードを示すバイナリシーケンスのデータ量を最小限にすることができる。

そして、図１６及び図１７を用いて説明したシーケンス生成処理は、実施の形態２に係る動画像符号化装置１００にも応用することができる。つまり、シーケンス生成部１８０の参照先決定部１００５は、符号化される非ゼロ係数が部分木１２０４に、符号化されないゼロ係数が部分木１２０５に割り当てられるように、参照先情報１００６を決定する。これにより、周波数選択符号化における１次元シーケンスを最小化することができる。

図２２Ａは、本発明の実施の形態２における動画像符号化装置の動作フローチャートである。図１５Ａを変形し、周波数選択符号化ＦＳＣにより特定位置の係数が符号化されない場合に、符号化しない係数位置を通知することに対応したものである。

ゼロツリー構造は符号化される（Ｓ２３０１）。ゼロツリー構造のリーフノードの値が示す先は、係数の位置を直接指すのではなく、並び替えのデータ配列を経由して、係数の位置情報を指し示す、間接位置情報である。

次に、フレーム単位あるいはスライス単位あるいは、複数のブロックの単位の繰り返し処理（Ｓ２３０２）において、符号化しない係数位置を決定する（Ｓ２３０３）。一方、符号化しない係数位置は、ゼロツリーの任意のリーフノードより参照しない状態として表現する。例えば、特別な値（ブロックの係数の総数を超える数値や−１など）で表現した位置更新情報を、並び替えのデータ配列上に符号化する（Ｓ２３０４）。

次いで、係数を符号化する可能性のある係数位置についてのみ、量子化係数が符号化される（Ｓ２３０５）。Ｓ２３０３〜Ｓ２３０５の処理は、Ｓ２３０１に対応して繰り返される（Ｓ２３０６）。位置更新情報の符号化Ｓ２３０４は、以前のフレームまたはスライスまたは複数のブロックと、位置情報が同じ場合には省略されうる。また、ゼロツリー構造の符号化Ｓ２３０１は、Ｓ２３０２〜Ｓ２３０６の繰り返しの中で行われることもありうる。

図２２Ｂは、本発明の実施の形態２における動画像復号装置の動作フローチャートである。図１５Ｂを変形し、周波数選択符号化ＦＳＣにより特定位置の係数が符号化されない場合に、符号化しない係数位置が通知されることに対応したものである。

ゼロツリー構造は復号され（Ｓ２３１１）、全てのリーフノードについて、リーフノードから並び替えのデータ配列上の要素を指し示す関係（つまり間接位置情報）が復号される。フレーム単位あるいはスライス単位あるいは、複数のブロックの単位の繰り返し処理（Ｓ２３１２）において、位置更新情報があれば位置情報を更新し、なければ、直前状態の位置情報を用いるなどして、位置情報を決定する（Ｓ２３１３）。

ここで、あるリーフノードに割り当てられた間接位置情報の指す、並び替えのデータ配列上の要素が、符号化しない係数位置を表現した特別な値（ブロックの係数の総数を超える数値や−１など）である場合には、そのリーフノードの値は０とする。その０となったノードの親が持つもう一方の子ノードの値も０となる場合には親ノードも０とする。

次に、根方向に向かって順に書き換えを行う（Ｓ２３１３）。さらに、並び替えのデータ配列上のどの要素からも指し示されない係数位置がある場合、その係数は符号化されない係数であるとわかり、その係数には０を設定する（Ｓ２３１４）。

次に、量子化係数をゼロツリー走査の逆走査の手順に従い、本来の係数位置へ設定していく。本発明の復号方法では、ゼロツリーのリーフノードが指し示すのは直接の係数位置ではなく、間接位置情報である。つまり、並び替えのデータ配列上の要素を指している。並び替えのデータ配列上で指し示された要素が示す先が、最終的な係数の位置情報である（Ｓ２３１５）。Ｓ２３１３〜Ｓ２３１５について、前述のＳ２３１２の単位で繰り返しを行う（Ｓ２３１６）。

また、局所適応の周波数選択符号化を実現するために、周波数選択符号化の条件が真になった場合に適用される、第２の並び替えのデータ配列を定義してもよい。

（実施の形態３）
次に、図２３を参照して、本発明の実施の形態３を説明する。実施の形態３では、実施の形態２に係るシーケンス生成処理やマトリクス生成処理を、ジグザグ走査に応用したものである。

前述のように周波数選択符号化では高域係数の符号量を抑圧している。しかしながら、エッジなどの情報量の多い領域（ブロックなどの単位）では高域係数を符号化しないと劣化がわかりやすい傾向もあるため、このような領域ではＦＳＣは行わないことが望ましい。ブロック単位のＦＳＣの有無情報を復号装置へ通知する仕組みが必要であるが、毎ブロックに情報を付与すると、ブロックが多数であるがために全体の符号量が著しく増加する課題がある。本実施の形態３における局所適応周波数選択符号化の装置及び方法は、ＦＳＣの有無に依らず常に符号化される低域係数の情報を基に、ＦＳＣの有無を決定する。

図２３を用いて局所適応周波数選択符号化を説明する。２次元の量子化変換係数ブロック１１は、第１の走査順５０２により走査されるが、あらかじめ決められた位置まで走査したのち、ＦＳＣ有無の判定を行う。この図では、位置ｅまで走査した後に判定を行う。

エッジなどの劣化を知覚しやすい領域では、低域でも大きな係数が発生している傾向がある。この傾向を利用して、低域の係数を基にＦＳＣの判定５０４を行う。係数ではなく、前述のレベルやサイン、あるいは、ゼロ係数であるか非ゼロ係数であるかを基に判定を行ってもよい。あるいは、これらの情報に位置による重み付けを行ってもよいし、何らかの関数処理を適用した後の結果を基に判定してもよい。

ここでは、第１の走査順５０２によって走査された係数シーケンス、及び第１の係数シーケンス５０３を基に、係数の絶対値の和をあらかじめ決めておいた閾値比較をしている。閾値よりも大きければ、第２の走査順５０５により残りの係数を走査する。第１の係数シーケンス５０３とあわせて、図２３のように１次元シーケンス５０６が得られる。一方、判定５０４において、低域の係数が強くは無いと判断された場合、第３の走査順５０７により残りの係数を走査する。この例では、１の位置の係数のみを走査する。第１の係数シーケンス５０３とあわせて、１次元シーケンス５０８が得られる。

なお、ここでは第１の走査順５０２と第２の走査順５０５とは独立のものとして説明したが、第１の走査順５０２と第２の走査順５０５とは連続したものである。第１の走査順５０２は、その連続した走査順の前半の一部であると考えることができる。また、この連続した走査順は、ジグザグ走査などの一般的な走査とすることで実装を容易にできる。

（実施の形態４）
前述の実施の形態２の例では、非ゼロ係数の位置を示すバイナリシーケンスのデータ量を軽減したが、さらに、非ゼロ係数を持たない係数の位置を配置した部分木１２０５を符号化しないことで、ゼロツリー構造のデータ量の削減、および有効ノードを示すバイナリシーケンスのデータ量もさらに削減する。

図２４は、本実施の形態にかかる動画像符号化方法を説明する図である。具体的には、ゼロツリー構造の決定、および非ゼロ係数の位置を示すバイナリシーケンスの決定を示した概念図である。

非ゼロ係数を持つ可能性のある係数の位置のみに対して、ゼロツリー構造１４０２と、有効ノードを示すバイナリシーケンス１４０６とを符号化する。この図では、非ゼロ係数の持つ可能性のある係数は全て非ゼロ（全て１）である例であるが、一部の係数がゼロである場合も含まれる。また、ゼロツリー構造の最も親のノード１４０３は冗長であるので、図２５に示すゼロツリー構造１５０２としてもよい。

本実施の形態４にかかる動画像符号化方法は、ゼロツリー構造の決定において、図２６のフローチャートで示すように、ゼロツリー構造を決定する。まず、係数位置を、常にゼロ係数を持つ係数の位置と、非ゼロ係数を持つ可能性のある係数（ゼロまたは非ゼロ係数になる）の位置とに分類する（Ｓ１６０１）。そして、非ゼロ係数を持つ可能性のある係数（ゼロまたは非ゼロ係数になる）の位置のみを符号化する（Ｓ１６０２）。

（実施の形態５）
前述の実施の形態３では、ジグザグ走査の場合の局所適応周波数選択符号化（局所適応ＦＳＣ）を示した。本実施の形態５では、ゼロツリー構造の場合の局所適応ＦＳＣを示す。図２７は、本実施の形態５を示す概念図である。ゼロツリー構造の既に復号された部分木１７０２の状態に応じて、後続の部分のゼロツリー構造を切り替える。

図２７の例では、切り替え判定を行うタイミングを示す仮想的なノードである条件付ノード１７０３を定義している。ゼロツリー構造の探索（あるいは、トラバース）がこのノードの位置に到達したときに、局所適応ＦＳＣの条件判定を行う。これは仮想的なノードであり、このノードに関連付けられた有効ノードを示すバイナリシーケンスの要素は不要である。この条件付ノードの判定結果が真の場合には、ゼロツリー構造の部分１７０４を選択する。そして、判定結果が真ではない場合は、ゼロツリー構造の部分１７０５を選択する。

前述の既に復号された部分木１７０２の状態とは、部分木１７０２に含まれる位置の係数そのものや、その係数のレベルやサイン、係数がゼロ係数か非ゼロ係数であるか、あるいは、ノードが有効な値を持つかなどの情報に基づき定義する。これらの情報に位置による重み付けを行ってもよいし、何らかの関数処理を適用した後の結果を基に定義してもよい。

さらには、量子化パラメータやブロックのフレーム内における位置情報、予測画像を生成する方式の種別に基づいて定義してもよい。量子化パラメータは、符号化装置側において、視覚的に劣化の目立つ領域とあまり目立たない領域へのデータ量の配分を変更するために制御するパラメータである。このパラメータに応じて、条件判定を適応させることより、劣化の目立ちにくい制御ができる。

なお、上記では、局所適応ＦＳＣの判定を行うタイミングは仮想的なノードであり、有効ノードを示すバイナリシーケンスの要素は関係付けられないとした。しかしながら、局所適応ＦＳＣの判定条件の一つとして、有効ノードを示すバイナリシーケンスの要素を関連付ける構成も考えることができる。この構成では、局所適応ＦＳＣの判定を符号化装置側より明示的に制御できるメリットがあるが、データ量が増えるデメリットもある。本実施の形態５では、関連付けられたバイナリシーケンスの要素は無いものとする。

図２８は、本実施の形態５の復号装置のブロック図である。本復号装置は、ゼロツリー復号部１８０１と、統合部１８０２と、逆量子化部１８０３と、逆直交変換部１８０４とから構成される。

ゼロツリー復号部１８０１は、ゼロツリー構造１８１１と有効ノードを示すバイナリシーケンス１８１２を入力し、ツリー上でノードの有効無効判定を行う。そして、次の有効なリーフノードが見つかるまでツリー上で探索を行い、探索されたリーフノードに関連付けられた（非ゼロの）係数の位置情報１８１４を出力する。この位置情報１８１４は、統合部１８０２に入力される。

統合部１８０２は、別途入力されるレベルとサイン１８１３を、位置情報１８１４に従って、本来の並び（２次元ブロック等）へと変換した統合信号１８１５を出力する。なお、符号化装置側でこの信号と対応するのは量子化係数のことである。

逆量子化部１８０３は、統合信号１８１５を入力し、逆量子化変換を行い、逆量子化後信号１８１６を出力する。なお、符号化装置側でこの信号と対応するのは直交変換係数のことである。逆直交変換部１８０４は、逆量子化後信号１８１６を入力とし、逆直交変換を行い、信号１８１７を出力する。

本実施の形態５における復号装置において特徴的な構成は、次の（ｉ）から（ｉｖ）をひとつ以上複数個備えることである。（ｉ）ゼロツリー復号部１８０１の過去の出力が、ゼロツリー復号部１８０１へ入力され、出力の位置情報１８１４を適応的に変化させる。（ｉｉ）過去の統合信号１８１５が、ゼロツリー復号部１８０１に入力され、出力の位置情報１８１４を適応的に変化させる。（ｉｉｉ）過去の逆量子化後信号１８１６が、ゼロツリー復号部１８０１に入力され、出力の位置情報１８１４を適応的に変化させる。（ｉｖ）その他の当該ブロック内にて利用可能な情報（信号１８１７）が、ゼロツリー復号部１８０１に入力され、出力の位置情報１８１４を適応的に変化させる。なお、（ｉ）はゼロツリー上で既に探索されたノードが持つ値を含む場合もある。

また、本実施の形態５における符号化装置は、局所適応ＦＳＣでＦＳＣの判定条件として参照される部分ゼロツリー構造、あるいは、低域の係数に対応する部分ゼロツリー構造を、第１のゼロツリー構造と呼ぶならば、第１のゼロツリー構造に属する係数の発生頻度に応じて最適となるように、第１のゼロツリー構造を決定する。同様に、局所適応ＦＳＣにより切り替えられる部分の、二つの部分ゼロツリー構造を、第２のゼロツリー構造、第３のゼロツリー構造と呼ぶならば、第２のゼロツリー構造に属する係数の発生頻度に応じて最適となるように、第２のゼロツリー構造を決定する。第３のゼロツリー構造に属する係数の発生頻度に応じて最適となるように、第３のゼロツリー構造を決定する。

図２９は、本実施の形態５にかかる符号化装置及び復号装置における、ゼロツリー復号部の局所適応処理を説明するフローチャートである。ゼロツリー復号部においては、ノードを探索していく過程において、従来とは異なり、条件付ノードが含まれる場合がある。

そこで、まず、現在の探索位置のノードのタイプを調べる（Ｓ１９０１）。次に、そのノードタイプが、条件付ではない通常のノードであれば、有効ノードを示すバイナリシーケンスから要素を一つ取り出し（Ｓ１９０３）、次のノードへ移動する（Ｓ１９０７）。

ノードのタイプが、過去に得られたノードの値に依存するタイプの条件付ノードである場合には、その条件の判定を行い、判定結果に応じてあらかじめ定義された（符号化装置より通知された）方法に従って、ツリー構造を決定する（Ｓ１９０４）。ツリー構造の決定とは、一部分の変更でもよいし、ツリーの構造は変更せずに、リーフノードと係数の位置との関係の再変更でもよい。

ツリー構造の決定後は、次のノードへ移動する（Ｓ１９０７）。ノードのタイプが、過去に得られたノードが指し示す係数の、レベル、サイン、または係数そのものに依存するタイプの条件付ノードである場合には、必要となるレベル、サイン、または係数そのものを取得する（Ｓ１９０５）。

その後、前述の判定動作Ｓ１９０４と同様に、レベル、サイン、または係数そのものに基づき、ツリー構造を決定する（Ｓ１９０６）。ツリー構造の決定後は、次のノードへ移動する（Ｓ１９０７）。次のノードへの移動（Ｓ１９０７）においては、次のノードがツリー構造に存在しない場合には、処理を終了する。

（実施の形態６）
本実施の形態６では、局所適応ＦＳＣのようにツリーの部分を変更するためのツリー構造として、一つのノードの複数の値を持たせるデータ構造、および、このデータ構造を符号化及び復号する方法を提供する。複数の値を持つノードによるツリー構造の部分変更の概念図を図３０に示す。

実施の形態６に係るゼロツリー構造では、各ノードは複数、少なくとも二つの値を持つ構造とする。ゼロツリー構造の探索開始時は、第１の値を参照する状態となる。ＦＳＣの判定が切り替えノード２０００にて真となった場合、それ以降は、第２の値を参照する状態となる。第２の値は、従来と同様に、探索時に、有効ノードを示すバイナリシーケンスから要素を取り出すことを示す値である“フェッチ”と、あらかじめ、フレーム単位やスライス単位や複数のブロックの単位で値が固定されている“デフォルト”の二種類の値を定義する。

“フェッチ”は、図３０では、内部ノードでは“−”、リーフでは係数の位置に対応するアルファベットで記載している。第２の値に“デフォルト”の０をあらかじめ入力しておくことで、ノードの無効化を記述でき、ゼロ係数の符号化をスキップできる（図３０ではノード２００２とノード２００４が相当）。

また、ノード２００３のように、第２の値に、第１の値とは異なる係数位置を設定することもメリットがある。ノード２００５とノード２００３の係数ｆ、ｃの例のように、探索までの通過すべきノード数を変更できる。このように、より発生頻度の高い係数を通過順の早いノードに移動させることで、有効ノードを示すバイナリシーケンスのデータ量を削減できる可能性が高い。

図３１は、複数の値を持つノードのうち、どの値を読むかを切り替えながら、ツリー構造を探索する、本実施の形態のツリー構造復号方法の動作フローチャートである。ここではあるノードの中でどの値を読むべきかの情報をレーンと呼ぶことにする。

まず、はじめに、レーンが初期化される（Ｓ２１０１）。次に、探索が開始されあるノードにて、ノードの形式を確認する。そのノードが局所適応ＦＳＣなどの条件判定を行う、スイッチングノードであれば（Ｓ２１０２でＹｅｓ）、関連付けられた条件判定を行う（Ｓ２１０３）。

判定結果が真であれば（Ｓ２１０３でＹｅｓ）、関連付けられたレーン変更などの動作を行い（Ｓ２１０４）、次のノードへ移動する（Ｓ２１０５）。一方、判定結果が真でなければ（Ｓ２１０３でＮｏ）、レーン変更は行わず、次のノードへ移動する（Ｓ２１０５）。

前述のノードのタイプ判定において、スイッチングノードで無ければ（Ｓ２１０２でＮｏ）、現在のノードの現在のレーンの値を読み込み（Ｓ２１０４）、ゼロツリー構造復号の通常動作を行い、次のノードへ移動する（Ｓ２１０５）。次のノードへの移動（Ｓ２１０５）は、残りのノードがあればノードのタイプ判定Ｓ２１０２へ戻り、残りのノードが無ければ終了する。

（実施の形態７）
図２７では仮想的なノードを用いる構成を示したが、ツリーが全体として大きくなることは管理上の不都合がある場合も考えられる。図３２で示すように、２次元の量子化変換係数ブロック２４０１は、第１のグループと、第２のグループにグループ化される。

第１のグループについて、ひとつの部分ゼロツリー構造２４０２を定義する。第２のグループについては、一つまたは複数個の部分ゼロツリー構造２４０３、２４０５を定義する。第２のグループの部分ゼロツリー構造２４０３、２４０５のどれが選択されるかは、第１のグループの部分ゼロツリー構造２４０２の探索（またはトラバース）後に得られる、係数やレベルやサインや有効ノードを示すバイナリシーケンスを基に決定される。

この構成では、条件分岐の仮想ノードがツリーとは別に定義されているので、ツリー構造を復号するユニットを従来から変更しなくてもよいという利点がある。第２のグループの部分ツリー構造２４０３、２４０５は、図３２では２個だが、３個以上あってもよい。また、図３２では、量子化係数グループを第１のグループと第２のグループに分割しているが、３個以上のグループに分割してもよい。

従来の固定的な走査であるジグザグ走査、および、ゼロツリー走査のどちらにおいても、量子化係数は、符号化装置により、非ゼロ係数を示すバイナリシーケンス（または、有効ノードを示すバイナリシーケンス）と、非ゼロ係数シーケンスに分解され、非ゼロ係数はレベルとサインにさらに分解される。本実施の形態７のように、量子化係数を二つ以上のグループに分割しバイナリシーケンスと非ゼロ係数シーケンス（レベルまたはサインも含む）も二つのグループに分割する必要がある。

図３３は、バイナリシーケンスと非ゼロ係数シーケンスのデータの並びを示している。第１グループの有効ノードのバイナリシーケンス２５０１の後に、第１グループの非ゼロ係数シーケンス２５０２、その後に、第２グループの有効ノードのバイナリシーケンス２５０３、その後に、第２グループの非ゼロ係数シーケンス２５０４が並ぶ。第１グループの非ゼロ係数シーケンス２５０２がこの順位にあるのは、第２グループの部分ゼロツリー構造を決定するために、非ゼロ係数を必要とするためである。

一方、非ゼロ係数を用いないで決定する場合（第１グループの有効ノードのバイナリシーケンス２５０１のみを用いる、あるいは、当該ブロックの量子化パラメータを用いるなど）には、データの並びは、第１グループの有効ノードのバイナリシーケンス２５０１、第２グループの有効ノードのバイナリシーケンス２５０３、第１グループの非ゼロ係数シーケンス２５０２、第２グループの非ゼロ係数シーケンス２５０４、という並びでもよい。さらに、二つの非ゼロ係数シーケンス２５０２、２５０４は、分割しなくてもよい。

図３４Ａは、本実施の形態７の符号化装置の各ブロックにおける動作フローチャートである。あらかじめ、フレーム単位たまはスライス単位あるいは複数のブロックの単位で、第１グループの部分ゼロツリー構造、第２グループの部分ゼロツリー構造を符号化しておく。各ブロックにおいて、第１グループの有効ノードのバイナリシーケンスを符号化する（Ｓ２６０１）。次に、第１グループの非ゼロシーケンスの符号化する（Ｓ２６０２）。次に、第２グループの部分ゼロツリー構造を決定する（Ｓ２６０３）。決定後、第２グループの有効ノードのバイナリシーケンスの符号化する（Ｓ２６０４）。そして、第２グループの非ゼロ係数シーケンスの符号化を行う（Ｓ２６０５）。

図３４Ｂは、本実施の形態７の復号装置の各ブロックにおける動作フローチャートである。復号装置と対応する動作となる。あらかじめ、フレーム単位たまはスライス単位あるいは複数のブロックの単位で、第１グループの部分ゼロツリー構造、第２グループの部分ゼロツリー構造が復号されているとする。各ブロックにおいて、第１グループの有効ノードのバイナリシーケンスを復号する（Ｓ２６１１）。次に、第１グループの非ゼロシーケンスを復号する（Ｓ２６１２）。次に、第２グループの部分ゼロツリー構造を決定する（Ｓ２６１３）。決定後、第２グループの有効ノードのバイナリシーケンスを復号する（Ｓ２６１４）。そして、第２グループの非ゼロ係数シーケンスを復号する（Ｓ２６１５）。

なお、ここで、第２グループの部分ゼロツリーは、フレーム単位などで、明示的に符号化装置より復号装置へ通知されるとしている。しかしながら、係数を複数グループに分割したことにより、グループの要素数は減少しているため、ゼロツリー走査を用いずに、従来のようにジグザグ走査を用いることで処理量を軽減できる構成も考えられる。特に、第１のグループが低域領域の狭い範囲（２×２）である場合には、ジグザグ走査の方が簡易である。

また、周波数選択符号化ＦＳＣを用いる場合、高域の係数の個数は少ないので、ゼロツリー構造を用いずに、係数位置のシーケンスを直接通知し、ゼロツリー構造は枝を持たない構造であると限定する方法が簡易である。図３５の概念図で例を示す。

図３５に示されるように、係数位置の個数ごとに、係数位置を指し示す情報を持たないゼロツリー構造２７１２、２７２２、２７３２、２７４２をあらかじめ規定しておく。そして、係数位置シーケンス２７１１、２７２１、２７３１、２７４１と、係数位置を指し示す情報を持たないゼロツリー構造２７１２、２７２２、２７３２、２７４２とを組み合わせることで、ゼロツリー構造２７１３、２７２３、２７３３、２７４３を得ている。

係数位置を指し示す情報を持たないゼロツリー構造２７１２、２７２２、２７３２、２７４２は、複数のフレームの符号化を行う先頭のみで送るか、あるいは、複数のフレームの単位で送るなどのように、送出頻度を抑えることで、データ量を削減できる。周波数選択符号化ＦＳＣの場合のように、多くの応用例では、係数位置を指し示す情報を持たないゼロツリー構造は複数のフレームにわたって変化せず、係数の位置のみが更新されるので、効果を期待できる。

（実施の形態８）
２次元の量子化変換係数ブロック２４０１を、第１のグループと、第２のグループにグループ化する実施の形態７の変形例として、より少ないデータ量で第２のグループの部分ゼロツリー構造を符号化、及び復号する方法を提供する。

局所適応の周波数選択符号化では、第２グループの符号化する係数位置がフレーム単位（やスライス単位や複数のブロック単位）で更新されるが、係数の個数は一定であり、係数の位置のみが変化する。したがって、第２のグループの部分ゼロツリー構造のみを更新できれば、更新に必要なデータ量を最小限とできる。さらに、図３５で示したような、係数位置を指し示す情報を持たないゼロツリー構造をあらかじめ定義しておけば、各フレームにおいては、符号化する係数位置のシーケンスのみを符号化すればよい。図３６の概念図を用いて説明する。

複数のフレームの単位で、第１グループの部分ゼロツリー構造２７０２を符号化し、第２グループの部分ゼロツリー構造のうち、周波数選択符号化が当該ブロックにおいて真となる場合に選択される第２の部分ゼロツリー構造２７０３を符号化し、さらに、第２グループの残りの部分ゼロツリー構造２７０４を符号化する。

周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０３は、図３６に示すように、係数位置を指し示す情報を持っていてもよいし、あるいは、係数位置を指し示す情報を持たないゼロツリー構造でもよい。いずれの場合でも、各フレーム単位において、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０３を、各フレーム単位で符号化する係数位置のシーケンスを上書きする（または組み合わせる）ことで、各フレームにおける、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造を得る。

フレームｆ１において、係数位置シーケンス２７０５を、第２の部分ゼロツリー構造２７０３と組み合わせ、フレームｆ１における、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０６を得る。同様に、フレームｆ２において、係数位置シーケンス２７０７を、第２の部分ゼロツリー構造２７０３と組み合わせ、フレームｆ２における、周波数選択符号化が真となる場合の第２の部分ゼロツリー構造２７０８を得る。

（実施の形態９）
上記実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図３７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図３７のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図３８は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図３９を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４０に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図４１は、上記実施の形態で説明した画像復号方法および画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４２に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図４３に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態１０）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４４に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、本発明に係る画像符号化方法、画像符号化装置、画像復号方法および画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明は、画像符号化方法（装置）及び画像復号方法（装置）に有利に利用される。

１１，２１，６１，７１，２４０１ 量子化変換係数ブロック
１２ ジグザグ走査順
１３，２２，３３，５０６，５０８ １次元シーケンス
２３，６６，７２，１２０６，１４０６，１８１２，２５０１，２５０３ バイナリシーケンス
２４ 非ゼロ係数シーケンス
３２ ＦＳＣ走査順
６２ ツリー構造
６５ ゼロツリー走査順
７３，１２０３，１４０３，２００２，２００３，２００４，２００５ ノード
１００ 動画像符号化装置
１０５ 減算器
１１０ 変換／量子化部
１２０ 逆量子化／逆変換部
１２５，２２５ 加算器
１３０，２３０ デブロッキングフィルタ
１４０，２４０ メモリ
１５０，２５０ 補間フィルタ
１６０，２６０ 動き補償予測部
１６５ 動き予測部
１７０，２７０ イントラフレーム予測部
１７５，２７５ スイッチ
１８０ シーケンス生成部
１９０ エントロピー符号化部
２００ 動画像復号装置
２２０ 逆量子化／逆変換部
２８０ マトリクス生成部
２９０ エントロピー復号部
５０２ 第１の走査順
５０３ 第１の係数シーケンス
５０４ 判定
５０５ 第２の走査順
５０７ 第３の走査順
１０００ 構造情報
１００１ 木構造決定部
１００２，１００４ 木構造情報
１００３ 木構造情報メモリ
１００５ 参照先決定部
１００６，１００６ａ，１００６ｂ，１０１３ 参照先情報
１００７ 参照先情報メモリ
１００９ 係数走査ユニット
１００９ａ 値割り当て部
１００９ｂ 走査部
１０１０ ２次元マトリクス
１０１１ トリガ信号
１０１２ 情報
１０３０ 伝送路
１１０１ データ配列
１１０２ 要素
１１０３ インデックスポインタ
１２０２，１４０２，１５０２，１８１１，２７１２，２７１３，２７２２，２７２３，２７３２，２７３３，２７４２，２７４３ ゼロツリー構造
１２０４，１２０５，１７０２ 部分木
１２０７ 部分シーケンス
１７０３ 条件付ノード
１７０４，１７０５ 部分
１８０１ ゼロツリー復号部
１８０２ 統合部
１８０３ 逆量子化部
１８０４ 逆直交変換部
１８１３ レベルとサイン
１８１４ 位置情報
１８１５ 統合信号
１８１６ 逆量子化後信号
１８１７ 信号
２０００ 切り替えノード
２２０９ 係数逆走査ユニット
２２０９ａ 逆走査部
２２０９ｂ 係数割り当て部
２４０２，２４０３，２４０５，２７０２，２７０４ 部分ゼロツリー構造
２５０２，２５０４ 非ゼロ係数シーケンス
２７０３，２７０６，２７０８ 第２の部分ゼロツリー構造
２７０５，２７０７，２７１１，２７２１，２７３１，２７４１ 係数位置シーケンス
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６，ｅｘ１０７，ｅｘ１０８，ｅｘ１０９，ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３，ｅｘ１１６ カメラ
ｅｘ１１４ カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４，ｅｘ２０５，ｅｘ６０１ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３，ｅｘ２１９ モニタ
ｅｘ２１４，ｅｘ２１５，ｅｘ２１６，ｅｘ６０７ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６，ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８，ｅｘ６０２ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０，ｅｘ５０１ 制御部
ｅｘ３１１，ｅｘ５０５，ｅｘ７１０ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４，ｅｘ６０６ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インターフェース部
ｅｘ３１８，ｅｘ３１９，ｅｘ３２０，ｅｘ３２１，ｅｘ４０４，ｅｘ５０８ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０３ カメラ部
ｅｘ６０４ 操作キー
ｅｘ６０５ 音声入力部
ｅｘ６０８ 音声出力部
ｅｘ７０１ 送受信回路部
ｅｘ７０２ ＬＣＤ制御部
ｅｘ７０３ カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４ 操作入力制御部
ｅｘ７０５ 音声処理部
ｅｘ７０６ 変復調回路部
ｅｘ７０７ 記録再生部
ｅｘ７０８ 多重分離部
ｅｘ７０９ 画像復号部
ｅｘ７１１ 主制御部
ｅｘ７１２ 画像符号化部
ｅｘ７１３ 同期バス

Claims (14)

1. 画像を符号化する符号化方法であって、
   前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換ステップと、
   前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、
   内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、
   前記シーケンス生成ステップで生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化ステップとを含み、
   前記シーケンス生成ステップは、
   前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップと、
   前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当てステップと、
   前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査ステップとを含む
   符号化方法。
2. 前記値割り当てステップでは、
   前記ｎ個のリーフノードそれぞれに対して、前記参照先情報で示される前記２次元マトリクスの位置に保持される前記量子化係数を、前記符号化ステップで符号化する場合に前記第１の値を割り当て、前記符号化ステップで符号化しない場合に前記第２の値を割り当て、
   前記内部ノードに対して、２つの子ノードの少なくとも一方に前記第１の値が割り当てられている場合に前記第１の値を割り当て、２つの子ノードのいずれにも前記第２の値が割り当てられている場合に前記第２の値を割り当て、
   前記走査ステップでは、前記内部ノードに前記第２の値が割り当てられていた場合に、当該内部ノードの子孫ノードの走査を省略し、
   前記参照先決定ステップでは、前記走査ステップで生成される前記１次元シーケンスが最も短くなるように、前記参照先情報を決定する
   請求項１に記載の符号化方法。
3. 前記符号化ステップでは、前記参照先決定ステップで生成された参照先情報が直前の参照先情報と異なる場合に、さらに、当該生成された参照先情報を符号化する
   請求項２に記載の符号化方法。
4. 前記参照先情報は、前記２次元マトリクスの各位置を特定する位置情報と、前記位置情報を特定するインデックスとを対応付けて保持する中間テーブルであり、
   前記木構造情報は、前記二分木の構造を特定する構造情報と、前記ｎ個のリーフノードが参照する前記中間テーブルのインデックスを示すインデックス情報とを含む
   請求項１〜３のいずれか１項に記載の符号化方法。
5. 前記参照先情報決定ステップでは、符号化される前記量子化係数を保持する前記２次元マトリクスの位置が、符号化されない前記量子化係数を保持する前記２次元マトリクスの位置より走査順の早い前記リーフノードに割り当てられるように、前記２次元マトリクスの各位置とインデックスとの組み合わせを変更する
   請求項４に記載の符号化方法。
6. 前記符号化ステップでは、前記ｎ個の量子化係数のうち、０でない量子化係数のみを選択的に符号化する
   請求項１〜５のいずれか１項に記載の符号化方法。
7. 前記２次元マトリクスは、第１のグループと第２のグループとに分割されており、
   前記符号化ステップでは、前記第１のグループに属する全ての前記量子化係数と、前記第１のグループに属する前記量子化係数の値に応じて前記第２のグループから選択される前記量子化係数のみを選択的に符号化する
   請求項１〜６のいずれか１項に記載の符号化方法。
8. 内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する復号方法であって、
   前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号ステップと、
   前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成ステップと、
   前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化ステップと、
   前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換ステップとを含み、
   前記マトリクス生成ステップは、
   前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当てるステップであって、前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査ステップと、
   前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当てステップとを含む
   復号方法。
9. 画像を符号化する符号化装置であって、
   前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換部と、
   前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化部と、
   内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報及び前記ｎ個の量子化係数を含む前記２次元マトリクスに基づいて、１次元シーケンスを生成するシーケンス生成部と、
   前記シーケンス生成部で生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化部とを備え、
   前記シーケンス生成部は、
   前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定部と、
   前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当て部と、
   前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査部とを備える
   符号化装置。
10. 内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する復号装置であって、
    前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号部と、
    前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成部と、
    前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化部と、
    前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換部とを備え、
    前記マトリクス生成部は、
    前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当て、且つ前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査部と、
    前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当て部とを備える
    復号装置。
11. コンピュータに、画像を符号化させるプログラムであって、
    前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換ステップと、
    前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化ステップと、
    内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成ステップと、
    前記シーケンス生成ステップで生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化ステップとを含み、
    前記シーケンス生成ステップは、
    前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定ステップと、
    前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当てステップと、
    前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査ステップとをコンピュータに実行させる
    プログラム。
12. コンピュータに、内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成させるプログラムであって、
    前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号ステップと、
    前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成ステップと、
    前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化ステップと、
    前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換ステップとを含み、
    前記マトリクス生成ステップは、
    前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当てるステップであって、前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査ステップと、
    前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当てステップとをコンピュータに実行させる
    プログラム。
13. 画像を符号化する集積回路であって、
    前記画像の画素値を、周波数を示すｎ（ｎは２以上の整数）個の係数で構成される２次元マトリクスに変換する変換部と、
    前記２次元マトリクスを構成するｎ個の係数それぞれを量子化してｎ個の量子化係数を生成する量子化部と、
    内部ノード及びｎ個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報と、前記ｎ個の量子化係数を含む前記２次元マトリクスとに基づいて、１次元シーケンスを生成するシーケンス生成部と、
    前記シーケンス生成部で生成された前記１次元シーケンス、及び前記ｎ個の量子化係数の少なくとも一部を符号化して符号化信号を生成する符号化部とを備え、
    前記シーケンス生成部は、
    前記２次元マトリクスに基づいて、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報を生成する参照先決定部と、
    前記２次元マトリクス及び前記参照先情報に基づいて、前記木構造情報で定義される二分木の各ノードに、互いに異なる第１及び第２の値のいずれかを割り当てる値割り当て部と、
    前記二分木を行きがけ順で走査して、各ノードに割り当てられた値を走査順に並べることにより、前記１次元シーケンスを生成する走査部とを備える
    集積回路。
14. 内部ノード及びｎ（ｎは２以上の整数）個のリーフノードを含む複数のノードで構成される二分木を定義する木構造情報を用いて、符号化信号から画像を生成する集積回路であって、
    前記符号化信号を復号して、互いに異なる第１及び第２の値を所定の順序で配列した１次元シーケンス、前記ｎ個のリーフノードそれぞれが参照する前記２次元マトリクスの位置を示す参照先情報、及び１以上の量子化係数を生成する復号部と、
    前記１次元シーケンス、前記量子化係数、前記参照先情報、及び前記木構造情報に基づいて、ｎ個の前記量子化係数で構成される２次元マトリクスを生成するマトリクス生成部と、
    前記２次元マトリクスを構成するｎ個の量子化係数それぞれを逆量子化して、周波数を示すｎ個の係数を生成する逆量子化部と、
    前記ｎ個の係数を逆変換して前記画像の画素値を生成する逆変換部とを備え、
    前記マトリクス生成部は、
    前記二分木を行きがけ順で走査して、前記１次元シーケンスに示される値を各ノードに割り当て、且つ前記内部ノードに前記第２の値が割り当てられた場合に、当該内部ノードの子孫ノードの走査を省略する逆走査部と、
    前記参照先情報に基づいて、前記第１の値が割り当てられた前記リーフノードが参照する前記２次元マトリクスの位置に、前記１以上の量子化係数を順に割り当てる係数割り当て部とを備える
    集積回路。

Images