JP6078883B2 - 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法 - Google Patents

Description

本発明は、複数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号装置に関し、特に、ピクチャ間予測用の動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号装置に関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４や、次世代のＨＥＶＣ（高性能動画像符号化）などの最新の動画像符号化方式は、１を超える参照ピクチャからの動き補償予測を利用したピクチャ間予測に対応している。これらの方式はまた、両方向が同じ方向を指す、双方向ピクチャ間予測の特別な型にも対応する。図１は、そのような将来の双予測ピクチャ間予測の例を示す。１以上の参照フレーム／参照ピクチャがある場合には、２つの参照ピクチャのリストが、双予測ピクチャ間予測用に作成され、対象ピクチャに時間的に近い参照ピクチャは、所定の方式によりリストの先頭に並べ替えられる。

この背景技術に対して本発明が開発された。

ＩＳＯ／ＩＥＣ １４４９６−１０， "ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ"

上記の先行技術に関する課題は、対象ピクチャに最も近い参照ピクチャが常にまたは一般的にリストの先頭に並べ替えられることである。しかし、対象ピクチャに最も近い参照フレームは将来の双予測ピクチャ間予測に用いられる最適な参照ピクチャであるとは限らないかもしれない。

本発明の実施の形態によれば、動画像符号化方法／動画像復号方法は前述の先行技術の課題を解決する、または少なくとも軽減するものである。例えば、この方法によると、２つの参照ピクチャリストを用いるピクチャ間予測が可能であるが、この２つのリストのうち、一方のリストは参照ピクチャ／参照フレームの時間的レベルまたは参照ピクチャ／参照フレームの種別の周期に基づき順序付けられる。

一例として、本発明の実施の形態によれば、将来の双予測ピクチャ間予測が用いられて２つのリストが作成され、一方のリストは、参照ピクチャの時間的レベルに基づき順序付けされ、もう一方のリストは、対象ピクチャへの最も近い時間的距離に基づき順序付けされる。本発明の実施の形態を用いて構成された所定の参照ピクチャリストは、参照リスト再順序付け信号用のビット数を効果的に最小にする階層符号化構造を実施可能にする。

階層符号化構造には、符号化効率および画質の向上という利点がある。一例として、本発明の実施の形態による階層符号化構造では、ピクチャは時間的レベルに配置され、ここでは、最も低い階層が最も低いフレームレートであり、それに続く高い階層が含まれる場合にはより高いフレームレートを含むことを示す。階層符号化構造の例を図２に示す。本発明の実施の形態によると、高い時間的レベルのピクチャよりも品質が良い、低い時間的レベルのピクチャを符号化することにより（例えば、程度を抑えた量子化を行うことにより）一定量の符号化利得が得られる。ＨＥＶＣでは、時間的レベルは、ピクチャの符号化スライスのＮＡＬ（ネットワーク抽出層）部のヘッダに位置するシンタクスパラメータｔｅｍｐｏｒａｌ＿ｉｄを用いて示される。

本発明の第１の態様によると、複数の参照ピクチャを用いて動画像を符号化する方法であって、前記複数の参照ピクチャの各参照ピクチャに対し、参照ピクチャの時間的レベルまたは参照ピクチャの種別の周期を示すパラメータを前記各参照ピクチャに書き込む書き込みステップと、前記パラメータに基づいて並べ替えられる前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する作成ステップと、動画像における対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて符号化する符号化ステップとを含む方法が提供される。

前記符号化ステップは、少なくとも第１の参照ピクチャリストを用いて対象ピクチャに対し動き検出および動き予測を行うステップを含んでもよい。

前記作成ステップはさらに、同一の時間的レベルを有する参照ピクチャそれぞれと対象ピクチャとの時間的距離に基づいて、当該参照ピクチャを並べ替える並べ替えステップを含んでもよい。

前記作成ステップは、前記複数の参照ピクチャのうち、所定の値に等しい時間的レベルを有する１つ以上の参照ピクチャを含む第１の参照ピクチャグループを選択する選択ステップと、前記複数の参照ピクチャのうち、前記所定の値に等しくない時間的レベルを有する複数の参照ピクチャを含む第２の参照ピクチャグループを選択する選択ステップと、前記第１の参照ピクチャリスト内で、前記第２の参照ピクチャグループより上に前記第１の参照ピクチャグループを置く、位置決めステップとを含んでもよい。

当該方法はさらに、参照ピクチャの対象ピクチャに対する時間的距離に基づいて並べ替えられる第２の参照ピクチャリストを作成する作成ステップと、参照ピクチャの対象ピクチャに対する時間的距離に基づいて並べ替えられる第３の参照ピクチャリストを作成する作成ステップとを含んでもよい。

当該方法はさらに、前記第２の参照ピクチャリストが前記第３の参照ピクチャリストに適合するか否かを決定する決定ステップを含み、前記第２の参照ピクチャリストが前記第３の参照ピクチャリストに適合する場合、第１の参照ピクチャリストはパラメータに基づいて並べ替えられることにより作成され、対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて符号化され、前記第２の参照ピクチャリストが前記第３の参照ピクチャリストに適合しない場合、対象ピクチャは前記第２および前記第３の参照ピクチャリストを用いて符号化される。

当該方法はさらに、フラグを対象ピクチャのヘッダに書き込む書き込みステップと、前記フラグが所定の値であるか否かを決定する決定ステップとを含み、前記フラグが前記所定の値である場合、第１の参照ピクチャリストはパラメータに基づいて並べ替えられることで作成され、対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて符号化され、前記フラグが前記所定の値でない場合、前記第１の参照ピクチャリストは少なくとも参照ピクチャの予測依存度に基づいて並べ替えられることにより作成され、対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて符号化される。

第１の参照ピクチャリストは、前記第２の参照ピクチャリストまたは前記第３の参照ピクチャリストをパラメータを用いて修正することにより作成されてもよい。

本発明の第２の態様によると、複数の参照ピクチャを用いて動画像を復号する方法であって、参照ピクチャの時間的レベルまたは参照ピクチャの種別の周期を示すパラメータを前記複数の参照ピクチャの各参照ピクチャから解析する解析ステップと、前記パラメータに基づいて並べ替えられる前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する作成ステップと、動画像における対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて復号する復号ステップとを含む方法が提供される。

前記復号ステップは、少なくとも第１の参照ピクチャリストを用いて対象ピクチャに対し動き予測を行うステップを含んでもよい。

前記作成ステップはさらに、同一の時間的レベルを有する参照ピクチャそれぞれと対象ピクチャとの時間的距離に基づいて、当該参照ピクチャを並べ替える並べ替えステップを含んでもよい。

前記作成ステップは、前記複数の参照ピクチャのうち、所定の値に等しい時間的レベルを有する１以上の参照ピクチャを含む第１の参照ピクチャグループを選択する選択ステップと、前記複数の参照ピクチャのうち、前記所定の値に等しくない時間的レベルを有する複数の参照ピクチャを含む第２の参照ピクチャグループを選択する選択ステップと、前記第１の参照ピクチャリスト内で、前記第１の参照ピクチャグループを前記第２の参照ピクチャグループより上に置く位置決めステップとを含んでもよい。

当該方法はさらに、参照ピクチャの対象ピクチャに対する時間的距離に基づいて並べ替えられる第２の参照ピクチャリストを作成する作成ステップと、参照ピクチャの対象ピクチャに対する時間的距離に基づいて並べ替えられる第３の参照ピクチャリストを作成する作成ステップとを含んでもよい。

前記第２の参照ピクチャリストが前記第３の参照ピクチャリストに適合するか否かを決定する決定ステップを含み、前記第２の参照ピクチャリストが前記第３の参照ピクチャリストに適合する場合、第１の参照ピクチャリストはパラメータに基づいて並べ替えられることにより作成され、対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて復号され、前記第２の参照ピクチャリストが前記第３の参照ピクチャリストに適合しない場合、対象ピクチャは前記第２および前記第３の参照ピクチャリストを用いて復号される。

当該方法はさらに、対象ピクチャのヘッダからフラグを解析する解析ステップと、前記フラグが所定の値であるか否かを決定する決定ステップとを含み、前記フラグが前記所定の値である場合、第１の参照ピクチャリストはパラメータに基づいて並べ替えられることで作成され、対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて復号され、前記フラグが前記所定の値でない場合、前記第１の参照ピクチャリストは少なくとも参照ピクチャの予測依存度に基づいて並べ替えられることにより作成され、対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて復号される。

第１の参照ピクチャリストは、前記第２の参照ピクチャリストまたは前記第３の参照ピクチャリストをパラメータを用いて修正することにより作成されてもよい。

本発明の第３の態様によると、複数の参照ピクチャを用いて動画像を符号化する装置であって、前記複数の参照ピクチャの各参照ピクチャに対し、参照ピクチャの時間的レベルまたは参照ピクチャの種別の周期を示すパラメータを前記各参照ピクチャに書き込む書き込み部と、前記パラメータに基づいて並べ替えられる前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する第１のリスト作成部と、動画像における対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて符号化する符号化セクションとを含む装置が提供される。

本発明の第４の態様によると、複数の参照ピクチャを用いて動画像を復号する装置であって、参照ピクチャの時間的レベルまたは参照ピクチャの種別の周期を示すパラメータを前記複数の参照ピクチャの各参照ピクチャから解析する解析部と、前記パラメータに基づいて並べ替えられる前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する第１のリスト作成部と、動画像における対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて復号する復号部とを含む装置が提供される。

本発明の第５の態様によると、複数の参照ピクチャを用いて動画像を符号化する方法であって、参照ピクチャリストを構成するための複数の所定の技術のうち１つを選択する選択ステップと、対象ピクチャを、前記選択された技術に基づいて構成される参照ピクチャリストを用いて符号化する符号化ステップと、選択された技術を示すパラメータを、対象ピクチャに書き込む書き込みステップとを含む方法が提供される。

本発明の第６の態様によると、複数の参照ピクチャを用いて動画像を復号する方法であって、参照ピクチャリストを構成するための複数の所定の技術のうち選択された技術を示すパラメータを解析する解析ステップと、対象ピクチャを、前記選択された技術に基づいて構成される参照ピクチャリストを用いて復号する復号ステップとを含む方法が提供される。

本発明の効果は符号化効率の向上であり、本発明は、２つの異なる参照ピクチャリストを提供し、付加的情報のわずかな増加に伴い画質を向上する。

本発明の実施の形態を、添付の図面を参照しながら、例としてのみ以下に説明する。
図１は、両方の予測が同じ方向である双予測ピクチャ間予測の一例を示す図である。 図２は、時間的レベルと符号化ピクチャの画質の一般的な対応の例を示す図である。 図３は、先行技術によって構成された参照ピクチャリストの例と本発明の実施の形態によって構成された参照ピクチャリストの例を比較して示す図である。 図４は、本発明の第１の実施の形態における動画像符号化方法に関するフローチャートを示す。 図５は、本発明の第１の実施の形態における動画像復号方法に関するフローチャートを示す。 図６は、本発明の第１の実施の形態における動画像符号化装置の例を示すブロック図である。 図７は、本発明の第１の実施の形態における動画像復号装置の例を示すブロック図である。 図８は、本発明の実施の形態における、参照ピクチャリストの構成のための複数の所定の技術のうちの選択された技術を示すパラメータの符号化動画像ビットストリームのヘッダにおける典型的な位置を示す図である。 図９は、本発明の第２の実施の形態における動画像符号化方法に関するフローチャートを示す。 図１０は、本発明の第２の実施の形態における動画像復号方法に関するフローチャートを示す。 図１１Ａは、本発明の第３の実施の形態における動画像符号化方法に関するフローチャートを示す。 図１１Ｂは、本発明の他の実施の形態における動画像符号化方法に関するフローチャートを示す。 図１２Ａは、本発明の第３の実施の形態における動画像復号方法に関するフローチャートを示す。 図１２Ｂは、本発明の他の実施の形態における動画像復号方法に関するフローチャートを示す。 図１３は、第３の参照ピクチャリストを並べ替える本発明の実施の形態に関するフローチャートを示す。 図１４は、第３の参照ピクチャリストを並べ替える本発明の他の実施の形態に関するフローチャートを示す。 図１５は、本発明の第３の実施の形態における動画像符号化装置の例を示すブロック図である。 図１６は、本発明の第３の実施の形態における動画像復号装置の例を示すブロック図である。 図１７は、ピクチャの時間的レベルを示すパラメータの符号化ピクチャの符号化スライスのヘッダにおける典型的な位置を示す図である。 図１８Ａは、本発明の第４の実施の形態における動画像符号化方法に関するフローチャートを示す。 図１８Ｂは、本発明の他の実施の形態における動画像符号化方法に関するフローチャートを示す。 図１９Ａは、本発明の第４の実施の形態における動画像復号方法に関するフローチャートを示す。 図１９Ｂは、本発明の第４の実施の形態における動画像復号方法に関するフローチャートを示す。 図２０は、第３の参照ピクチャリストを並べ替える本発明のさらに他の実施の形態に関するフローチャートを示す。 図２１は、本発明の第４の実施の形態における動画像符号化装置の例を示すブロック図である。 図２２は、本発明の第４の実施の形態における動画像復号装置の例を示すブロック図である。 図２３は、ピクチャのある周期を示すパラメータの符号化動画像ビットストリームのヘッダにおける典型的な位置を示す図である。 図２４Ａは、本発明の第５の実施の形態における動画像符号化方法に関するフローチャートを示す。 図２４Ｂは、本発明の他の実施の形態における動画像符号化方法に関するフローチャートを示す。 図２５Ａは、本発明の第５の実施の形態における動画像復号方法に関するフローチャートを示す。 図２５Ｂは、本発明の他の実施の形態における動画像復号方法に関するフローチャートを示す。 図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２７は、デジタル放送用システムの全体構成図である。 図２８は、テレビの構成例を示すブロック図である。 図２９は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３０は、光ディスクである記録メディアの構造例を示す図である。 図３１Ａは、携帯電話の一例を示す図である。 図３１Ｂは、携帯電話の構成例を示すブロック図である。 図３２は、多重化データの構成を示す図である。 図３３は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図３４は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図３５は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図３６は、ＰＭＴのデータ構成を示す図である。 図３７は、多重化データ情報の内部構成を示す図である。 図３８は、ストリーム属性情報の内部構成を示す図である。 図３９は、動画像データを識別するステップを示す図である。 図４０は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図４１は、駆動周波数を切り替える構成を示す図である。 図４２は、動画像データを識別し、工藤周波数を切り替えるステップを示す図である。 図４３は、動画像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図４４Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図４４Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

本発明の実施の形態によると、複数の参照ピクチャ／参照フレームを用いる動画像符号化方法、複数の参照ピクチャを用いる動画像復号方法、およびそれらに対応する装置が提供される。

図３は、従来の技術によって構成される参照リストと比較して、本発明の実施の形態による参照リストの構成に関する２つの例（例＃１および例＃２）を示す。従来の技術では、参照リストの構成方法は対象ピクチャに対する時間的距離に基づいている。そのため、図示する例では、２つの同じ参照ピクチャリスト（図３における第１のリストおよび第２のリスト）が、従来の技術によって作成される。一方、本発明の実施の形態によると、少なくとも１つの参照リスト（たとえば、図３における第３のリスト）が作成され、このリストにおける参照ピクチャが、参照ピクチャの時間的レベルに基づき順序付けられる／並べ替えられる。図３に示すように、例＃１では、参照ピクチャは、参照ピクチャ「０」、参照ピクチャ「２」、参照ピクチャ「３」、そして参照ピクチャ「１」、のように（参照リストの先頭から）順序付けされる。例＃２では、参照ピクチャは、参照ピクチャ「８」、参照ピクチャ「１０」、参照ピクチャ「９」、そして参照ピクチャ「７」、のように（参照リストの先頭から）順序付けされる。そして、ピクチャ間予測符号化が、少なくとも第３の参照リストを用いて行われる。たとえば、ピクチャ間予測符号化は、従来の技術に教示されているような第１および第２のリストを用いず、第３のリストのみまたは第３および第２のリストのみを用いて行われてもよい。

一貫性と明確性のため、他のものが特定されない限り、時間的レベルの最も低い値（例えば、値「０」）は最も低いフレームレートにおける主要ピクチャを示し、時間的レベルのその次に高い値（例えば、値「１」、「２」、及び「３」）は、低い時間的レベルの先頭に付加された場合、それぞれより高い（たとえば、２倍）フレームレートを提示する後続のピクチャのセットを示す、という慣例を用いて、本発明の実施の形態における時間的レベルを説明する。同様の慣習が、ＨＥＶＣ、拡張Ｈ．２６４ＭＶＣ及び拡張Ｈ．２６４ＳＶＣなどの最近の動画像符号化方式に用いられるが、これら方式では、時間的レベルがシンタクスパラメータｔｅｍｐｏｒａｌ＿ｉｄを用いて示される。しかし、他の慣習が本発明の範囲を逸脱せずに適用可能であることは当業者にとって明らかであるだろう。たとえば、時間的レベルのより大きな値がむしろより低いフレームレートを示してもなお同様の目的を果たせることなどがある。

図４は、本発明の第１の実施の形態における、複数の参照ピクチャを用いる動画像符号化プロセスを説明するフローチャートを示す。ステップ４００では、参照ピクチャリスト構成用の複数の所定の技術または方法のうちから一つを選択する。たとえば、複数の所定の技術は参照ピクチャの対象ピクチャに対する時間的距離に基づき参照ピクチャリストを構成する第１の技術を備えていてもよい。この場合、参照ピクチャの時間的レベルは符号化動画像ビットストリームにおける時間的なスケーラビリティの特徴に対応するために用いられる。複数の所定の技術はさらに、参照ピクチャの時間的レベルに基づいて参照ピクチャリストを構成する第２の技術を備えていてもよい。一例として、第２の技術によると、参照ピクチャリストが作成されると、リスト内の参照ピクチャは時間的レベルを上げることにより並べ替えられる（言い換えれば、最も低い時間的レベルを有する（複数の）参照ピクチャが、リストの先頭に並べ替えられる）。

ステップ４０２では、参照ピクチャリストの構成の選択された技術を用いて、対象ピクチャが符号化される（たとえば、動き補償ピクチャ間符号化）。ステップ４０４では、参照ピクチャリストの構成の選択された技術を示すパラメータまたはフラグがピクチャ（符号化動画像ビットストリーム）の先頭に書き込まれる。たとえば、パラメータ値「０」および「１」はそれぞれ、第１および第２の技術を示す。

図５は、本発明の第１の実施の形態に基づく、複数の参照ピクチャを用いる動画像復号プロセスを説明するフローチャートを示す。ステップ５００では、対象ピクチャ（符号化動画像ビットストリーム）の先頭が解析され、参照ピクチャリスト構成用の複数の所定の技術のうちの選択された技術を示すパラメータまたはフラグを取得する。ステップ５０２では、選択された技術を決定するパラメータを用いて、参照ピクチャリスト構成の選択された技術に基づき、対象ピクチャが復号される（たとえば動き補償ピクチャ間復号）。参照ピクチャリストの構成に関して同じ複数の所定の技術が、上述した第１の実施の形態における符号化プロセスと復号プロセスにおいて存在することが好ましい。

図６は、本発明の第１の実施の形態における動画像符号化装置を示すブロック図である。図６に示される装置を修正することにより、本明細書で開示される動画像符号化方法または他の方法のいずれか一つを、本発明の範囲を逸脱せずに実施可能であることは、当業者にとって明確であるだろう。すなわち、本発明における動画像符号化装置は、図６に示される部品／要素、およびそれらの相互接続に限られるものではなく、様々な目的のために当業者によって修正可能である。

典型的な動画像符号化装置は、選択部７００、第１のスイッチ部７０２、第１の作成部７０４、第２の作成部７０６、第２のスイッチ部７０８、符号化部７１０、書き込み部７１２、およびメモリ部７１４を備える。

図６に示すように、選択部７００は、参照ピクチャリスト構成用の２つ以上の所定の技術または方法から選択を行い、選択Ｄ７０１を示すパラメータまたはフラグを出力する。選択パラメータＤ７０１を用いて、第１のスイッチ部７０２は保存参照ピクチャＤ７０３をメモリ部７１４から第１の作成部７０４または第２の作成部７０６へ送信する。第１の作成部７０４または第２の作成部７０６は、選択された参照ピクチャリスト構成用の所定の技術に応じて、参照ピクチャリストを作成する。選択パラメータＤ７０１に基づき、第２のスイッチ部７０８は、第１の作成部７０４により作成された参照ピクチャリストＤ７０７または第２の作成部７０６により作成された参照ピクチャリストＤ７１１を符号化部７１０に送信する。符号化部７１０は、参照ピクチャリストＤ７１３、元の非圧縮画像Ｄ７１５、保存参照ピクチャＤ７０３を受信し、そして、例えば動き補償ピクチャ間予測を用いて符号化を行い、符号化ピクチャＤ７１７を出力する。書き込み部７１２は、符号化ピクチャＤ７１７および選択パラメータＤ７０１を符号化動画像ビットストリームＤ７１９に書き込む。

図７は、本発明の第１の実施の形態による動画像復号装置を示すブロック図である。図７に示される装置を修正することにより、本明細書で開示される動画像復号方法または他の方法のうちいずれか一つを、本発明の範囲を逸脱せずに実施可能であることは、当業者にとって明確であるだろう。すなわち、本発明の動画像復号装置は、図７に示される部品／要素、およびそれらの相互接続に限られるものではなく、様々な目的のために当業者によって修正可能である。

当該装置は、解析部８００、第１のスイッチ部８０２、第１の作成部８０４、第２の作成部８０６、第２のスイッチ部８０８、および復号部８１０を備える。

図７に示すように、解析部８００は、対象ピクチャ（符号化動画像ビットストリーム）Ｄ８０１の先頭を解析し、参照ピクチャリストの構成に関して選択された所定の技術を示すパラメータまたはフラグＤ８０３を取得する。解析パラメータＤ８０３に基づき、スイッチ部８０２は、参照ピクチャリストの構成に関して選択された所定の技術に応じて参照ピクチャリストを作成する、第１の作成部Ｄ８０４または第２の作成部Ｄ８０６に参照ピクチャＤ８０１を送信する。解析パラメータＤ８０３に基づき、第２のスイッチ部８０８は、第１の作成部Ｄ８０４からの参照ピクチャリストＤ８０７、または第２の作成部８０６からの参照ピクチャリストＤ８１１を、復号部８１０へ送信する。復号部は、参照ピクチャリストＤ８１３、符号化動画像ビットストリームＤ８０１、および保存された参照ピクチャＤ８０１を用いて、例えば、動き補償ピクチャ間予測により復号を行い、再構成されたピクチャＤ８１７を作成する。

図８は、参照ピクチャリストの構成に関して選択された所定の技術を示すパラメータまたはフラグの符号化動画像ビットストリームにおける位置の例を示す図である。たとえば、パラメータまたはフラグは、第１の所定の技術に対して値「０」を、第２の所定の技術に対して値「１」を有する。本発明の実施の形態に基づき、図８（ａ）は、圧縮動画像ビットストリームのシーケンスヘッダにおけるパラメータの位置を示し、図８（ｂ）は、圧縮動画像ビットストリームのピクチャヘッダにおけるパラメータの位置を示し、図８（ｃ）は、圧縮動画像ビットストリームのスライスヘッダにおけるパラメータの位置を示し、図８（ｄ）は、パラメータはまた、圧縮動画像ビットストリームのシーケンスヘッダに位置するプロファイルパラメータ、レベルパラメータまたはプロファイルおよびレベルの両パラメータに基づき所定のルックアップテーブルから派生されることを示す。

図９は、本発明の第２の実施の形態における複数の参照ピクチャを用いる動画像符号化方法に関するフローチャートである。第１のステップ９００として、当該方法は、複数の参照ピクチャの各々に関し、参照ピクチャの時間的レベル、または参照ピクチャの種別の周期を示すパラメータを参照ピクチャに書き込む書き込みステップを備える。例えば、図３に示すように、時間的レベルを示すパラメータは、「０」、「１」、「２」などのような値であってよく、時間的レベルの最も低い値は、前述したように最も低いフレームレートにおける参照ピクチャを示す。参照ピクチャの種別の周期を示すパラメータは、「１」、「２」などのような数字であってよく、この値は、参照ピクチャの特定の種別（たとえば、主要ピクチャ）が定期的に現れる間隔を示す。例として、参照ピクチャの種別の周期を示すパラメータが「４」である場合、これは、特定の種別の参照ピクチャが出力順に４フレームごとに定期的に現れることを示す。

動画像符号化方法にはさらに、パラメータに基づき並べ替えられる複数の参照ピクチャからなる第１の参照ピクチャリストを作成するステップ９０２が含まれる。たとえば、参照ピクチャの時間的レベルを示すパラメータの場合、ステップ９０２は、低い時間的レベルを有する低い参照ピクチャを第１のリストの先頭に置くよう順序付ける等、参照ピクチャの時間的レベルに基づいて並べ替えられる第１の参照ピクチャリストを作成する。

動画像符号化方法には、少なくとも第１の参照ピクチャリストを用いて動画像における対象ピクチャを符号化するステップ９０４が含まれる。たとえば、対象ピクチャの符号化には、対象ピクチャに対して、少なくとも第１の参照ピクチャリストを用いて動き検出および動き予測を行うことが含まれる。

図１０は、第２の実施の形態における複数の参照ピクチャを用いる動画像復号方法を示すフローチャートである。第１のステップ１００２として、当該方法には、参照ピクチャの時間的レベルまたは参照ピクチャの種別の周期を示すパラメータを、複数の参照ピクチャの各々から解析するステップが含まれる。前述したように、たとえば、時間的レベルを示すパラメータは、「０」、「１」、「２」などの値であってよく、時間的レベルの最も低い値は、前述したように最も低いフレームレートにおける参照ピクチャを示す。参照ピクチャの種別の周期を示すパラメータは、「１」、「２」などの値であってよく、この値は、参照ピクチャの特定の種別（たとえば主要なピクチャ）が再発生する期間（たとえば間隔）を示す。

動画像復号方法にはさらに、パラメータに基づき並べ替えられる複数の参照ピクチャを含む第１の参照ピクチャを作成するステップ１００４と、少なくとも第１の参照ピクチャリストを用いて動画像における対象ピクチャを復号するステップ１００６が含まれる。たとえば、対象ピクチャの符号化には、対象ピクチャに対して少なくとも第１の参照ピクチャリストを用いて動き予測を行うことが含まれる。

本発明の第２の実施の形態における複数の参照ピクチャを用いる動画像符号化装置は、書き込み部、第１のリスト作成部、および符号化セクションからなる。書き込み部は、複数の参照ピクチャの各々にパラメータを書き込み、第１のリスト作成部は、パラメータに基づき並べ替えられる複数の参照ピクチャからなる第１の参照ピクチャリストを作成し、符号化セクションは、少なくとも第１の参照ピクチャリストを用いて動画像における対象ピクチャを符号化する。たとえば、符号化セクションは、少なくとも第１の参照ピクチャリストを用いて対象ピクチャに対して動き検出を行い、動き予測部は、少なくとも第１の参照ピクチャリストを用いて対象ピクチャに対して動き予測を行ってもよい。

本発明の第２の実施の形態における複数の参照ピクチャを用いる動画像復号装置は、解析部、第１のリスト作成部、および復号セクションからなる。解析部は、複数の参照ピクチャの各々からパラメータを解析し、第１のリスト作成部は、パラメータに基づいて並べ替えられる複数の参照ピクチャからなる第１の参照ピクチャリストを作成し、復号セクションは、少なくとも第１の参照ピクチャリストを用いて動画像における対象ピクチャを復号する。たとえば、復号セクションは、少なくとも第１の参照ピクチャリストを用いて対象ピクチャに対して動き予測を行う動き予測部を備えてもよい。

本発明の第２の実施の形態は、符号化／復号効率を向上するために見出された。背景技術で議論したように、従来技術の課題は、対象ピクチャに最も近い参照ピクチャが常に参照リストの先頭に並べ替えられることである。一方、本発明の第２の実施の形態によると、参照ピクチャの時間的レベルまたは、参照ピクチャの種別の周期を示すパラメータが参照ピクチャに書き込まれ、少なくとも１つの参照リストが、パラメータに基づき並べ替えられる参照ピクチャで作成される。たとえば、パラメータが参照ピクチャの時間的レベルを示す場合が図３に示される。図３を参照すると、従来技術の教示に基づいて、例＃１におけるピクチャ／フレーム「４」に対応する参照リストは時間的距離にのみ基づき作成されるが、これはすなわち、ピクチャ「４」に最も近いピクチャ「３」がリストの先頭に配置され、ピクチャ「２」とピクチャ「１」がそのあとに続き、ピクチャ「０」は参照リストの最後に置かれるということである。しかし、ピクチャ「３」の時間的レベルが高いため、ピクチャ「３」は、ピクチャ「４」に関するピクチャ間予測用の最適な参照ピクチャ／参照フレームではなく、そのようなピクチャがリストの先頭に配置されるのは理想的ではない。一方、第２の実施の形態によれば、ピクチャ「０」から「３」のうちの最も低い時間的レベルを伴うパラメータに割り当てられたピクチャ「０」は、リストの先頭に配置され、ピクチャ「２」、ピクチャ「３」、およびピクチャ「１」がそれに続く。その結果、より適切なまたは適当な参照ピクチャがリストの先頭に配置されるため、このリストはピクチャ間予測に用いられる最も少ないビット数で表される。したがって、より適切な動画像符号化／復号が、本発明の第２の実施の形態に基づき達成される。

本発明のさらなる実施の形態が、本発明の第２の実施の形態のより詳細な例の下、図面を参照して説明される。以下の実施の形態は、単に例示であって、本発明の範囲を限定するものではないことが、当業者に認識されるであろう。

図１１Ａは、本発明の第３の実施の形態における多数の参照ピクチャを用いる動画像符号化プロセスまたは動画像符号化方法を示すフローチャートである。図１１Ａに示すように、ステップ１１００では、参照ピクチャの時間的レベルを示す／分類するパラメータが参照ピクチャ（たとえば、参照ピクチャの符号化スライス）のヘッダに書き込まれる。時間的レベルを分類するパラメータの例には、ＨＥＶＣ動画像符号化方式におけるシンタックスパラメータｔｅｍｐｏｒａｌ＿ｉｄがある。ステップ１１０２では、対象ピクチャに対する時間的距離に基づき並べ替えられる第１の参照ピクチャリストが作成される。ステップ１１０４では、対象ピクチャに対する時間的距離に同様に基づき第２の参照ピクチャリストが作成される。そして、ステップ１１０６では、比較が行われ、第１のリストが第２のリストに適合するか（たとえば、同一か）否かが決定または判定される。

第１のリストが第２のリストに適合する場合、少なくとも参照ピクチャの対象ピクチャに対する時間的レベルを用いて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）が作成される。少なくとも参照ピクチャの時間的レベルによって第３の参照ピクチャリストを並べ替える／順序付ける実施の形態を、図１３および図１４を参照して説明する。次に、ステップ１１１０で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば画像サンプルのブロック）に対して行われ、ステップ１１１２で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き検出プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

本発明の実施の形態では、第３のリストが、少なくとも参照ピクチャの対象ピクチャに対する時間的レベルを用いて第１のリストまたは第２のリストからの参照ピクチャを再度順序付けることにより作成される。そのような実施の形態では、第３の参照ピクチャリストが第１の参照ピクチャリストまたは第２の参照ピクチャリストの効果的な修正版となる。

ステップ１１０６で第１のリストが第２のリストに適合しない場合、ステップ１１１４で、動き検出プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われ、ステップ１１１６で、動き予測プロセスが第１および第２のリストを用いて対象ピクチャに対して行われる。

ある実施の形態において、ステップ１１０６のロジックは切り替えられてもよい。特に、第１のリストが第２のリストに適合する場合、ステップ１１１４で、動き検出プロセスが第１および第２のリストを用いて対象ピクチャに対して行われ、ステップ１１１６で、動き予測プロセスが第１および第２のリストを用いて対象ピクチャに対して行われる。一方、ステップ１１０６で第１のリストが第２のリストに適合しない場合、少なくとも参照ピクチャの時間的レベルによって並べ替えられる第３の参照ピクチャリスト（第２の実施の形態における第１の参照ピクチャリストに対応する）がステップ１１０８で作成される。次に、ステップ１１０８で動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われ、ステップ１１１２で動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き検出プロセスおよび／または動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

さらに他の実施の形態を図１１Ｂに示す。具体的には、図１１Ａに示されるステップ１１０６、１１１４、および１１１６が省略される。したがって、ステップ１１０４の後、少なくとも参照ピクチャの対象ピクチャに対する時間的レベルを用いて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ１１５８で作成される。次に、ステップ１１６０で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば画像サンプルのブロック）に対して行われ、ステップ１１６２で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き検出プロセスおよび／または動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３の参照ピクチャリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

図１２Ａは、本発明の第３の実施の形態における多数の参照ピクチャを用いる動画像復号プロセスまたは動画像符号化方法を示すフローチャートである。図１２Ａに示すように、ステップ１２００では、参照ピクチャの時間的レベルを示すパラメータが多数の参照ピクチャの各々の参照ピクチャのヘッダから解析されるかまたは決定される。次に、ステップ１２０２では、対象ピクチャに対する時間的距離に基づき並べ替えられる第１の参照ピクチャリストが作成される。ステップ１２０４では、対象ピクチャに対する時間的距離に同様に基づいて並べ替えられる第２の参照ピクチャリストが作成される。そして、ステップ１２０６では、比較が行われ、第１のリストが第２のリストに適合するか（たとえば、同一か）否かが決定または判定される。

第１のリストが第２のリストに適合する場合、少なくとも参照ピクチャの時間的レベルによって並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）が作成される。同様に、少なくとも参照ピクチャの時間的レベルによって第３の参照ピクチャリストを並べ替える／順序付ける実施の形態を、図１３および図１４を参照して後述する。次に、ステップ１２１０で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば画像サンプルのブロック）に対して行われる。たとえば、動き予測プロセスは、第２のおよび第３の参照ピクチャリストを用いて行われてもよく、また第１および第３の参照ピクチャリストを用いて行われてもよい。

ステップ１２０６で第１のリストが第２のリストに適合しない場合、ステップ１２１２で、動き予測プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われる。

ある実施の形態において、ステップ１２０６のロジックは切り替えられてもよい。具体的には、第１のリストが第２のリストに適合する場合、ステップ１２１２で、動き予測ロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われる。一方、ステップ１２０６で、第１のリストが第２のリストに適合しない場合、少なくとも参照ピクチャの時間的レベルに基づいて並べ替えられる第３の参照ピクチャ（第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ１２０８で作成される。次に、ステップ１２１０で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き予測ロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

さらに他の実施の形態が図１２Ｂに示される。具体的には、図１２Ａに示されるステップ１２０６およびステップ１２１２が省略される。したがって、ステップ１２０４の後、少なくとも参照ピクチャの時間的レベルによって並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ１２５８で作成される。次に、ステップ１２６０で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば画像サンプルのブロック）に対して行われる。たとえば、動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

図１３は、少なくとも参照ピクチャの時間的レベルによって第３の参照ピクチャリストを並べ替える／順序付ける本発明の実施の形態を示すフローチャートである。ステップ１３００では、リストにおける参照ピクチャが時間的レベルの小さい順に並べ替えられる。ステップ１３０２では、２つ以上の参照ピクチャが同じ時間的レベルである場合、その２つ以上の参照ピクチャは対象ピクチャに対するそれぞれの時間的距離に応じて順番に並べ替えられる。たとえば、ステップ１３０２では、対象ピクチャに対して長い時間的距離を有する参照ピクチャと比較して、対象ピクチャに対して短い時間的距離を有する参照ピクチャが第３のリストにおいて高い位置（より小さな参照インデックス値）に置かれるように、同じ時間的レベルを有する参照ピクチャが対象ピクチャに対する時間的距離の短い順に並べ替えられる。例として、図３に示される例＃１では、ピクチャ「１」と「３」が同じ時間的レベル「２」を有する。したがって、ピクチャ「１」および「３」は、対象ピクチャ「４」に対するそれぞれの時間的距離に基づいて更に並べ替えられる。その結果、ピクチャ「３」は、リストのピクチャ「１」より上になるよう配置される。

図１４は、少なくとも参照ピクチャの時間的レベルによって第３の参照ピクチャリストを並べ替える／順序付ける本発明の他の実施の形態を示すフローチャートである。ステップ１４００では、所定の値に等しい時間的レベルを有する１つ以上の参照ピクチャからなる第１の参照ピクチャグループが選択される。所定値の例は、最も低い時間的レベル（最も低いフレームレート表示に対応する）を示す「０」であってよい。次に、ステップ１４０２で、第１の参照ピクチャグループに含まれない参照ピクチャからなる第２の参照ピクチャグループが選択される。ステップ１４０４では、第１の参照ピクチャグループは第３のリストの先頭に位置する／並べ替えられ、第１のグループ内の参照ピクチャは、それぞれの対象ピクチャに対する時間的距離に応じて並べ替えられる。次に、ステップ１４０６では、第２の参照ピクチャグループが、それぞれの対象ピクチャに対する時間的距離に応じて、第３のリストにおける第１の参照ピクチャグループより後／下に配置される／並べ替えられる。たとえば、第１のグループおよび／または第２のグループ内の参照ピクチャは、対象ピクチャに対する時間的距離の短い順に並べ替えられる。

図１５は、本発明の第３の実施の形態における動画像符号化装置の例を示すブロック図である。図１５に示される装置を修正することにより、本明細書で開示される動画像符号化方法（たとえば、図９に示される方法）または他の方法のいずれか一つを、本発明の範囲を逸脱せずに実施可能であることは、当業者にとって明確であるだろう。すなわち、本発明の動画像符号化装置は、図１５に示される部品／要素、およびそれらの相互接続に限られるものではなく、様々な目的のために当業者によって修正可能である。

典型的な動画像符号化装置は、動き検出部１５００、動き予測部１５０２、第１のリスト作成部１５０４、第２のリスト作成部１５１６、第３のリスト作成部１５１０、第１のスイッチ部１５０６、第２のスイッチ部１５０８、メモリ部１５１２、比較部または決定部１５１４、および書き込み部１５１８を備える。

図１５に示すように、動き検出部１５００は対象ピクチャＤ１５０１（たとえば、画像サンプルのブロック）、参照ピクチャの選択されたリストＤ１５１１，および第２の参照ピクチャリストＤ１５１９を読み取り、動きベクトルのセットＤ１５０３を出力する。動き予測部１５０２は、動きベクトルのセットＤ１５０３、参照ピクチャの選択されたリストＤ１５１１、および第２の参照ピクチャＤ１５１９を読み取り、予測サンプルのブロックＤ１５０５を出力する。第１のリスト作成部１５０４はメモリ部１５１２から参照ピクチャＤ１５１３を読み取り、第１の参照ピクチャリストＤ１５１５を出力する。第２のリスト作成部１５１６はメモリ部１５１２から参照ピクチャＤ１５１７を読み取り、第２の参照ピクチャリストＤ１５１９を出力する。比較部１５１４は、第１の参照ピクチャリストＤ１５１５および第２の参照ピクチャリストＤ１５１９の両方を読み取り、第１のスイッチ部１５０６および第２のスイッチ部１５０８を制御する制御信号Ｄ１５２１を出力する。第１のスイッチ部１５０４は、制御信号Ｄ１５２１に基づき、第２のスイッチ部１５０８または第３のリスト作成部１５１０に第１の参照ピクチャリストＤ１５１５を送信する。第３のリスト作成部１５１０は、第１の参照ピクチャリストＤ１５０９および、メモリ部１５１２に保存される参照ピクチャＤ１５２５の時間的レベルの識別子パラメータに基づき第３の参照ピクチャリストＤ１５２３を作成する。第２のスイッチ部１５０８は、制御信号Ｄ１５２１に基づき、第１の参照ピクチャリストＤ１５０７または第３の参照ピクチャリストＤ１５２３のいずれかを選択する。書き込み部１５１８は、対象ピクチャＤ１５２７の時間的レベルを読み取り、対象ピクチャＤ１５２９のヘッダに対応する時間的レベルの識別子パラメータを書き込む。

図１６は、本発明の第３の実施の形態における動画像復号装置の例を示すブロック図である。同様に、図１６に示される装置を修正することにより、本明細書で開示される動画像復号方法（たとえば、図１０に示される方法）または他の方法のいずれか一つを、本発明の範囲を逸脱せずに実施可能であることは、当業者にとって明確であるだろう。すなわち、本発明の動画像復号装置は、図１６に示される部品／要素、およびそれらの相互接続に限られるものではなく、様々な目的のために修正可能である。

動画像復号装置の例は、動き予測部１６００、第１のリスト作成部１６０２、第２のリスト作成部１６１４、第３のリスト作成部１６０８、第１のスイッチ部１６０４、第２のスイッチ部１６０６、メモリ部１６１０、比較部または決定部１６１２、および解析部１６１６を備える。

図１６に示すように、動き予測部１６００は、動きベクトルの復号されたセットＤ１６０１、参照ピクチャの選択されたリストＤ１６０９、および第２の参照ピクチャリストＤ１６１７を読み取り、予測サンプルのブロックＤ１６０３を出力する。第１のリスト作成部１６０２はメモリ部１６１０から参照ピクチャＤ１６１１を読み取り、第１の参照ピクチャリストＤ１６１３を出力する。第２のリスト作成部１６１４はメモリ部１６１０から参照ピクチャＤ１６１５を読み取り、第２の参照ピクチャリストＤ１６１７を出力する。比較部１６１２は、第１の参照ピクチャリストＤ１６１３および第２の参照ピクチャリストＤ１６１７の両方を読み取り、第１のスイッチ部１６０４および第２のスイッチ部１６０６を制御する制御信号Ｄ１６１９を出力する。第１のスイッチ部１６０４は、制御信号Ｄ１６１９に基づき、第２のスイッチ部１６０６または第３のリスト作成部１６０８に第１の参照ピクチャリストＤ１６１３を送信する。第３のリスト作成部１６０８は、第１の参照ピクチャリストＤ１６０７および、メモリ部１６１０に保存される参照ピクチャの時間的レベルの識別子パラメータＤ１６２３に基づき第３の参照ピクチャリストＤ１６２１を作成する。第２のスイッチ部１６０６は、制御信号Ｄ１６１９に基づき、第１の参照ピクチャリストＤ１６０５または第３の参照ピクチャリストＤ１６２１のいずれかを選択する。解析部１６１６は、符号化ピクチャＤ１６２５のヘッダを解析し、解析された時間的レベルの識別子パラメータＤ１６２７をメモリ部１６１０に出力する。

図１７は、ピクチャの時間的レベルを示すパラメータのピクチャのヘッダにおける位置の例を示す図である。符号化動画像ビットストリームでは、各ピクチャは１つ以上のスライスネットワーク抽出層単位（「ＮＡＬＵ」）で表される。図１２に示すように、ピクチャの時間的レベルを識別する／分類するパラメータは、スライスＮＡＬＵのＮＡＬＵヘッダに位置する。

図１８Ａは、本発明の第４の実施の形態による多数の参照ピクチャを用いる動画像符号化プロセスまたは動画像符号化方法を示すフローチャートである。図１８Ａに示すように、ステップ１８００では、参照ピクチャの種別の周期を表すまたは示すパラメータがピクチャ（符号化動画像ビットストリーム）のヘッダに書き込まれる。参照ピクチャの種別の周期は、ある種別のピクチャが定期的に再出現する周期を参照するので、あるピクチャの種別の間隔と呼ばれてもよい。たとえば、パラメータ値が「４」であれば、特定のタイプのピクチャ（たとえば、主要なピクチャ）は出力順に４フレームごとに定期的に現れることを示す。次に、ステップ１８０２では、対象ピクチャに対する時間的距離に基づき並べ替えられる第１の参照ピクチャリストが作成される。ステップ１８０４では、対象ピクチャに対する時間的距離に同様に基づいて第２の参照ピクチャリストが作成される。ステップ１８０６では比較が行われ、第１のリストが第２のリストに適合するか（たとえば、同一か）否かが判定または決定される。

第１のリストが第２のリストに適合する場合、ステップ１８０８で、参照ピクチャの種別の周期に少なくとも基づいて並べ替えられる第３の参照ピクチャリストが作成される。少なくとも参照ピクチャの種別の周期に基づいて第３の参照ピクチャリストを並べ替える／順序付けることは、図１３および図１４を参照して前述したものと同様に行われるが、ピクチャの種別の周期または間隔を示すパラメータの代用になる参照ピクチャの時間的レベルを示すパラメータを用いることもできる。次に、ステップ１８１０で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われ、ステップ１８１２で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き検出プロセスおよび／または動き予測プロセスは、第３のリストのみを用いて対象ピクチャに対して行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

本発明の実施の形態では、少なくとも参照ピクチャの並べ替え用の参照ピクチャの種別の周期を用いて第１のリストまたは第２のリストの参照ピクチャを再度順序付けることにより第３のリストが作成される。そのような実施の形態では、第３の参照ピクチャリストが第１の参照ピクチャリストまたは第２の参照ピクチャリストの効果的な修正版となる。

ステップ１８０６で第１のリストが第２のリストに適合しない場合、ステップ１８１４で、動き検出プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われ、ステップ１８１６で動き予測プロセスが第１および第２のリストを用いて対象ピクチャに対して行われる。

ある実施の形態において、ステップ１８０６のロジックは切り替えられてもよい。具体的には、第１のリストが第２のリストに適合する場合、ステップ１８１４で、動き検出プロセスが第１および第２の参照ピクチャリストを用いてが対象ピクチャに対して行われ、ステップ１８１６で、動き予測プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われる。一方、ステップ１８０６で第１のリストが第２のリストに適合しない場合、少なくとも参照ピクチャの種別の周期によって並べ替えられる第３の参照ピクチャ（たとえば、第２の実施の形態における第１の参照ピクチャリストに対応する）がステップ１８０８で作成される。次に、ステップ１８１０で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われ、ステップ１８１２で動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き検出プロセスおよび／または動き予測プロセスは、第２および第３の参照ピクチャリストを用いて行われてもよく、または第１および第３の参照ピクチャリストを用いて行われてもよい。

さらに他の実施の形態が図１８Ｂに示される。具体的には、図１８Ａに示されるステップ１８０６、１８１４、および１８１６が省略される。したがって、ステップ１８０４の後、少なくとも参照ピクチャの種別の周期によって並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ１８５８で作成される。次に、ステップ１８６０で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば画像サンプルのブロック）に対して行われ、ステップ１８６２で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き検出プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

図１９Ａは、本発明の第４の実施の形態における多数の参照ピクチャを用いる動画像復号プロセスまたは動画像復号方法を示すフローチャートである。図１９Ａに示すように、ステップ１９００では、ある種別のピクチャ（たとえば、主要なピクチャ）の周期を示すパラメータがピクチャ（符号化動画像ビットストリーム）のヘッダから解析される。次に、ステップ１９０２では、対象ピクチャに対する時間的距離に基づいて並べ替えられる第１の参照ピクチャリストが作成される。ステップ１９０４では、対象ピクチャに対する時間的距離に同様に基づいて並べ替えられる第２の参照ピクチャリストが作成される。ステップ１９０６では比較が行われ、第１のリストが第２のリストに適合するか否かが判定または決定される。

ステップ１９０８で第１のリストが第２のリストに適合する場合、参照ピクチャの種別の周期に少なくとも基づいて並べ替えられる第３の参照ピクチャリストが作成される。参照ピクチャの種別の周期に少なくとも基づき第３の参照ピクチャリストを並べ替える／順序付けることは、図１３および図１４を参照して前述したものと同様に行われるが、ピクチャの種別の周期を示すパラメータの代用になる参照ピクチャの時間的レベルを示すパラメータを用いることもできる。次に、ステップ１９１０で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。たとえば、動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

ステップ１９０６で第１のリストが第２のリストに適合しない場合、ステップ１９１２で、動き予測プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われる。

ある実施の形態において、ステップ１９０６のロジックは切り替えられてもよい具体的には、第１のリストが第２のリストに適合する場合、ステップ１９１２で、動き予測プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われる。一方、ステップ１２０６で第１のリストが第２のリストに適合しない場合、少なくとも参照ピクチャの種別の周期に基づき並べ替えられる第３の参照ピクチャ（たとえば、第２の実施の形態における第１の参照ピクチャリストに対応する）がステップ１９０８で作成される。次に、ステップ１９１０で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャに対して行われる。同様に、動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

さらに他の実施の形態が図１９Ｂに示される。具体的には、図１９Ａに示されるステップ１９０６および１９１２が省略される。したがって、ステップ１９０４の後、少なくとも参照ピクチャのその種別の周期によって並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ１９５８で作成される。次に、ステップ１９６０で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば画像サンプルのブロック）に対して行われる。たとえば、動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

図２０は、少なくとも参照ピクチャの種別の周期に基づき第３の参照ピクチャリストを並べ替える本発明の他の実施の形態を表すフローチャートである。ステップ２０００では、ピクチャのある種別の周期（たとえば、主要なピクチャの周期）の整数倍に等しいピクチャ数を有する１以上のキー参照ピクチャからなる第１の参照ピクチャグループが選択される。たとえば、周期が４である場合、第１の参照ピクチャグループは、０、４、８、１２、１６などと等しいピクチャ数を有する１以上の参照ピクチャからなる。期間に関するピクチャ数は、符号化ピクチャの出力順を参照する。次に、ステップ２００２で、第１の参照ピクチャグループに含まれない参照ピクチャからなる第２の参照ピクチャグループが選択される。ステップ２００４では、第１の参照ピクチャグループが第３のリストの先頭に位置する／並べ替えられ、第３のリストにおける参照ピクチャは、対象ピクチャに対する時間的距離によって並べ替えられる。次に、ステップ２００６では、第２の参照ピクチャグループが、第３のリストにおいて第１の参照ピクチャグループより後／下に配置され／並べ替えられ、第３のリスト内の参照ピクチャは対象ピクチャに対する時間的距離に応じて並べ替えられる。たとえば、第１のグループおよび／または第２のグループ内の参照ピクチャは、対象ピクチャに対する時間的距離の短い順に並べ替えられる。

図２１は、本発明の第４の実施の形態における動画像符号化装置の例を示すブロック図である。図２１に示される装置を修正することにより、本明細書で開示される動画像符号化方法または他の方法のいずれか一つが、本発明の範囲を逸脱せずに実施可能であることは、当業者にとって明確であるだろう。すなわち、本発明の動画像復号装置は、図２１に示される部品／要素、およびそれらの相互接続に限られるものではなく、様々な目的のために修正可能である。

典型的な動画像符号化装置は、動き検出部２１００、動き予測部２１０２、第１のリスト作成部２１０４、第２のリスト作成部２１１６、第３のリスト作成部２１１０、第１のスイッチ部２１０６、第２のスイッチ部２１０８、メモリ部２１１２、比較部２１１４、および書き込み部２１１８を備える。

図２１に示すように、動き検出部２１００は画像サンプルのブロックＤ２１０１、参照ピクチャの選択されたリストＤ２１１１および第２の参照ピクチャリストＤ２１１９を読み取り、動きベクトルのセットＤ２１０３を出力する。動き予測部２１０２は動きベクトルのセットＤ２１０３、参照ピクチャの選択されたリストＤ２１１１および第２の参照ピクチャリストＤ２１１９を読み取り、予測サンプルのブロックＤ２１０５を出力する。第１のリスト作成部２１０４は、メモリ部２１１２から参照ピクチャＤ２１１３を読み取り、第１の参照ピクチャリストＤ２１１５を出力する。第２のリスト作成部２１１６はメモリ部２１１２から参照ピクチャＤ２１１７を読み取り、第２の参照ピクチャリストＤ２１１９を出力する。比較部２１１４は、第１の参照ピクチャリストＤ２１１５および第２の参照ピクチャリストＤ２１１９の両方を読み取り、第１のスイッチ部２１０６および第２のスイッチ部２１０８を制御する制御信号Ｄ２１２１を出力する。第１のスイッチ部２１０４は、制御信号Ｄ２１２１に基づき、第２のスイッチ部２１０８または第３のリスト作成部２１１０に第１の参照ピクチャリストＤ２１１５を送信する。第３のリスト作成部２１１０は、第１の参照ピクチャリストＤ２１０９およびメモリ部２１１２に保存される参照ピクチャの種別の周期Ｄ２１２５に基づき第３の参照ピクチャリストＤ２１２３を作成する。第２のスイッチ部２１０８は、制御信号Ｄ２１２１に基づき、第１の参照ピクチャリストＤ２１０７または第３の参照ピクチャリストＤ２１２３のいずれかを選択する。書き込み部２１１８は、参照ピクチャＤ２１２５の種別の周期を読み取り、周期を表す対応パラメータを符号化ピクチャＤ２１２７のヘッダに書き込む。

図２２は、本発明の第４の実施の形態による動画像復号装置の例を示すブロック図である。同様に、図２２に示される装置を修正することにより、本明細書で開示される動画像復号方法または他の方法のうちからいずれか一つが、本発明の範囲を逸脱せずに実施可能であることは、当業者にとって明確であるだろう。すなわち、本発明の動画像復号装置は、図２２に示される部品／要素、およびそれらの相互接続に限られるものではなく、様々な目的のために修正可能である。

典型的な動画像符号化装置は、動き予測部２２００、第１のリスト作成部２２０２、第２のリスト作成部２２１４、第３のリスト作成部２２０８、第１のスイッチ部２２０４、第２のスイッチ部２２０６、メモリ部２２１０、比較部または決定部２２１２、および解析部２２１６を備える。

図２２に示すように、動き予測部２２００は、動きベクトルのセットＤ２２０１、参照ピクチャの選択されたリストＤ２２０９、および第２の参照ピクチャリストＤ２１１７を読み取り、予測サンプルのブロックＤ２２０３を出力する。第１のリスト作成部２２０２は、メモリ部２２１０から参照ピクチャＤ２２１１を読み取り、第１の参照ピクチャリストＤ２２１３を出力する。第２のリスト作成部２２１４はメモリ部２２１０から参照ピクチャＤ２２１５を読み取り、第２の参照ピクチャリストＤ２２１７を出力する。比較部２２１２は、第１の参照ピクチャリストＤ２２１３および第２の参照ピクチャリストＤ２２１７の両方を読み取り、第１のスイッチ部２２０４および第２のスイッチ部２２０６を制御する制御信号Ｄ２２１９を出力する。第１のスイッチ部２２０４は、制御信号Ｄ２２１９に基づき、第２のスイッチ部２２０６または第３のリスト作成部２２０８に第１の参照ピクチャリストＤ２２１３を送信する。第３のリスト作成部２２０８は、第１の参照ピクチャリストＤ２２０７および、主要なピクチャの解析された周期Ｄ２２２５に基づき第３の参照ピクチャリストＤ２２２１を作成する。第２のスイッチ部２２０６は、制御信号Ｄ２２１９に基づいて、第１の参照ピクチャリストＤ２２０５または第３の参照ピクチャリストＤ２２２１のいずれかを選択する。解析部２２１６は、符号化ピクチャＤ２２２３のヘッダを解析し、主要なピクチャの解析された周期Ｄ２２２５を出力する。

図２３は、参照ピクチャの種別が主要な参照ピクチャである場合の、参照ピクチャの種別の周期を表す／示すパラメータのピクチャ（符号化動画像ビットストリーム）のヘッダにおける位置を示す図である。主要なピクチャの周期は、他の非主要ピクチャと比較すると高い品質で一般的に符号化される主要（キー）ピクチャが定期的に出現することを示すために用いられる。本発明の実施の形態によれば、図２３（ａ）は、パラメータの圧縮動画像ビットストリームのシーケンスヘッダにおける位置を示し、図２３（ｂ）は、パラメータの圧縮動画像ビットストリームのピクチャヘッダにおける位置を示し、図２３（ｃ）は、パラメータの圧縮動画像ビットストリームのスライスヘッダにおける位置を示し、図２３（ｄ）は、パラメータはまた、圧縮動画像ビットストリームのシーケンスヘッダに位置するプロファイルパラメータ、レベルパラメータ、またはプロファイルおよびレベルの両パラメータに基づいて所定のルックアップテーブルからも派生され得ることを示す。

図２４Ａは、本発明の第５の実施の形態による動画像符号化プロセスまたは動画像符号化方法を示すフローチャートである。図２４Ａに示すように、ステップ２４００では、フラグ（たとえば、再順序付技術選択フラグ）が、対象ピクチャのヘッダにまず書き込まれるかまたは埋め込まれる。たとえば、フラグは、参照ピクチャリストにおける参照ピクチャを順序付けするために用いられる２つ以上の異なる技術のうちの一つを示すか、または示唆する。

ステップ２４０２では、対象ピクチャに対する時間的距離に基づいて並べ替えられる第１の参照ピクチャリストが作成される。次に、ステップ２４０４では、対象ピクチャに対する時間的距離に基づいて並べ替えられる第２の参照ピクチャリストが作成される。そして、ステップ２４０６で比較が行われ、第１のリストが第２のリストに適合するか（たとえば、同一か）否かが決定または判定される。

第１のリストが第２のリストに適合する場合、比較が行われ、フラグの値が所定の値を有するかまたは所定の値であるかが決定される。フラグが所定の値である場合、参照ピクチャの時間的レベルに基づいて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ２４１４で作成される。フラグが所定の値でない場合、参照ピクチャの予測依存度によって並べ替えられる第３の参照ピクチャリストがステップ２４２０で作成される。参照ピクチャの予測依存度は、参照フレームにおけるピクチャ間動き補償予測への依存度を参照する。次に、ステップ２４１６で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われ、ステップ２４１８で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて画像サンプルのブロックに対して行われる。たとえば、動き検出プロセスおよび／または動き予測プロセスは第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

ステップ２４０６で第１のリストが第２のリストに適合しない場合、ステップ２４０８で、動き検出プロセスが第１および第２の参照フレームリストを用いて対象ピクチャに対して行われ、ステップ２４１０で動き予測プロセスが第１および第２の参照フレームリストを用いて対象ピクチャに対して行われる。

ある実施の形態において、ステップ２４０６のロジックは切り替えられてもよい。具体的には、第１のリストが第２のリストに適合する場合、ステップ２４０８で、動き検出プロセスが第１および第２の参照フレームリストを用いて対象ピクチャに対して行われ、ステップ２４１０で動き予測プロセスが第１および第２の参照フレームリストを用いて対象ピクチャに対して行われる。一方、ステップ２４０６で第１のリストが第２のリストに適合しない場合、比較が行われ、フラグの値が所定の値を有するかまたは所定の値であるか否かが決定されるまたは判定される。フラグが所定の値である場合、参照ピクチャの時間的レベルに基づき並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ２４１４で作成される。フラグが所定の値でない場合、参照ピクチャの予測依存度によって並べ替えられる第３の参照ピクチャリストがステップ２４２０で作成される。参照ピクチャの予測依存度は、参照フレームにおけるピクチャ間動き補償予測への依存度を参照する。次に、ステップ２４１６で動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われ、ステップ１３１８で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて画像サンプルのブロックに対して行われる。たとえば、動き検出プロセスおよび／または動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

さらに他の実施の形態が図２４Ｂに示される。具体的には、図２４Ａに示されるステップ２４０６、２４０８、および２４１０が省略される。したがって、ステップ２４０４の後に比較が行われ、ステップ２４６２でフラグの値が所定の値を有するかまたは所定の値であるか否かが決定または判定される。フラグが所定の値である場合、参照ピクチャの時間的レベルに基づいて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ２４６４で作成される。フラグが所定の値でない場合、参照ピクチャの予測依存度によって並べ替えられる第３の参照ピクチャリストがステップ２４７０で作成される。参照ピクチャの予測依存度は、参照フレームにおけるピクチャ間動き補償予測への依存度を参照する。次に、ステップ２４６６で、動き検出プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われ、ステップ２４６８で、動き予測プロセスが少なくとも第１の参照ピクチャリストを用いて画像サンプルのブロックに対して行われる。

図２５Ａは、本発明の第５の実施の形態における動画像復号プロセスまたは動画像復号方法を示すフローチャートである。図２５Ａに示すように、ステップ２５００では、フラグ（たとえば、再順序付技術選択フラグ）が、対象ピクチャのヘッダからまず解析されるかまたは取り込まれる。たとえば、フラグは、参照ピクチャの再順序付け用の選択された技術を示す。

ステップ２５０２では、対象ピクチャに対する時間的距離を用いる第１の方式によって並べ替えられる第１の参照ピクチャリストが作成される。ステップ２５０４では、対象ピクチャに対する時間的距離を同様に用いる第２の方式によって並べ替えられる第２の参照ピクチャリストが作成される。そして、ステップ２５０６では比較が行われ、第１のリストが第２のリストに適合するか（たとえば、同一か）否かが決定または判定される。

第１のリストが第２のリストに適合する場合、比較が行われ、ステップ２５０８でフラグの値が所定の値を有するかまたは所定の値であるかが決定される。フラグが所定の値である場合、参照ピクチャの時間的レベルに基づいて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ２５１２で作成される。フラグが所定の値でない場合、参照ピクチャの予測依存度によって並べ替えられる第３の参照ピクチャリストがステップ２５１６で作成される。参照ピクチャの予測依存度は、参照ピクチャ／参照フレームにおけるピクチャ間動き補償予測への依存度を参照する。次に、ステップ２５１４で動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われる。たとえば、動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストのみを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

ステップ２５０６で第１のリストが第２のリストに適合しない場合、ステップ２５１０で、動き予測プロセスが第１および第２の参照ピクチャリストを用いて対象ピクチャに対して行われる。

ある実施の形態において、ステップ２５０６のロジックは切り替えられてもよい。具体的には、第１のリストが第２のリストに適合する場合、ステップ２５１０で、動き予測プロセスが第１および第２の参照フレームリストを用いて対象ピクチャに対して行われる。一方、ステップ２５０６で第１のリストが第２のリストに適合しない場合、比較が行われ、フラグの値が所定の値を有するかまたは所定の値であるか否かが決定されるまたは判定される。フラグが所定の値である場合、参照ピクチャの時間的レベルに基づいて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ２５１２で作成される。フラグが所定の値でない場合、参照ピクチャの予測依存度によって並べ替えられる第３の参照ピクチャリストがステップ２５１６で作成される。参照ピクチャの予測依存度は、参照フレームにおけるピクチャ間動き補償予測への依存度を参照する。次に、ステップ２５１４で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われる。たとえば、動き予測プロセスが第３のリストのみを用いて行われてもよく、第２および第３のリストを用いて行われてもよく、または第１および第３のリストを用いて行われてもよい。

さらに他の実施の形態が図２５Ｂに示される。具体的には、図２５Ａに示されるステップ２５０６、および２５１０が省略される。したがって、ステップ２５０４の後に比較が行われ、ステップ２５５８でフラグの値が所定の値を有するかまたは所定の値であるか否かが決定または判定される。フラグが所定の値である場合、参照ピクチャの時間的レベルに基づいて並べ替えられる第３の参照ピクチャリスト（たとえば、第２の実施の形態で述べた第１の参照ピクチャリストに対応する）がステップ２５６２で作成される。フラグが所定の値でない場合、参照ピクチャの予測依存度によって並べ替えられる第１の参照ピクチャリストがステップ２５６６で作成される。参照ピクチャの予測依存度は、参照フレームにおけるピクチャ間動き補償予測への依存度を参照する。次に、ステップ２５６４で、動き予測プロセスが少なくとも第３の参照ピクチャリストを用いて対象ピクチャ（たとえば、画像サンプルのブロック）に対して行われる。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２６のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルビデオカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した画像データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図２７に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。

受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビｅｘ３００内に動画像復号化装置を組み込んでもよい。

図２８は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２９に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３０に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２８に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図３１Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図３１Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５６から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化する。

その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態７）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図３２は、多重化データの構成を示す図である。図３２に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図３３は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図３４は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図３４における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図３４の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図３５は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図３５下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図３６はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図３７に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データは図３７に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図３８に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

実施の形態７においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、実施の形態７における動画像復号化方法のステップを図３９に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、実施の形態７で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態８）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４０に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５１０が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５１０の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態９）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図４１は、実施の形態９における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図４０のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図３８の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態７で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態７で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図４３のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図４２は、実施の形態９の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態１０）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図４４Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明の一態様は、変換部に特徴を有していることから、例えば、逆変換については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償予測のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図４４Ｂのｅｘ１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、実施の形態１０の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明は、音声、静止画像、および動画像を符号化する符号化装置と、前記符号化装置によって符号化されたデータを復号する復号装置とに適用可能である。たとえば、本発明は、オーディオ装置、携帯電話、デジタルカメラ、ＢＤレコーダ、およびデジタルテレビなどの様々な視聴覚装置に適用可能である。

Claims (22)

1. 複数の参照ピクチャを用いて符号化対象ピクチャを符号化する方法であって、
   前記複数の参照ピクチャの各参照ピクチャに対し、参照ピクチャの時間的レベルを示すパラメータを前記各参照ピクチャに書き込む書き込みステップと、
   前記符号化対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する作成ステップと、
   動画像における前記符号化対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて符号化する符号化ステップとを含み、
   前記第１の参照ピクチャリストは、前記パラメータ及び前記符号化対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
   方法。
2. 前記符号化ステップは、少なくとも前記第１の参照ピクチャリストを用いて前記符号化対象ピクチャに対し動き検出および動き予測を行うステップを含む
   請求項１に記載の方法。
3. 前記作成ステップはさらに、同一の時間的レベルを有する参照ピクチャそれぞれと前記符号化対象ピクチャとの時間的距離に基づいて、当該参照ピクチャを並べ替える並べ替えステップを含む
   請求項１または請求項２に記載の方法。
4. 前記作成ステップは、
   前記複数の参照ピクチャのうち、所定の値に等しい時間的レベルを有する１つ以上の参照ピクチャを含む第１の参照ピクチャグループを選択する選択ステップと、
   前記複数の参照ピクチャのうち、前記所定の値に等しくない時間的レベルを有する複数の参照ピクチャを含む第２の参照ピクチャグループを選択する選択ステップと、
   前記第１の参照ピクチャリスト内で、前記第２の参照ピクチャグループより上に前記第１の参照ピクチャグループを置く、位置決めステップとを含む
   請求項１または請求項２に記載の方法。
5. 当該方法はさらに、
   参照ピクチャの前記符号化対象ピクチャに対する時間的距離に基づいて並べ替えられる第２の参照ピクチャリストを作成する作成ステップと、
   参照ピクチャの前記符号化対象ピクチャに対する時間的距離に基づいて並べ替えられる第３の参照ピクチャリストを作成する作成ステップとを含む
   請求項１から請求項４のいずれか１項に記載の方法。
6. 当該方法はさらに、
   前記第２の参照ピクチャリストが前記第３の参照ピクチャリストと同一かを決定する決定ステップを含み、
   前記第２の参照ピクチャリストが前記第３の参照ピクチャリストと同一である場合、前記第１の参照ピクチャリストはパラメータに基づいて並べ替えられることにより作成され、前記符号化対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて符号化され、
   前記第２の参照ピクチャリストが前記第３の参照ピクチャリストと同一でない場合、前記符号化対象ピクチャは前記第２および前記第３の参照ピクチャリストを用いて符号化される
   請求項５に記載の方法。
7. 当該方法はさらに、
   フラグを前記符号化対象ピクチャのヘッダに書き込む書き込みステップと、
   前記フラグが所定の値であるか否かを決定する決定ステップとを含み、
   前記フラグが前記所定の値である場合、前記第１の参照ピクチャリストはパラメータに基づいて並べ替えられることで作成され、前記符号化対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて符号化され、
   前記フラグが前記所定の値でない場合、前記第１の参照ピクチャリストは少なくとも参照ピクチャの予測依存度に基づいて並べ替えられることにより作成され、前記符号化対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて符号化される
   請求項５に記載の方法。
8. 前記第１の参照ピクチャリストは、前記第２の参照ピクチャリストまたは前記第３の参照ピクチャリストをパラメータを用いて修正することにより作成される
   請求項５から請求項７のいずれか１項に記載の方法。
9. 複数の参照ピクチャを用いて復号対象ピクチャを復号する方法であって、
   参照ピクチャの時間的レベルを示すパラメータを前記複数の参照ピクチャの各参照ピクチャから解析する解析ステップと、
   前記復号対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する作成ステップと、
   動画像における前記復号対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて復号する復号ステップとを含み、
   前記第１の参照ピクチャリストは、前記パラメータ及び前記復号対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
   方法。
10. 前記復号ステップは、少なくとも前記第１の参照ピクチャリストを用いて前記復号対象ピクチャに対し動き予測を行うステップを含む
    請求項９に記載の方法。
11. 前記作成ステップはさらに、同一の時間的レベルを有する参照ピクチャそれぞれと前記復号対象ピクチャとの時間的距離に基づいて、当該参照ピクチャを並べ替える並べ替えステップを含む
    請求項９または請求項１０に記載の方法。
12. 前記作成ステップは、
    前記複数の参照ピクチャのうち、所定の値に等しい時間的レベルを有する１以上の参照ピクチャを含む第１の参照ピクチャグループを選択する選択ステップと、
    前記複数の参照ピクチャのうち、前記所定の値に等しくない時間的レベルを有する複数の参照ピクチャを含む第２の参照ピクチャグループを選択する選択ステップと、
    前記第１の参照ピクチャリスト内で、前記第１の参照ピクチャグループを前記第２の参照ピクチャグループより上に置く位置決めステップとを含む
    請求項９または請求項１０に記載の方法。
13. 当該方法はさらに、
    参照ピクチャの前記復号対象ピクチャに対する時間的距離に基づいて並べ替えられる第２の参照ピクチャリストを作成する作成ステップと、
    参照ピクチャの前記復号対象ピクチャに対する時間的距離に基づいて並べ替えられる第３の参照ピクチャリストを作成する作成ステップとを含む
    請求項９から請求項１２のいずれか１項に記載の方法。
14. 当該方法はさらに、
    前記第２の参照ピクチャリストが前記第３の参照ピクチャリストと同一であるかを決定する決定ステップを含み、
    前記第２の参照ピクチャリストが前記第３の参照ピクチャリストと同一である場合、前記第１の参照ピクチャリストはパラメータに基づいて並べ替えられることにより作成され、前記復号対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて復号され、
    前記第２の参照ピクチャリストが前記第３の参照ピクチャリストが同一でない場合、前記復号対象ピクチャは前記第２および前記第３の参照ピクチャリストを用いて復号される
    請求項１３に記載の方法。
15. 当該方法はさらに、
    前記復号対象ピクチャのヘッダからフラグを解析する解析ステップと、
    前記フラグが所定の値であるか否かを決定する決定ステップとを含み、
    前記フラグが前記所定の値である場合、前記第１の参照ピクチャリストはパラメータに基づいて並べ替えられることで作成され、前記復号対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて復号され、
    前記フラグが前記所定の値でない場合、前記第１の参照ピクチャリストは少なくとも参照ピクチャの予測依存度に基づいて並べ替えられることにより作成され、前記復号対象ピクチャは少なくとも前記第１の参照ピクチャリストを用いて復号される
    請求項１３に記載の方法。
16. 前記第１の参照ピクチャリストは、前記第２の参照ピクチャリストまたは前記第３の参照ピクチャリストをパラメータを用いて修正することにより作成される
    請求項１３から請求項１５のいずれか１項に記載の方法。
17. 複数の参照ピクチャを用いて符号化対象ピクチャを符号化する装置であって、
    前記複数の参照ピクチャの各参照ピクチャに対し、参照ピクチャの時間的レベルを示すパラメータを前記各参照ピクチャに書き込む書き込み部と、
    前記符号化対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する第１のリスト作成部と、
    動画像における前記符号化対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて符号化する符号化セクションとを含み、
    前記第１の参照ピクチャリストは、前記パラメータ及び前記符号化対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
    装置。
18. 複数の参照ピクチャを用いて復号対象ピクチャを復号する装置であって、
    参照ピクチャの時間的レベルを示すパラメータを前記複数の参照ピクチャの各参照ピクチャから解析する解析部と、
    前記復号対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する第１のリスト作成部と、
    動画像における前記復号対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて復号する復号部とを含み、
    前記第１の参照ピクチャリストは、前記パラメータ及び前記復号対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
    装置。
19. 複数の参照ピクチャを用いて符号化対象ピクチャを符号化する方法であって、
    前記符号化対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する作成ステップと、
    動画像における前記符号化対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて符号化する符号化ステップとを含み、
    前記第１の参照ピクチャリストは、（ｉ）前記複数の参照ピクチャの各参照ピクチャの時間的レベル及び（ｉｉ）前記符号化対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
    方法。
20. 複数の参照ピクチャを用いて復号対象ピクチャを復号する方法であって、
    前記復号対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する作成ステップと、
    動画像における前記復号対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて復号する復号ステップとを含み、
    前記第１の参照ピクチャリストは、（ｉ）前記複数の参照ピクチャの各参照ピクチャの時間的レベル及び（ｉｉ）前記復号対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
    方法。
21. 複数の参照ピクチャを用いて符号化対象ピクチャを符号化する装置であって、
    前記符号化対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する第１のリスト作成部と、
    動画像における前記符号化対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて符号化する符号化セクションとを含み、
    前記第１の参照ピクチャリストは、（ｉ）前記複数の参照ピクチャの各参照ピクチャの時間的レベル及び（ｉｉ）前記符号化対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
    装置。
22. 複数の参照ピクチャを用いて復号対象ピクチャを復号する装置であって、
    前記復号対象ピクチャに対して、前記複数の参照ピクチャからなる第１の参照ピクチャリストを作成する第１のリスト作成部と、
    動画像における前記復号対象ピクチャを、少なくとも前記第１の参照ピクチャリストを用いて復号する復号部とを含み、
    前記第１の参照ピクチャリストは、（ｉ）前記複数の参照ピクチャの各参照ピクチャの時間的レベル及び（ｉｉ）前記復号対象ピクチャと前記参照ピクチャとの時間的距離に基づいて順序づけられている
    装置。

Images