JP5988252B2 - 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置 - Google Patents

Description

本発明は、複数の参照ピクチャを用いた動画像符号化方法及び復号方法、並びに、その動画像符号化装置及び復号装置に関し、特に、ピクチャ間予測に対するものである。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等の最新動画像符号化方式や、次世代のＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、複数の参照ピクチャから予測する動き補償を用いたピクチャ間予測に対応している。また、これらの方式は、２つの方向が共に時間軸で同じ方向を指し示している特殊な双方向ピクチャ間予測にも対応している。図１は、このような前方双予測型のピクチャ間予測の例を示している。参照ピクチャが複数ある場合、参照ピクチャのリストは双予測型ピクチャ間予測のために２つ作成され、対象ピクチャにより近い（つまり、時間的距離）参照ピクチャがリストの上位になるよう所定の手順でソートされる。

こういう背景において、本発明はなされた。

ＩＳＯ／ＩＥＣ １４４９６−１０、「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」

先行技術に関する課題は、対象ピクチャに最も近い参照フレーム／ピクチャがリストの最上位に必ずソートされるという点である。しかしながら、対象ピクチャに最も近い参照フレームが、常に、前方双予測型ピクチャ間予測に用いるのに最も適した参照フレームとは限らない。

本発明の実施の形態では、前述した先行技術に関する課題を解決、又は、少なくとも軽減する動画像符号化／復号方法を提供する。例えば、当該方法により、参照ピクチャ／フレームの画質などのフラグやパラメータに基づいて一方のリストが順序付けられる、２つの参照リストを用いたピクチャ間予測が可能になる。

例として、本発明の実施の形態では、前方双予測型ピクチャ間予測を用いる場合、一方の参照リストが、参照ピクチャ又はフレームの画質に基づいて順序付けられ、他方の参照リストが、対象ピクチャ又はフレームまでの最も近い時間的距離に基づいて順序付けられた、２つの参照リストを作成する。

本発明の実施の形態によれば、符号化効率を改善することができる。例えば、２つの異なる参照ピクチャリストを用意してオーバーヘッド情報の増加を最小又はごくわずかにすることで画質を改善する。

本発明の第１の態様における、複数の参照ピクチャを用いて動画像を符号化する動画像符号化方法は、前記複数の参照ピクチャのうち１以上の参照ピクチャにパラメータ又はフラグを書き込み、前記パラメータ又はフラグに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成し、少なくとも前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを符号化する。

前記符号化では、少なくとも前記参照ピクチャの第１リストを用いて、前記対象ピクチャに対し動き検出と動き予測とを行ってもよい。

前記書き込みでは、前記参照ピクチャのヘッダに前記パラメータ又はフラグを書き込んでもよい。

前記書き込みにおいて、前記１以上の参照ピクチャにフラグを書き込む場合、前記動画像符号化方法は、さらに、前記フラグが所定の値であるかどうかを判断し、前記フラグが所定の値である場合には、前記参照ピクチャの画質に基づいてソートされた前記参照ピクチャの第１リストを作成し、前記フラグが所定の値でない場合には、前記参照ピクチャのピクチャ間予測依存関係に基づいてソートされた前記参照ピクチャの第１リストを作成してもよい。

前記書き込みにおいて、前記１以上の参照ピクチャに前記フラグを書き込む場合、前記動画像符号化方法は、さらに、前記複数の参照ピクチャのそれぞれについて、当該参照ピクチャが所定の値の前記フラグを含むかどうかを判断し、前記参照ピクチャのフラグが所定の値である場合には、前記参照ピクチャを第１タイプの参照ピクチャとラベル付けし、前記参照ピクチャのフラグが所定の値でない場合には、前記参照ピクチャを第２タイプの参照ピクチャとラベル付けし、前記第１タイプとラベル付けされた参照ピクチャが前記第２タイプとラベル付けされた参照ピクチャよりもリスト内の順序が上位になるようにソートされた前記参照ピクチャの第１リストを作成してもよい。

前記参照ピクチャを第１タイプの参照ピクチャとラベル付けする前記ラベル付けでは、前記参照ピクチャをロングターム参照ピクチャとラベル付けし、ロングタームインデックス値を所定の値に設定し、前記ロングタームインデックス値を有する、メモリ内のすでに再構成されたロングターム参照ピクチャの位置を特定し、前記ロングターム参照ピクチャが前記メモリ内にある場合には、前記ロングターム参照ピクチャを前記ラベル付けされたピクチャで置き換えてもよい。

前記第１タイプとラベル付けされた参照ピクチャを前記第１リストの最上位に順序付けることが好ましい。

当該方法は、さらに、前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第２リストと参照ピクチャの第３リストとを作成してもよい。

当該方法は、さらに、前記第２リストが前記第３リストと一致するかどうかを判断し、前記第２リストが前記第３リストと一致する場合には、前記パラメータ又はフラグに基づいてソートされた前記参照ピクチャの第１リストを作成し、少なくとも前記参照ピクチャの第１リストを用いて前記動画像の対象ピクチャを符号化し、前記第２リストが前記第３リストと一致しない場合には、前記第２リストと前記第３リストとを用いて、前記動画像の対象ピクチャを符号化してもよい。

本発明の第２の態様における、複数の参照ピクチャを用いて動画像を復号する動画像復号方法は、前記複数の参照ピクチャのうち１以上の参照ピクチャからパラメータ又はフラグを解析し、前記パラメータ又はフラグに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成し、少なくとも前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを復号する。

前記復号では、少なくとも前記参照ピクチャの第１リストを用いて、前記対象ピクチャに対し動き予測を行ってもよい。

前記解析では、前記参照ピクチャのヘッダから前記パラメータ又はフラグを解析してもよい。

前記解析において、前記１以上の参照ピクチャから前記フラグを解析する場合、前記動画像復号方法は、さらに、前記フラグが所定の値であるかどうかを判断し、前記フラグが所定の値である場合には、前記参照ピクチャの画質に基づいてソートされた前記参照ピクチャの第１リストを作成し、前記フラグが所定の値でない場合には、前記参照ピクチャのピクチャ間予測依存関係に基づいてソートされた前記参照ピクチャの第１リストを作成してもよい。

前記解析において、前記１以上の参照ピクチャに前記フラグを書き込む場合、前記動画像復号方法は、さらに、前記複数の参照ピクチャのそれぞれについて、当該参照ピクチャが所定の値の前記フラグを含むかどうかを判断し、前記参照ピクチャのフラグが所定の値である場合には、前記参照ピクチャを第１タイプの参照ピクチャとラベル付けし、前記参照ピクチャのフラグが所定の値でない場合には、前記参照ピクチャを第２タイプの参照ピクチャとラベル付けし、前記第１タイプとラベル付けされた参照ピクチャが前記第２タイプとラベル付けされた参照ピクチャよりもリスト内の順序が上位になるようにソートされた前記参照ピクチャの第１リストを作成してもよい。

前記参照ピクチャを第１タイプの参照ピクチャとラベル付けする前記ラベル付けでは、前記参照ピクチャをロングターム参照ピクチャとラベル付けし、ロングタームインデックス値を所定の値に設定し、前記ロングタームインデックス値を有する、メモリ内のすでに再構成されたロングターム参照ピクチャの位置を特定し、前記ロングターム参照ピクチャが前記メモリ内にある場合には、前記ロングターム参照ピクチャを前記ラベル付けされたピクチャで置き換えてもよい。

前記第１タイプとラベル付けされた参照ピクチャを前記第１リストの最上位に順序付けることが好ましい。

当該方法は、さらに、前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第２リストと参照ピクチャの第３リストとを作成してもよい。

当該方法は、さらに、前記第２リストが前記第３リストと一致するかどうかを判断し、前記第２リストが前記第３リストと一致する場合には、前記パラメータ又はフラグに基づいてソートされた前記参照ピクチャの第１リストを作成し、少なくとも前記参照ピクチャの第１リストを用いて前記動画像の対象ピクチャを符号化し、前記第２リストが前記第３リストと一致しない場合には、前記第２リストと前記第３リストとを用いて、前記動画像の対象ピクチャを符号化してもよい。

本発明の第３の態様における、複数の参照ピクチャを用いて動画像を符号化する動画像符号化装置は、前記複数の参照ピクチャのうち１以上の参照ピクチャにパラメータ又はフラグを書き込む書き込み部と、前記パラメータ又はフラグに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成する第１リスト作成部と、少なくとも前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを符号化する符号化部とを備える。

前記符号化部は、少なくとも前記参照ピクチャの第１リストを用いて、前記対象ピクチャに対し動き検出を行う動き検出部と、少なくとも前記参照ピクチャの第１リストを用いて、前記対象ピクチャに対し動き予測を行う動き予測部とを備えてもよい。

前記書き込み部は、前記参照ピクチャのヘッダに前記パラメータ又はフラグを書き込んでもよい。

前記書き込み部が、前記１以上の参照ピクチャにフラグを書き込む場合、前記動画像符号化装置は、さらに、前記フラグが所定の値であるかどうかを判断する判断部と、前記フラグが所定の値である場合には、前記参照ピクチャの画質に基づいてソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部と、前記フラグが所定の値でない場合には、前記参照ピクチャのピクチャ間予測依存関係に基づいてソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部とを備えてもよい。

前記書き込み部が、前記１以上の参照ピクチャに前記フラグを書き込む場合、前記動画像符号化装置は、さらに、前記複数の参照ピクチャのそれぞれについて、当該参照ピクチャが所定の値の前記フラグを含むかどうかを判断する判断部と、前記参照ピクチャのフラグが所定の値である場合には、前記参照ピクチャを第１タイプの参照ピクチャとラベル付けするラベル付け部と、前記参照ピクチャのフラグが所定の値でない場合には、前記参照ピクチャを第２タイプの参照ピクチャとラベル付けするラベル付け部と、前記第１タイプとラベル付けされた参照ピクチャが前記第２タイプとラベル付けされた参照ピクチャよりもリスト内の順序が上位になるようにソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部とを備えてもよい。

前記参照ピクチャを第１タイプの参照ピクチャとラベル付けする前記ラベル付けでは、前記参照ピクチャをロングターム参照ピクチャとラベル付けし、ロングタームインデックス値を所定の値に設定し、前記ロングタームインデックス値を有する、メモリ内のすでに再構成されたロングターム参照ピクチャの位置を特定し、前記ロングターム参照ピクチャが前記メモリ内にある場合には、前記ロングターム参照ピクチャを前記ラベル付けされたピクチャで置き換えてもよい。

前記第１タイプとラベル付けされた参照ピクチャを前記第１リストの最上位に順序付けることが好ましい。

当該装置は、さらに、前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第２リストを作成する第２リスト作成部と、前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第３リストとを作成する第３リスト作成部とを備えてもよい。

当該装置は、さらに、前記第２リストが前記第３リストと一致するかどうかを判断する判断部と、前記第２リストが前記第３リストと一致する場合には、前記パラメータ又はフラグに基づいてソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部と、少なくとも前記参照ピクチャの第１リストを用いて前記動画像の対象ピクチャを符号化する符号化部と、前記第２リストが前記第３リストと一致しない場合には、前記第２リストと前記第３リストとを用いて、前記動画像の対象ピクチャを符号化する符号化部とを備えてもよい。

本発明の第４の態様における、複数の参照ピクチャを用いて動画像を復号する動画像復号装置は、前記複数の参照ピクチャのうち１以上の参照ピクチャからパラメータ又はフラグを解析する解析部と、前記パラメータ又はフラグに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成する第１リスト作成部と、少なくとも前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを復号する復号部とを備える。

前記復号部は、少なくとも前記参照ピクチャの第１リストを用いて、前記対象ピクチャに対し動き予測を行ってもよい。

前記解析部は、前記参照ピクチャのヘッダから前記パラメータ又はフラグを解析してもよい。

前記解析部が、前記１以上の参照ピクチャから前記フラグを解析する場合、前記動画像復号装置は、さらに、前記フラグが所定の値であるかどうかを判断する判断部と、前記フラグが所定の値である場合には、前記参照ピクチャの画質に基づいてソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部と、前記フラグが所定の値でない場合には、前記参照ピクチャのピクチャ間予測依存関係に基づいてソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部とを備えてもよい。

前記解析部が、前記１以上の参照ピクチャに前記フラグを書き込む場合、前記動画像復号装置は、さらに、前記複数の参照ピクチャのそれぞれについて、当該参照ピクチャが所定の値の前記フラグを含むかどうかを判断する判断部と、前記参照ピクチャのフラグが所定の値である場合には、前記参照ピクチャを第１タイプの参照ピクチャとラベル付けするラベル付け部と、前記参照ピクチャのフラグが所定の値でない場合には、前記参照ピクチャを第２タイプの参照ピクチャとラベル付けするラベル付け部と、前記第１タイプとラベル付けされた参照ピクチャが前記第２タイプとラベル付けされた参照ピクチャよりもリスト内の順序が上位になるようにソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部とを備えてもよい。

前記参照ピクチャを第１タイプの参照ピクチャとラベル付けする前記ラベル付けでは、前記参照ピクチャをロングターム参照ピクチャとラベル付けし、ロングタームインデックス値を所定の値に設定し、前記ロングタームインデックス値を有する、メモリ内のすでに再構成されたロングターム参照ピクチャの位置を特定し、前記ロングターム参照ピクチャが前記メモリ内にある場合には、前記ロングターム参照ピクチャを前記ラベル付けされたピクチャで置き換えてもよい。

前記第１タイプとラベル付けされた参照ピクチャを前記第１リストの最上位に順序付けることが好ましい。

当該装置は、さらに、前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第２リストを作成する第２リスト作成部と、前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第３リストを作成する第３リスト作成部とを備えてもよい。

当該判断部は、さらに、前記第２リストが前記第３リストと一致するかどうかを判断し、前記第２リストが前記第３リストと一致する場合には、前記パラメータ又はフラグに基づいてソートされた前記参照ピクチャの第１リストを作成する第１リスト作成部と、少なくとも前記参照ピクチャの第１リストを用いて前記動画像の対象ピクチャを復号する復号部と、前記第２リストが前記第３リストと一致しない場合には、前記第２リストと前記第３リストとを用いて、前記動画像の対象ピクチャを復号する復号部とを備えてもよい。

図１は、２つの予測が共に同じ方向の双予測型ピクチャ間予測の例を示す図である。 図２は、本発明の実施の形態１に係る動画像符号化処理を示すフローチャートである。 図３は、本発明の実施の形態１に係る動画像復号処理を示すフローチャートである。 図４は、本発明の実施の形態に係る、異なる画質レベルをそれぞれ順にピクチャへ割り当てた例を示す図である。 図５は、本発明の実施の形態２に係る動画像符号化処理を示すフローチャートである。 図６は、本発明の実施の形態２に係る動画像復号処理を示すフローチャートである。 図７は、本発明の実施の形態２に係る動画像符号化装置の例を示すブロック図である。 図８は、本発明の実施の形態２に係る動画像復号装置の例を示すブロック図である。 図９は、ピクチャのヘッダにおける画質識別子パラメータの好ましい位置を示す図である。 図１０Ａは、本発明の実施の形態３に係る動画像符号化処理を示すフローチャートである。 図１０Ｂは、本発明の実施の形態に係る動画像符号化処理を示すフローチャートである。 図１１Ａは、本発明の実施の形態３に係る動画像復号処理を示すフローチャートである。 図１１Ｂは、本発明の実施の形態に係る動画像復号処理を示すフローチャートである。 図１２は、本発明の実施の形態３に係る動画像符号化装置の例を示すブロック図である。 図１３は、本発明の実施の形態３に係る動画像復号装置の例を示すブロック図である。 図１４は、ピクチャのヘッダにおける特殊ピクチャフラグの好ましい位置を示す図である。 図１５Ａは、本発明の実施の形態４に係る動画像符号化処理を示すフローチャートである。 図１５Ｂは、本発明の実施の形態に係る動画像符号化処理を示すフローチャートである。 図１６Ａは、本発明の実施の形態４に係る動画像復号処理を示すフローチャートである。 図１６Ｂは、本発明の実施の形態に係る動画像復号処理を示すフローチャートである。 図１７は、本発明の実施の形態４に係る動画像符号化装置の例を示すブロック図である。 図１８は、本発明の実施の形態４に係る動画像復号装置の例を示すブロック図である。 図１９は、ピクチャのヘッダにおける並べ替え方式選択パラメータの好ましい位置を示す図である。 図２０は、本発明の実施の形態３において、ピクチャに特殊参照ピクチャとラベル付けする処理を示すフローチャートである。 図２１は、本発明の実施の形態３において、ピクチャに特殊参照ピクチャとラベル付けする装置の例を示すブロック図である。 図２２は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２３は、デジタル放送用システムの全体構成図である。 図２４は、テレビの構成例を示すブロック図である。 図２５は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図２６は、光ディスクである記録メディアの構造例を示す図である。 図２７Ａは、携帯電話の一例を示す図である。 図２７Ｂは、携帯電話の構成例を示すブロック図である。 図２８は、多重化データの構成を示す図である。 図２９は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図３０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図３１は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図３２は、ＰＭＴのデータ構成を示す図である。 図３３は、多重化データ情報の内部構成を示す図である。 図３４は、ストリーム属性情報の内部構成を示す図である。 図３５は、映像データを識別するステップを示す図である。 図３６は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図３７は、駆動周波数を切り替える構成を示す図である。 図３８は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３９は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図４０Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図４０Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

本発明の実施の形態では、複数の参照ピクチャ／フレームを用いた動画像符号化方法、複数の参照ピクチャを用いた動画像復号方法、及び、それらの装置を提供する。

図２は、本発明の実施の形態１に係る、複数の参照ピクチャを用いた動画像符号化方法を示すフローチャートである。当該方法は、最初のステップ２００として、複数の参照ピクチャのうち１以上の参照ピクチャにパラメータ又はフラグを書き込むステップを含む。例えば、参照ピクチャのパラメータは、参照ピクチャを圧縮するために用いた量子化レベルといった参照ピクチャの画質の代表的な値などでもよく、参照ピクチャのフラグは、参照ピクチャが特殊であることを表すような参照ピクチャの特徴を示す信号でもよい。以下、これらの例について、さらに詳しく説明する。本発明はここに記載されている例に限らず、他のタイプのパラメータ又はフラグでも本発明の範囲に含まれることは、当業者にとって明らかであろう。

当該動画像符号化方法は、さらに、パラメータ又はフラグに基づいてソートされた複数の参照ピクチャからなる参照ピクチャの第１リストを作成するステップ２０２を含む。例えば、パラメータが参照ピクチャの画質の代表値である場合、ステップ２０２では、参照ピクチャの画質に基づいてソートされた参照ピクチャの第１リストを作成し、特に、より高画質又は良質の参照ピクチャが第１リストの最上位になるように配置される。

当該動画像符号化方法は、さらに、少なくとも参照ピクチャの第１リストを用いて、動画像の対象ピクチャを符号化するステップ２０４を含む。例えば、前記符号化では、少なくとも前記参照ピクチャの第１リストを用いて、対象ピクチャに対し動き検出と動き予測とを行う。

図３は、実施の形態１に係る、複数の参照ピクチャを用いた動画像復号方法を示すフローチャートである。当該方法は、最初のステップ２２０として、複数の参照ピクチャのうち１以上の参照ピクチャからパラメータ又はフラグを解析するステップを含む。前述したように、単なる一例として、参照ピクチャのパラメータは、参照ピクチャを圧縮するために用いた量子化レベルといった参照ピクチャの画質の代表的な値などでもよく、参照ピクチャのフラグは、参照ピクチャが特殊であることを表すような参照ピクチャの特徴を示す信号でもよい。

当該動画像復号方法は、さらに、パラメータ又はフラグに基づいてソートされた複数の参照ピクチャからなる参照ピクチャの第１リストを作成し、少なくとも参照ピクチャの第１リストを用いて、動画像の対象ピクチャを復号するステップ２２２を含む。例えば、前記復号では、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャに対し動き予測を行う。

本発明の実施の形態１に係る、複数の参照ピクチャを用いた動画像符号化装置は、書き込み部と、第１リスト作成部と、符号化部とを備える。書き込み部は、複数の参照ピクチャのうち１以上の参照ピクチャにパラメータ又はフラグを書き込み、第１リスト作成部は、パラメータ又はフラグに基づいてソートされた複数の参照ピクチャからなる参照ピクチャの第１リストを作成し、符号化部は、少なくとも参照ピクチャの第１リストを用いて、動画像の対象ピクチャを符号化する。例えば、符号化部は、少なくとも参照ピクチャの第１リストを用いて対象ピクチャに対し動き検出を行う動き検出部と、少なくとも参照ピクチャの第１リストを用いて対象ピクチャに対し動き予測を行う動き予測部とを備えてもよい。

本発明の実施の形態１に係る、複数の参照ピクチャを用いた動画像復号装置は、複数の参照ピクチャのうち１以上の参照ピクチャからパラメータ又はフラグを解析する解析部と、パラメータ又はフラグに基づいてソートされた複数の参照ピクチャからなる参照ピクチャの第１リストを作成する第１リスト作成部と、少なくとも参照ピクチャの第１リストを用いて、動画像の対象ピクチャを復号する復号部とを備える。例えば、前記復号部は、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャに対し動き予測を行う動き予測部を備えてもよい。

本発明の実施の形態１によると、符号化／復号効率が改善されることが分かった。背景技術で述べられているように、先行技術に関する課題は、対象ピクチャに最も近い参照ピクチャがリストの最上位に必ずソートされるという点である。しかしながら、本発明の実施の形態１では、パラメータ又はフラグを参照ピクチャに書き込み又は埋め込み、このパラメータ又はフラグに基づいてソートされた参照ピクチャで少なくとも１つの参照リストを作成する。例えば、パラメータが参照ピクチャの画質を示している場合を図４に図示する。先行技術の教示に基づき、一例として、ピクチャｎに対する参照リストが時間的距離にのみ基づいて作成されたとする。つまり、ピクチャｎに最も近いピクチャｎ＋１が、参照リストの最上位に配置され、それに続いてピクチャｎ＋２、ピクチャｎ＋３、ピクチャｎ＋４が参照リストの下位に配置される。しかしながら、ピクチャｎ＋１の画質は悪いため、これは、ピクチャ間予測に用いるのに最も適した参照フレームではないかもしれない。したがって、このようなピクチャをリストの最上位に配置するのは効率的ではない。一方、実施の形態１では、ピクチャｎ＋１からｎ＋４のうち、最も高画質というパラメータが割り当てられているピクチャｎ＋４が参照リストの最上位に配置され、それに続いてピクチャｎ＋２、ピクチャｎ＋１、ピクチャｎ＋３が配置される。その結果、最もふさわしい、つまり、最適な参照ピクチャが、参照リストの最上位に配置されるため、最も少ないビット数で表されてピクチャ間予測で用いられる。したがって、本発明の実施の形態１により、よりよい動画像符号化／復号方法を実現することができる。

以下、本発明のさらなる実施の形態について、本発明の実施の形態１のより具体的な例を挙げながら図面を参照して説明する。後述する実施の形態は単なる例であって本発明の範囲を限定するものではないと当業者であれば理解できるであろう。

図５は、本発明の実施の形態２に係る動画像符号化処理又は方法を示すフローチャートである。図５に示すように、ステップ３００では、まず、参照ピクチャの画質を示す又は分類するために、符号化参照ピクチャのヘッダにパラメータ（例えば、画質識別子パラメータ）を書き込む又は埋め込む。例えば、画質識別子パラメータは、ピクチャの圧縮に用いられた量子化レベルに基づいてピクチャをそれぞれランク付けする値から構成されてもよい。他の手段でもピクチャの画質を表す又は示すことができることは当業者にとって明らかであろう。ステップ３０２では、対象ピクチャまでの時間的距離を利用する第１の方式でソートされた参照ピクチャの第１リストを作成する。次に、ステップ３０４では、同様に対象ピクチャまでの時間的距離を利用する第２の方式でソートされた参照ピクチャの第２リストを作成する。そして、ステップ３０６では、比較を行って、第１リストが第２リストと一致するかどうか（例えば、同一であるかどうか）を判断又は判定する。

前記第１リストが前記第２リストと一致する場合には、ステップ３１２において、参照ピクチャの画質でソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ３１４において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ３１６において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャに対し動き予測処理を行う。例えば、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて動き検出処理及び／又は動き予測処理を行ってもよい。

ステップ３０６において第１リストが第２リストと一致しない場合には、ステップ３０８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き検出処理を行い、ステップ３１０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。

実施の形態では、ステップ３０６における論理を逆にしても構わない。具体的には、第１リストが第２リストと一致する場合には、ステップ３０８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き検出処理を行い、ステップ３１０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。一方、ステップ３０６において第１リストが第２リストと一致しない場合には、ステップ３１２において、参照ピクチャの画質でソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ３１４において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ３１６において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャに対し動き予測処理を行う。同様に、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き検出処理及び／又は動き予測処理を行ってもよい。

図６は、本発明の実施の形態２に係る動画像復号処理又は方法を示すフローチャートである。図６に示すように、ステップ４００では、まず、参照ピクチャの画質を判断又は分類するために、符号化参照ピクチャのヘッダからパラメータ（例えば、画質識別子パラメータ）を解析又は読み出す。例えば、画質識別子パラメータは、ピクチャの圧縮に用いられた量子化レベルに基づいてピクチャをそれぞれランク付けする値から構成されてもよい。ステップ４０２では、対象ピクチャまでの時間的距離を利用する第１の方式でソートされた参照ピクチャの第１リストを作成する。次に、ステップ４０４では、同様に対象ピクチャまでの時間的距離を利用する第２の方式でソートされた参照ピクチャの第２リストを作成する。そして、ステップ４０６では、比較を行って、第１リストが第２リストと一致するかどうか（例えば、同一であるかどうか）を判断又は判定する。

前記第１リストが前記第２リストと一致する場合には、ステップ４１０において、参照ピクチャの画質でソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ４１２において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き予測処理を行う。例えば、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き予測処理を行ってもよい。

ステップ４０６において第１リストが第２リストと一致しない場合には、ステップ４０８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。

実施の形態では、ステップ４０６における論理を逆にしても構わない。具体的には、第１リストが第２リストと一致する場合には、ステップ４０８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。ステップ４０６において第１リストが第２リストと一致しない場合には、ステップ４１０において、参照ピクチャの画質でソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ４１２において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き予測処理を行う。同様に、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き予測処理を行ってもよい。

図７は、本発明の実施の形態２に係る動画像符号化装置の例を示すブロック図である。明確にするために、符号化装置を、図５で説明された方法と対応づけて説明する。そのため、参照ピクチャの第２及び第３リストを用いて、動き検出処理及び動き予測処理を行う。しかしながら、図７に示す装置を改良して、ここに開示された動画像符号化方法のいずれか１つ（例えば、図２に示すような方法）又は本発明を逸脱しない範囲の他の方法を実現できることは当業者にとって明らかであろう。つまり、本発明に係る動画像符号化装置は、図７に示されるような、構成要素／要素及びそれらの相互接続に限定されるものではない。

当該動画像符号化装置は、動き検出部５００と、動き予測部５０２と、第１リスト作成部５０４と、第２リスト作成部５１６と、第３リスト作成部５１０と、第１切り替え部５０６と、第２切り替え部５０８と、メモリ部５１２と、比較部又は判断部５１４と、書き込み部５１８とを備える。

図７に示すように、動き検出部５００は、対象ピクチャ（例えば、画像サンプルブロック）Ｄ５０１と、参照ピクチャの選択されたリストＤ５１１と、参照ピクチャの第２リストＤ５１９とを読み込み、動きベクトル群Ｄ５０３を出力する。動き予測部５０２は、動きベクトル群Ｄ５０３と、参照ピクチャの選択されたリストＤ５１１と、参照ピクチャの第２リストＤ５１９とを読み込み、予測サンプルブロックＤ５０５を出力する。第１リスト作成部５０４は、メモリ部５１２から参照ピクチャＤ５１３を読み込み、参照ピクチャの第１リストＤ１０１５を出力する。第２リスト作成部５１６は、メモリ部５１２から参照ピクチャＤ１０１７を読み込み、参照ピクチャの第２リストＤ５１９を出力する。比較部５１４は、参照ピクチャの第１リストＤ５１５と参照ピクチャの第２リストＤ５１９とを共に読み込み、制御信号Ｄ５２１を出力して第１及び第２切り替え部５０６及び５０８を制御する。第１切り替え部５０４は、制御信号Ｄ５２１に基づき、参照ピクチャの第１リストＤ５１５を第２切り替え部５０８又は第３リスト作成部５１０に送信する。第３リスト作成部５１０は、メモリ部５１２に記憶されているパラメータＤ５２５（例えば、参照ピクチャの画質識別子パラメータ）と参照ピクチャの第１リストＤ５０９とに基づいて、参照ピクチャの第３リストＤ５２３を作成する。第２切り替え部５０８は、制御信号Ｄ５２１に基づき、参照ピクチャの第１リストＤ５０７か参照ピクチャの第３リストＤ５２３のどちらかを選択する。書き込み部５１８は、パラメータを読み出し、符号化ピクチャのヘッダＤ１０２９にこのパラメータを書き込む。

図８は、本発明の実施の形態２に係る動画像復号装置の例を示すブロック図である。明確にするために、復号装置を、図６で説明された方法と対応づけて説明する。そのため、参照ピクチャの第２及び第３リストを用いて、動き予測処理を行う。しかしながら、図８に示す装置を改良して、ここに開示された動画像復号方法のいずれか１つ（例えば、図３に示すような方法）又は本発明を逸脱しない範囲の他の方法を実現できることは当業者にとって明らかであろう。つまり、本発明に係る動画像復号装置は、図８に示されるような、構成要素／要素及びそれらの相互接続に限定されるものではない。

当該動画像復号装置は、解析部６００と、動き予測部６０２と、第１リスト作成部６０４と、第２リスト作成部６１６と、第３リスト作成部６１０と、第１切り替え部６０６と、第２切り替え部６０８と、メモリ部６１２と、比較部又は判断部６１４とを備える。

図８に示すように、動き予測部６０２は、復号済み動きベクトル群Ｄ６０１と、参照ピクチャの選択されたリストＤ６１１と、参照ピクチャの第２リストＤ６１９とを読み込み、予測サンプルブロックＤ６０５を出力する。第１リスト作成部６０４は、メモリ部６１２から参照ピクチャＤ６１３を読み込み、参照ピクチャの第１リストＤ６１５を出力する。第２リスト作成部６１６は、メモリ部６１２から参照ピクチャＤ６１７を読み込み、参照ピクチャの第２リストＤ６１９を出力する。比較部６１４は、参照ピクチャの第１リストＤ６１５と参照ピクチャの第２リストＤ６１９とを共に読み込み、制御信号Ｄ６２１を出力して第１及び第２切り替え部６０６及び６０８を制御する。第１切り替え部６０４は、制御信号Ｄ６２１に基づき、参照ピクチャの第１リストＤ６１５を第２切り替え部６０８又は第３リスト作成部６１０に送信する。第３リスト作成部６１０は、メモリ部６１２に記憶されている参照ピクチャのパラメータＤ６２５（例えば、画質識別子パラメータ）と参照ピクチャの第１リストＤ６０９とに基づいて、参照ピクチャの第３リストＤ６２３を作成する。第２切り替え部６０８は、制御信号Ｄ６２１に基づき、参照ピクチャの第１リストＤ６０７か参照ピクチャの第３リストＤ６２３のどちらかを選択する。解析部６００は、符号化ピクチャのヘッダＤ６２７を解析し、メモリ部６１２にパラメータＤ６０３を出力する。

図９は、本発明の実施の形態２に係る、ピクチャのヘッダにおけるパラメータの好ましい位置を示す図である。当該パラメータが画質識別子パラメータの場合、例えば、この画質識別子パラメータの値は、ピクチャを圧縮する際に用いられた量子化レベルに応じて決定される。

図１０Ａは、本発明の実施の形態３に係る動画像符号化処理又は方法を示すフローチャートである。図１０Ａに示すように、ステップ８００では、まず、特殊参照ピクチャフラグを符号化参照ピクチャのヘッダに書き込み又は埋め込んで、参照ピクチャに特殊参照ピクチャ又は通常参照ピクチャとラベル付けする。例えば、特殊参照ピクチャは、ピクチャ群のうち量子化レベルが低いピクチャでもよい。ステップ８０２では、比較を行って、このフラグが所定の値であるかどうかを判断又は判定する。フラグが所定の値であれば、ステップ８０４において、参照ピクチャを特殊参照ピクチャとラベル付けし、フラグが所定の値でなければ、ステップ８０６において、参照ピクチャを通常参照ピクチャとラベル付けする。

ステップ８０８では、対象ピクチャまでの時間的距離を利用する第１の方式でソートされた参照ピクチャの第１リストを作成する。次に、ステップ８１０では、同様に対象ピクチャまでの時間的距離を利用する第２の方式でソートされた参照ピクチャの第２リストを作成する。そして、ステップ８１２では、比較を行って、第１リストが第２リストと一致するかどうか（例えば、同一であるかどうか）を判断又は判定する。

前記第１リストが前記第２リストと一致する場合には、ステップ８１４において、参照フレームの第１リスト内にある特殊参照ピクチャを特定し、ステップ８２０において、これらの特殊参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ８２２において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ８２４において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャに対し動き予測処理を行う。例えば、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて動き検出処理及び／又は動き予測処理を行ってもよい。

ステップ８１２において第１リストが第２リストと一致しない場合には、ステップ８１６において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き検出処理を行い、ステップ８１８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。

実施の形態では、ステップ８１２における論理を逆にしても構わない。具体的には、第１リストが第２リストと一致する場合には、ステップ８１６において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き検出処理を行い、ステップ８１８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。ステップ８１２において前記第１リストが前記第２リストと一致しない場合には、ステップ８１４において、参照フレームの第１リスト内にある特殊参照ピクチャを特定し、ステップ８２０において、これらの特殊参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ８２２において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ８２４において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャに対し動き予測処理を行う。同様に、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き検出処理及び／又は動き予測処理を行ってもよい。

さらに別の実施の形態を図１０Ｂに示す。具体的には、図１０Ａで示されたステップ８０８、８１０、８１２、８１６、及び、８１８が省略される。したがって、ステップ８０４又は８０６の後、ステップ８６４において、特殊参照ピクチャとラベル付けされた参照ピクチャを特定し、ステップ８２０において、これらの特殊参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第１リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。次に、ステップ８７２において、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ８７４において、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャに対し動き予測処理を行う。

図１１Ａは、本発明の実施の形態３に係る動画像復号処理又は方法を示すフローチャートである。図１１Ａに示すように、ステップ９００では、まず、特殊参照ピクチャフラグを符号化参照ピクチャのヘッダから解析又は読み出し、参照ピクチャに特殊参照ピクチャ又は通常参照ピクチャとラベル付けする。例えば、特殊参照ピクチャは、ピクチャ群のうち量子化レベルが低いピクチャでもよい。ステップ９０２では、比較を行って、このフラグが所定の値であるかどうかを判断又は判定する。フラグが所定の値であれば、ステップ９０４において、参照ピクチャを特殊参照ピクチャとラベル付けし、フラグが所定の値でなければ、ステップ９０６において、参照ピクチャを通常参照ピクチャとラベル付けする。

ステップ９０８では、対象ピクチャまでの時間的距離を利用する第１の方式でソートされた参照ピクチャの第１リストを作成する。次に、ステップ９１０では、同様に対象ピクチャまでの時間的距離を利用する第２の方式でソートされた参照ピクチャの第２リストを作成する。そして、ステップ９１２では、比較を行って、第１リストが第２リストと一致するかどうか（例えば、同一であるかどうか）を判断又は判定する。前記第１リストが前記第２リストと一致する場合には、ステップ９１４において、参照フレームの第１リスト内にある特殊参照ピクチャを特定し、ステップ９１６において、これらの特殊参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リストを作成する。次に、ステップ９１８において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（画像サンプルブロック）に対し動き予測処理を行う。

ステップ９１２において第１リストが第２リストと一致しない場合には、ステップ９２０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。

実施の形態では、ステップ９１２における論理を逆にしても構わない。具体的には、第１リストが第２リストと一致する場合には、ステップ９２０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。前記第１リストが前記第２リストと一致しない場合には、ステップ９１４において、参照フレームの第１リスト内にある特殊参照ピクチャを特定し、ステップ９１６において、これらの特殊参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リストを作成する。次に、ステップ９１８において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（画像サンプルブロック）に対し動き予測処理を行う。同様に、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き予測処理を行ってもよい。

さらに別の実施の形態を図１１Ｂに示す。具体的には、図１１Ａで示されたステップ９０８、９１０、９１２、及び、９２０が省略される。したがって、ステップ９０４又は９０６の後、ステップ９６４において、特殊参照ピクチャとラベル付けされた参照ピクチャを特定し、ステップ９６６において、これらの特殊参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第１リストを作成する。次に、ステップ９６８において、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャ（画像サンプルブロック）に対し動き予測処理を行う。

図１２は、本発明の実施の形態３に係る動画像符号化装置の例を示すブロック図である。明確にするために、符号化装置を、図１０Ａで説明された方法と対応づけて説明する。そのため、参照ピクチャの第２及び第３リストを用いて、動き検出処理及び動き予測処理を行う。しかしながら、前述したように、図１２に示す装置を改良して、ここに開示された動画像符号化方法のいずれか１つ又は本発明を逸脱しない範囲の他の方法を実現できることは当業者にとって明らかであろう。

当該動画像符号化装置は、動き検出部１０００と、動き予測部１００２と、第１リスト作成部１００４と、第２リスト作成部１０１６と、第３リスト作成部１０１０と、第１切り替え部１００６と、第２切り替え部１００８と、メモリ部１０１２と、比較部又は判断部１０１４と、書き込み部１０１８とを備える。

図１２に示すように、動き検出部１０００は、画像サンプルブロックＤ１００１と、参照ピクチャの選択されたリストＤ１０１１と、参照ピクチャの第２リストＤ１０１９とを読み込み、動きベクトル群Ｄ１００３を出力する。動き予測部１００２は、動きベクトル群Ｄ１００３と、参照ピクチャの選択されたリストＤ１０１１と、参照ピクチャの第２リストＤ１０１９とを読み込み、予測サンプルブロックＤ１００５を出力する。第１リスト作成部１００４は、メモリ部１０１２から参照ピクチャＤ１０１３を読み込み、参照ピクチャの第１リストＤ１０１５を出力する。第２リスト作成部１０１６は、メモリ部１０１２から参照ピクチャＤ１０１７を読み込み、参照ピクチャの第２リストＤ１０１９を出力する。比較部１０１４は、参照ピクチャの第１リストＤ１０１５と参照ピクチャの第２リストＤ１０１９とを共に読み込み、制御信号Ｄ１０２１を出力して第１及び第２切り替え部１００６及び１００８を制御する。第１切り替え部１００４は、制御信号Ｄ１０２１に基づき、参照ピクチャの第１リストＤ１０１５を第２切り替え部１００８又は第３リスト作成部１０１０に送信する。第３リスト作成部１０１０は、メモリ部１０１２に記憶されている参照ピクチャの特殊参照ピクチャフラグＤ１０２５と参照ピクチャの第１リストＤ１００９とに基づいて、参照ピクチャの第３リストＤ１０２３を作成する。第２切り替え部１００８は、制御信号Ｄ１０２１に基づき、参照ピクチャの第１リストＤ１００７か参照ピクチャの第３リストＤ１０２３のどちらかを選択する。書き込み部１０１８は、特殊参照ピクチャフラグを読み出し、符号化ピクチャのヘッダＤ１０２９にこのフラグを書き込む。

図１３は、本発明の実施の形態３に係る動画像復号装置の例を示すブロック図である。明確にするために、復号装置を、図１１Ａで説明された方法と対応づけて説明する。そのため、参照ピクチャの第２及び第３リストを用いて、動き予測処理を行う。しかしながら、図１３に示す装置を改良して、ここに開示された動画像復号方法のいずれか１つ又は本発明を逸脱しない範囲の他の方法を実現できることは当業者にとって明らかであろう。

当該動画像符号化装置は、解析部１１００と、動き予測部１１０２と、第１リスト作成部１１０４と、第２リスト作成部１１１６と、第３リスト作成部１１１０と、第１切り替え部１１０６と、第２切り替え部１１０８と、メモリ部１１１２と、比較部又は判断部１１１４とを備える。

図１３に示すように、動き予測部１１０２は、復号済み動きベクトル群Ｄ１１０１と、参照ピクチャの選択されたリストＤ１１１１と、参照ピクチャの第２リストＤ１１１９とを読み込み、予測サンプルブロックＤ１１０５を出力する。第１リスト作成部１１０４は、メモリ部１１１２から参照ピクチャＤ１１１３を読み込み、参照ピクチャの第１リストＤ１１１５を出力する。第２リスト作成部１１１６は、メモリ部１１１２から参照ピクチャＤ１１１７を読み込み、参照ピクチャの第２リストＤ１１１９を出力する。比較部１１１４は、参照ピクチャの第１リストＤ１１１５と参照ピクチャの第２リストＤ１１１９とを共に読み込み、制御信号Ｄ１１２１を出力して第１及び第２切り替え部１１０６及び１１０８を制御する。第１切り替え部１１０４は、制御信号Ｄ１１２１に基づき、参照ピクチャの第１リストＤ１１１５を第２切り替え部１１０８又は第３リスト作成部１１１０に送信する。第３リスト作成部１１１０は、メモリ部１１１２に記憶されている参照ピクチャの特殊参照ピクチャフラグＤ１１２５と参照ピクチャの第１リストＤ１１０９とに基づいて、参照ピクチャの第３リストＤ１１２３を作成する。第２切り替え部１１０８は、制御信号Ｄ１１２１に基づき、参照ピクチャの第１リストＤ１１０７か参照ピクチャの第３リストＤ１１２３のどちらかを選択する。解析部１１００は、符号化ピクチャのヘッダＤ１１２７を解析し、特殊参照ピクチャフラグパラメータＤ１１０３をメモリ部１１１２に出力する。

図１４は、本発明の実施の形態３に係る、ピクチャのヘッダにおける特殊ピクチャフラグの好ましい位置を示す図である。例えば、特殊ピクチャは、ピクチャ群のうち量子化レベルが低いピクチャと定義されてもよい。

図１５Ａは、本発明の実施の形態４に係る動画像符号化処理又は方法を示すフローチャートである。図１５Ａに示すように、ステップ１３００では、まず、対象ピクチャのヘッダにフラグ（例えば、並べ替え方式選択フラグ）を書き込む又は埋め込む。例えば、このフラグは、２つのリストのうち１つのリスト内にある参照ピクチャの並べ替えに利用される異なる２つの方式を示すために用いられる。

ステップ１３０２では、対象ピクチャまでの時間的距離を利用する第１の方式でソートされた参照ピクチャの第１リストを作成する。次に、ステップ１３０４では、同様に対象ピクチャまでの時間的距離を利用する第２の方式でソートされた参照ピクチャの第２リストを作成する。そして、ステップ１３０６では、比較を行って、第１リストが第２リストと一致するかどうか（例えば、同一であるかどうか）を判断又は判定する。

第１リストが第２リストと一致する場合、比較を行って、並べ替え方式選択フラグの値が所定の値であるかどうかを判断又は判定する。フラグが所定の値である場合には、ステップ１３１４において、より高画質な参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。フラグが所定の値でない場合には、ステップ１３２０において、参照ピクチャの予測依存関係でソートされた参照ピクチャの第３リストを作成する。参照ピクチャの予測依存関係とは、参照フレームの間のピクチャ間動き補償予測における依存性のことである。次に、ステップ１３１６において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ１３１８において、少なくとも参照ピクチャの第３リストを用いて、画像サンプルブロックに対し動き予測処理を行う。例えば、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて動き検出処理及び／又は動き予測処理を行ってもよい。

ステップ１３０６において第１リストが第２リストと一致しない場合には、ステップ１３０８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き検出処理を行い、ステップ１３１０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。

実施の形態では、ステップ１３０６における論理を逆にしても構わない。具体的には、第１リストが第２リストと一致する場合には、ステップ１３０８において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き検出処理を行い、ステップ１３１０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。一方、ステップ８１２において、第１リストが第２リストと一致しない場合には、比較を行って、並べ替え方式選択フラグの値が所定の値であるかどうかを判断又は判定する。フラグが所定の値である場合には、ステップ１３１４において、より高画質な参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。フラグが所定の値でない場合には、ステップ１３２０において、参照ピクチャの予測依存関係でソートされた参照ピクチャの第３リストを作成する。参照ピクチャの予測依存関係とは、参照フレームの間のピクチャ間動き補償予測における依存性のことである。次に、ステップ１３１６において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ１３１８において、少なくとも参照ピクチャの第３リストを用いて、画像サンプルブロックに対し動き予測処理を行う。同様に、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き検出処理及び／又は動き予測処理を行ってもよい。

さらに別の実施の形態を図１５Ｂに示す。具体的には、図１５Ａで示されたステップ１３０２、１３０４、１３０６、１３０８、及び、１３１０が省略される。したがって、ステップ１３００の後、比較を行って、並べ替え方式選択フラグの値が所定の値であるかどうかを判断又は判定する。フラグが所定の値である場合には、ステップ１３６４において、より高画質な参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第１リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。フラグが所定の値でない場合には、ステップ１３７０において、参照ピクチャの予測依存関係でソートされた参照ピクチャの第１リストを作成する。参照ピクチャの予測依存関係とは、参照フレームの間のピクチャ間動き補償予測における依存性のことである。次に、ステップ１３６６において、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き検出処理を行い、ステップ１３６８において、少なくとも参照ピクチャの第１リストを用いて、画像サンプルブロックに対し動き予測処理を行う。

図１６Ａは、本発明の実施の形態４に係る動画像復号処理又は方法を示すフローチャートである。図１６Ａに示すように、ステップ１４００では、まず、対象ピクチャのヘッダからフラグ（例えば、並べ替え方式選択フラグ）を解析又は読み出す。例えば、このフラグは、２つのリストのうち１つのリスト内にある参照ピクチャの並べ替えに利用される異なる２つの方式を選択するために用いられる。

ステップ１４０２では、対象ピクチャまでの時間的距離を利用する第１の方式でソートされた参照ピクチャの第１リストを作成する。次に、ステップ１４０４では、同様に対象ピクチャまでの時間的距離を利用する第２の方式でソートされた参照ピクチャの第２リストを作成する。そして、ステップ１３０６では、比較を行って、第１リストが第２リストと一致するかどうか（例えば、同一であるかどうか）を判断又は判定する。

第１リストが第２リストと一致する場合、比較を行って、並べ替え方式選択フラグの値が所定の値であるかどうかを判断又は判定する。フラグが所定の値である場合には、ステップ１４１２において、より高画質な参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。フラグが所定の値でない場合には、ステップ１４１６において、参照ピクチャの予測依存関係でソートされた参照ピクチャの第３リストを作成する。参照ピクチャの予測依存関係とは、参照フレームの間のピクチャ間動き補償予測における依存性のことである。次に、ステップ１４１４において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き予測処理を行う。例えば、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き予測処理を行ってもよい。

ステップ１４０６において第１リストが第２リストと一致しない場合には、ステップ１４１０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。

実施の形態では、ステップ１４０６における論理を逆にしても構わない。具体的には、第１リストが第２リストと一致する場合には、ステップ１４１０において、参照フレームの第１及び第２リストを用いて、対象ピクチャに対し動き予測処理を行う。一方、ステップ１４０６において、第１リストが第２リストと一致しない場合には、比較を行って、並べ替え方式選択フラグの値が所定の値であるかどうかを判断又は判定する。フラグが所定の値である場合には、ステップ１４１２において、より高画質な参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第３リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。フラグが所定の値でない場合には、ステップ１４１６において、参照ピクチャの予測依存関係でソートされた参照ピクチャの第３リストを作成する。参照ピクチャの予測依存関係とは、参照フレームの間のピクチャ間動き補償予測における依存性のことである。次に、ステップ１４１４において、少なくとも参照ピクチャの第３リストを用いて、対象ピクチャ（例えば、画像サンプルブロック）に対し動き予測処理を行う。同様に、例えば、参照ピクチャの第２及び第３リストを用いて、又は、参照ピクチャの第１及び第３リストを用いて、動き予測処理を行ってもよい。

さらに別の実施の形態を図１６Ｂに示す。具体的には、図１６Ａで示されたステップ１４０２、１４０４、１４０６、及び、１４１０が省略される。したがって、ステップ１４００の後、ステップ１４５８において、比較を行って、並べ替え方式選択フラグの値が所定の値であるかどうかを判断又は判定する。フラグが所定の値である場合には、ステップ１４６２において、より高画質な参照ピクチャがリストの最上位になるようにソートされた参照ピクチャの第１リスト（例えば、実施の形態１で述べた参照ピクチャの第１リストに相当する）を作成する。フラグが所定の値でない場合には、ステップ１４６６において、参照ピクチャの予測依存関係でソートされた参照ピクチャの第１リストを作成する。参照ピクチャの予測依存関係とは、参照フレームの間のピクチャ間動き補償予測における依存性のことである。次に、ステップ１４６４において、少なくとも参照ピクチャの第１リストを用いて、対象ピクチャ（画像サンプルブロック）に対し動き予測処理を行う。

図１７は、本発明の実施の形態４に係る動画像符号化装置の例を示すブロック図である。明確にするために、符号化装置を、図１５Ａで説明された方法と対応づけて説明する。そのため、参照ピクチャの第２及び第３リストを用いて、動き検出処理及び動き予測処理を行う。しかしながら、前述したように、図１７に示す装置を改良して、ここに開示された動画像符号化方法のいずれか１つ又は本発明を逸脱しない範囲の他の方法を実現できることは当業者にとって明らかであろう。
当該動画像符号化装置は、動き検出部１５００と、動き予測部１５０２と、第１リスト作成部１５１６と、第２リスト作成部１５２２と、第３リスト作成部１５０８と、第４リスト作成部１５１０と、第１切り替え部１５０４と、第２切り替え部１５０６と、第３切り替え部１５１２と、第４切り替え部１５１４と、メモリ部１５１８と、比較部又は判断部１５２０と、書き込み部１５２４とを備える。

図１７に示すように、動き検出部１５００は、画像サンプルブロックＤ１５０１と、参照ピクチャの選択されたリストＤ１５３３と、参照ピクチャの第２リストＤ１５３１とを読み込み、動きベクトル群Ｄ１５０３を出力する。動き予測部１５０２は、動きベクトル群Ｄ１５０３と、参照ピクチャの選択されたリストＤ１５３３と、参照ピクチャの第２リストＤ１５３１とを読み込み、予測サンプルブロックＤ１５３９を出力する。第１リスト作成部１５１６は、メモリ部１５１８から参照ピクチャＤ１５０７を読み込み、参照ピクチャの第１リストＤ１５０５を出力する。第２リスト作成部１５２２は、メモリ部１５１８から参照ピクチャＤ１５０９を読み込み、参照ピクチャの第２リストＤ１５１１を出力する。比較部１５２０は、参照ピクチャの第１リストＤ１５０５と参照ピクチャの第２リストＤ１５１１とを共に読み込み、制御信号Ｄ１５１３を出力して第１及び第２切り替え部１５０４及び１５０６を制御する。第１切り替え部１５０４は、参照ピクチャの第１リストＤ１５０５を第２切り替え部１５０６又は第３切り替え部１５１２に送信する。第３切り替え部１５１２は、フラグ（例えば、並べ替え方式選択フラグ）Ｄ１５１５に基づき、第３リスト作成部１５０８又は第４リスト作成部１５１０に参照フレームの第１リストＤ１５１７を送信する。第３リスト作成部１５０８は、第１リストＤ１５２１に基づき、参照フレームの新しいリストＤ１５２５を作成する。第４リスト作成部１５１０は、第１リストＤ１５２３に基づき、参照フレームの新しいリストＤ１５２７を作成する。第４切り替え部１５１４は、フラグＤ１５１５に基づき、どちらかの新しいリストＤ１５２９を選択し、それを第２切り替え部１５０６に送信する。第２切り替え部１５０６は、制御信号Ｄ１５１３に基づいて、参照ピクチャの第１リストＤ１５１９か参照ピクチャの選択された新しいリストＤ１５２９のどちらかを選択する。書き込み部１５２４は、フラグＤ１５１５を読み出し、対象ピクチャのヘッダＤ１５３７にこのフラグを書き込む。

図１８は、本発明の実施の形態４に係る動画像復号装置の例を示すブロック図である。明確にするために、復号装置を、図１６Ａで説明された方法と対応づけて説明する。そのため、参照ピクチャの第２及び第３リストを用いて、動き予測処理を行う。しかしながら、図１８に示す装置を改良して、ここに開示された動画像復号方法のいずれか１つ又は本発明を逸脱しない範囲の他の方法を実現できることは当業者にとって明らかであろう。

当該動画像復号装置は、解析部１６００と、動き予測部１６０２と、第１リスト作成部１６１６と、第２リスト作成部１６２２と、第３リスト作成部１６０８と、第４リスト作成部１６１０と、第１切り替え部１６０４と、第２切り替え部１６０６と、第３切り替え部１６１２と、第４切り替え部１６１４と、メモリ部１６１８と、比較部又は判断部１６２０とを備える。

図１８に示すように、解析部１６００は、対象ピクチャのヘッダを解析して、フラグ（例えば、並べ替え方式選択フラグ）Ｄ１６１５を出力する。動き予測部１６０２は、動きベクトル群Ｄ１６０３と、参照ピクチャの選択されたリストＤ１６３３と、参照ピクチャの第２リストＤ１６３１とを読み込み、予測サンプルブロックＤ１６０３を出力する。第１リスト作成部１６１６は、メモリ部１６１８から参照ピクチャＤ１６０７を読み込み、参照ピクチャの第１リストＤ１６０５を出力する。第２リスト作成部１６２２は、メモリ部１５１８から参照ピクチャＤ１６０９を読み込み、参照ピクチャの第２リストＤ１６１１を出力する。比較部１６２０は、参照ピクチャの第１リストＤ１６０５と参照ピクチャの第２リストＤ１６１１とを共に読み込み、制御信号Ｄ１６１３を出力して第１及び第２切り替え部１６０４及び１６０６を制御する。第１切り替え部１６０４は、参照ピクチャの第１リストＤ１６０５を第２切り替え部１６０６又は第３切り替え部１６１２に送信する。第３切り替え部１６１２は、フラグＤ１６１５に基づき、第３リスト作成部１６０８又は第４リスト作成部１６１０に参照フレームの第１リストＤ１６１７を送信する。第３リスト作成部１６０８は、第１リストＤ１６２１に基づき、参照フレームの新しいリストＤ１６２５を作成する。第４リスト作成部１６１０は、第１リストＤ１６２３に基づき、参照フレームの新しいリストＤ１６２７を作成する。第４切り替え部１６１４は、フラグＤ１６１５に基づき、どちらかの新しいリストＤ１６２９を選択し、それを第２切り替え部１６０６に送信する。第２切り替え部１６０６は、制御信号Ｄ１６１３に基づいて、参照ピクチャの第１リストＤ１６１９か参照ピクチャの選択された新しいリストＤ１６２９のどちらかを選択する。
図１９は、ピクチャのヘッダにおけるフラグの好ましい位置を示す図である。フラグが並べ替え方式選択フラグの場合、例えば、このフラグは、参照ピクチャのリストを作成する方式を切り替えるために用いられる。

図２０は、本発明の実施の形態３において、参照ピクチャに特殊ピクチャとラベル付けする処理又は方法を示すフローチャートである。図に示されるように、ステップ１８００において、ラベル化対象ピクチャに特殊ロングターム参照ピクチャとラベル付けする。そして、ステップ１８０２において、ロングタームインデックス値を所定の値に設定する。ステップ１８０４では、当該所定の値と等しいロングタームインデックス値を有する、すでに再構成されたロングターム参照ピクチャの位置をメモリ内で特定する。そして最後に、ステップ１８０６において、ロングターム参照ピクチャがメモリ内にある場合には、メモリ内において、このロングターム参照ピクチャをラベル化対象ピクチャで置き換える。

図２１は、本発明の実施の形態３において、ピクチャに特殊参照ピクチャとラベル付けする装置の例を示すブロック図である。当該装置は、ラベル付け部１９００と、割当部１９０２と、検索部１９０６と、置換部１９０４と、メモリ部１９０８とを備える。まず、割当部１９０２は、所定の値Ｄ１９０７を読み込み、その値をピクチャのロングタームインデックス値Ｄ１９０９に割り当てる。ラベル付け部は、ピクチャＤ１９０１とロングタームインデックス値Ｄ１９０９とを読み込み、割り当てられたロングタームインデックス値Ｄ１９０３を有するロングターム参照ピクチャを出力する。検索部１９０６は、ロングタームインデックス値Ｄ１９０７を読み込み、メモリ部１９０８内の参照ピクチャＤ１９１１を検索し、メモリ内のロングターム参照ピクチャの位置Ｄ１９０５を特定する。置換部１９０４は、ラベル付けされたピクチャＤ１９０３を読み込み、メモリ内のロングターム参照ピクチャの位置にこのピクチャＤ１９１３を置く。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法及び動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図２２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図２２のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した画像データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図２３に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。

受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図２４は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２５に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２６に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２４に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図２７Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図２７Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化する。

その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２８は、多重化データの構成を示す図である。図２８に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２９は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図３０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図３０における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図３０の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図３１は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図３１下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図３２はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図３３に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図３３に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図３４に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図３５に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態７）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３６に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態８）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３７は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図３６のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図３６の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態６で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態６で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図３９のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３８は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態９）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図４０Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本発明の一態様は、変換部に特徴を有していることから、例えば、逆変換については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー復号、逆量子化、デブロッキング・フィルタ、動き補償予測のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図４０Ｂのｅｘ１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明は、音声、静止画、及び、動画像を符号化する符号化装置、並びに、符号化装置により符号化されたデータを復号する復号装置に適用可能である。例えば、本発明は、音声装置、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなど、様々なＡＶ装置に適用可能である。

Claims (18)

1. 複数の参照ピクチャを用いて動画像の対象ピクチャを符号化する動画像符号化方法であって、
   前記複数の参照ピクチャの画質に関するパラメータを書き込み、
   前記パラメータに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成し、
   前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを符号化する
   動画像符号化方法。
2. 前記動画像符号化方法は、
   前記画質に基づくパラメータとして、量子化パラメータを用いてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成する
   請求項１に記載の動画像符号化方法。
3. 前記動画像符号化方法は、
   フラグが所定の値であるかどうかを判断し、
   前記フラグが所定の値である場合には、
   前記参照ピクチャの画質に基づいてソートされた前記参照ピクチャの第１リストを作成し、
   前記フラグが所定の値でない場合には、
   前記参照ピクチャのピクチャ間予測依存関係に基づいてソートされた前記参照ピクチャの第１リストを作成する
   請求項１又は２に記載の動画像符号化方法。
4. 前記動画像符号化方法は、
   前記複数の参照ピクチャのそれぞれについて、当該参照ピクチャが所定の値のフラグを含むかどうかを判断し、
   前記参照ピクチャのフラグが所定の値である場合には、
   前記参照ピクチャを第１タイプの参照ピクチャとラベル付けし、
   前記参照ピクチャのフラグが所定の値でない場合には、
   前記参照ピクチャを第２タイプの参照ピクチャとラベル付けし、
   前記第１タイプとラベル付けされた参照ピクチャが前記第２タイプとラベル付けされた参照ピクチャよりもリスト内の順序が上位になるようにソートされた前記参照ピクチャの第１リストを作成する
   請求項１又は２に記載の動画像符号化方法。
5. 前記第１タイプとラベル付けされた参照ピクチャを前記第１リストの最上位に順序付ける
   請求項４に記載の動画像符号化方法。
6. 前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第２リストと参照ピクチャの第３リストとを作成する
   請求項１〜５のいずれか１項に記載の動画像符号化方法。
7. 前記第２リストが前記第３リストと一致するかどうかを判断し、
   前記第２リストが前記第３リストと一致する場合には、
   前記パラメータに基づいてソートされた前記参照ピクチャの第１リストを作成し、前記参照ピクチャの第１リストを用いて前記動画像の対象ピクチャを符号化し、
   前記第２リストが前記第３リストと一致しない場合には、
   前記第２リストと前記第３リストとを用いて、前記動画像の対象ピクチャを符号化する
   請求項６に記載の動画像符号化方法。
8. 前記動画像符号化方法は、さらに、
   対象ピクチャ又はフレームまでの時間的距離に基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャのリストを作成する
   請求項１又は２に記載の動画像符号化方法。
9. 複数の参照ピクチャを用いて動画像の対象ピクチャを復号する動画像復号方法であって、
   前記複数の参照ピクチャの画質に関するパラメータを解析し、
   前記パラメータに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成し、
   前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを復号する
   動画像復号方法。
10. 前記動画像復号方法は、
    前記画質に基づくパラメータとして、量子化パラメータを用いてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成する
    請求項９に記載の動画像復号方法。
11. 前記動画像復号方法は、
    フラグが所定の値であるかどうかを判断し、
    前記フラグが所定の値である場合には、
    前記参照ピクチャの画質に基づいてソートされた前記参照ピクチャの第１リストを作成し、
    前記フラグが所定の値でない場合には、
    前記参照ピクチャのピクチャ間予測依存関係に基づいてソートされた前記参照ピクチャの第１リストを作成する
    請求項９又は１０に記載の動画像復号方法。
12. 前記動画像復号方法は、
    前記複数の参照ピクチャのそれぞれについて、当該参照ピクチャが所定の値のフラグを含むかどうかを判断し、
    前記参照ピクチャのフラグが所定の値である場合には、
    前記参照ピクチャを第１タイプの参照ピクチャとラベル付けし、
    前記参照ピクチャのフラグが所定の値でない場合には、
    前記参照ピクチャを第２タイプの参照ピクチャとラベル付けし、
    前記第１タイプとラベル付けされた参照ピクチャが前記第２タイプとラベル付けされた参照ピクチャよりもリスト内の順序が上位になるようにソートされた前記参照ピクチャの第１リストを作成する
    請求項９又は１０に記載の動画像復号方法。
13. 前記第１タイプとラベル付けされた参照ピクチャを前記第１リストの最上位に順序付ける
    請求項１２に記載の動画像復号方法。
14. 前記対象ピクチャまでの時間的距離に基づいてソートされた、参照ピクチャの第２リストと参照ピクチャの第３リストとを作成する
    請求項９〜１３のいずれか１項に記載の動画像復号方法。
15. 前記第２リストが前記第３リストと一致するかどうかを判断し、
    前記第２リストが前記第３リストと一致する場合には、
    前記パラメータに基づいてソートされた前記参照ピクチャの第１リストを作成し、前記参照ピクチャの第１リストを用いて前記動画像の対象ピクチャを復号し、
    前記第２リストが前記第３リストと一致しない場合には、
    前記第２リストと前記第３リストとを用いて、前記動画像の対象ピクチャを復号する
    請求項１４に記載の動画像復号方法。
16. 前記動画像復号方法は、さらに、
    対象ピクチャ又はフレームまでの時間的距離に基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャのリストを作成する
    請求項９又は１０に記載の動画像復号方法。
17. 複数の参照ピクチャを用いて動画像の対象ピクチャを符号化する動画像符号化装置であって、
    前記複数の参照ピクチャの画質に関するパラメータを書き込む書き込み部と、
    前記パラメータに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成する第１リスト作成部と、
    前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを符号化する符号化部とを備える
    動画像符号化装置。
18. 複数の参照ピクチャを用いて動画像の対象ピクチャを復号する動画像復号装置であって、
    前記複数の参照ピクチャの画質に関するパラメータを解析する解析部と、
    前記パラメータに基づいてソートされた前記複数の参照ピクチャからなる参照ピクチャの第１リストを作成する第１リスト作成部と、
    前記参照ピクチャの第１リストを用いて、前記動画像の対象ピクチャを復号する復号部とを備える
    動画像復号装置。

Images