JP6094409B2 - 画像復号装置、画像復号方法及び画像復号プログラム - Google Patents

画像復号装置、画像復号方法及び画像復号プログラム Download PDF

Info

Publication number
JP6094409B2
JP6094409B2 JP2013146983A JP2013146983A JP6094409B2 JP 6094409 B2 JP6094409 B2 JP 6094409B2 JP 2013146983 A JP2013146983 A JP 2013146983A JP 2013146983 A JP2013146983 A JP 2013146983A JP 6094409 B2 JP6094409 B2 JP 6094409B2
Authority
JP
Japan
Prior art keywords
picture
prediction
motion vector
inter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013146983A
Other languages
English (en)
Other versions
JP2015019336A (ja
Inventor
博哉 中村
博哉 中村
上田　基晴
基晴 上田
英樹 竹原
英樹 竹原
福島　茂
茂 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2013146983A priority Critical patent/JP6094409B2/ja
Publication of JP2015019336A publication Critical patent/JP2015019336A/ja
Application granted granted Critical
Publication of JP6094409B2 publication Critical patent/JP6094409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像復号技術に関し、階層符号化を利用した画像復号技術に関する。
画像信号を粗い情報から細かい情報へと階層的に符号化する技術としてスケーラブル符号化がある。スケーラブル符号化により圧縮符号化されたデータは再び符号化することなく復号した時の画像の品質を向上させたり、低下させたりすることが可能である。
スケーラブル符号化を用いると、例えば高い品質の復号および再生が可能な端末の場合はスケーラブル符号化で圧縮符号化されたすべてのデータを使用して、鮮明な画像を復号して再生し、低い品質の復号および再生しかできない端末ではスケーラブル符号化で圧縮符号化されたデータの一部を用いて画像を復号し再生することが可能である。スケーラブル符号化においては、解像度、画像のサイズ、Ｓ／Ｎ比などの品質の段階が階層的に分けられている。またスケーラブル符号化は階層符号化とも呼ばれる。
特開平４−１７７９９２号公報
このような状況下、本発明者らは、階層符号化を使用する画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。
本発明はこうした状況に鑑みてなされたものであり、その目的は、階層符号化に用いる予測情報の候補を状況に応じて導出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる画像復号技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像復号装置は、画像を階層的に符号化するスケーラブル符号化を用いて、各階層のピクチャを分割したブロック単位でインター予測を用いて前記画像が符号化された符号化ビット列を復号する画像復号装置であって、前記符号化ビット列から、シーケンス単位で前記参照階層のピクチャを参照ピクチャとすることを示す値、シーケンス単位で前記時間的に異なるピクチャを参照ピクチャとすることを示す値、ピクチャまたはスライス単位で前記参照階層のピクチャまたは前記時間的に異なるピクチャを参照ピクチャとすることを示す値のいずれかが設定される第１パラメータを復号するパラメータ復号部（２１２）と、前記符号化ビット列から、拡張階層における復号対象のブロックのインター予測情報として選択すべきインター予測情報の候補を特定するためのインデックスを復号する復号部（２０２）と、前記復号対象のブロックと同一ピクチャ内の前記復号対象のブロックに空間的に近接するブロックのインター予測情報から、第１のインター予測情報の候補を導出する第１のインター予測情報導出部（２０５）と、参照階層のピクチャ、または前記復号対象のブロックと同一階層内で時間的に異なるピクチャにおけるブロックのインター予測情報から、第２のインター予測情報の候補を導出する第２のインター予測情報導出部（２０５）と、復号された前記インデックスに基づいて、導出されたインター予測情報の候補から、前記復号対象のブロックのインター予測情報となるインター予測情報の候補を選択する選択部（２０５）とを備える。前記第２のインター予測情報導出部（２０５）で前記参照階層のピクチャまたは前記時間的に異なるピクチャのいずれを参照ピクチャとするかをシーケンス単位で切り替えるモードと、ピクチャまたはスライス単位で切り替えるモードを選択可能である。
本発明の別の態様は、画像復号方法である。この方法は、画像を階層的に符号化するスケーラブル符号化を用いて、前記符号化ビット列から、シーケンス単位で前記参照階層のピクチャを参照ピクチャとすることを示す値、シーケンス単位で前記時間的に異なるピクチャを参照ピクチャとすることを示す値、ピクチャまたはスライス単位で前記参照階層のピクチャまたは前記時間的に異なるピクチャを参照ピクチャとすることを示す値のいずれかが設定される第１パラメータを復号するパラメータ復号ステップと、各階層のピクチャを分割したブロック単位でインター予測を用いて前記画像が符号化された符号化ビット列を復号する画像復号方法であって、前記符号化ビット列から、拡張階層における復号対象のブロックのインター予測情報として選択すべきインター予測情報の候補を特定するためのインデックスを復号する復号ステップと、前記復号対象のブロックと同一ピクチャ内の前記復号対象のブロックに空間的に近接するブロックのインター予測情報から、第１のインター予測情報の候補を導出する第１のインター予測情報導出ステップと、参照階層のピクチャ、または前記復号対象のブロックと同一階層内で時間的に異なるピクチャにおけるブロックのインター予測情報から、第２のインター予測情報の候補を導出する第２のインター予測情報導出ステップと、復号された前記インデックスに基づいて、導出されたインター予測情報の候補から、前記復号対象のブロックのインター予測情報となるインター予測情報の候補を選択する選択ステップとを備える。前記第２のインター予測情報導出ステップで前記参照階層のピクチャまたは前記時間的に異なるピクチャのいずれを参照ピクチャとするかをシーケンス単位で切り替えるモードと、ピクチャまたはスライス単位で切り替えるモードを選択可能である。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、インター予測に用いる予測情報の候補を状況に応じて導出することにより、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上させることができる。
実施の形態に係る動画像符号化装置の構成を示すブロック図である。 実施の形態に係る動画像復号装置の構成を示すブロック図である。 実施の形態に係る動画像符号化装置の階層画像符号化部の構成を示すブロック図である。 実施の形態に係る動画像符号化装置の階層画像復号部の構成を示すブロック図である。 符号化または復号対象となる対象となる３階層の階層画像を説明する図である。 本実施の形態における下位階層のピクチャと上位階層のピクチャの位置の関係を説明する図である。 ツリーブロック、符号化ブロックを説明する図である。 予測ブロックの分割モードを説明する図である。 空間マージ候補および空間予測動きベクトル候補の予測ブロックを説明する図である。 空間マージ候補および空間予測動きベクトル候補の予測ブロックを説明する図である。 空間マージ候補および空間予測動きベクトル候補の予測ブロックを説明する図である。 空間マージ候補および空間予測動きベクトル候補の予測ブロックを説明する図である。 時間マージ候補および時間予測動きベクトル候補導出の際に参照するインター参照ピクチャの予測ブロックを説明する図である。 時間マージ候補および時間予測動きベクトル候補導出の際に参照する階層間参照ピクチャの予測ブロックを説明する図である。 第１の実施の形態に係るシーケンス単位、ピクチャ単位またはスライス単位での各種のフラグの符号化処理手順を説明するフローチャートである。 第１の実施の形態に係るシーケンス単位、ピクチャ単位またはスライス単位での各種のフラグの復号処理手順を説明するフローチャートである。 図１の動画像符号化装置の階層画像符号化部のインター予測情報導出部の詳細な構成を示すブロック図である。 図２の動画像復号装置の階層画像復号部のインター予測情報導出部の詳細な構成を示すブロック図である。 マージモードのマージ候補の導出処理及びマージ候補リストの構築処理手順を説明するフローチャートである。 図１９のステップＳ１０１の空間マージ候補導出処理手順を説明するフローチャートである。 図１９のステップＳ１０３の時間マージ候補導出処理手順を説明するフローチャートである。 図２１の時間マージ候補導出処理および図４０の時間予測動きベクトル候補導出処理の際の参照ピクチャの導出処理手順を説明するフローチャートである。 図２１の時間マージ候補導出処理および図４０の時間予測動きベクトル候補導出処理の際の参照ピクチャの予測ブロックの導出処理手順を説明するフローチャートである。 図２１の時間マージ候補導出処理および図４０の時間予測動きベクトル候補導出処理の際のインター予測情報導出処理手順を説明するフローチャートである。 図２１の時間マージ候補導出処理および図４０の時間予測動きベクトル候補導出処理の際のインター予測情報導出処理手順を説明するフローチャートである。 動きベクトルのスケーリング演算処理手順を説明するフローチャートである。 動きベクトルのスケーリング演算処理手順を説明するフローチャートである。 図１９のステップＳ１０４のマージ候補リストへのマージ候補の登録処理手順を説明するフローチャートである。 図１９のステップＳ１０５の追加マージ候補導出処理手順を説明するフローチャートである。 図１の動画像符号化装置の階層画像符号化部の差分動きベクトル算出部の詳細な構成を示す図である。 図２の動画像復号装置の階層画像復号部の動きベクトル算出部の詳細な構成を示す図である。 動画像符号化装置の階層画像符号化部による差分動きベクトル導出処理手順を説明するフローチャートである。 動画像復号装置の階層画像復号部による動きベクトル導出処理手順を説明するフローチャートである。 予測動きベクトル候補の導出処理及び予測動きベクトル候補リストの構築処理手順を表すフローチャートである。 図３４のステップＳ５０１およびＳ５０２の空間予測動きベクトル候補導出処理手順を説明するフローチャートである。 図３５のステップＳ６１０８の空間予測動きベクトル候補の導出処理手順を説明するフローチャートである。 図３５のステップＳ６１１０の空間予測動きベクトル候補の導出処理手順を説明するフローチャートである。 図３７のステップＳ６３０９の動きベクトルのスケーリング演算処理手順を説明するフローチャートである。 図３８のステップＳ６４０３の動きベクトルのスケーリング演算を整数精度の演算で行う場合の例を説明するフローチャートである。 図３４のステップＳ５０４の時間予測動きベクトル候補導出処理手順を説明するフローチャートである。 図３４のステップＳ５０７の予測動きベクトル候補登録処理手順を説明するフローチャートである。 図３４のステップＳ５０８の予測動きベクトル冗長候補削除処理手順を説明するフローチャートである。 図３４のステップＳ５０９の予測動きベクトル候補数制限処理手順を説明するフローチャートである。 第２の実施の形態に係るシーケンス単位、ピクチャ単位、またはスライス単位での各種のフラグの符号化処理手順を説明するフローチャートである。 第２の実施の形態に係るシーケンス単位、ピクチャ単位、またはスライス単位での各種のフラグの復号処理手順を説明するフローチャートである。 第１の実施の形態および第２の実施の形態に係るシーケンス単位で符号化および復号されるシーケンス・パラメータ・セットのシンタックス構造を説明する図である。 第１の実施の形態に係るシーケンス単位で符号化および復号されるシーケンス・パラメータ・セット・エクステンションのシンタックス構造を説明する図である。 第１の実施の形態に係るスライス単位で符号化および復号されるスライス・セグメント・ヘッダのシンタックス構造を説明する図である。 第２の実施の形態に係るシーケンス単位で符号化および復号されるシーケンス・パラメータ・セット・エクステンションのシンタックス構造を説明する図である。 第２の実施の形態に係るスライス単位で符号化および復号されるスライス・セグメント・ヘッダのシンタックス構造を説明する図である。
以下、本実施の形態について説明する。本実施の形態では、動画像の符号化に関し、画像を階層的に符号化するスケーラブル符号化を用いて、各階層のピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位にインター予測（動き補償予測）を行う動画像符号化における符号化効率を向上させる為に、符号化対象ブロックに近接するブロック、符号化済みのピクチャのブロック、または符号化済みの階層のピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを導出して符号化することによって符号量を削減する。あるいは、符号化対象ブロックに近接するブロック、符号化済みのピクチャのブロック、または符号化済みの階層のピクチャのブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号の場合は、復号対象ブロックに近接するブロック、復号済みのピクチャのブロック、または復号済みの階層のピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを導出して復号する。あるいは、復号対象ブロックに近接するブロック、復号済みのピクチャのブロック、または復号済みの階層のピクチャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導出する。
本実施の形態において使用する技術、及び技術用語を定義する。
（階層について）
本実施の形態で符号化または復号対象となる階層画像について説明する。図５は本実施の形態で符号化または復号対象となる３階層の階層画像を説明する図である。階層画像Ｍ（２）は最も上位階層の画像であり、階層画像Ｍ（１）は階層画像Ｍ（２）より解像度の小さい下位階層の画像である。階層画像Ｍ（０）は階層画像Ｍ（１）よりさらに解像度の小さい最下位階層の画像である。本実施の形態においては、階層画像Ｍ（０）の符号化および復号を行う階層を階層０、階層画像Ｍ（１）の符号化および復号を行う階層を階層１、階層画像Ｍ（２）の符号化および復号を行う階層を階層２とする。また、最下位階層である階層０をベース階層、最下位階層以外の階層である階層１、階層２を拡張階層と定義し、階層１を第１の拡張階層、階層２を第２の拡張階層とする。なお、ピクチャ単位、あるいはスライス単位で、階層を特定するためのＩＤを割り当てることにより、各階層を特定することができる。
ピクチャＰ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５はベース階層の階層画像Ｍ（０）を構成し、ピクチャＰ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ２５は第１の拡張階層の階層画像Ｍ（１）を構成し、ピクチャＰ３１、Ｐ３２、Ｐ３３、Ｐ３４、Ｐ３５は第２の拡張階層の階層画像Ｍ（２）を構成する。
最上位階層の階層画像Ｍ（２）のピクチャＰ３１、Ｐ３２、Ｐ３３、Ｐ３４、Ｐ３５をスケーリングにより縮小したピクチャが階層画像Ｍ（１）のそれぞれピクチャＰ２１、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ２５であり、さらに縮小したピクチャが階層画像Ｍ（０）のそれぞれピクチャＰ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５である。
（ＰＯＣについて）
ＰＯＣが符号化されるピクチャに関連付けられる変数とし、ピクチャの出力順序で１ずつ増加する値が設定される。ＰＯＣの値によって、同じピクチャであるかを判別したり、出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、２つのピクチャのＰＯＣが同じ値を持つ場合、同じ時間のピクチャであると判断できる。２つのピクチャのＰＯＣが違う値を持つ場合、ＰＯＣの値が小さいピクチャのほうが、先に出力されるピクチャであると判断でき、２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。
本実施の形態における下位階層のピクチャと上位階層のピクチャの時間軸上の位置の関係について説明する。本実施の形態においては、同じ時間の画像は同じＰＯＣの値を持つものとする。例えば、ベース階層の階層画像Ｍ（０）のピクチャＰ１１、階層画像Ｍ（１）のピクチャＰ２１、最上位階層の階層画像Ｍ（２）のピクチャＰ３１は同じＰＯＣの値である。同じく、ピクチャＰ１２、Ｐ２２、Ｐ３２のＰＯＣは同一の値であり、同じく、ピクチャＰ１３、Ｐ２３、Ｐ３３のＰＯＣは同一の値であり、同じく、ピクチャＰ１４、Ｐ２４、Ｐ３４のＰＯＣは同一の値であり、同じく、ピクチャＰ１５、Ｐ２５、Ｐ３５のＰＯＣは同一の値である。
次に、本実施の形態における参照構造について説明する。本実施の形態においては上位階層である拡張階層のピクチャを符号化または復号する際に、符号化または復号対象の拡張階層のピクチャと同じ階層で異なる時間のピクチャの復号画像信号や符号化情報に加えて、同じ値のＰＯＣを持つ下位階層の同じ時間のピクチャの復号画像信号や符号化情報を利用して、符号化または復号を行う。拡張階層を符号化または復号する際に参照する下位階層を参照階層と定義する。図５では、階層画像Ｍ（１）のピクチャＰ２３を符号化または復号する際には、異なる時間のピクチャＰ２２およびＰ２４の復号画像信号や符号化情報を参照するとともに、階層画像Ｍ（０）を参照階層とし、階層画像Ｍ（０）のピクチャＰ１３の復号画像信号や符号化情報を利用する。なお、符号化または復号対象のピクチャを符号化または復号する際に、復号画像信号や符号化情報が参照されるピクチャを参照ピクチャとする。さらに、異なる時間の参照ピクチャをインター参照ピクチャとする。ピクチャＰ２２およびＰ２４はピクチャＰ２３のインター参照ピクチャである。さらに、異なる階層の参照ピクチャを階層間参照ピクチャとする。ピクチャＰ１３はピクチャＰ２３の階層間参照ピクチャである。さらに、階層画像Ｍ（２）のピクチャＰ３３を符号化または復号する際には、階層画像Ｍ（１）を参照階層とし、階層画像Ｍ（１）のピクチャＰ２３の符号化情報を利用する。ただし、階層画像Ｍ（０）のピクチャＰ１２が符号化されない場合や非参照ピクチャに設定された場合、階層画像Ｍ（１）のピクチャＰ２２の符号化及び復号の際には、参照階層のピクチャＰ１２の復号画像信号や符号化情報を参照せずに符号化及び復号を行う。
また、各階層のインター予測の時間方向の参照構造は下位階層の時間方向の参照構造を継承しているものとする。例えば、ベース階層の階層画像Ｍ（０）のＰ１３のＬ０のインデックス０の参照ピクチャがＰ１１、Ｌ１のインデックス０の参照ピクチャがＰ１５である場合、拡張階層の階層画像Ｍ（１）のＰ２３のＬ０のインデックス０の参照ピクチャがＰ２１（Ｐ２１は下位階層のＰ１１のＰＯＣと同じ値のＰＯＣを持つ）、Ｌ１のインデックス０の参照ピクチャがＰ２５（Ｐ２５は下位階層のＰ１５のＰＯＣと同じ値のＰＯＣを持つ）となり、拡張階層の階層画像Ｍ（２）のＰ３３のＬ０のインデックス０の参照ピクチャがＰ３１（Ｐ３１は下位階層のＰ１１、Ｐ２１のＰＯＣと同じ値のＰＯＣを持つ）、Ｌ１のインデックス０の参照ピクチャがＰ３５（Ｐ３５は下位階層のＰ１５、Ｐ２５のＰＯＣと同じ値のＰＯＣを持つ）となる。ただし、本実施の形態においては、下位階層で符号化および復号されるフレームレートが小さい場合、例えば、ベース階層Ｍ（０）において、ピクチャＰ１２の符号化および復号を行わない場合でも、その上位階層の階層画像Ｍ（１）のピクチャＰ２２は符号化及び復号することがあり、Ｐ２２のＬ０のインデックス０の参照ピクチャがＰ２１、Ｌ１のインデックス０の参照ピクチャがＰ２３となる。
次に、本実施の形態における下位階層のピクチャと上位階層のピクチャの空間軸上の位置の関係について図６を用いて説明する。図６において、参照階層となる下位階層のピクチャを符号化または復号対象の拡張階層となる上位階層と同じ解像度にリサンプリングしたピクチャがリサンプリングされた参照階層（下位階層）のピクチャである。符号化または復号対象の階層のピクチャの左上を原点としたときのリサンプリングされた参照階層（下位階層）のピクチャの左上のｘ座標がLeftOffsetであり、ｙ座標がTopOffsetである。さらに、参照階層（下位階層）のピクチャの幅がRefWidthであり、高さがRefHeightである。さらに、スケーリングされた参照階層（下位階層）のピクチャの幅がScaledRefWidthであり、高さがScaledRefHeightである。なお、上位階層のピクチャと下位階層のピクチャが同一のサイズでもよい。
（ツリーブロック、符号化ブロックについて）
実施の形態では、ピクチャを１つまたは複数に分割したスライスが符号化の基本単位となっており、スライス毎にスライスの種類を示す情報であるスライスタイプが設定される。図７に示されるように、スライス内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、スライス内での符号化または復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に４分割（縦横に２分割ずつ）して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
図７においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
（予測モードについて）
符号化ブロック単位で、符号化または復号対象ピクチャ内の復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）の周囲の画像信号から予測を行うイントラ予測（MODE_INTRA）、及び符号化または復号済みのピクチャの画像信号から予測を行うインター予測（MODE_INTER）を切り替える。このイントラ予測（MODE_INTRA）とインター予測（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測（MODE_INTRA）及びインター予測（MODE_INTER）を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図８に示すように、符号化ブロックの輝度信号の分割方法に応じて８種類の分割モード（PartMode）を定義する。
図８（ａ）に示す符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなした分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）と定義する。図８（ｂ）、（ｃ）、（ｄ）に示す符号化ブロックの輝度信号を上下に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれ２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）と定義する。ただし、２Ｎ×Ｎ分割（PART_2NxN）は上下に１：１の比率で分割した分割モードであり、２Ｎ×ｎＵ分割（PART_2NxnU）は上下に１：３の比率で分割した分割モードであり、２Ｎ×ｎＤ分割（PART_2NxnD）は上下に３：１の比率で分割した分割モードである。図８（ｅ）、（ｆ）、（ｇ）に示す符号化ブロックの輝度信号を左右に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）と定義する。ただし、Ｎ×２Ｎ分割（PART_Nx2N）は左右に１：１の比率で分割した分割モードであり、ｎＬ×２Ｎ分割（PART_nLx2N）は左右に１：３の比率で分割した分割モードであり、ｎＲ×２Ｎ分割（PART_nRx2N）は左右に３：１の比率で分割した分割モードである。図８（ｈ）に示す符号化ブロックの輝度信号を上下左右に４分割して、４つの予測ブロックとした分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。
なお、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図８の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図８（ｂ）、（ｃ）、（ｄ）に示す２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）では上の予測ブロックの分割インデックスPartIdxの値を０とし、下の予測ブロックの分割インデックスPartIdxの値を１とする。図８（ｅ）、（ｆ）、（ｇ）に示すＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）では左の予測ブロックの分割インデックスPartIdxの値を０とし、右の予測ブロックの分割インデックスPartIdxの値を１とする。図８（ｈ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxの値を０とし、右上の予測ブロックの分割インデックスPartIdxの値を１とし、左下の予測ブロックの分割インデックスPartIdxの値を２とし、右下の予測ブロックの分割インデックスPartIdxの値を３とする。
予測モード（PredMode）がインター予測（MODE_INTER）では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）を定義する。最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義することもできるが、本実施の形態においては、分割モード（PartMode）がＮ×Ｎ分割（PART_NxN）を定義しないものとする。
予測モード（PredMode）がイントラ予測（MODE_INTRA）では、最小の符号化ブロックである符号化ブロックＤ以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）だけを定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
（インター予測モード、参照リストについて）
本発明の実施の形態においては、復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。Ｂスライスでは予測ブロック毎に任意の２枚の参照ピクチャを選択してインター予測を行うことができ、インター予測モードとしてＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がある。参照ピクチャはリスト構造のＬ０（参照リスト０）とＬ１（参照リスト１）で管理され、Ｌ０またはＬ１の参照インデックスを指定することにより参照ピクチャを特定することができる。Ｌ０予測（Pred_L0）はＬ０で管理されている参照ピクチャを参照するインター予測であり、Ｌ１予測（Pred_L1）はＬ１で管理されている参照ピクチャを参照するインター予測であり、双予測（Pred_BI）はＬ０予測とＬ１予測が共に行われ、Ｌ０とＬ１のそれぞれで管理されている１つずつの参照ピクチャを参照するインター予測である。Ｐスライスのインター予測ではＬ０予測のみが使用でき、Ｂスライスのインター予測ではＬ０予測、Ｌ１予測、Ｌ０予測とＬ１予測を平均または重み付け加算する双予測（Pred_BI）が使用できる。以降の処理において出力に添え字ＬＸが付いている定数、変数に関しては、Ｌ０、Ｌ１ごとに処理が行われることを前提とする。
（予測動きベクトル候補）
符号化または復号対象の予測ブロックの予測モード、参照インデックス、動きベクトル等のインター予測情報を符号化または復号する際に、符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックに近接する予測ブロック、あるいは符号化または復号対象の予測ブロックと異なる時間または異なる階層の復号済みの参照ピクチャcolPic内の予測ブロックcolPbのインター予測情報から符号化または復号対象の予測ブロックの予測動きベクトルを導出し、その予測動きベクトルとの差分動きベクトルを符号化または復号することにより動きベクトルを符号化する際の符号量を削減する。符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックに近接する予測ブロックのインター予測情報から導出した予測動きベクトルの候補を空間予測動きベクトル候補、符号化または復号対象の予測ブロックと異なる時間または異なる階層の復号済みの参照ピクチャcolPic内の予測ブロックcolPbのインター予測情報から導出される予測動きベクトルの候補を時間予測動きベクトル候補とする。それぞれの予測動きベクトル候補は予測動きベクトル候補リストに登録され、予測動きベクトルインデックスによりインター予測で用いる予測動きベクトル候補を特定する。
（マージモード、マージ候補）
マージモードとは、符号化または復号対象の予測ブロックの予測モード、参照インデックス、動きベクトル等のインター予測情報を符号化または復号するのではなく、符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックに近接する予測ブロック、あるいは符号化または復号対象の予測ブロックと異なる時間または異なる階層の復号済みの参照ピクチャcolPic内の予測ブロックcolPbのインター予測情報から符号化または復号対象の予測ブロックのインター予測情報を導出することによりインター予測を行うモードである。符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックに近接する予測ブロックのインター予測情報を空間マージ候補、符号化または復号対象の予測ブロックと異なる時間または異なる階層の復号済みの参照ピクチャcolPic内の予測ブロックcolPbのインター予測情報から導出されるインター予測情報を時間マージ候補とする。それぞれのマージ候補はマージ候補リストに登録され、マージインデックスによりインター予測で用いるマージ候補を特定する。
（インター予測情報を参照する予測ブロックについて）
マージ候補および予測動きベクトル候補を導出する際に参照する参照ブロックを説明する。図９、図１０、図１１及び図１２は空間マージ候補、および空間予測動きベクトル候補の導出の際に参照する符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックに近接する予測ブロックを説明する図である。図１３は時間マージ候補および時間予測動きベクトル候補の導出の際に参照する符号化または復号対象の予測ブロックと異なる時間の復号済みのピクチャにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化または復号済みの予測ブロックを説明する図である。図１４は時間マージ候補および時間予測動きベクトル候補の導出の際に参照する符号化または復号対象の予測ブロックと異なる階層の復号済みのピクチャにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化または復号済みの予測ブロックを説明する図である。図９、図１０、図１１、図１２、図１３及び図１４を用いて符号化または復号対象の予測ブロックの空間方向に近接する予測ブロック、及び異なる時間または異なる階層のピクチャ内の予測ブロックについて説明する。
図９に示すように、符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロックの左側の辺に近接する予測ブロックＡ１、上側の辺に近接する予測ブロックＢ１、右上の頂点に近接する予測ブロックＢ０、左下の頂点に近接する予測ブロックＡ０、および左上の頂点に近接する予測ブロックＢ２を空間方向に近接する予測ブロックと定義する。また、符号化または復号対象の予測ブロックの左下の頂点に近接する予測ブロックＡ０、および符号化または復号対象の予測ブロックの左側の辺に近接する予測ブロックＡ１で構成される第１の予測ブロックグループを左側に近接する予測ブロックグループと定義する。符号化または復号対象の予測ブロックの右上の頂点に近接する予測ブロックＢ０、符号化または復号対象の予測ブロックの上側の辺に近接する予測ブロックＢ１、および符号化または復号対象の予測ブロックの左上の頂点に近接する予測ブロックＢ２で構成される第２の予測ブロックグループを上側に近接する予測ブロックグループと定義する。
なお、図１０に示すように、符号化または復号対象の予測ブロックの左側の辺に近接する予測ブロックのサイズが符号化または復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に近接する予測ブロックの中で最も下の予測ブロックＡ１０を左側の辺に近接する予測ブロックＡ１とする。
同様に、符号化または復号対象の予測ブロックの上側の辺に近接する予測ブロックのサイズが符号化または復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては上側の辺に近接する予測ブロックの中で最も右の予測ブロックＢ１０を上側の辺に近接する予測ブロックＢ１とする。
なお、図１１に示すように、符号化または復号対象の予測ブロックの左側に近接する予測ブロックＡのサイズが符号化または復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に近接する予測ブロックＡがその符号化または復号対象の予測ブロックの左側の辺に近接していれば予測ブロックＡ１とし、符号化または復号対象の予測ブロックの左下の頂点に近接していれば予測ブロックＡ０とし、符号化または復号対象の予測ブロックの左上の頂点に近接していれば予測ブロックＢ２とする。図１１の例では、予測ブロックＡ０、予測ブロックＡ１及び予測ブロックＢ２は同一の予測ブロックとなる。
なお、図１２に示すように、符号化または復号対象の予測ブロックの上側に近接する予測ブロックＢのサイズが符号化または復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に近接する予測ブロックＢがその符号化または復号対象の予測ブロックの上側の辺に近接していれば予測ブロックＢ１とし、符号化または復号対象の予測ブロックの右上の頂点に近接していれば予測ブロックＢ０とし、符号化または復号対象の予測ブロックの左上の頂点に近接していれば予測ブロックＢ２とする。図１２の例では、予測ブロックＢ０、予測ブロックＢ１及び予測ブロックＢ２は同一の予測ブロックとなる。
図１３に示すように、符号化または復号対象の予測ブロックと異なる時間の復号済みのピクチャであるインター参照ピクチャを参照ピクチャcolPicとし、参照ピクチャcolPicにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックＴ０およびＴ１をインター参照ピクチャの予測ブロックと定義する。また、インター参照ピクチャの予測ブロックＴ０およびＴ１で構成される第３の予測ブロックグループをインター参照ピクチャの予測ブロックグループと定義する。
図１４に示すように、符号化または復号対象の予測ブロックと異なる階層の復号済みのピクチャである階層間参照ピクチャを符号化または復号対象のピクチャのサイズに合わせてリサンプリングした階層間参照ピクチャを参照ピクチャcolPicとし、参照ピクチャcolPicにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックＴ０およびＴ１を階層間参照ピクチャの同一位置の予測ブロックと定義する。また、階層間参照ピクチャの予測ブロックＴ０およびＴ１で構成される第４の予測ブロックグループを階層間参照ピクチャの予測ブロックグループと定義する。また、インター参照ピクチャの予測ブロックグループおよび階層間参照ピクチャの予測ブロックグループを共に参照ピクチャの予測ブロックグループと定義する。
図１は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図であり、図３は動画像符号化装置の階層画像符号化部を構成する階層画像符号化部の構成を示すブロック図である。動画像符号化装置は符号化制御部１１、階層画像符号化部１２、１３、１４、多重化部１５を備えている。本実施の形態の動画像符号化装置は同じ構成の階層画像符号化部を階層分だけ積み重ねた構成をとっている。Ｍ（０）、Ｍ（１）、Ｍ（２）は本動画像符号化装置に供給されるそれぞれの階層画像であり、Ｓ（０）、Ｓ（１）、Ｓ（２）は符号化の結果得られる各階層の符号化ビット列である。本実施例では３階層で説明しているが、２階層、あるいは４階層以上の階層画像も符号化することができる。
図１に示す符号化制御部１１は表示時間順に入力された各階層の階層画像Ｍ（０）、Ｍ（１）、Ｍ（２）を符号化する階層画像符号化部１２、１３、１４を制御する。階層画像符号化部１２は符号化制御部１１により符号化タイミング等を制御されてベース階層の階層画像Ｍ（０）を符号化して得られるベース階層の符号化ビット列Ｓ（０）が多重化部１５に供給される。さらに、階層画像符号化部１２の符号化で得られる復号画像信号および符号化情報が必要に応じて階層画像符号化部１３に供給される。
階層画像符号化部１３は第１の拡張階層の階層画像Ｍ（１）を符号化して得られる第１の拡張階層の符号化ビット列Ｓ（１）が多重化部１５に供給される。その際、階層画像符号化部１２から供給される復号画像信号および符号化情報も用いて符号化する。さらに、階層画像符号化部１３の符号化で得られる復号画像信号および符号化情報が必要に応じて階層画像符号化部１４に供給される。同様に、階層画像符号化部１４は第２の拡張階層の階層画像Ｍ（２）を符号化して得られる第２の拡張階層の符号化ビット列Ｓ（２）が多重化部１５に供給される。その際、階層画像符号化部１３から供給される復号画像信号および符号化情報も用いて符号化する。さらに、多重化部１５は符号化された各階層の符号化ビット列Ｓ（０）、Ｓ（１）、Ｓ（２）を多重化し、出力する。
本実施の形態においては、上位の階層の階層画像を符号化または復号する際には、下位の階層を参照階層とし、参照階層の符号化情報や復号画像信号を参照して符号化または復号することにより、符号化効率を向上させる。符号化制御部１１は、参照階層のピクチャを符号化した後に、同じＰＯＣの値を持つ上位の階層のピクチャを符号化するように制御することで、上位の階層のピクチャの符号化の際に、参照階層の符号化情報や復号画像信号を利用できるように制御する。
本実施の形態においては、階層画像符号化部１３が第１の拡張階層を符号化する際には、下位の階層であるベース階層を参照階層とし、参照階層であるベース階層の符号化情報や復号画像信号を参照して、符号化する。階層画像符号化部１４が第２の拡張階層を符号化する際には、下位の階層である第１の拡張階層を参照階層とし、参照階層である第１の拡張階層の符号化情報や復号画像信号を参照して、符号化する。なお、第２の拡張階層を符号化する際には、下位の階層である第１の拡張階層の代わりに同じく下位の階層であるベース階層を参照階層とし、参照階層であるベース階層の符号化情報や復号画像信号を参照して、符号化することもできる。
図２は図１の階層画像符号化部に対応した本発明の実施の形態に係る階層画像復号部の構成を示すブロックである。階層画像復号部は復号制御部２１、階層画像復号部２２、２３、２４、分離部２５を備えている。本実施の形態の動画像復号装置は同じ構成の階層画像復号部を階層分だけ積み重ねた構成をとっている。分離部２５には動画像符号化装置で符号化された符号化ビット列が供給され、その符号化ビット列から各階層の符号化ビット列Ｓ'（０）、Ｓ'（１）、Ｓ'（２）に分離し、階層画像復号部２２、２３、２４にそれぞれ供給する。Ｍ'（０）、Ｍ'（１）、Ｍ'（２）は復号の結果得られる各階層の階層画像である。本実施例では３階層で説明しているが、２階層、あるいは４階層以上の階層画像も復号することができる。
図２に示す復号制御部２１は分離部から供給される情報に応じて、各階層の符号化ビット列Ｓ'（０）、Ｓ'（１）、Ｓ'（２）を復号する階層画像復号部２２、２３、２４を制御する。階層画像復号部２２はベース階層の符号化ビット列Ｓ'（０）を復号し、ベース階層の階層画像Ｍ'（０）を得て、出力する。同様に、階層画像復号部２３は第１の拡張階層の符号化ビット列Ｓ'（１）を復号し、第１の拡張階層の階層画像Ｍ'（１）を得て、出力する。さらに、階層画像復号部２４は第２の拡張階層の符号化ビット列Ｓ'（２）を復号し、第２の拡張階層の階層画像Ｍ'（２）を得て、出力する。
符号化側で説明したように、本実施の形態においては、上位の階層の階層画像を復号する際には、下位の階層を参照階層とし、参照階層の符号化情報や復号画像信号を参照して復号することにより、符号化効率を向上させる。復号制御部２１は、参照階層のピクチャを復号した後に、同じＰＯＣの値を持つ上位の階層のピクチャを復号するように制御することで、上位の階層のピクチャの復号の際に、参照階層の符号化情報や復号画像信号を利用できるように制御する。
本実施の形態においては、階層画像復号部２３が第１の拡張階層を復号する際には、下位の階層であるベース階層を参照階層とし、参照階層であるベース階層の符号化情報や復号画像信号を参照して復号することにより、符号化効率を向上させる。階層画像復号部２４が第２の拡張階層を復号する際には、下位の階層である第１の拡張階層を参照階層とし、参照階層である第１の拡張階層の符号化情報や復号画像信号を参照して、復号する。ただし、符号化側でベース階層の符号化情報や復号画像信号を参照して第２の拡張階層が符号化されている場合には、復号側でも参照階層であるベース階層の符号化情報や復号画像信号を参照して、第２の拡張階層を復号する。
本実施の形態の動画像符号化装置および動画像復号装置においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかをシーケンス単位で切り替える。
さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定せずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかをシーケンス単位で切り替える。
さらに、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかをピクチャまたはスライス単位で切り替える。
さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とするとともに、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内でインター参照ピクチャまたは階層間参照ピクチャのどちらかにするかを固定しない場合には、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかをピクチャまたはスライス単位で切り替える。
図３は本実施の形態の図１の動画像符号化装置を構成する各階層の階層画像符号化部１２、１３、１４の構成を示すブロック図である。各階層の階層画像符号化部１２、１３、１４は共通の符号化方法で符号化することができる。ただし、ベース階層の階層画像符号化部１２は他の階層の符号化情報を用いずに符号化するが、拡張階層の階層画像符号化部１３、１４は参照階層の符号化情報を用いて符号化する。実施の形態の動画像符号化装置の階層画像符号化部は、画像メモリ１０１、ヘッダ情報設定部１１７、動きベクトル検出部１０２、差分動きベクトル算出部１０３、インター予測情報導出部１０４、インター予測部１０５、イントラ予測部１０６、予測方法決定部１０７、残差信号生成部１０８、直交変換・量子化部１０９、第１符号化ビット列生成部１１８、第２符号化ビット列生成部１１０、第３符号化ビット列生成部１１１、多重化部１１２、逆量子化・逆直交変換部１１３、復号画像信号重畳部１１４、符号化情報格納メモリ１１５、復号画像メモリ１１６、画像信号リサンプリング部１１９、および符号化情報リサンプリング部１２０を備える。なお、符号化制御部１１の制御は図３におけるすべてのブロック対して及ぶ。
ヘッダ情報設定部１１７は、シーケンス、ピクチャ、スライス単位の情報を設定する。設定されたシーケンス、ピクチャ、スライス単位の情報はインター予測情報導出部１０４、第１符号化ビット列生成部１１８に供給するとともに、図示していないがすべてのブロックに供給する。
後述するシーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagはヘッダ情報設定部１１７で設定され、インター予測情報導出部１０４、差分動きベクトル算出部１０３、第１符号化ビット列生成部１１８に供給される。シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、シーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagの設定処理手順は図１５のフローチャートを用いて、後ほど詳細に説明する。なお、本実施の形態の説明においては、２つ以上の値をとるものをフラグとする。つまり、０および１の２つの値をとるものに限定されず、０、１および２等、３つ以上の値をとるものもフラグとする。また、当該フラグはパラメータや変数ととらえることもできる。
画像メモリ１０１は、撮影／表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部１０２、予測方法決定部１０７、および残差信号生成部１０８に供給する。その際、撮影／表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
動きベクトル検出部１０２は、画像メモリ１０１から供給される画像信号と復号画像メモリ１１６から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モード、各参照ピクチャ（参照インデックス）のそれぞれの動きベクトルを各予測ブロック単位で検出し、検出された動きベクトルを対応する予測ブロックサイズ、予測モード、参照インデックスの情報とともにインター予測情報として、インター予測部１０５、差分動きベクトル算出部１０３、および予測方法決定部１０７に供給する。
差分動きベクトル算出部１０３は、予測動きベクトル候補を導出して、差分動きベクトルを導出する。差分動きベクトルを導出する際は、符号化情報格納メモリ１１５に記憶されている既に符号化された符号化情報を用いる。これらの符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部１０２が検出した動きベクトルと予測動きベクトルから差分動きベクトルを導出し、導出された差分動きベクトルを予測方法決定部１０７に供給する。さらに、予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部１０７に供給する。差分動きベクトル算出部１０３の詳細な構成と動作は後述する。
インター予測情報導出部１０４は、マージモードでのマージ候補を導出する。マージ候補を導出する際は、符号化情報格納メモリ１１５に記憶されている既に符号化された符号化情報を用いる。これらの符号化情報を用いて、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候補の各予測ブロックのＬ０予測、およびＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報をインター予測部１０５に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部１０７に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部１０４の詳細な構成と動作は後述する。
インター予測部１０５は、動きベクトル検出部１０２またはインター予測情報導出部１０４で導出されたインター予測情報を用いて復号画像メモリ１１６に格納されているインター参照ピクチャまたは階層間参照ピクチャからインター予測（動き補償予測）により予測画像信号を生成し、予測画像信号を予測方法決定部１０７に供給する。なお、Ｌ０予測、及びＬ１予測では、片方向の予測を行う。双予測（Pred_BI）の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。
イントラ予測部１０６は、各イントラ予測モードについてイントラ予測を行う。復号画像メモリ１１６に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部１０７に供給する。
予測方法決定部１０７はそれぞれの予測方法毎に符号化情報及び残差信号の符号量、予測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、最適な符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測（PRED_INTER）では予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、Ｌ０、Ｌ１の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第２符号化ビット列生成部１１０に供給する。
さらに、予測方法決定部１０７は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含むインター予測情報またはイントラ予測情報を符号化情報として符号化情報格納メモリ１１５に格納する。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モードPartMode、各予測ブロックのＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。なお、予測モードPredModeがイントラ予測（MODE_INTRA）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に１である。予測方法決定部１０７は、決定された予測モードに応じた予測画像信号を残差信号生成部１０８と復号画像信号重畳部１１４に供給する。
残差信号生成部１０８は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換・量子化部１０９に供給する。
直交変換・量子化部１０９は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３符号化ビット列生成部１１１と逆量子化・逆直交変換部１１３に供給する。さらに、直交変換・量子化部１０９は、量子化パラメータを符号化情報格納メモリ１１５に格納する。
第１符号化ビット列生成部１１８は、ヘッダ情報設定部１１７で設定されたシーケンス、ピクチャ、スライス単位の情報を符号化して第１の符号化ビット列を生成し、多重化部１１２に供給する。後述するシーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagも第１符号化ビット列生成部１１８で符号化される。さらに、参照ピクチャcolPicを特定するためのスライス単位の情報である後述するインデックスcollocated_ref_layer_idx、フラグcollocated_from_l0_flag、インデックスcollocated_ref_idx等のスライス単位の情報も第１符号化ビット列生成部１１８で符号化される。各フラグsps_temporal_mvp_enabled_flag、sps_alt_collocated_indication_flag、slice_temporal_mvp_enabled_flag、slice_alt_collocated_indication_flagの符号化処理手順は図１５のフローチャートを用いて後ほど詳細に説明する。
第２符号化ビット列生成部１１０は、符号化ブロック及び予測ブロック毎に予測方法決定部１０７によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎のスキップモードかどうかを判別する情報、インター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartMode、イントラ予測（PRED_INTRA）の場合、イントラ予測モード、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合は選択すべきマージ候補（インター予測情報の候補）を特定するマージインデックス、マージモードでない場合はインター予測モード、選択すべき予測動きベクトル候補を特定する予測動きベクトルインデックスまたはフラグ、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化して第２の符号化ビット列を生成し、多重化部１１２に供給する。なお、本実施の形態では、符号化ブロックがスキップモード（シンタックス要素skip_flag[x0][y0]が１）の場合、予測ブロックの予測モードPredModeの値はインター予測（MODE_INTER）で、マージモード（merge_flag[x0][y0]が１）で、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）とする。
第３符号化ビット列生成部１１１は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第３の符号化ビット列を生成し、多重化部１１２に供給する。多重化部１１２で、第１の符号化ビット列、第２の符号化ビット列および第３の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
逆量子化・逆直交変換部１１３は、直交変換・量子化部１０９から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を導出し、復号画像信号重畳部１１４に供給する。復号画像信号重畳部１１４は、予測方法決定部１０７による決定に応じた予測画像信号と逆量子化・逆直交変換部１１３で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１６に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１１６に格納されることもある。
なお、参照階層の階層画像符号化部の復号画像メモリ１１６に格納される復号画像信号は当該階層の符号化のインター予測の際にインター参照ピクチャとして用いられるのはもちろんのこと、上位の拡張階層の符号化のインター予測の際にも階層間参照ピクチャとして用いられる。そこで、復号画像は上位の拡張階層の階層画像符号化部に供給され、上位の拡張階層の階層画像符号化部の画像信号リサンプリング部１１９では供給された復号画像を上位の拡張階層のピクチャの解像度に合わせてリサンプリングして、上位の拡張階層の階層画像符号化部の復号画像メモリ１１６に格納する。
さらに、参照階層の階層画像符号化部の予測方法決定部１０７で決定し符号化情報格納メモリ１１５に格納されるＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等の符号化情報は上位階層の符号化のインター予測の際にも用いられる。そこで、参照階層の符号化情報は上位の拡張階層の階層画像符号化部に供給され、上位の拡張階層の階層画像符号化部の符号化情報リサンプリング部１２０では符号化情報を上位階層のピクチャの解像度に応じたブロック単位にリサンプリングして、上位の拡張階層の階層画像符号化部の符号化情報格納メモリ１１５に格納する。なお、上位の拡張階層の階層画像符号化部の符号化情報リサンプリング部１２０では動きベクトルに対しては参照階層のピクチャと上位の拡張階層のピクチャの解像度の比率に応じたスケーリングを行い、スケーリングされた動きベクトルを拡張階層の階層画像符号化部の符号化情報格納メモリ１１５に格納する。ただし、拡張階層でフラグsps_alt_collocated_indication_flagが０に設定され、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャにする際には、拡張階層の階層画像復号部の符号化情報格納メモリ１１５への階層間参照ピクチャの格納処理は不要となる。
図４は本実施の形態の図２の動画像復号装置を構成する各階層の階層画像復号部２２、２３、２４の構成を示すブロック図である。図４は図３の実施の形態の動画像符号化装置の階層画像符号化部１２、１３、１４に対応した本発明の実施の形態に係る動画像復号装置の階層画像復号部２２、２３、２４の構成を示すブロックである。実施の形態の動画像復号装置の階層画像復号部２２、２３、２４は、分離部２０１、第１符号化ビット列復号部２１２、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３、動きベクトル算出部２０４、インター予測情報導出部２０５、インター予測部２０６、イントラ予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、復号画像メモリ２１１、画像信号リサンプリング部２１３、および符号化情報リサンプリング部２１４を備える。
図４の階層画像復号部の復号処理は、図３の階層画像符号化部の内部に設けられている復号処理に対応するものであるから、図４のインター予測部２０６、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、および復号画像メモリ２１１の各構成は、図３の階層画像符号化部のインター予測部１０５、逆量子化・逆直交変換部１１３、復号画像信号重畳部１１４、符号化情報格納メモリ１１５、および復号画像メモリ１１６の各構成とそれぞれ対応する機能を有する。
分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された第１の符号化ビット列が第１符号化ビット列復号部２１２に供給され、第２の符号化ビット列が第２符号化ビット列復号部２０２に供給され、第３の符号化ビット列が第３符号化ビット列復号部２０３に供給される。
第１符号化ビット列復号部２１２は、供給された第１の符号化ビット列を復号して、シーケンス、ピクチャ、スライス単位の情報を得る。得られたシーケンス、ピクチャ、スライス単位の情報は図示していないがすべてのブロックに供給する。後述するシーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagも第１符号化ビット列復号部２１２で復号される。さらに、参照ピクチャcolPicを特定するためのスライス単位の情報である後述するインデックスcollocated_ref_layer_idx、フラグcollocated_from_l0_flag、インデックスcollocated_ref_idx等も第１符号化ビット列復号部２１２で復号される。各フラグsps_temporal_mvp_enabled_flag、sps_alt_collocated_indication_flag、slice_temporal_mvp_enabled_flag、slice_alt_collocated_indication_flagの復号処理手順は図１６のフローチャートを用いて、後ほど詳細に説明する。
第２符号化ビット列復号部２０２は、供給された第２の符号化ビット列を復号して、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でスキップモードかどうかを判別する情報、インター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合は選択すべきマージ候補（インター予測情報の候補）を特定するマージインデックス、マージモードでない場合はインター予測モード、選択すべき予測動きベクトル候補を特定する予測動きベクトルインデックスまたはフラグ、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、復号された符号化情報を符号化情報格納メモリ２１０に格納するとともに、動きベクトル算出部２０４、インター予測情報導出部２０５またはイントラ予測部２０７に供給する。なお、本実施の形態では、符号化ブロックがスキップモード（シンタックス要素skip_flag[x0][y0]が１）の場合、予測ブロックの予測モードPredModeの値はインター予測（MODE_INTER）で、マージモード（merge_flag[x0][y0]が１）で、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）にする。
第３符号化ビット列復号部２０３は、供給された第３の符号化ビット列を復号して直交変換・量子化された残差信号を導出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０８に供給する。
動きベクトル算出部２０４は、復号対象の予測ブロックの予測モードPredModeがインター予測（PRED_INTER）でマージモードでない時に、予測動きベクトル候補を導出して、動きベクトルを導出する。予測動きベクトルを導出する際は、符号化情報格納メモリ２１０に記憶されている既に復号された符号化情報を用いる。これらの符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第２符号化ビット列復号部２０２で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第２符号化ビット列復号部２０２で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを導出し、他の符号化情報とともにインター予測部２０６に供給するとともに、符号化情報として符号化情報格納メモリ２１０に格納する。ここで供給・格納する予測ブロックのインター予測情報は、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。動きベクトル算出部２０４の詳細な構成と動作は後述する。
インター予測情報導出部２０５は、復号対象の予測ブロックの予測モードPredModeがインター予測（PRED_INTER）でマージモードの時に、マージ候補を導出する。符号化側のインター予測情報導出部１０４と同様に復号側でも、マージ候補を導出する際は、符号化情報格納メモリ２１０に記憶されている既に復号された符号化情報を用いる。これらの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から第２符号化ビット列復号部２０２で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報をインター予測部２０６に供給するとともに、符号化情報として符号化情報格納メモリ２１０に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部２０５の詳細な構成と動作は後述する。
インター予測部２０６は、動きベクトル算出部２０４またはインター予測情報導出部２０５で導出されたインター予測情報を用いて復号画像メモリ２１１に格納されているインター参照ピクチャまたは階層間参照ピクチャからインター予測（動き補償予測）により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０９に供給する。なお、Ｌ０予測、及びＬ１予測では、片方向の予測を行う。双予測（Pred_BI）の場合は、Ｌ０予測、Ｌ１予測の２つの予測画像信号に必要に応じて適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。
イントラ予測部２０７は、復号対象の予測ブロックの予測モードPredModeがイントラ予測（PRED_INTRA）の時に、イントラ予測を行う。第２符号化ビット列復号部２０２で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ２１１に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０９に供給する。Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]を共に０に設定し、符号化情報格納メモリ２１０に格納する。本実施の形態においては、predFlagL0[xP][yP],とpredFlagL1[xP][yP]が共に０であれば、インター予測ではなくイントラ予測により符号化されていることを示す。さらに、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]を共に-1に設定し、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]を共に（0, 0）に設定し、それぞれのイントラ予測情報およびインター予測情報を符号化情報として符号化情報格納メモリ２１０に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。
逆量子化・逆直交変換部２０８は、第２符号化ビット列復号部２０２で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
復号画像信号重畳部２０９は、インター予測部２０６でインター予測された予測画像信号、またはイントラ予測部２０７でイントラ予測された予測画像信号と、逆量子化・逆直交変換部２０８により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１１に格納する。復号画像メモリ２１１に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１１に格納されることもある。復号画像メモリ２１１に格納された復号画像はＰＯＣで指定された出力順序で出力される。
なお、参照階層の階層画像復号部の復号画像メモリ２１１に格納される復号画像信号は当該階層の復号のインター予測の際にインター参照ピクチャとして用いられるのはもちろんのこと、上位の拡張階層の復号のインター予測の際にも階層間参照ピクチャとして用いられる。そこで、復号画像は上位の拡張階層の階層画像復号部に供給され、上位の拡張階層の階層画像復号部の画像信号リサンプリング部２１３では供給された復号画像を上位の拡張階層のピクチャの解像度に合わせてリサンプリングして、上位の拡張階層の階層画像復号部の復号画像メモリ２１１に格納する。
さらに、参照階層の階層画像復号部の動きベクトル算出部２０４またはインター予測情報導出部２０５により符号化情報格納メモリ２１０に格納されるＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等の符号化情報は上位階層の復号のインター予測の際にも用いられる。そこで参照階層の符号化情報は上位の拡張階層の階層画像復号部に供給され、上位の拡張階層の階層画像復号部の符号化情報リサンプリング部２１４では符号化情報を上位階層のピクチャの解像度に応じたブロック単位にリサンプリングして、上位の拡張階層の階層画像復号部の符号化情報格納メモリ２１０に格納する。なお、上位の拡張階層の階層画像復号部の符号化情報リサンプリング部２１４では動きベクトルに対しては参照階層のピクチャと上位の拡張階層のピクチャの解像度の比率に応じたスケーリングを行い、スケーリングされた動きベクトルを拡張階層の階層画像復号部の符号化情報格納メモリ２１０に格納する。ただし、拡張階層のフラグsps_alt_collocated_indication_flagが０に設定され、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャにする際には、拡張階層の階層画像復号部の符号化情報格納メモリ２１０への階層間参照ピクチャの格納処理は不要となる。
（第１の実施の形態）
次に、第１の実施の形態に係る図３の動画像符号化装置の階層画像符号化部のヘッダ情報設定部１１７で設定されて、第１符号化ビット列生成部１１８で符号化され、図４の動画像復号装置の階層画像復号部の第１符号化ビット列復号部２１２で復号される各種フラグの符号化および復号方法について説明する。
第１の実施の形態の動画像符号化装置の階層画像符号化部、および動画像復号装置の階層画像復号部においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかをシーケンス単位で指定する。
さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかをシーケンス単位で指定する。
さらに、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかをピクチャまたはスライス単位で指定する。
さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とするとともに、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内でインター参照ピクチャまたは階層間参照ピクチャのどちらかにするかを固定しない場合には、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかをピクチャまたはスライス単位で指定する。
ここで、第１の実施の形態により動画像符号化装置の階層画像符号化部の第１符号化ビット列生成部１１８で符号化され、動画像復号装置の階層画像復号部の第１符号化ビット列復号部２１２で復号される各フラグのシンタックス構造の一例を図４６、図４７および図４８に示す。図４６は第１の実施の形態に係るシーケンス単位で符号化および復号されるシーケンス・パラメータ・セットのシンタックス構造を説明する図であり、図４７は図４６のシーケンス・パラメータ・セットに続いて第１の実施の形態に係るシーケンス単位で符号化および復号されるシーケンス・パラメータ・セット・エクステンションのシンタックス構造を説明する図である。シーケンス・パラメータ・セットおよびシーケンス・パラメータ・セット・エクステンションはシーケンス全体に係る情報を扱い、それぞれ階層の分だけ配置される。図４８は第１の実施の形態に係るスライス単位で符号化および復号されるスライス・セグメント・ヘッダのシンタックス構造を説明する図である。スライス・セグメント・ヘッダはスライスに係る情報を扱い、スライス毎に配置される。
第１の実施の形態に係る動画像符号化装置の階層画像符号化部において、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagのそれぞれのフラグに値を設定し符号化する方法について図１５のフローチャートを用いて説明する。これらのフラグは動画像符号化装置の階層画像符号化部のヘッダ情報設定部１１７で設定し、第１符号化ビット列生成部１１８に供給されて、第１符号化ビット列生成部１１８でシーケンス単位及びスライス単位のシンタックス要素として符号化される。
まず、ヘッダ情報設定部１１７はシーケンス単位のフラグの設定および符号化を行う（図１５のＳ９４０１〜Ｓ９４０７）。ヘッダ情報設定部１１７は、フラグsps_temporal_mvp_enabled_flag、およびフラグsps_alt_collocated_indication_flagに値を設定する（図１５のＳ９４０１）。具体的には、シーケンス内で時間マージ候補および時間予測動きベクトル候補をマージ候補および予測動きベクトル候補とすることを可能にする場合、フラグsps_temporal_mvp_enabled_flagを１に設定し、可能にしない場合、０に設定する。さらに、シーケンス内ですべてインター参照ピクチャを時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとする場合、フラグsps_alt_collocated_indication_flagを０に設定し、シーケンス内ですべて階層間参照ピクチャを参照ピクチャcolPicとする場合、１に設定し、シーケンス内ではどちらかに固定せずにピクチャまたはスライス毎にインター参照ピクチャと階層間参照ピクチャのいずれかを参照ピクチャcolPicとする場合、２に設定する。
続いて、第１符号化ビット列生成部１１８は、シーケンス単位でフラグsps_temporal_mvp_enabled_flagをシンタックス要素として符号化する（図１５のＳ９４０３）。続いて、拡張階層では、フラグsps_temporal_mvp_enabled_flagの値が１の場合（図１５のＳ９４０４のＹＥＳ）、シーケンス単位でフラグsps_alt_collocated_indication_flagをシンタックス要素として符号化する（図１５のＳ９４０７）。
続いて、スライス単位のフラグの設定および符号化を行う（図１５のＳ９４０８〜Ｓ９４１８）。ヘッダ情報設定部１１７は、フラグslice_temporal_mvp_enabled_flag、およびフラグslice_alt_collocated_indication_flagにそれぞれ値を設定する（図１５のＳ９４０９）。具体的には、各ピクチャまたはスライス毎に各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補をマージ候補および予測動きベクトル候補とする場合、フラグslice_temporal_mvp_enabled_flagを１に設定し、候補としない場合、０に設定する。ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_temporal_mvp_enabled_flagを同じ値に設定する。さらに、各ピクチャまたはスライス毎に各ピクチャまたはスライス内でインター参照ピクチャを時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとする場合、フラグslice_alt_collocated_indication_flagを０に設定し、階層間参照ピクチャを時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとする場合、１に設定する。ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_alt_collocated_indication_flagを同じ値に設定する。なお、シーケンス単位のフラグsps_temporal_mvp_enabled_flagの値が０の場合、スライス単位のフラグslice_temporal_mvp_enabled_flagの値は０である。また、拡張階層において、シーケンス単位のフラグsps_alt_collocated_indication_flagの値が０の場合、スライス単位のフラグslice_alt_collocated_indication_flagの値も０であり、シーケンス単位のフラグsps_alt_collocated_indication_flagの値が１の場合、スライス単位のフラグslice_alt_collocated_indication_flagの値も１である。また、下位階層に階層間参照ピクチャが存在しない場合は、フラグslice_alt_collocated_indication_flagの値を０に設定する。例えば図５に示す、階層画像Ｍ（０）のピクチャＰ１２が符号化されない場合、階層画像Ｍ（１）のピクチャＰ２２の符号化及び復号の際には、参照階層のピクチャＰ１２を参照せずに符号化及び復号を行うので、フラグslice_alt_collocated_indication_flagの値を０に設定する。
続いて、第１符号化ビット列生成部１１８は、フラグsps_temporal_mvp_enabled_flagの値が１の場合（図１５のＳ９４１０のＹＥＳ）、スライス単位でフラグslice_temporal_mvp_enabled_flagをシンタックス要素として符号化する（図１５のＳ９４１１）。
続いて、第１符号化ビット列生成部１１８は、フラグslice_temporal_mvp_enabled_flagの値が１で、sps_alt_collocated_indication_flagの値が２の場合（図１５のＳ９４１３のＹＥＳ、Ｓ９４１４のＹＥＳ）、スライス単位でフラグslice_alt_collocated_indication_flagをシンタックス要素として符号化する（図１５のＳ９４１６）。一方、フラグslice_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）（図１５のＳ９４１３のＮＯ）、あるいは、フラグslice_temporal_mvp_enabled_flagの値が１で、sps_alt_collocated_indication_flagの値が２でない場合（値が０または１の場合）（図１５のＳ９４１３のＹＥＳ、Ｓ９４１４のＮＯ）、ステップＳ９４１６のフラグslice_alt_collocated_indication_flagの符号化処理をスキップする。
以上、ステップＳ９４０９からＳ９４１６までの処理をスライス毎に繰り返す（図１５のＳ９４０８〜Ｓ９４１８）。
なお、ベース階層の符号化においては、下位階層を参照することはないので、フラグsps_alt_collocated_indication_flag、およびslice_alt_collocated_indication_flagの値を常に０とする。その際、ステップＳ９４０４〜Ｓ９４０７、及びステップＳ９４１３〜Ｓ９４１６の符号化処理を省略することができる。
次に、第１の実施の形態に係る動画像復号装置の階層画像復号部において、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagのそれぞれのフラグの復号する方法について図１６のフローチャートを用いて説明する。図１６は図１５の符号化処理手順で各フラグが符号化された符号化ビット列を復号する際の復号処理手順を示すフローチャートである。これらのフラグは動画像復号装置の階層画像復号部の第１符号化ビット列復号部２１２でシーケンス単位及びスライス単位のシンタックス要素として復号される。
まず、第１符号化ビット列復号部２１２は、シーケンス単位の情報の復号を行う（図１６のＳ９５０３〜Ｓ９５０７）。第１符号化ビット列復号部２１２は、シーケンス単位で、フラグsps_temporal_mvp_enabled_flagをシンタックス要素として復号する（図１６のＳ９５０３）。続いて、拡張階層では、フラグsps_temporal_mvp_enabled_flagの値が１の場合（図１６のＳ９５０４のＹＥＳ）、シーケンス単位で、フラグsps_alt_collocated_indication_flagをシンタックス要素として復号する（図１６のＳ９５０７）。
続いて、第１符号化ビット列復号部２１２は、スライス単位の情報の復号を行う（図１６のＳ９５０８〜Ｓ９５１８）。フラグsps_temporal_mvp_enabled_flagの値が１の場合（図１６のＳ９５１０のＹＥＳ）、スライス単位で、フラグslice_temporal_mvp_enabled_flagをシンタックス要素として復号する（図１６のＳ９５１１）。なお、ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_temporal_mvp_enabled_flagは同じ値である。
一方、フラグsps_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）（図１６のＳ９５１０のＮＯ）、シーケンス内で、時間マージ候補および動きベクトル候補をマージ候補および予測動きベクトル候補とすることが可能でないので、スライス単位のフラグslice_temporal_mvp_enabled_flagを０にする（図１６のＳ９５１２）。
続いて、拡張階層では、フラグslice_temporal_mvp_enabled_flag の値が１で、フラグsps_alt_collocated_indication_flagの値が２の場合（図１６のＳ９５１３のＹＥＳ、Ｓ９５１４のＹＥＳ）、スライス単位で、フラグslice_alt_collocated_indication_flagをシンタックス要素として復号する（図１６のＳ９５１６）。なお、ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_alt_collocated_indication_flagは同じ値である。一方、フラグslice_temporal_mvp_enabled_flagの値が１で、フラグsps_alt_collocated_indication_flagの値が２でない場合（値が０または１の場合）（図１６のＳ９５１３のＹＥＳ、Ｓ９５１４のＮＯ）、シーケンス内で、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャか階層間参照ピクチャに固定されているので、フラグslice_alt_collocated_indication_flagをフラグsps_alt_collocated_indication_flagと同じ値に設定する（図１６のＳ９５１７）。また、フラグsps_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）（図１６のＳ９５１３のＮＯ）、ステップＳ９５１４〜Ｓ９５１７の処理をスキップする。
以上、ステップＳ９５１０からＳ９５１７までの処理をスライス毎に繰り返す（図１６のＳ９５０８〜Ｓ９５１８）。
なお、ベース階層の復号においては、下位階層を参照することはないので、ステップＳ９５１３〜Ｓ９５１７の処理を省略して、フラグsps_alt_collocated_indication_flag、およびslice_alt_collocated_indication_flagの値を常に０にする。
以上述べた第１の実施の形態の動画像符号化装置および動画像復号装置においては、シーケンス全体に係る情報が階層の分だけ配置されるシーケンス・パラメータ・セット・エクステンションにフラグsps_alt_collocated_indication_flagをそれぞれ配置した。シーケンス全体に係る情報がまとめて配置されるビデオ・パラメータ・セットまたはその後に続くビデオ・パラメータ・セット・エクステンションにフラグsps_alt_collocated_indication_flagに相当する情報持つフラグをそれぞれ階層の分だけまとめて配置してもよい。
次に、本実施の形態に係るインター予測情報導出方法について説明する。インター予測情報導出方法は、図３の動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４及び図４の動画像復号装置の階層画像復号部のインター予測情報導出部２０５において実施される。
本実施の形態に係るインター予測情報導出方法を図面を用いて説明する。本実施の形態に係るインター予測情報導出方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測（MODE_INTER）で、スキップモードを含むマージモードの場合に、符号化側では、符号化済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して符号化対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施され、復号側では、復号済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して復号対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施される。
マージモードは符号化側の動画像符号化装置の階層画像符号化部と復号側の動画像復号装置の階層画像復号部で共通の規定の方法により、マージ候補を導出し、マージ候補リストに登録する。図９、図１０、図１１及び図１２を用いて説明した左に近接する予測ブロックＡ１、上に近接する予測ブロックＢ１、右上に近接する予測ブロックＢ０、左下に近接する予測ブロックＡ０、左上に近接する予測ブロックＢ２の５つの予測ブロックから空間のマージ候補を導出する。さらに、図１３または図１４を用いて説明した参照ピクチャcopPic内の同一位置あるいはその付近に存在する予測ブロックcolPb（Ｔ０、Ｔ１のいずれか）の予測ブロックから時間マージ候補を導出する。
動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４はマージ候補リストの要素を特定するマージインデックスを決定して第２符号化ビット列生成部１１０を経由して符号化し、動画像復号装置の階層画像復号部のインター予測情報導出部２０５は第２符号化ビット列復号部２０２で復号されたマージインデックスが供給されて、そのマージインデックスに応じた予測ブロックをマージ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を用いて、インター予測（動き補償予測）を行う。
本実施の形態に係るインター予測情報導出方法を図面を用いて説明する。図１７は、本実施の形態に係る第１の実施例の図３の動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４の詳細な構成を示す図である。また、図１８は、本実施の形態に係る図４の動画像復号装置の階層画像復号部のインター予測情報導出部２０５の詳細な構成を示す図である。
図１７及び図１８の太枠線で囲まれる部分はそれぞれ、インター予測情報導出部１０４及びインター予測情報導出部２０５を示している。
更に、それらの内部の太点線で囲まれる部分はそれぞれのマージ候補を導出してマージ候補リストを構築する動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補リスト構築部１３０及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補リスト構築部２３０を示しており、本実施の形態の動画像符号化装置の階層画像符号化部と対応する動画像復号装置の階層画像復号部にも同様に設置され、符号化と復号で矛盾しない同一の導出結果を得られるようにしている。
図１７の動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４は、マージ候補生成部１３１、マージ候補登録部１３４、追加マージ候補生成部１３５およびインター予測情報選択部１３６を含む。
図１８の動画像復号装置の階層画像復号部のインター予測情報導出部２０５は、マージ候補生成部２３１、マージ候補登録部２３４、追加マージ候補生成部２３５およびインター予測情報選択部２３６を含む。
図１９は本実施の形態に係る動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補リスト構築部１３０及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補リスト構築部２３０とで共通する機能を有するマージ候補の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限り拡張階層のスライスタイプslice_typeがＢスライスの場合について説明するが、Ｐスライスの場合にも適用できる。ただし、スライスタイプslice_typeがＰスライスの場合、インター予測モードとしてＬ０予測（Pred_L0）だけがあり、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がないので、Ｌ１に纏わる処理を省略することができる。
動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５では、マージ候補リストmergeCandListを用意する。マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は０から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスｉのマージ候補となる予測ブロックは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。本実施の形態においては、マージ候補リストmergeCandListは少なくとも５個のマージ候補（インター予測情報）を登録することができるものとする。
また、予測ブロックＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２のインター予測情報が空間マージ候補Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２として利用できるかどうかを示すフラグavailableFlagA1、availableFlagB1、availableFlagB0、availableFlagA0、availableFlagB2、時間マージ候補が利用できるかどうかを示すフラグavailableFlagColは０に初期化される。
動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補生成部１３１及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補生成部２３１では、複数のマージ候補を導出する。導出されたマージ候補は、動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補登録部１３４及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補登録部２３４にそれぞれ供給される。
動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補生成部１３１及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補生成部２３１では、動画像符号化装置の階層画像符号化部の符号化情報格納メモリ１１５または動画像復号装置の階層画像復号部の符号化情報格納メモリ２１０に格納されている符号化情報から、符号化または復号対象ブロックに近接するそれぞれの予測ブロックＡ１，Ｂ１，Ｂ０，Ａ０，Ｂ２からの空間マージ候補Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２を導出する（図１９のステップＳ１０１）。ここで、空間マージ候補Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２または時間マージ候補Ｃｏｌのいずれかを示すＮを定義する。予測ブロックＮのインター予測情報が空間マージ候補Ｎとして利用できるかどうかを示すフラグavailableFlagN、空間マージ候補ＮのＬ０の参照インデックスrefIdxL0N及びＬ１の参照インデックスrefIdxL1N、Ｌ０予測が行われるかどうかを示すＬ０予測フラグpredFlagL0NおよびＬ１予測が行われるかどうかを示すＬ１予測フラグpredFlagL1N、Ｌ０の動きベクトルmvL0N、Ｌ１の動きベクトルmvL1Nを導出する。ただし、本実施の形態においては処理対象となる予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる予測ブロックを参照せずに、マージ候補を導出するので、処理対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる空間マージ候補は導出しない。ステップＳ１０１の空間マージ候補導出処理の詳細な処理手順については図２０のフローチャートを用いて後ほど詳細に説明する。導出されたそれぞれの空間マージ候補は動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補登録部１３４及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補登録部２３４にそれぞれ供給される。
続いて、本実施の形態の動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補生成部１３１及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補生成部２３１では、インター参照ピクチャまたは階層間参照ピクチャのインター予測情報を参照する時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを切り替える。各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補及び予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flagの値が１の場合、すなわち時間マージ候補を導出する場合（図１９のステップＳ１０２のＹＥＳ）、動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補生成部１３１及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補生成部２３１では、インター参照ピクチャまたは階層間参照ピクチャの符号化情報を用いて時間マージ候補を導出する（図１９のステップＳ１０３）。時間マージ候補が利用できるかどうかを示すフラグavailableFlagCol、時間マージ候補のＬ０予測が行われるかどうかを示すＬ０予測フラグpredFlagL0ColおよびＬ１予測が行われるかどうかを示すＬ１予測フラグpredFlagL1Col、及びＬ０の動きベクトル mvL0Col、Ｌ１の動きベクトルmvL1Colを導出する。ステップＳ１０３の時間マージ候補導出処理の詳細な処理手順については図２１のフローチャートを用いて後ほど詳細に説明する。導出された時間マージ候補は動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補登録部１３４及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補登録部２３４にそれぞれ供給される。一方、フラグslice_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）、すなわち時間マージ候補を導出しない場合（図１９のステップＳ１０２のＮＯ）、ステップＳ１０３の時間マージ候補導出処理をスキップしてステップＳ１０４に進む。この場合は、フラグavailableFlagColは０に設定される。
続いて、動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補登録部１３４及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補登録部２３４では、マージ候補リストmergeCandListを作成し、動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のマージ候補生成部１３１及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のマージ候補生成部２３１から供給される空間マージ候補Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２、時間マージ候補Ｃｏｌをマージ候補リストmergeCandList内に登録し、マージ候補数numMergeCandにマージ候補リストmergeCandList内のマージ候補数を設定する（図１９のステップＳ１０４）。ステップＳ１０４の詳細な処理手順については図２８のフローチャートを用いて後ほど詳細に説明する。
続いて、動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４の追加マージ候補生成部１３５及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５の追加マージ候補生成部２３５では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最大マージ候補数maxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが最大マージ候補数maxNumMergeCandを上限としてマージ候補リスト内のマージインデックスが０から（maxNumMergeCand-1）の値で指し示される範囲内で、無効なマージ候補がなくなるまで、追加マージ候補を導出して、マージ候補リストmergeCandListに登録する（図１９のステップＳ１０８）。なお、最大マージ候補数maxNumMergeCandはスライス単位で符号化または復号されるシンタックス要素である。最大マージ候補数maxNumMergeCandを上限として、Ｐスライスでは、動きベクトルが（０，０）（水平および垂直成分がともに０）で、予測モードがＬ０予測（Pred_L0）のマージ候補を追加する。Ｂスライスでは、動きベクトルが（０，０）で、予測モードが双予測（Pred_BI）のマージ候補を追加する。ステップＳ１０８の詳細な処理手順については図２９のフローチャートを用いて後ほど詳細に説明する。マージ候補リストmergeCandListは動画像符号化装置の階層画像符号化部のインター予測情報導出部１０４のインター予測情報選択部１３６及び動画像復号装置の階層画像復号部のインター予測情報導出部２０５のインター予測情報選択部２３６にそれぞれ供給される。
次に、図１９のステップＳ１０１の処理手順である符号化または復号対象ブロックに近接する予測ブロックＮからのマージ候補Ｎの導出方法について詳細に説明する。図２０は図１９のステップＳ１０１の空間マージ候補導出処理手順を説明するフローチャートである。Ｎには近接する予測ブロックの領域を表すＡ１（左側）、Ｂ１（上側）、Ｂ０（右上）、Ａ０（左下）またはＢ２（左上）が入る。なお、本実施の形態においては、近接する５つの予測ブロックから最大４つの空間マージ候補を導出する。
図２０で、変数ＮをＡとして符号化または復号対象の予測ブロックの左側に近接する予測ブロックＡ１の符号化情報を調べてマージ候補Ａ１を導出し、変数ＮをＢ１として上側に近接する予測ブロックＢ１の符号化情報を調べてマージ候補Ｂ１を導出し、変数ＮをＢ０として右上側に近接する予測ブロックＢ０の符号化情報を調べてマージ候補Ｂ０を導出し、変数ＮをＡ０として左下側に近接する予測ブロックＡ０の符号化情報を調べてマージ候補Ａ０を導出し、変数ＮをＢ２として左上側に近接する予測ブロックＢ２の符号化情報を調べてマージ候補Ｂ２を導出する（図２０のステップＳ１１０１〜ステップＳ１１１７）。
まず、変数ＮがＢ２で、フラグavailableFlagA0, availableFlagA1, availableFlagB0, availableFlagB1の値を加算して合計が４の場合（図２０のステップＳ１１０２のＹＥＳ）、すなわち４つの空間マージ候補が導出された場合、ステップＳ１１０９以降の処理を行う。
本実施の形態においては、近接する予測ブロックから最大で４つのマージ候補を導出するので、既に４つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出処理を行う必要がない。
一方、変数ＮがＢ２でないか、フラグavailableFlagA0, availableFlagA1, availableFlagB0, availableFlagB1の値を加算して合計が４でない場合（図２０のステップＳ１１０２のＮＯ）、すなわち４つの空間マージ候補が導出されていない場合、ステップＳ１１０３以降の処理を行う。近接する予測ブロックＮが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる場合（図２０のステップＳ１１０３のＹＥＳ）、ステップＳ１１０９以降の処理を行う。近接する予測ブロックＮが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる場合（図２０のステップＳ１１０３のＹＥＳ）、近接する予測ブロックＮを参照しないことで、予測ブロックのマージ候補導出及びマージ候補リストの構築処理の並列処理を可能とする。
具体的には、分割モード（PartMode）が２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）または２Ｎ×ｎＤ分割（PART_2NxnD）で、処理対象の予測ブロックのPartIdxが１で、近接する予測ブロックＢの場合が、近接する予測ブロックＮが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる場合である。この場合、近接する予測ブロックＢ１はPartIdxが０の予測ブロックであるので、近接する予測ブロックＢ１を参照しないことで、予測ブロックのマージ候補導出及びマージ候補リストの構築処理の並列処理を可能とする。
さらに、分割モード（PartMode）がＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）またはｎＲ×２Ｎ分割（PART_nRx2N）で、処理対象の予測ブロックのPartIdxが１で、近接する予測ブロックＡ１の場合も、近接する予測ブロックＮが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる場合である。この場合も、近接する予測ブロックＡ１はPartIdxが０の予測ブロックであるので、近接する予測ブロックＡ１を参照しないことで、予測ブロックのマージ候補導出及びマージ候補リストの構築処理の並列処理を可能とする。
さらに、分割モード（PartMode）がＮ×Ｎ分割（PART_NxN）で、処理対象の予測ブロックのPartIdxが１、２または３の場合も、近接する予測ブロックＮが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれることがある。
一方、近接する予測ブロックＮが処理対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれない場合（図２０のステップＳ１１０３のＮＯ）、符号化または復号対象の予測ブロックに近接する予測ブロックＮを特定し、それぞれの予測ブロックＮが利用できる場合は符号化情報格納メモリ１１５または２１０から予測ブロックＮの符号化情報を取得する（図２０のステップＳ１１０４）。
近接する予測ブロックＮが利用できないか（図２０のステップＳ１１０５のＮＯ）、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）である場合（図２０のステップＳ１１０６のＮＯ）、ステップＳ１１０９以降の処理を行う。ここで、近接する予測ブロックＮが利用できない場合とは、具体的には近接する予測ブロックＮが符号化または復号対象スライスの外に位置する場合や、まだ符号化または復号処理順序で後のため、符号化または復号処理が完了していない場合等が該当する。
続いて、マージ候補ＮのフラグpredFlagL0N, predFlagL1N、マージ候補Ｎの参照インデックスrefIdxL0N, refIdxL1N、マージ候補Ｎの動きベクトルmvL0N, mvL1Nをすでに導出された隣同士のマージ候補とそれぞれ比較する（図２０のステップＳ１１０７）。マージ候補の値が同一の場合（図２０のステップＳ１１０８のＮＯ）、ステップＳ１１０９以降の処理を行う。
変数ＮがＢ２で、フラグavailableFlagA0, availableFlagA1, availableFlagB0, availableFlagB1の値を加算して合計が４となり４つの空間マージ候補が導出されたか、（図２０のステップＳ１１０２のＹＥＳ）、近接する予測ブロックＮが導出対象の予測ブロックの符号化ブロックと同じ符号化ブロックに含まれるか（図２０のステップＳ１１０３のＹＥＳ）、近接する予測ブロックＮが利用できないか（図２０のステップＳ１１０５のＮＯ）、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）であるか（図２０のステップＳ１１０６のＮＯ）、すでに導出された隣同士のマージ候補と値が同一の場合（図２０のステップＳ１１０８のＮＯ）、マージ候補ＮのフラグavailableFlagNの値を０に設定し（図１８のステップＳ１１０９）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nの値を共に（０，０）に設定し（図２０のステップＳ１１１０）、マージ候補Ｎの参照インデックスrefIdxL0N, refIdxL1Nをそれぞれ予測ブロックＮの参照インデックスrefIdxL0[xN][yN], refIdxL1[xN][yN]と同じ値に設定し（図２０のステップＳ１１１１）、マージ候補ＮのフラグpredFlagL0N、predFlagL1Nの値を共に０に設定し（図２０のステップＳ１１１２）、ステップＳ１１１７に進む。
一方、変数ＮがＢ２で、フラグavailableFlagA0, availableFlagA1, availableFlagB0, availableFlagB1の値を加算して合計が４でなく４つの空間マージ候補が導出されておらず、（図２０のステップＳ１１０２のＹＥＳ）、近接する予測ブロックＮが導出対象の予測ブロックの符号化ブロックと同じ符号化ブロック外で（図２０のステップＳ１１０３のＮＯ）、近接する予測ブロックＮが利用でき（図２０のステップＳ１１０５のＹＥＳ）、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）でなく（図２０のステップＳ１１０６のＹＥＳ）、すでに導出された隣同士のマージ候補と値が同一でない場合（図２０のステップＳ１１０８のＹＥＳ）、予測ブロックＮのインター予測情報をマージ候補Ｎのインター予測情報とする。マージ候補ＮのフラグavailableFlagNの値を１に設定し（図２０のステップＳ１１１３）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nをそれぞれ予測ブロックＮの動きベクトルmvL0N[xN][yN], mvL1N[xN][yN]と同じ値に設定し（図２０のステップＳ１１１４）、マージ候補Ｎの参照インデックスrefIdxL0N, refIdxL1Nをそれぞれ予測ブロックＮの参照インデックスrefIdxL0[xN][yN], refIdxL1[xN][yN]と同じ値に設定し（図２０のステップＳ１１１５）、マージ候補ＮのフラグpredFlagL0N, predFlagL1Nをそれぞれ予測ブロックＮのフラグpredFlagL0[xN][yN], predFlagL1[xN][yN]に設定する（図２０のステップＳ１１１６）。ここで、xN、yNはピクチャ内での予測ブロックＮの左上の画素の位置を示すインデックスである。
以上のステップＳ１１０２〜ステップＳ１１１６の処理をＮ＝Ａ１，Ｂ１，Ｂ０，Ａ０，Ｂ２についてそれぞれ繰り返す（図２０のステップＳ１１０１〜ステップＳ１１１７）。
次に、図１９のステップＳ１０３のインター参照ピクチャ及び階層間参照ピクチャのインター予測情報を用いる時間マージ候補の導出方法について詳細に説明する。図２１は図１９のステップＳ１０３の時間マージ候補導出処理手順を説明するフローチャートである。
まず時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicを導出する（図２１のＳ２１０１）。ステップＳ２１０１の詳細な処理手順については図２２のフローチャートを用いて後ほど詳細に説明する。
続いて、時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ予測ブロックcolPbを導出し、符号化情報を取得する（図２１のＳ２１０２）。ステップＳ２１０２の詳細な処理手順については図２３のフローチャートを用いて後ほど詳細に説明する。
続いて、時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ予測ブロックcolPbから導出されるＬ０の予測動きベクトルmvL0Colと時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagL0Colを導出するとともに（図２１のＳ２１０３）、Ｌ１の予測動きベクトルmvL1Colと時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagL1Colを導出する（図２１のＳ２１０４）。ステップＳ２１０３、Ｓ２１０４の詳細な処理手順については図２４のフローチャートを用いて後ほど詳細に説明する。さらに、フラグavailableFlagL0Col またはフラグavailableFlagL1Colが1の場合に、時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagColを1に設定し、そうでない場合に、availableFlagColを0に設定する（図２１のＳ２１０５）。
次に、図２１のステップＳ２１０１および後述する図４０のステップＳ７１０１の時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicの導出処理手順について詳細に説明する。図２２は図２１のステップＳ２１０１および後述する図４０のステップＳ７１０１の時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicの導出処理手順を説明するフローチャートである。本実施の形態の動画像符号化装置、動画像復号装置では、拡張階層では、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかのいずれかに切り替える。拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagが１の場合（図２２のＳ２２０１のＹＥＳ）、階層間参照ピクチャが時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとなる（図２２のＳ２２０２）。具体的には有効なインター予測情報を持つ階層間参照ピクチャの階層IDを要素とする階層間参照リストActiveMotionPredRefLayerIdの中でスライス単位で符号化および復号されるインデックスcollocated_ref_layer_idxで指定される参照階層の参照ピクチャが時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとなる。
一方、参照ピクチャcolPicがインター参照ピクチャか階層間参照ピクチャかを示すフラグslice_alt_collocated_indication_flagが１でない場合（０の場合）（（図２２のＳ２２０１のＮＯ）、ステップＳ２２０３以降の処理に進み、インター参照ピクチャが時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとなる。スライスタイプslice_typeがＢスライスで、フラグcollocated_from_l0_flagの値が０の場合（図２２のＳ２２０３のＹＥＳ、Ｓ２２０４のＹＥＳ）、Ｌ１の参照リストRefPicList1の中でスライス単位で符号化および復号されるインデックスcollocated_ref_idxで指定される参照ピクチャが参照ピクチャcolPicとなる（図２２のＳ２２０５）。そうでない場合、すなわちスライスタイプslice_typeがＢスライスで前述のフラグcollocated_from_l0_flagの値が１の場合（図２２のＳ２２０３のＹＥＳ、Ｓ２２０４のＮＯ）、またはスライスタイプslice_typeがＰスライスの場合（図２２のＳ２２０３のＮＯ、Ｓ２２０６のＹＥＳ）、Ｌ０の参照リストRefPicList0の中でスライス単位で符号化および復号されるインデックスcollocated_ref_idxで指定される参照ピクチャが参照ピクチャcolPicとなる（図２２のＳ２２０７）。
次に、図２１のステップＳ２１０２および後述する図４０のステップＳ７１０２の時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicの予測ブロックcolPbの導出処理手順について詳細に説明する。図２３は図２１のステップＳ２１０２および後述する図４０のステップＳ７１０２の時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicの予測ブロックcolPbの導出処理手順を説明するフローチャートである。
まず、時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPic内で処理対象の予測ブロックと同一位置の右下（外側）に位置する予測ブロックを時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ予測ブロックcolPbとする（図２３のＳ２３０１）。この予測ブロックは図１３の予測ブロックＴ０に相当する。具体的には、処理対象の輝度信号の予測ブロックの左上の画素の位置を（xP, yP）とし、予測ブロックの幅をW, 高さをHとした際に、（xP+W, yP+H）で導出される位置を含む予測ブロックを予測ブロックcolPbとする。なお、インター予測情報が記憶される階層画像符号化部の符号化情報格納メモリ１１５および階層画像復号部の符号化情報格納メモリ２１０のメモリ量を削減するために、輝度の16×16画素ブロック単位で圧縮されたインター予測情報を参照すると規定する場合には、（（（xP+W）>>4）<<4, （（yP+H）>>4）<<4）で導出される位置を含む予測ブロックを予測ブロックcolPbとする。
続いて、予測ブロックcolPbの符号化情報を取得する（図２３のＳ２３０２）。予測ブロックcolPbのPredModeが利用できないか、予測ブロックcolPbの予測モードPredModeがイントラ予測（MODE_INTRA）である場合（図２３のＳ２３０３のＹＥＳ、Ｓ２３０４のＹＥＳ）、参照ピクチャcolPic内で処理対象の予測ブロックと同一位置の中央に位置する予測ブロックを予測ブロックcolPbとする（図２３のＳ２３０５）。この予測ブロックは図１３の予測ブロックＴ１に相当する。中央に位置する予測ブロックが複数存在する場合があるので、具体的には、中央の右下に位置する予測ブロックとする。処理対象の輝度信号の予測ブロックの左上の画素の位置を（xP, yP）とし、予測ブロックの幅をW, 高さをHとした際に、（xP +（W>>1）, yP +（H>>1））で導出される位置を含む予測ブロックを予測ブロックcolPbとする。なお、インター予測情報が記憶される階層画像符号化部の符号化情報格納メモリ１１５および階層画像復号部の符号化情報格納メモリ２１０のメモリ量を削減するために、輝度の16×16画素ブロック単位で圧縮されたインター予測情報を参照すると規定する場合には、（（（xP+（W>>1））>>4）<<4, （（yP+（H>>1））>>4）<<4 ）で導出される位置を含む予測ブロックを予測ブロックcolPbとする。
ここで、xPCol、yPColを参照ピクチャcolPic内での予測ブロックcolPbの左上の画素の位置を示すインデックスとする（図２３のＳ２３０６）。
次に、図２１のステップＳ２１０３、ステップＳ２１０４および後述する図４０のステップＳ７１０３の時間マージ候補または時間予測動きベクトル候補のインター予測情報の導出処理手順について詳細に説明する。図２４は図２１のステップＳ２１０３、ステップＳ２１０４、図４０のステップＳ７１０３の時間マージ候補または時間予測動きベクトル候補のインター予測情報の導出処理手順を説明するフローチャートである。Ｌ０またはＬ１で、時間マージ候補または時間予測動きベクトル候補の導出対象のリストをＬＸとし、ＬＸを用いた予測をＬＸ予測とする。以下、断りのない限り、この意味で用いる。時間マージ候補または時間予測動きベクトル候補のＬ０の導出処理であるステップＳ２１０３として呼び出される際には、ＬＸがＬ０となり、時間マージ候補または時間予測動きベクトル候補のＬ１の導出処理であるステップＳ２１０４として呼び出される際には、ＬＸがＬ１となる。
予測ブロックcolPbの予測モードPredModeがイントラ予測（MODE_INTRA）か、利用できない場合（ステップＳ２４０１のＮＯ、ステップＳ２４０２のＮＯ）、時間マージ候補または時間予測動きベクトル候補は存在しないものとする。フラグavailableFlagLXColとフラグpredFlagLXColを共に０とし（ステップＳ２４０３）、動きベクトルmvLXColを（０，０）として（ステップＳ２４０４）、本時間マージ候補または時間予測動きベクトル候補のインター予測情報の導出処理を終了する。
予測ブロックcolPbが利用できて予測モードPredModeがイントラ予測（MODE_INTRA）でない場合（ステップＳ２４０１のＹＥＳ、ステップＳ２４０２のＹＥＳ）、以下の手順でmvColとrefIdxColとavailableFlagColを導出する。
予測ブロックcolPbのＬ０予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が０の場合（ステップＳ２４０５のＹＥＳ）、予測ブロックcolPbの予測モードはPred_L1であるので、動きベクトルmvColが予測ブロックcolPbのＬ１の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され（ステップＳ２４０６）、参照インデックスrefIdxColがＬ１の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され（ステップＳ２４０７）、リストListColがＬ１に設定される（ステップＳ２４０８）。
一方、予測ブロックcolPbのＬ０予測フラグPredFlagL0[xPCol][yPCol]が０でない場合（図２４のステップＳ２４０５のＮＯ）、予測ブロックcolPbのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０かどうかを判定する。予測ブロックcolPbのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０の場合（ステップＳ２４０９のＹＥＳ）、動きベクトルmvColが予測ブロックcolPbのＬ０の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され（ステップＳ２４１０）、参照インデックスrefIdxColがＬ０の参照インデックスRefIdxL0[xPCol][yPCol]と同じ値に設定され（ステップＳ２４１１）、リストListColがＬ０に設定される（ステップＳ２４１２）。
予測ブロックcolPbのＬ０予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPbのＬ１予測フラグPredFlagL1[xPCol][yPCol]が共に０でない場合（ステップＳ２４０５のＮＯ、ステップＳ２４０９のＮＯ）、予測ブロックcolPbのインター予測モードは双予測（Pred_BI）であるので、Ｌ０、Ｌ１の２つの動きベクトルから、一方を選択する（ステップＳ２４１３）。
図２５は予測ブロックcolPbのインター予測モードが双予測（Pred_BI）のときの時間マージ候補または時間予測動きベクトル候補のインター予測情報の導出処理手順を示すフローチャートである。
まず、すべての参照リストに登録されているすべてのピクチャのＰＯＣが現在の符号化または復号対象ピクチャのＰＯＣより小さいかどうかを判定し（ステップＳ２５０１）、予測ブロックcolPbのすべての参照リストであるＬ０及びＬ１に登録されているすべてのピクチャのＰＯＣが現在の符号化または復号対象ピクチャのＰＯＣより小さい場合で（ステップＳ２５０１のＹＥＳ）、ＬＸがＬ０、即ち符号化または復号対象ピクチャのＬ０の動きベクトルの予測動きベクトル候補を導出している場合（ステップＳ２５０２のＹＥＳ）、予測ブロックcolPbのＬ０の方のインター予測情報を選択し、ＬＸがＬ１、即ち符号化または復号対象ピクチャのＬ１の動きベクトルの予測動きベクトル候補を導出している場合（ステップＳ２５０２のＮＯ）、予測ブロックcolPbのＬ１の方のインター予測情報を選択する。一方、予測ブロックcolPbのすべての参照リストＬ０及びＬ１に登録されているピクチャのＰＯＣの少なくとも１つが現在の符号化または復号対象ピクチャのＰＯＣより大きい場合で（ステップＳ２５０１のＮＯ）、フラグcollocated_from_l0_flagの値が０の場合（ステップＳ２５０３のＹＥＳ）、予測ブロックcolPbのＬ０の方のインター予測情報を選択し、フラグcollocated_from_l0_flagの値が１の場合（ステップＳ２５０３のＮＯ）、予測ブロックcolPbのＬ１の方のインター予測情報を選択する。
予測ブロックcolPbのＬ０の方のインター予測情報を選択する場合（ステップのＹＥＳ、ステップＳ２５０３のＹＥＳ）、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され（ステップＳ２５０４）、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され（ステップＳ２５０５）、リストListColがＬ０に設定される（ステップＳ２５０６）。
予測ブロックcolPbのＬ１の方のインター予測情報を選択する場合（ステップＳ２５０２のＮＯ、ステップＳ２５０３のＮＯ）、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され（ステップＳ２５０７）、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され（ステップＳ２５０８）、リストListColがＬ１に設定される（ステップＳ２５０９）。
図２４に戻り、予測ブロックcolPbからインター予測情報が取得できたらフラグavailableFlagLXColとフラグpredFlagLXColを共に１とする（ステップＳ２４１４）。
続いて、動きベクトルmvColをスケーリングして時間マージ候補または時間予測動きベクトル候補のＬＸの動きベクトルmvLXColとする（ステップＳ２４１５）。この動きベクトルのスケーリング演算処理手順を図２６及び図２７を用いて説明する。
図２６は図２４のステップＳ２４１５の動きベクトルのスケーリング演算処理手順を示すフローチャートである。
参照ピクチャcolPicのＰＯＣから、予測ブロックcolPbのリストListColで参照する参照インデックスrefIdxColに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを導出する（ステップＳ２６０１）。なお、参照ピクチャcolPicよりも予測ブロックcolPbのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、参照ピクチャcolPicよりも予測ブロックcolPbのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝参照ピクチャcolPicのＰＯＣ−予測ブロックcolPbのリストListColで参照する参照ピクチャのＰＯＣ
現在の符号化または復号対象ピクチャのＰＯＣから導出対象のＬＸの参照インデックスrefIdxLXに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを導出する（ステップＳ２６０２）。ここで、導出対象のＬＸの参照インデックスrefIdxLXとは時間マージ候補導出処理の場合は０であり、予測動きベクトル候補導出処理においては、符号化または復号対象予測ブロックのＬＸの参照インデックスである。なお、現在の符号化または復号対象ピクチャよりも現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化または復号対象ピクチャのＰＯＣ−導出対象のＬＸの参照インデックスに対応する参照ピクチャのＰＯＣ
続いて、ピクチャ間距離ｔｄとｔｂを比較し（ステップＳ２６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（ステップＳ２６０３のＹＥＳ）、時間マージ候補または時間予測動きベクトル候補のＬＸの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して（ステップＳ２６０４）、本スケーリング演算処理を終了する。
mvLXCol＝mvCol
一方、ピクチャ間距離ｔｄとｔｂが等しくない場合（ステップＳ２６０３のＮＯ）、次式によりmvColにスケール係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（ステップＳ２６０５）、スケーリングされた時間マージ候補または時間予測動きベクトル候補のＬＸの動きベクトルmvLXColを得る。
mvLXCol＝ｔｂ / ｔｄ * mvCol
また、図２６のステップＳ２６０５のスケーリング演算を整数精度の演算で行う場合の例を図２７に示す。図２７のステップＳ２６０６〜ステップＳ２６０８の処理が、図２６のステップＳ２６０５の処理に対応する。
まず、図２６のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを導出する（ステップＳ２６０１、ステップＳ２６０２）。
続いて、ピクチャ間距離ｔｄとｔｂを比較し（ステップＳ２６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（ステップＳ２６０３のＹＥＳ）、図２６のフローチャートと同様に、時間マージ候補または時間予測動きベクトル候補のＬＸの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して（ステップＳ２６０４）、本スケーリング演算処理を終了する。
mvLXCol＝mvCol
一方、ピクチャ間距離ｔｄとｔｂが等しくない場合（ステップＳ２６０３のＮＯ）、次式により変数ｔｘを導出する（ステップＳ２６０６）。
tx = ( 16384 + ( Abs( td ) >>1 ) ) / td
なお、Absは括弧内の引数の値の絶対値を表す。
続いて、次式によりスケール係数distScaleFactor を導出する（ステップＳ２６０７）。
distScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
なお、Clip3は規定された第１の引数の最小値および第２の引数の最大値で第３の引数の値をクリッピングすることを表す。
続いて、次式により、スケーリングされた時間マージ候補または時間予測動きベクトル候補のＬＸの動きベクトルmvLXColを得る（ステップＳ２６０８）。
mvLXCol = Clip3( -32768, 32767, Sign2( distScaleFactor * mvCol ) *
( (Abs( distScaleFactor * mvCol ) + 127 ) >> 8 ) )
なお、Sign2は括弧内の引数の値が0以上のとき1となり、0未満のとき-1となることを表す。
次に、図２１のフローチャートに戻り、availableFlagL0ColかavailableFlagL1Colのいずれか一方が１ならavailableFlagColを１に設定し、availableFlagL0ColとavailableFlagL1Colが共に０ならavailableFlagColを０に設定して（ステップＳ２１０５）、本時間マージ候補または時間予測動きベクトル候補導出処理を終了する。
次に、図１９のステップＳ１０４のマージ候補をマージ候補リストに登録する方法について詳細に説明する。図２８はマージ候補リストへのマージ候補の登録処理手順を示すフローチャートである。本方式では、発生頻度により優先順位をつけて、優先順位の高いものからマージ候補リストmergeCandListに、マージ候補を登録することで、マージインデックスmerge_idx[x0][y0]の符号量を削減する。優先順位の高い要素をマージ候補リストの前方に配置することで、符号量を削減する。例えば、マージ候補リストmergeCandListの要素が５個の場合、マージ候補リストのインデックス０を「０」、インデックス１を「１０」、インデックス２を「１１０」、インデックス３を「１１１０」、インデックス４を「１１１１０」とすることで、インデックス０を表す符号量が１ビットとなり、インデックス０に発生頻度が高いと考えられる要素を登録することで、符号量を削減する。具体的には、発生頻度が高いと考えられるマージ候補リストmergeCandListに空間マージ候補Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順序で追加し、さらに、時間マージ候補Ｃｏｌを追加する。
マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は０から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスｉのマージ候補となる予測ブロックは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。
まず、availableFlagA1が１の場合（図２８のＳ４１０３のＹＥＳ）、マージ候補リストmergeCandListの先頭に空間マージ候補Ａ１を登録する（図２８のＳ４１０４）。
続いて、availableFlagB1が１の場合（図２８のＳ４１０５のＹＥＳ）、マージ候補リストmergeCandListの登録されたマージ候補の後に空間マージ候補Ｂ１を登録する（図２８のＳ４１０６）。
続いて、availableFlagB0が１の場合（図２８のＳ４１０７のＹＥＳ）、マージ候補リストmergeCandListの直前に登録されたマージ候補の後に空間マージ候補Ｂ０を登録する（図２８のＳ４１０８）。
続いて、availableFlagA0が１の場合（図２８のＳ４１０９のＹＥＳ）、マージ候補リストmergeCandListの直前に登録されたマージ候補の後に空間マージ候補Ａ０を登録する（図２８のＳ４１１０）。
続いて、availableFlagB2が１の場合（図２８のＳ４１１１のＹＥＳ）、マージ候補リストmergeCandListの直前に登録されたマージ候補の後に空間マージ候補Ｂ２を登録する（図２８のＳ４１１２）。
続いて、時間マージ候補を導出する場合で、availableFlagColが１の場合（図２８のＳ４１１５のＹＥＳ）、マージ候補リストmergeCandListの最後に時間マージ候補Ｃｏｌを登録する（図２８のＳ４１１６）。
また、左に近接する予測ブロックＡ１及び上に近接する予測ブロックＢ１は符号化または復号対象の予測ブロックと一体となる動きになることが多いので、インター予測情報選択部１３６により選択される頻度が高くなるので、マージ候補Ａ１、Ｂ１を他の空間マージ候補や時間マージ候補よりも優先的にマージ候補リストの前方に登録する。
次に、図１７の追加マージ候補生成部１３５および図１８の追加マージ候補生成部２３５で実施される図１９のステップＳ１０５の処理手順である追加マージ候補の導出方法について詳細に説明する。図２９は図１９のステップＳ１０５の追加マージ候補導出処理手順を説明するフローチャートである。
図１７の追加マージ候補生成部１３５および図１８の追加マージ候補生成部２３５で実施される追加マージ候補導出処理においては、マージ候補リスト内のマージインデックスが０から（maxNumMergeCand-1）の値で指し示される範囲内で、無効なマージ候補が無くなるまで、有効なマージ候補をマージ候補リストに登録するために、スライスタイプに応じたインター予測モードの動きベクトルの値が（０，０）の有効マージ候補を、マージ候補リストに登録する。（図２９のステップＳ５１０１〜Ｓ５１２１）。
まず、スライスタイプがＰスライスの場合（図２９のステップＳ５１０１のＹＥＳ）、参照インデックス数を示す変数numRefIdxをＬ０の参照インデックス数の値に設定する（図２９のステップＳ５１０２）。一方、スライスタイプがＰスライスでない場合（図２９のステップＳ５１０１のＮＯ）、すなわちスライスタイプがＢスライスの場合、参照インデックス数を示す変数numRefIdxをＬ０の参照インデックス数とＬ１の参照インデックス数の小さい方の値に設定する（図２９のステップＳ５１０３）。続いて参照インデックスｉを０に設定する（図２９のステップＳ５１０４）。
続いて、参照インデックスｉを変更しながら、スライスタイプに応じた予測モードの動きベクトルの値が（０，０）の追加マージ候補を導出し、マージ候補リストに登録する。（図２９のステップＳ５１０５〜Ｓ５１２１）。
マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さい場合（図２９のステップＳ５１０６のＹＥＳ）、ステップＳ５１０７に進み、マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さくない場合（図２９のステップＳ５１０６のＮＯ）、本追加マージ候補導出処理を終了する。
続いて、スライスタイプがＰスライスの場合（図２９のステップＳ５１０７のＹＥＳ）、追加マージ候補の動きベクトルmvL0Zero、mvL1Zeroを（０，０）に設定する（図２９のステップＳ５１０８）。続いて、参照インデックスｉが変数numRefIdxより小さい場合（図２９のステップＳ５１０９のＹＥＳ）、追加マージ候補の参照インデックスrefIdxL0Zeroを参照インデックスｉの値に設定し、refIdxL1Zeroを−１に設定する（図２９のステップＳ５１１０）。参照インデックスｉが変数numRefIdxより小さくない場合（図２９のステップＳ５１０９のＮＯ）、追加マージ候補の参照インデックスrefIdxL0Zeroを０に設定し、refIdxL1Zeroを−１にする（図２９のステップＳ５１１１）。続いて、追加マージ候補のフラグpredFlagL0Zeroを１に設定し、predFlagL1Zeroを０に設定して（図２９のステップＳ５１１２）、ステップＳ５１１８に進む。
一方、スライスタイプがＰスライスでない場合（図２９のステップＳ５１０７のＮＯ）、すなわちスライスタイプがＢスライスの場合、追加マージ候補の動きベクトルmvL0Zero、mvL1Zeroを（０，０）に設定する（図２９のステップＳ５１１３）。続いて、参照インデックスｉが変数numRefIdxより小さい場合（図２９のステップＳ５１１４のＹＥＳ）、追加マージ候補の参照インデックスrefIdxL0Zero、refIdxL1Zeroを参照インデックスｉの値に設定する（図２９のステップＳ５１１５）。参照インデックスｉが変数numRefIdxより小さくない場合（図２９のステップＳ５１１４のＮＯ）、追加マージ候補の参照インデックスrefIdxL0Zero、refIdxL1Zeroを０に設定する（図２９のステップＳ５１１６）。続いて、追加マージ候補のフラグpredFlagL0Zero、predFlagL1Zeroを１に設定して（図２９のステップＳ５１１７）、ステップＳ５１１８に進む。
続いて、追加マージ候補をマージ候補リストmergeCandListのマージインデックスがnumMergeCandと同じ値で示される位置に登録し（図２９のステップＳ５１１８）、マージ候補数numMergeCandに１を加算する（図２９のステップＳ５１１９）。続いて、インデックスｉに１を加算し（図２９のステップＳ５１２０）、ステップＳ５１２１に進む。
以上のステップＳ５１０６〜ステップＳ５１２０の処理をそれぞれの参照インデックスｉ毎にそれぞれ繰り返す（図２９のステップＳ５１０５〜ステップＳ５１２１）。
次に、階層画像符号化部のインター予測情報導出部１０４のインター予測情報選択部１３６について説明する。図１７において、階層画像符号化部のインター予測情報導出部１０４のインター予測情報選択部１３６では、マージ候補リストに登録されているマージインデックスが０から（numMergeCand-1）の範囲内で指し示される有効なマージ候補の中から、マージ候補を選択し、選択されたマージ候補の各予測ブロックのＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報をインター予測部１０５に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部１０７に供給する。本実施例においては、マージ候補リスト内のマージインデックスが０から（maxNumMergeCand-1）の値で指し示される範囲内で、無効なマージ候補は存在せず、すべて有効なマージ候補である。
マージ候補の選択においては、予測方法決定部１０７と同様の方法を用いることができる。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデックスのシンタックス要素merge_idxのエントロピー符号化を行い、符号化情報の符号量を導出する。さらに、それぞれのマージ候補毎にインター予測部１０５と同様の方法で各マージ候補のインター予測情報に応じてインター予測（動き補償予測）した予測画像信号と、画像メモリ１０１から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を導出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加算された総発生符号量を導出し評価値とする。
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が導出される。これら総発生符号量と符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロック単位の第２のシンタックスパターンで表されるフラグmerge_idxとして符号化される。尚、ここで導出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。
次に、階層画像復号部のインター予測情報導出部２０５のインター予測情報選択部２３６について説明する。図１８において、階層画像復号部のインター予測情報導出部２０５のインター予測情報選択部２３６では、マージ候補リストmergeCandListに登録されているマージ候補の中から、第２符号化ビット列復号部２０２から供給されたマージインデックスmergeIdxに対応するマージ候補を選択し、選択されたマージ候補のＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報をインター予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。ただし、本実施例においては、マージ候補リスト内のマージインデックスが０から（maxNumMergeCand-1）の値で指し示される範囲内で、無効なマージ候補は存在せず、すべて有効なマージ候補である。
次に、本実施の形態に係る動きベクトルの予測方法について説明する。本実施の形態に係る動きベクトルの予測方法は、図１の動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３及び図２の動画像復号装置の階層画像復号部の動きベクトル算出部２０４において実施される。
動きベクトルの予測方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測（MODE_INTER）で、マージモードでない場合に、符号化側では、符号化対象の動きベクトルから符号化する差分動きベクトルを導出する時に用いる符号化済みの動きベクトルを利用して予測動きベクトルを導出する際に実施され、復号側では、復号対象の動きベクトルを導出する時に用いる復号済みの動きベクトルを利用して予測動きベクトルを導出する際に実施される。
動きベクトルの予測方法は、スライスタイプがＰスライス（片方向予測スライス）或いはＢスライス（両方向予測スライス）の場合で、更に、スライスの中の予測ブロックの予測モードがインター予測（MODE_INTER）で、マージモードでない差分動きベクトルを符号化または復号する予測ブロックに適用される。
動きベクトルの予測は符号化側の動画像符号化装置の階層画像符号化部と復号側の動画像復号装置の階層画像復号部で共通の規定の方法により、予測動きベクトル候補を導出し、予測動きベクトル候補リストに登録する。図９、図１０、図１１及び図１２を用いて説明した左に近接する予測ブロックＡ１、左下に近接する予測ブロックＡ０から左側の予測ブロック候補を導出し、上に近接する予測ブロックＢ１、右上に近接する予測ブロックＢ０、左上に近接する予測ブロックＢ２から上側の予測ブロック候補を導出する。さらに、図１３または図１４を用いて説明した参照ピクチャcopPic内の同一位置あるいはその付近に存在する予測ブロックcolPb（Ｔ０、Ｔ１のいずれか）の予測ブロックから時間予測動きベクトル候補を導出する。
本実施の形態に係る動きベクトルの予測方法を図面を用いて説明する。図３０は、図１の動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３の詳細な構成を示す図である。また、図３１は、本実施の形態に係る図２の動画像復号装置の階層画像復号部の動きベクトル算出部２０４の詳細な構成を示す図である。図３０及び図３１の太枠線で囲まれる部分はそれぞれ、差分動きベクトル算出部１０３及び動きベクトル算出部２０４を示している。
更に、それらの内部の太点線で囲まれる部分はそれぞれの動きベクトルの予測方法の動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３の予測動きベクトル候補リスト構築部１４０及び動画像復号装置の階層画像復号部の動きベクトル算出部２０４の予測動きベクトル候補リスト構築部２４０を示しており、本実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の導出結果を得られるようにしている。以下、この図を用いて、符号化における動きベクトルの予測方法を説明する。
動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３は、予測動きベクトル候補生成部１４１、予測動きベクトル候補登録部１４２、予測動きベクトル冗長候補削除部１４３、予測動きベクトル候補数制限部１４４、予測動きベクトル候補符号量算出部１４５、予測動きベクトル選択部１４６、および動きベクトル減算部１４７を含む。
動画像復号装置の階層画像復号部の動きベクトル算出部２０４は、予測動きベクトル候補生成部２４１、予測動きベクトル候補登録部２４２、予測動きベクトル冗長候補削除部２４３、予測動きベクトル候補数制限部２４４、予測動きベクトル選択部２４５及び動きベクトル加算部２４６を含む。
この動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３での差分動きベクトル導出処理は、符号化対象予測ブロックのインター予測方法で用いる動きベクトルの予測動きベクトルの候補、および差分動きベクトルをＬ０、Ｌ１毎にそれぞれ導出する。さらに、動画像復号装置の階層画像復号部の動きベクトル算出部２０４での動きベクトル導出処理も、復号対象予測ブロックのインター予測で用いる予測動きベクトルの候補、動きベクトルをＬ０，Ｌ１毎にそれぞれ導出する。
具体的には符号化または復号対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、符号化または復号対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測が行われるので、Ｌ０の予測動きベクトル候補を導出して、Ｌ０の予測動きベクトルリストmvpListL0に登録する。符号化または復号対象ブロックのインター予測モード（Pred_L1）がＬ１予測の場合、Ｌ１予測が行われるので、Ｌ１の予測動きベクトル候補を導出して、Ｌ１の予測動きベクトルリストmvpListL1に登録する。符号化対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われるので、Ｌ０の予測動きベクトル候補を導出して、Ｌ０の予測動きベクトルリストmvpListL0に登録するとともに、Ｌ１の予測動きベクトル候補を導出して、Ｌ１の予測動きベクトルリストmvpListL1に登録する。符号化側では、導出した予測動きベクトルを用いて、差分動きベクトルを導出し、復号側では導出した予測動きベクトルを用いて、動きベクトルを導出する。
Ｌ０、Ｌ１それぞれについて、符号化側及び復号側では予測動きベクトル導出処理を行い、符号化側では差分動きベクトル導出処理、復号側では動きベクトル導出処理を行うが、Ｌ０、Ｌ１ともに共通の処理となる。したがって、以下の説明においてはＬ０、Ｌ１を共通のＬＸとして表す。Ｌ０の予測動きベクトル導出処理、差分動きベクトル導出処理、および動きベクトル導出処理ではＬＸがＬ０であり、Ｌ１の予測動きベクトル導出処理、差分動きベクトル導出処理及び動きベクトル導出処理ではＬＸがＬ１である。また、ＬＸの予測動きベクトル導出処理、差分動きベクトル導出処理、または動きベクトル導出処理中に、ＬＸではなく、もう一方のリストの情報を参照する場合、もう一方のリストをＬＹとして表す。つまり、Ｌ０の予測動きベクトル導出処理、差分動きベクトル導出処理、または動きベクトル導出処理中に、もう一方のリストの情報を参照する場合、もう一方のリストＬＹはＬ１であり、Ｌ１の予測動きベクトル導出処理、差分動きベクトル導出処理、または動きベクトル導出処理中に、もう一方のリストの情報を参照する場合、もう一方のリストＬＹはＬ０である。
動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３、動画像復号装置の階層画像復号部の動きベクトル算出部２０４の処理手順について、それぞれ図３２、図３３のフローチャートを用いて説明する。図３２は動画像符号化装置の階層画像符号化部による差分動きベクトル導出処理手順を示すフローチャートであり、図３３は動画像復号装置の階層画像復号部による動きベクトル導出処理手順を示すフローチャートである。
図３２を参照して符号化側の差分動きベクトル導出処理手順を説明する。符号化側では、差分動きベクトル算出部１０３で、符号化対象ブロックで選択されたインター予測で用いる動きベクトルの差分動きベクトルをＬ０、Ｌ１毎にそれぞれ導出する（図３２のＳ３０１〜Ｓ３０６）。具体的には図３の動きベクトル検出部１０２から供給される予測ブロックサイズ、インター予測モード、参照インデックス毎に、符号化対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、図３の動きベクトル検出部１０２から供給されるＬ０の参照インデックスに対応したＬ０予測動きベクトル候補で構成されるＬ０の予測動きベクトルリストmvpListL0を導出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0の差分動きベクトルmvdL0を導出する。符号化対象ブロックのインター予測モードがＬ１予測（Pred_L1）の場合、図３の動きベクトル検出部１０２から供給されるＬ１の参照インデックスに対応したＬ１の予測動きベクトル候補で構成されるＬ１の予測動きベクトルリストmvpListL1を導出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルmvL1の差分動きベクトルmvdL1を導出する。符号化対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、図３の動きベクトル検出部１０２から供給されるＬ０の参照インデックスに対応したＬ０予測動きベクトル候補で構成されるＬ０の予測動きベクトルリストmvpListL0を導出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0の差分動きベクトルmvdL0を導出するとともに、図３の動きベクトル検出部１０２から供給されるＬ１の参照インデックスに対応したＬ１の予測動きベクトル候補で構成されるＬ１の予測動きベクトルリストmvpListL1を導出して、Ｌ１の予測動きベクトルmvpL1を導出し、Ｌ１の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ導出する。
ＬＸ（ＬＸはＬ０またはＬ１）の差分動きベクトルmvdLXを導出する場合（図３２のＳ３０２のＹＥＳ）、ＬＸの予測動きベクトルの候補を導出してＬＸの予測動きベクトルリストmvpListLXを構築する（図３２のＳ３０３）。差分動きベクトル算出部１０３の中の予測動きベクトル候補生成部１４１で複数の予測動きベクトルの候補を導出し、予測動きベクトル候補登録部１４２で予測動きベクトルリストmvpListLXに導出した予測動きベクトルの候補を登録し、予測動きベクトル冗長候補削除部１４３で不要な予測動きベクトルの候補を削除し、予測動きベクトル候補数制限部１４４で予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXが設定され、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された２に制限することにより、予測動きベクトルリストmvpListLXを構築する。構築されたＬＸの予測動きベクトルリストmvpListLXは予測動きベクトル候補符号量算出部１４５、及び予測動きベクトル選択部１４６に供給される。ステップＳ３０３の詳細な処理手順については図３４のフローチャートを用いて後述する。
続いて、予測動きベクトル候補符号量算出部１４５、及び予測動きベクトル選択部１４６により、ＬＸの予測動きベクトルリストmvpListLXからＬＸの予測動きベクトルmvpLXを選択する（図３２のＳ３０４）。まず、予測動きベクトル候補符号量算出部１４５で、動きベクトル検出部１０２で導出されたＬＸの動きベクトルmvLXと、予測動きベクトルリストmvpListLXの中に格納された各予測動きベクトルの候補mvpListLX[i]との差分であるそれぞれの差分動きベクトルを導出し、それら差分動きベクトルを符号化したときの符号量を予測動きベクトルリストmvpListLXの要素ごとに導出し、予測動きベクトル選択部１４６で、予測動きベクトルリストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]を予測動きベクトルmvpLXとして選択する。選択された予測動きベクトルmvpLXを動きベクトル減算部１４７に供給する。さらに、その選択された予測動きベクトルmvpLXに対応する予測動きベクトルリスト中のインデックスiをＬＸの予測動きベクトルインデックスmvpIdxLXとして出力する。
続いて、動きベクトル減算部１４７で、動きベクトル検出部１０２で導出されたＬＸの動きベクトルmvLXから予測動きベクトル選択部１４６で選択されたＬＸの予測動きベクトルmvpLXを減算することによりＬＸの差分動きベクトルmvdLXを導出し、出力する（図３２のＳ３０５）。
mvdLX = mvLX - mvpLX
次に、図３３を参照して復号側の動きベクトル導出処理手順を説明する。復号側では、動きベクトル算出部２０４で、インター予測で用いる動きベクトルをＬ０，Ｌ１毎にそれぞれ導出する（図３３のＳ４０１〜Ｓ４０６）。具体的には、図４の第２符号化ビット列復号部２０２から供給される予測ブロックサイズのインター予測モードの参照インデックスに対応した予測動きベクトル候補を導出する。復号対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、復号対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、図４の第２符号化ビット列復号部２０２から供給されるＬ０の参照インデックスに対応したＬ０の予測動きベクトル候補で構成されるＬ０の予測動きベクトルリストmvpListL0を導出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を導出する。復号対象ブロックのインター予測モードがＬ１予測（Pred_L1）の場合、図４の第２符号化ビット列復号部２０２から供給されるＬ１の参照インデックスに対応したＬ１の予測動きベクトル候補で構成されるＬ１の予測動きベクトルリストmvpListL1を導出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルmvL1を導出する。
復号対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、図４の第２符号化ビット列復号部２０２から供給されるＬ０の参照インデックスに対応したＬ０予測動きベクトル候補で構成されるＬ０の予測動きベクトルリストmvpListL0を導出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を導出するとともに、図４の第２符号化ビット列復号部２０２から供給されるＬ１の参照インデックスに対応したＬ１の予測動きベクトル候補で構成されるＬ１の予測動きベクトルリストmvpListL1を導出して、Ｌ１の予測動きベクトルmvpL1を導出し、Ｌ１の動きベクトルmvL1をそれぞれ導出する。
ＬＸ（ＬＸはＬ０またはＬ１）の動きベクトルmvLXを導出する場合（図３３のＳ４０２のＹＥＳ）、ＬＸの予測動きベクトルの候補を導出してＬＸの予測動きベクトルリストmvpListLXを構築する（図３３のＳ４０３）。動きベクトル算出部２０４の中の予測動きベクトル候補生成部２４１で複数の予測動きベクトルの候補を導出し、予測動きベクトル候補登録部２４２で予測動きベクトルリストmvpListLXに導出した予測動きベクトルの候補を登録し、予測動きベクトル冗長候補削除部２４３で不要な予測動きベクトルの候補を削除し、予測動きベクトル候補数制限部２４４で予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXが設定され、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された２に制限することにより、予測動きベクトルリストmvpListLXを構築する。構築されたＬＸの予測動きベクトルリストmvpListLXは予測動きベクトル選択部２４５に供給される。ステップＳ４０３の詳細な処理手順については図３４のフローチャートを用いて後述する。
続いて、予測動きベクトル選択部２４５で予測動きベクトルリストmvpListLXから第２符号化ビット列復号部２０２にて復号されたＬＸの予測動きベクトルのインデックスmvpIdxLXに対応するＬＸの予測動きベクトルの候補mvpListLX[mvpIdxLX]を選択されたＬＸ予測動きベクトルmvpLXとして取り出し、動きベクトル加算部２４６に供給する（図３３のＳ４０４）。
続いて、動きベクトル加算部２４６で第２符号化ビット列復号部２０２にて復号されて供給されるＬＸの差分動きベクトルmvdLXとＬＸの予測動きベクトルmvpLXを加算することによりＬＸの動きベクトルmvLXを導出し、出力する（図３３のＳ４０５）。
mvLX = mvpLX + mvdLX
次に、図３２のステップＳ３０３、及び図３３のステップＳ４０３で共通の予測動きベクトルの候補の導出及び予測動きベクトルリスト構築処理手順を図３４のフローチャートを用いて詳細に説明する。
図３４は動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３の予測動きベクトル候補リスト構築部１４０及び動画像復号装置の階層画像復号部の動きベクトル算出部２０４の予測動きベクトル候補リスト構築部２４０とで共通する機能を有する予測動きベクトル候補生成部１４１及び２４１、予測動きベクトル候補登録部１４２及び２４２、ならびに予測動きベクトル冗長候補削除部１４３及び２４３、予測動きベクトル候補数制限部１４４及び２４４で実施される予測動きベクトル候補の導出処理及び予測動きベクトル候補リストの構築処理手順を表すフローチャートである。
予測動きベクトル候補生成部１４１及び２４１はＬ０、Ｌ１毎に、空間的な予測動きベクトルmvLXA及びmvLXB、時間的な予測動きベクトルmvLXColを導出する。この予測動きベクトル候補の導出に際しては、符号化情報格納メモリ１１５に格納されている符号化済みの予測ブロックの予測モード、参照リスト毎の参照インデックス、参照ピクチャのＰＯＣ、動きベクトル等の符号化情報を用いる。予測動きベクトル候補生成部１４１及び２４１は左側に近接する予測ブロックグループ（符号化対象の予測ブロックと同一ピクチャ内でその予測ブロックの左側に近接する予測ブロックグループ：図７のＡ０，Ａ１）から１つの予測動きベクトルの候補を導出し、左側に近接する予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXA、及び動きベクトルmvLXAを予測動きベクトル候補登録部１４２及び２４２に供給する（図３４のＳ５０１）。なお、Ｌ０のときＸは０、Ｌ１のときＸは１とする（以下同様）。続いて、予測動きベクトル候補生成部１４１及び２４１は上側に近接する予測ブロックグループ（符号化対象の予測ブロックと同一ピクチャ内でその予測ブロックの上側に近接する予測ブロックグループ：図７のＢ０，Ｂ１，Ｂ２）から１つの予測動きベクトルの候補を導出し、上側に近接する予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXB、及び動きベクトルmvLXBを予測動きベクトル候補登録部１４２及び２４２に供給する。（図３４のＳ５０２）。図３４のステップＳ５０１とＳ５０２の処理は参照する予測ブロックの位置と数が異なる点以外は共通であり、予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXN、及び動きベクトルmvLXN、参照インデックスrefIdxN、ListN（ＮはＡまたはＢ、以下同様）を導出する共通の導出処理手順を図３５〜図３９のフローチャートを用いて後ほど詳細に説明する。
続いて、本実施の形態の動画像符号化装置の階層画像符号化部の差分動きベクトル算出部１０３の予測動きベクトル候補生成部１４１及び動画像復号装置の階層画像復号部の動きベクトル算出部２０４の予測動きベクトル候補生成部２４１では、インター参照ピクチャまたは階層間参照ピクチャのインター予測情報を参照する時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを切り替える。各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flagの値が１の場合、すなわち時間予測動きベクトル候補を生成する場合（図３４のＳ５０３のＹＥＳ）、予測動きベクトル候補生成部１４１及び２４１はインター参照ピクチャの予測ブロックグループ（図１３のＴ０，Ｔ１）または階層間参照ピクチャの予測ブロックグループ（図１４のＴ０，Ｔ１）から１つの予測動きベクトルの候補を導出し、時間予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXCol、及び動きベクトルmvLXColを予測動きベクトル候補登録部１４２及び２４２に供給する。（図３４のＳ５０４）。このステップＳ５０４の導出処理手順を図４０のフローチャートを用いて後ほど詳細に説明する。一方、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）、すなわち時間予測動きベクトル候補を生成しない場合（図３４のＳ５０３のＮＯ）、フラグavailableFlagLXColの値は０とする。
続いて、予測動きベクトル候補登録部１４２及び２４２は予測動きベクトルリストmvpListLXを作成し、供給されるＬＸのそれぞれの空間予測動きベクトルの候補mvLXA, mvLXB, 時間予測動きベクトルの候補mvLXColを予測動きベクトルリストmvpListLXに登録する（図３４のＳ５０７）。このステップＳ５０７の登録処理手順を図４１のフローチャートを用いて後ほど詳細に説明する。
続いて、予測動きベクトル冗長候補削除部１４３及び２４３は予測動きベクトルリストmvpListLX内で、複数の動きベクトルの候補が同じ値または近い値を持っている場合に、冗長な動きベクトルの候補と判断し、最も小さい順序、即ち最も小さいインデックスiの動きベクトルの候補を除いて冗長な動きベクトルの候補を取り除く（図３４のＳ５０８）。このステップＳ５０８の削除処理手順を図４２のフローチャートを用いて後ほど詳細に説明する。
続いて、予測動きベクトル候補数制限部１４４及び２４４は予測動きベクトルリストmvpListLX内に追加された要素の数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXをカウントされた要素数に設定し、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された２に制限する（図３４のＳ５０９）。このステップＳ５０９の制限処理手順を図４３のフローチャートを用いて後ほど詳細に説明する。
次に、図３４のステップＳ５０１、Ｓ５０２の左側または上側に近接する予測ブロックから予測動きベクトルの候補をそれぞれ導出する手順について詳細に説明する。
図７、図８、図９、図１０示されるように、同一ピクチャ内の符号化ブロック内部をインター予測（動き補償予測）する為に定義される予測ブロック（図７、図８、図９、図１０中の処理対象の予測ブロック）に近接する周囲の予測ブロックから予測動きベクトルの候補を導出する。
予測動きベクトルの候補は、処理対象の予測ブロックの左側に近接する予測ブロックＡｋ（ｋ＝０，１）、すなわちＡ０、Ａ１から構成される予測ブロックグループＡ、上に近接する予測ブロックＢｋ（ｋ＝０，１，２）、すなわちＢ０、Ｂ１、Ｂ２から構成される予測ブロックグループＢからそれぞれ予測動きベクトルの候補を選出する。
次に、図３４のステップＳ５０１およびＳ５０２の処理手順である左側および上側に近接する予測ブロックグループＮからの予測動きベクトルの候補の導出方法について説明する。図３５は図３４のステップＳ５０１およびＳ５０２の空間予測動きベクトル候補導出処理手順を示すフローチャートである。添え字Ｘには参照リストを表す０若しくは１、Ｎには近接する予測ブロックグループの領域を表すＡ（左側）またはＢ（上側）が入る。
左側の予測ブロックから予測動きベクトルの候補を導出するには（図３４のＳ５０１）、図３５でＮがＡとして符号化または復号対象の予測ブロックの左側に近接するＡ０、Ａ１の予測ブロックから予測動きベクトルの候補を、上側の予測ブロックから予測動きベクトルの候補を導出するには（図３４のＳ５０２）、図３５でＮがＢとして上側に近接するＢ０、Ｂ１、Ｂ２予測ブロックから予測動きベクトルの候補を、それぞれ以下の手順で導出する。
まず、符号化または復号対象の予測ブロックに近接する予測ブロックを特定し、それぞれの予測ブロックＮｋ（ｋ＝０，１，２、ただし２は上側の予測ブロックグループのみ）が利用できる場合は符号化情報格納メモリ１１５または符号化情報格納メモリ２１０に格納されている符号化情報を取得する。ここで取得する近接する予測ブロックＮｋの符号化情報は、予測モードPredMode、ＬＸを利用するかどうかを示すフラグpredFlagLX [xNk][yNk]、ＬＸの参照インデックスrefIdxLX [xNk][yNk]、ＬＸの動きベクトルmvLX [xNk][yNk]である。符号化または復号対象の予測ブロックの左側に近接する予測ブロックグループ（Ｎ＝Ａ）の場合（図３５のＳ６１０１のＹＥＳ）、左下に近接する予測ブロックＡ０、左に近接する予測ブロックＡ１を特定して符号化情報を取得し（図３５のＳ６１０２、Ｓ６１０３）、符号化または復号対象の予測ブロックの上側に近接する予測ブロックグループ（Ｎ＝Ｂ）の場合（図３５のＳ６１０１のＮＯ）、右上に近接する予測ブロックＢ０、上に近接する予測ブロックＢ１、左上に近接する予測ブロックＢ２を特定して符号化情報を取得する（図３５のＳ６１０４、Ｓ６１０５、Ｓ６１０６）。なお、近接する予測ブロックＮｋが符号化または復号対象予測ブロックを含むスライスの内側に位置する場合は利用でき、外側に位置する場合は利用できない。
次に、予測ブロックグループＮから予測動きベクトルが選出されるか否かを示すフラグavailableFlagLXNを０、予測ブロックグループＮを代表する動きベクトルmvLXNを（０，０）に設定する（図３５のＳ６１０７）。
続いて、下記の条件判定１または条件判定２に合致する予測動きベクトル候補を導出する（図３５のＳ６１０８）。
条件判定１：符号化または復号対象の予測ブロックの予測動きベクトル導出対象のＬＸの動きベクトルと同じ参照リストＬＸで、同じ参照インデックス、すなわち同じ参照ピクチャを用いた予測が近接する予測ブロックでも行われている。
条件判定２：符号化または復号対象の予測ブロックの予測動きベクトル導出対象のＬＸの動きベクトルとは反対の参照リストＬＹ（Ｙ＝！Ｘ：現在導出対象としている動きベクトルの参照リストがＬ０のとき、反対の参照リストはＬ１、現在動きベクトルの導出対象としている参照リストがＬ１のとき、反対の参照リストはＬ０）であるが、同じ参照ピクチャを用いた予測が近接する予測ブロックで行われている。
予測ブロックグループＮ（ＮはＡまたはＢ）の近接する予測ブロックＮ０、Ｎ１、Ｎ２（Ｎ２は上側に近接する予測ブロックグループＢのみ）の中で、符号化または復号対象予測ブロックの予測動きベクトルの予測動きベクトル導出対象のＬＸの動きベクトルと同じ参照ピクチャの動きベクトルを持つ予測ブロックを探してその動きベクトルを予測動きベクトル候補とする。
図３６は図３５のステップＳ６１０８の空間予測動きベクトル候補導出処理手順を示すフローチャートである。近接する予測ブロックＮｋ（ｋ＝０，１，２、ただし、２は上側に近接する予測ブロックグループのみ）に対して、ｋが０，１，２の順番にそれぞれ以下の処理を行う（図３６のＳ６２０１〜Ｓ６２０７）。Ｎが左側に近接する予測ブロックグループを示すＡの場合下から上にＡ０，Ａ１の順序で、Ｎが上側に近接する予測ブロックグループを示すＢの場合、右から左にＢ０，Ｂ１，Ｂ２の順序で、それぞれ以下の処理を行う。
近接する予測ブロックＮｋが利用でき、予測ブロックＮｋの予測モードPredModeがイントラ（MODE_INTRA）でない場合（図３６のＳ６２０２のＹＥＳ）、前述の条件判定１の条件判定を行う（図３６のＳ６２０３）。近接する予測ブロックＮｋのＬＸを利用するかどうかを示すフラグpredFlagLX [xNk][yNk]が１、即ち近接する予測ブロックＮｋが導出対象と同じＬＸの動きベクトルを用いてインター予測されており、近接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と処理対象の予測ブロックのインデックスrefIdxLXが同じ、即ち近接する予測ブロックＮｋがＬＸ予測で同じ参照ピクチャを用いてインター予測されている場合（図３６のＳ６２０３のＹＥＳ）、ステップＳ６２０４に進み、そうでない場合（図３６のＳ６２０３のＮＯ）、ステップＳ６２０５の条件判定を行う。
ステップＳ６２０３がＹＥＳの場合、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが近接する予測ブロックＮｋのＬＸの動きベクトルmvLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが近接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＸに設定され（図３６のＳ６２０４）、本予測動きベクトル候補導出処理を終了する。
一方、ステップＳ６２０３がＮＯの場合、前述の条件判定２の条件判定を行う（図３６のＳ６２０５）。近接する予測ブロックＮｋのＬＹを利用するかどうかを示すフラグpredFlagLYが１、即ち近接する予測ブロックＮｋが導出対象と異なるＬＹの動きベクトルを用いてインター予測されており、近接する予測ブロックＮｋの現在対象としている参照リストＬＸと反対の参照リストＬＹの参照ピクチャのＰＯＣと処理対象の予測ブロックのＬＸの参照ピクチャのＰＯＣが同じ、即ち近接する予測ブロックＮｋがＬＹ予測で同じ参照ピクチャを用いてインター予測されている場合（図３６のＳ６２０５のＹＥＳ）、ステップＳ６２０６に進み、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが近接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが近接する予測ブロックＮｋのＬＹの参照インデックスrefIdxLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＹに設定され（図３６のＳ６２０６）、本予測動きベクトル候補導出処理を終了する。
これらの条件に合致しない場合、即ちステップＳ６２０３のＮＯ，またはステップＳ６２０５のＮＯの場合、ｋを１増加し、次の近接する予測ブロックの処理（図３６のＳ６２０１〜Ｓ６２０７）を行い、availableFlagLXNが１になるか、近接する予測ブロックＡ１またはＢ２の処理が終わるまで繰り返す。
続いて、図３５のフローチャートに戻り、availableFlagLXNが０のとき（図３５のＳ６１０９のＹＥＳ）、即ちステップＳ６１０８で予測動きベクトルの候補が導出できなかった場合、下記の条件判定３または条件判定４に合致する予測動きベクトル候補を導出する（図３５のＳ６１１０）。
条件判定３：符号化または復号対象の予測ブロックの予測動きベクトル導出対象のＬＸの動きベクトルと同じ参照リストＬＸで、異なる参照ピクチャを用いた予測が近接する予測ブロックで行われている。
条件判定４：符号化または復号対象の予測ブロックの予測動きベクトル導出対象のＬＸの動きベクトルとは異なる参照リストＬＹで、異なる参照ピクチャを用いた予測が近接する予測ブロックで行われている。
予測ブロックグループＮ（ＮはＡまたはＢ）の近接する予測ブロックＮ０、Ｎ１、Ｎ２（Ｎ２は上側に近接する予測ブロックグループＢのみ）の中で、符号化または復号対象予測ブロックの予測動きベクトルの予測動きベクトル導出対象のＬＸの動きベクトルと異なる参照ピクチャの動きベクトルを持つ予測ブロックを探してその動きベクトルを予測動きベクトル候補とする。
図３７は図３５ステップＳ６１１０の空間予測動きベクトル候補導出処理手順を示すフローチャートである。近接する予測ブロックＮｋ（ｋ＝０，１，２、ただし、２は上側に近接する予測ブロックグループのみ）に対して、ｋが０，１，２の順番にそれぞれ以下の処理を行う（図３７のＳ６３０１〜Ｓ６３０７）。ＮがＡの場合下から上にＡ０，Ａ１の順序で、ＮがＢの場合、右から左にＢ０，Ｂ１，Ｂ２の順序で、それぞれ以下の処理を行う。
近接する予測ブロックＮｋが利用でき、予測ブロックＮｋの予測モードPredModeがイントラ（MODE_INTRA）でない場合（図３７のＳ６３０２のＹＥＳ）、前述の条件判定３の条件判定を行う（図３７のＳ６３０３）。近接する予測ブロックＮｋのＬＸを利用するかどうかを示すフラグpredFlagLX [xNk][yNk]が１、即ち近接する予測ブロックＮｋが導出対象と同じＬＸの動きベクトルを用いてインター予測されている場合、ステップＳ６３０４に進み、そうでない場合（図３７のＳ６３０３のＮＯ）、ステップＳ６３０５の条件判定を行う。
ステップＳ６３０３がＹＥＳの場合、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮのmvLXNが近接する予測ブロックＮｋのＬＸの動きベクトルmvLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが近接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＸに設定され（図３７のＳ６３０４）、ステップＳ６３０８に進む。
ステップＳ６３０３がＮＯの場合、前述の条件判定４の条件判定を行う（図３７のＳ６３０５）。近接する予測ブロックＮｋのＬＹを利用するかどうかを示すフラグpredFlagLYが１、即ち近接する予測ブロックＮｋが導出対象と異なるＬＹの動きベクトルを用いてインター予測されている場合（図３７のＳ６３０５のＹＥＳ）、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが近接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが近接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが近接する予測ブロックＮｋのＬＹの参照インデックスrefIdxLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＹに設定され（図３７のＳ６３０６）、ステップＳ６３０８に進む。
一方、これらの条件に合致しない場合（図３７のＳ６３０３のＮＯ，またはＳ６３０５のＮＯの場合）、ｋを１増加し、次の近接する予測ブロックの処理（図３７のＳ６３０１〜Ｓ６３０７）を行い、availableFlagLXNが１になるか、近接する予測ブロックＡ１またはＢ２の処理が終わるまで繰り返し、ステップＳ６３０８に進む。
続いて、availableFlagLXNが１のとき（図３７のＳ６３０８のＹＥＳ）、mvLXNをスケーリングする（図３７のＳ６３０９）。条件判定３または条件判定４の条件に合致した場合、該当する近接する予測ブロックの動きベクトルは異なる参照ピクチャに対応するものであるので、スケーリングして予測動きベクトルの候補とする。このステップＳ６３０９の空間予測動きベクトル候補のスケーリング演算処理手順を図３８及び図３９を用いて説明する。
図３８は図３７のステップＳ６３０９の動きベクトルのスケーリング演算処理手順を示すフローチャートである。
現在の符号化または復号対象ピクチャのＰＯＣから、近接する予測ブロックのリストListNが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを導出する（図３７のＳ６４０１）。
なお、現在の符号化または復号対象ピクチャよりも近接する予測ブロックのリストListNで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、現在の符号化または復号対象ピクチャよりも近接する予測ブロックの参照リストListNで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝現在の符号化または復号対象ピクチャのＰＯＣ−近接する予測ブロックの参照リストListNで参照する参照ピクチャのＰＯＣ
現在の符号化または復号対象ピクチャのＰＯＣから導出対象のＬＸの参照インデックスrefIdxLXに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを導出する（図３７のＳ６４０２）。ここで、導出対象の参照インデックスrefIdxLXとは符号化または復号対象の予測ブロックのＬＸの参照インデックスである。なお、現在の符号化または復号対象ピクチャよりも現在の符号化または復号対象ピクチャの参照リストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化または復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化または復号対象ピクチャのＰＯＣ−導出対象のＬＸの参照インデックスに対応する参照ピクチャのＰＯＣ
続いて、次式によりmvLXNにスケーリング係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（図３７のＳ６４０３）、スケーリングされた動きベクトルmvLXNを得る。
mvLXN＝ｔｂ／ｔｄ＊mvLXN
また、ステップＳ６４０３の動きベクトルのスケーリング演算処理を整数精度の演算で行う場合の例を図３９に示す。図３９のステップＳ６４０４〜Ｓ６４０６の処理が、図３８のステップＳ６４０３の処理に相当する。
まず、図３８のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを導出する（図３７のＳ６４０１、Ｓ６４０２）。
続いて、次式により変数ｔｘを導出する（図３７のＳ６４０４）。
tx = ( 16384 + ( Abs( td ) >> 1 ) ) / td
なお、Absは括弧内の引数の値の絶対値を表す。
続いて、次式によりスケーリング係数distScaleFactorを導出する（図３７のＳ６４０５）。
distScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
なお、Clip3は規定された第１の引数の最小値および第２の引数の最大値で第３の引数の値をクリッピングすることを表す。
続いて、次式により、スケーリングされた動きベクトルmvLXNを得る（図３７のＳ６４０６）。
mvLXN =Clip3( -32768, 32767, Sign2( distScaleFactor * mvLXN ) *
( (Abs( distScaleFactor * mvLXN ) + 127 ) >> 8 ) )
なお、Sign2は括弧内の引数の値が0以上のとき1となり、0未満のとき-1となることを表す。
次に、図３４のＳ５０４のインター参照ピクチャ及び階層間参照ピクチャの予測ブロックからの予測動きベクトルの候補の導出方法について詳細に説明する。図４０は図３４のステップＳ５０４の時間予測動きベクトル候補導出処理手順を説明するフローチャートである。
まず、時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicを導出する（図４０のＳ７１０１）。インター参照ピクチャあるいは階層間参照ピクチャのいずれかが参照ピクチャcolPicとなる。ステップＳ７１０１の詳細な処理手順については図２２のフローチャートを用いて説明した手順により行う。
続いて、時間マージ候補および時間予測動きベクトルの候補を導出する際に用いるインター予測情報を持つ予測ブロックcolPbを導出し、符号化情報を取得する（図４０のＳ７１０２）。ステップＳ７１０２の詳細な処理手順については図２３のフローチャートを用いて説明した手順により行う。
続いて、符号化または復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから導出されるＬＸの予測動きベクトルmvLXColと予測ブロックグループＣｏｌの参照リストＬＸの符号化情報が有効か否かを示すフラグavailableFlagLXColを導出する（図４０のＳ７１０３）。ステップＳ７１０３の詳細な処理手順については図２４のフローチャートを用いて説明した手順により行う。
次に、図３４のステップＳ５０７の予測動きベクトルの候補を予測動きベクトルリストに追加する手順について詳細に説明する。
図３４のステップＳ５０１、Ｓ５０２およびＳ５０４にて導出されたＬＸのそれぞれの予測動きベクトルの候補mvLXA, mvLXB, mvLXColをＬＸの予測動きベクトルリストmvpListLXに追加する（図３４のＳ５０７）。本実施の形態では、優先順位をつけて、優先順位の高いものからＬＸの予測動きベクトルリストmvpListLXに予測動きベクトルの候補mvLXA, mvLXB, mvLXColの順序で登録することで、優先順位の高い要素を予測動きベクトルリストの前方に配置する。図３４のステップＳ５０９で予測動きベクトルリストの中の要素数を制限する際に、予測動きベクトルリストの後方に配置された要素を予測動きベクトルリストから外すことで、優先順位の高い要素を残す。
予測動きベクトルリストmvpListLXはリスト構造を成し、予測動きベクトルリスト内部の所在を示すインデックスiで管理され、インデックスiに対応する予測動きベクトルの候補を要素として格納する記憶領域が設けられている。インデックスiの数字は０から開始され、予測動きベクトルリストmvpListLXの記憶領域に、予測動きベクトルの候補が格納される。以降の処理では、予測動きベクトルリストmvpListLXに登録されたインデックスiの要素である予測動きベクトルの候補は、mvpListLX[i]で表す。
次に、図３４のステップＳ５０７のＬＸの予測動きベクトルリストmvpListLXへのＬＸの予測動きベクトルの候補mvLXA, mvLXB, mvLXColの登録処理方法について詳細に説明する。図４１は図３４のステップＳ５０７の予測動きベクトル候補登録処理手順を示すフローチャートである。
まず、予測動きベクトルリストmvpListLXのインデックスiを０に設定する（図４１のＳ９１０１）。availableFlagLXAが１の場合（図４１のＳ９１０２のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXAを登録し（図４１のＳ９１０３）、インデックスiに1を加算することで更新する（図４１のＳ９１０４）。
続いて、availableFlagLXBが１の場合（図４１のＳ９１０５のＹＥＳ）、予測動きベクトルリストmvpListLXmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXBを登録し（図４１のＳ９１０６）、インデックスiに1を加算することで更新する（図４１のＳ９１０７）。
続いて、時間予測動きベクトル候補を導出する場合で、availableFlagLXColが１の場合（図４１のＳ９１０８のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXColを登録し（図４１のＳ９１０９）、インデックスiに1を加算することで更新して（図４１のＳ９１１０）、予測動きベクトルリストへの登録処理を終了する。
次に、図３４のステップＳ５０８の予測動きベクトルリスト中の冗長な予測動きベクトルの候補の削除方法について詳細に説明する。図４２は図３４のステップＳ５０８の予測動きベクトル冗長候補削除処理手順を示すフローチャートである。
予測動きベクトル冗長候補削除部１４３及び２４３は予測動きベクトルリストmvpListLXに登録されている予測動きベクトルの候補mvLXAとmvLXBを比較し、mvLXAとmvLXBが同一の場合に（図４２のＳ９２０１のＹＥＳ）、冗長な動きベクトルの候補mvLXBを取り除く（図４２のＳ９２０２）。なお、冗長な動きベクトルの候補mvLXBを取り除いた場合、mvListLX[1]が空白となるので、予測動きベクトルの候補mvLXColがmvListLX[2]に格納されている場合には、mvLXColをmvListLX[1]に格納し直す。なお、本実施の形態においては、空間予測動きベクトルの候補mvLXAとmvLXBだけを比較し、階層間予測動きベクトル候補、時間予測動きベクトル候補の比較は行わない。これは、空間予測動きベクトル候補同士は互いに同じ値の動きベクトル持つ可能性が高いが、空間予測動きベクトル候補と階層間予測動きベクトル候補、時間予測動きベクトル候補は互いに同じ値の動きベクトルを持つ可能性が高くなく、比較処理量を減少させるために階層間予測動きベクトル候補、時間予測動きベクトル候補の比較処理を省略しても、符号化効率に与える影響は低いからである。
次に、図３４のステップＳ５０９の予測動きベクトルリスト中の動きベクトルの候補数の制限方法について詳細に説明する。図４３は図３４のステップＳ５０９の予測動きベクトル候補数制限処理手順を説明するフローチャートである。
予測動きベクトル候補数制限部１４４及び予測動きベクトル候補数制限部２４４はＬＸの予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された２に制限する。
まず、ＬＸの予測動きベクトルリストmvpListLXに登録されている要素数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXをカウントされた要素数に設定する（図４３のＳ９３０１）。
続いて、ＬＸの予測動きベクトル候補数numMVPCandLXが２よりも小さい場合（図４３のＳ９３０２のＹＥＳ）、ＬＸの予測動きベクトルリストmvpListLXのインデックスiが numMVPCandLXに対応する位置に(0, 0)の値を持つ動きベクトルを登録し（図４３のＳ９３０３）、numMVPCandLXに1を加算する（図４３のＳ９３０４）。numMVPCandLXが２の場合（図４３のＳ９３０５のＹＥＳ）、本制限処理を終了し、numMVPCandLXが２になるまで（図４３のＳ９３０５のＮＯ）、ステップＳ９３０３とＳ９３０４の処理を繰り返す。すなわち、ＬＸの予測動きベクトル候補数numMVPCandLXが２に達するまで、(0, 0)の値を持つMVを登録する。
このように重複して(0, 0)の値を持つMVを登録することにより、予測動きベクトルインデックスが０以上２未満の範囲内でどのような値をとっても予測動きベクトルを確定することができる。
一方、ＬＸの予測動きベクトル候補数numMVPCandLXが２よりも小さくない場合（図４３のＳ９３０２のＮＯ）、ＬＸの予測動きベクトルリストmvpListLXのインデックスiが１より大きいすべての予測動きベクトル候補を削除し（図４３のＳ９３０６）、numMVPCandLXを２に設定して（図４３のＳ９３０７）、本予測動きベクトル候補数制限処理を終了する。
本実施の形態においては、予測動きベクトル候補数を２に規定している。なぜなら、予測動きベクトルリストに登録される予測動きベクトルの候補数が予測動きベクトルリストの構築状態に応じて変動すると、復号側では予測動きベクトルリストを構築してからでないと、予測動きベクトルインデックスをエントロピー復号することができないからである。さらに、エントロピー復号がインター参照ピクチャまたは階層間参照ピクチャの予測ブロックから導出された予測動きベクトル候補mvLXColを含む予測動きベクトルリストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もその影響を受けて正常にエントロピー復号を続けることができない問題がある。予測動きベクトル候補数を固定した数に規定すると、予測動きベクトルリストの構築と独立して、予測動きベクトルインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。
以上述べた第１の実施の形態の動画像符号化装置の階層画像符号化部、および動画像復号装置の階層画像復号部においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかをフラグsps_temporal_mvp_enabled_flagによりシーケンス単位で指定し、符号化及び復号する。さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかをフラグsps_alt_collocated_indication_flagによりシーケンス単位で指定し、符号化及び復号する。さらに、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかをフラグslice_temporal_mvp_enabled_flagによりピクチャまたはスライス単位で指定し、符号化及び復号する。さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とするとともに、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内でインター参照ピクチャまたは階層間参照ピクチャのどちらかにするかを固定しない場合には、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかをフラグslice_alt_collocated_indication_flagによりピクチャまたはスライス単位で指定し、符号化及び復号する。
実施の形態の動画像復号装置においては、上位階層の階層画像復号部のスライス情報を復号した後に、下位階層の階層画像復号部の復号で得られるインター予測情報を上位階層の符号化情報リサンプリング部２１４によりリサンプリング処理して、上位の拡張階層の階層画像復号部の復号画像メモリ２１１に格納することもできる。その際には、slice_temporal_mvp_enabled_flag が１でslice_alt_collocated_indication_flagが１の場合にのみ、本インター予測情報のリサンプリング処理および格納処理を行うことで処理を削減することができる。また、遅延を少なくするために、上位階層の階層画像復号部のスライス情報の復号開始に先行して、下位階層の階層画像復号部の復号で得られるインター予測情報を随時上位階層の符号化情報リサンプリング部２１４によりリサンプリング処理して、上位の拡張階層の階層画像復号部の復号画像メモリ２１１に格納することもできる。その際、上位階層でシーケンスを通じて下位階層のインター予測情報が利用できず同じ階層の別のピクチャのインター予測情報が利用できる状況ではシーケンス単位で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャにする際に、フラグsps_alt_collocated_indication_flagをシーケンス単位で符号化および復号することで、下位階層の階層画像復号部の復号で得られるインター予測情報を随時上位階層の符号化情報リサンプリング部２１４によりリサンプリング処理して、上位の拡張階層の階層画像復号部の復号画像メモリ２１１に格納する必要が無いことが、上位階層のスライス情報であるスライス情報を復号する前に知ることができ、その状況においてリサンプリング処理、及び格納処理を省略することで、処理量を削減することができるとともに、メモリ量を削減することができる。
さらに、上位階層でシーケンスを通じて下位階層のインター予測情報が利用できる状況でシーケンス単位で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべて階層間参照ピクチャとする際に、フラグsps_alt_collocated_indication_flagをシーケンス単位で符号化および復号することで、上位階層の階層画像復号部の復号で得られるインター予測情報を当該階層のその先のピクチャの復号のために保持しておく必要が無いことが、当該階層のスライス情報であるスライス情報を復号する前に知ることができ、その状況において必要のないメモリを解放することで、メモリ量を削減することができる。
さらに、上位階層でピクチャまたはスライスによって下位階層のインター予測情報が利用できたりできなかったりする状況では、フラグslice_alt_collocated_indication_flagをスライス単位で符号化および復号することで、ピクチャまたはスライス単位で、階層間参照ピクチャとインター階層間参照ピクチャを切り替えることができ、符号化効率を向上させることができる。
（第２の実施の形態）
次に、第２の実施の形態に係る図３の動画像符号化装置の階層画像符号化部のヘッダ情報設定部１１７で設定されて、第１符号化ビット列生成部１１８で符号化され、図４の動画像復号装置の階層画像復号部の第１符号化ビット列復号部２１２で復号される各種フラグの符号化および復号方法について説明する。
第１の実施の形態に係る拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるか、またはシーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかをフラグsps_alt_collocated_indication_flagによりシーケンス単位で指定し、符号化および復号した。すなわち、第１の実施の形態に係る動画像符号化装置および動画像復号装置においては、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをインター参照ピクチャにするか階層間参照ピクチャにするかをシーケンス単位で切り替えるかピクチャまたはスライス単位で切り替えるかをフラグsps_alt_collocated_indication_flagにより示した。
第２の実施の形態に係る拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とした場合には、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャまたは階層間参照ピクチャのどちらかに固定されるか、シーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかをフラグsps_alt_collocated_indication_fixed_flagにより符号化側でシーケンス単位で指定して符号化し、復号側で復号する。すなわち、第２の実施の形態に係る動画像符号化装置および動画像復号装置においては、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをインター参照ピクチャにするか階層間参照ピクチャにするかをシーケンス単位で切り替えるかピクチャまたはスライス単位で切り替えるかをフラグsps_alt_collocated_indication_fixed_flagにより示す。さらに、拡張階層においては、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能とするとともに、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内でインター参照ピクチャまたは階層間参照ピクチャのどちらかに固定される場合には、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャであるか、シーケンス内ですべて階層間参照ピクチャであるかをフラグsps_alt_collocated_indication_flagにより符号化側でシーケンス単位で指定して符号化し、復号側で復号する。
ここで、第２の実施の形態により動画像符号化装置の階層画像符号化部の第１符号化ビット列生成部１１８で符号化され、動画像復号装置の階層画像復号部の第１符号化ビット列復号部２１２で復号される各フラグのシンタックス構造の一例を図４６、図４９および図５０に示す。図４６は第１の実施の形態と同様に第２の実施の形態に係るシーケンス単位で階層毎に符号化および復号されるシーケンス・パラメータ・セットのシンタックス構造を説明する図であり、図４９は図４６のシーケンス・パラメータ・セットに続いて第２の実施の形態に係るシーケンス単位で符号化および復号されるシーケンス・パラメータ・セット・エクステンションのシンタックス構造を説明する図である。シーケンス・パラメータ・セットおよびシーケンス・パラメータ・セット・エクステンションはシーケンス全体に係る情報を扱い、それぞれ階層の分だけ配置される。図５０は第２の実施の形態に係るスライス単位で符号化および復号されるスライス・セグメント・ヘッダのシンタックス構造を説明する図である。スライス・セグメント・ヘッダはスライスに係る情報を扱い、スライス毎に配置される。
第２の実施の形態に係る動画像符号化装置の階層画像符号化部において、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャまたは階層間参照ピクチャのどちらかに固定されるか、シーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_fixed_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャにするか、シーケンス内ですべて階層間参照ピクチャとするかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、拡張階層の各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagのそれぞれのフラグを設定し符号化する方法について図４４のフローチャートを用いて説明する。これらのフラグは動画像符号化装置の階層画像符号化部のヘッダ情報設定部１１７で設定し、第１符号化ビット列生成部１１８に供給されて、第１符号化ビット列生成部１１８でシーケンス単位及びスライス単位のシンタックス要素として符号化される。
まず、ヘッダ情報設定部１１７はシーケンス単位のフラグの設定および符号化を行う（図４４のＳ９４０２〜Ｓ９４０７）。ヘッダ情報設定部１１７は、フラグsps_temporal_mvp_enabled_flag、フラグsps_alt_collocated_indication_fixed_flag、およびフラグsps_alt_collocated_indication_flagに値を設定する（図４４のＳ９４０２）。具体的には、シーケンス内で時間マージ候補および時間予測動きベクトル候補をマージ候補および予測動きベクトル候補とすることを可能にする場合、フラグsps_temporal_mvp_enabled_flagを１に設定し、可能にしない場合、０に設定する。さらに、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャまたは階層間参照ピクチャのどちらかに固定する場合、フラグsps_alt_collocated_indication_fixed_flagを１に設定し、シーケンス内ではどちらかに固定せずにピクチャまたはスライス毎にインター参照ピクチャと階層間参照ピクチャのいずれかを参照ピクチャcolPicとする場合、フラグsps_alt_collocated_indication_fixed_flagを０に設定する。さらに、シーケンス内ですべてインター参照ピクチャを参照ピクチャcolPicとする場合、フラグsps_alt_collocated_indication_flagを０に設定し、シーケンス内ですべて階層間参照ピクチャを参照ピクチャcolPicとする場合、１に設定する。
続いて、第１符号化ビット列生成部１１８は、シーケンス単位でフラグsps_temporal_mvp_enabled_flagをシンタックス要素として符号化する（図４４のＳ９４０３）。続いて、拡張階層では、フラグsps_temporal_mvp_enabled_flagの値が１の場合（図４４のＳ９４０４のＹＥＳ）、シーケンス単位でフラグsps_alt_collocated_indication_fixed_flagをシンタックス要素として符号化する（図４４のＳ９４０５）。続いて、フラグsps_alt_collocated_indication_fixed_flagの値が１の場合（図４４のＳ９４０６のＹＥＳ）、シーケンス単位でフラグsps_alt_collocated_indication_flagをシンタックス要素として符号化し（図４４のＳ９４０７）、フラグsps_alt_collocated_indication_fixed_flagの値が１でない場合（０の場合）（図４４のＳ９４０６のＮＯ）、ステップＳ９４０７の符号化処理をスキップして、ステップＳ９４０８に進む。一方、フラグsps_temporal_mvp_enabled_flagの値が１でない場合（０の場合）（図４４のＳ９４０４のＮＯ）、ステップＳ９４０５〜Ｓ９４０７の符号化処理をスキップして、ステップＳ９４０８に進む。
続いて、スライス単位のフラグの設定および符号化を行う（図４４のＳ９４０８〜Ｓ９４１８）。ヘッダ情報設定部１１７は、フラグslice_temporal_mvp_enabled_flag、およびフラグslice_alt_collocated_indication_flagにそれぞれ値を設定する（図４４のＳ９４０９）。具体的には、各ピクチャまたはスライス毎に各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補をマージ候補および予測動きベクトル候補とする場合、フラグslice_temporal_mvp_enabled_flagを１に設定し、候補としない場合、０に設定する。ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_temporal_mvp_enabled_flagを同じ値に設定する。さらに、各ピクチャまたはスライス毎に各ピクチャまたはスライス内でインター参照ピクチャを時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとする場合、フラグslice_alt_collocated_indication_flagを０に設定し、階層間参照ピクチャを時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicとする場合、１に設定する。ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_alt_collocated_indication_flagを同じ値に設定する。なお、シーケンス単位のフラグsps_temporal_mvp_enabled_flagの値が０の場合、スライス単位のフラグslice_temporal_mvp_enabled_flagの値は０である。また、拡張階層において、シーケンス単位のフラグsps_alt_collocated_indication_flagの値が０の場合、スライス単位のフラグslice_alt_collocated_indication_flagの値も０であり、シーケンス単位のフラグsps_alt_collocated_indication_flagの値が１の場合、スライス単位のフラグslice_alt_collocated_indication_flagの値も１である。また、下位階層に階層間参照ピクチャが存在しない場合は、フラグslice_alt_collocated_indication_flagの値を０に設定する。例えば図５に示す、階層画像Ｍ（０）のピクチャＰ１２が符号化されない場合、階層画像Ｍ（１）のピクチャＰ２２の符号化及び復号の際には、参照階層のピクチャＰ１２を参照せずに符号化及び復号を行うので、フラグslice_alt_collocated_indication_flagの値を０に設定する。
続いて、第１符号化ビット列生成部１１８は、フラグsps_temporal_mvp_enabled_flagの値が１の場合（図４４のＳ９４１０のＹＥＳ）、スライス単位でフラグslice_temporal_mvp_enabled_flagをシンタックス要素として符号化する（図４４のＳ９４１１）。
続いて、第１符号化ビット列生成部１１８は、フラグslice_temporal_mvp_enabled_flagの値が１で、sps_alt_collocated_indication_fixed_flagの値が１でない場合（０の場合）（図４４のＳ９４１３のＹＥＳ、Ｓ９４１５のＹＥＳ）、スライス単位でフラグslice_alt_collocated_indication_flagをシンタックス要素として符号化する（図４４のＳ９４１６）。一方、フラグslice_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）（図４４のＳ９４１３のＮＯ）、あるいは、フラグslice_temporal_mvp_enabled_flagの値が１で、sps_alt_collocated_indication_fixed_flagの値が１の場合（図４４のＳ９４１３のＹＥＳ、Ｓ９４１５のＮＯ）、ステップＳ９４１６のフラグslice_alt_collocated_indication_flagの符号化処理をスキップする。
以上、ステップＳ９４０９からＳ９４１６までの処理をスライス毎に繰り返す（図４４のＳ９４０８〜Ｓ９４１８）。
なお、ベース階層の符号化においては、下位階層を参照することはないので、フラグsps_alt_collocated_indication_flag、およびslice_alt_collocated_indication_flagの値を常に０とする。その際、ステップＳ９４０４〜Ｓ９４０７、及びステップＳ９４１３〜Ｓ９４１６の符号化処理を省略することができる。
次に、第２の実施の形態に係る動画像復号装置の階層画像復号部において、シーケンス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグsps_temporal_mvp_enabled_flag、拡張階層で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがシーケンス内ですべてインター参照ピクチャまたは階層間参照ピクチャのどちらかに固定されるか、シーケンス内ではどちらかに固定されずにピクチャまたはスライス単位でインター参照ピクチャまたは階層間参照ピクチャのどちらにするかが示されるかを示すフラグsps_alt_collocated_indication_fixed_flag、時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicをシーケンス内ですべてインター参照ピクチャにするか、シーケンス内ですべて階層間参照ピクチャとするかを示すフラグsps_alt_collocated_indication_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出してマージ候補および予測動きベクトル候補とすることが可能かどうかを示すフラグslice_temporal_mvp_enabled_flag、各ピクチャまたはスライス内で時間マージ候補および時間予測動きベクトル候補を導出する際に用いるインター予測情報を持つ参照ピクチャcolPicがインター参照ピクチャであるか、階層間参照ピクチャであるかを示すフラグslice_alt_collocated_indication_flagのそれぞれのフラグの復号する方法について図４５のフローチャートを用いて説明する。図４５は図４４の符号化処理手順で各フラグが符号化された符号化ビット列を復号する際の復号処理手順を示すフローチャートである。これらのフラグは動画像復号装置の階層画像復号部の第１符号化ビット列復号部２１２でシーケンス単位及びスライス単位のシンタックス要素として復号される。
まず、第１符号化ビット列復号部２１２は、シーケンス単位の情報の復号を行う（図４５のＳ９５０３〜Ｓ９５０７）。第１符号化ビット列復号部２１２は、シーケンス単位で、フラグsps_temporal_mvp_enabled_flagをシンタックス要素として復号する（図４５のＳ９５０３）。続いて、拡張階層では、フラグsps_temporal_mvp_enabled_flagの値が１の場合（図４５のＳ９５０４のＹＥＳ）、シーケンス単位でフラグsps_alt_collocated_indication_fixed_flagをシンタックス要素として復号する（図４５のＳ９５０５）。続いて、フラグsps_alt_collocated_indication_fixed_flagの値が１の場合（図４５のＳ９５０６のＹＥＳ）、シーケンス単位で、sps_alt_collocated_indication_flagをシンタックス要素として復号し（図４５のＳ９５０７）、フラグsps_alt_collocated_indication_fixed_flagの値が１でない場合（０の場合）（図４５のＳ９５０６のＮＯ）、ステップＳ９５０７の符号化処理をスキップして、ステップＳ９５０８に進む。一方、フラグsps_temporal_mvp_enabled_flagの値が１でない場合（０の場合）（図４５のＳ９５０４のＮＯ）、ステップＳ９５０５〜Ｓ９５０７の符号化処理をスキップして、ステップＳ９５０８に進む。
続いて、第１符号化ビット列復号部２１２は、スライス単位の情報の復号を行う（図４５のＳ９５０８〜Ｓ９５１８）。フラグsps_temporal_mvp_enabled_flagの値が１の場合（図４５のＳ９５１０のＹＥＳ）、スライス単位で、フラグslice_temporal_mvp_enabled_flagをシンタックス要素として復号する（図４５のＳ９５１１）。なお、ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_temporal_mvp_enabled_flagは同じ値である。
一方、フラグsps_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）（図４５のＳ９５１０のＮＯ）、シーケンス内で、時間マージ候補および動きベクトル候補をマージ候補および予測動きベクトル候補とすることが可能でないので、スライス単位のフラグslice_temporal_mvp_enabled_flagにも０に設定する（図４５のＳ９５１２）。
続いて、拡張階層では、フラグslice_temporal_mvp_enabled_flag の値が１で、フラグsps_alt_collocated_indication_fixed_flagの値が１でない場合（０の場合）（図４５のＳ９５１３のＹＥＳ、Ｓ９４１５のＹＥＳ）、スライス単位で、フラグslice_alt_collocated_indication_flagをシンタックス要素として復号する（図４５のＳ９５１６）。なお、ピクチャ単位で切り替える際にはピクチャ内のすべてのスライスのフラグslice_alt_collocated_indication_flagは同じ値である。一方、フラグsps_alt_collocated_indication_flagの値が１で、フラグsps_alt_collocated_indication_fixed_flagの値が１の場合（図４５のＳ９５１３のＹＥＳ、Ｓ９４１５のＮＯ）、シーケンス内で、階層間マージ候補および動きベクトル候補をマージ候補及び予測動きベクトル候補とすることが可能でないので、フラグslice_alt_collocated_indication_flagにフラグsps_alt_collocated_indication_flagと同じ値に設定する（図４５のＳ９５１７）。また、フラグsps_temporal_mvp_enabled_flagの値が１でない場合（値が０の場合）（図４５のＳ９５１３のＮＯ）、ステップＳ９５１４〜Ｓ９５１７の処理をスキップする。
以上、ステップＳ９５１０からＳ９５１７までの処理をスライス毎に繰り返す（図４５のＳ９５０８〜Ｓ９５１８）。
なお、ベース階層の復号においては、下位階層を参照することはないので、ステップＳ９５１３〜Ｓ９５１７の処理を省略して、フラグsps_alt_collocated_indication_flag、およびslice_alt_collocated_indication_flagの値を常に０とする。
以上述べた第２の実施の形態の動画像符号化装置および動画像復号装置においては、シーケンス全体に係る情報が階層の分だけ配置されるシーケンス・パラメータ・セット・エクステンションにフラグsps_alt_collocated_indication_fixed_flagおよびフラグsps_alt_collocated_indication_flagをそれぞれ配置した。シーケンス全体に係る情報がまとめて配置されるビデオ・パラメータ・セットまたはその後に続くビデオ・パラメータ・セット・エクステンションにフラグsps_alt_collocated_indication_fixed_flagおよびフラグsps_alt_collocated_indication_flagに相当する情報持つフラグをそれぞれ階層の分だけまとめて配置してもよい。
第１の実施の形態及び第２の実施の形態においては、シーケンス単位で、シーケンス内で時間マージ候補または時間予測マージ候補をマージ候補または予測マージ候補とすることを可能にしない、シーケンス内で時間マージ候補または時間予測マージ候補をマージ候補または予測マージ候補とすることを可能としてシーケンス内ですべて階層間参照ピクチャを参照ピクチャcolPicとする、シーケンス内で時間マージ候補または時間予測マージ候補をマージ候補または予測マージ候補とすることを可能としてシーケンス内ですべてインター参照ピクチャを参照ピクチャcolPicとする、シーケンス内で時間マージ候補または時間予測マージ候補をマージ候補または予測マージ候補とすることを可能としてシーケンス内で固定せずにピクチャまたはスライス単位で参照ピクチャcolPicを階層間参照ピクチャにするかインター参照ピクチャにするかを切り替える、の４通りを選択可能とした。
第１の実施の形態及び第２の実施の形態以外の選択方法も考えられる。例えば、シーケンス内ですべて階層間参照ピクチャを参照ピクチャcolPicとするかどうかを示すフラグをシーケンス単位で用意して符号化または復号し、シーケンス内ですべて階層間参照ピクチャを参照ピクチャcolPicとしない場合に、シーケンス内ですべてインター参照ピクチャを参照ピクチャcolPicとするかどうかを示すフラグをシーケンス単位で用意して符号化または復号してもよい。あるいは、シーケンス内ですべてインター参照ピクチャを参照ピクチャcolPicとするかどうかを示すフラグをシーケンス単位で用意して符号化または復号し、シーケンス単位ですべてインター参照ピクチャを参照ピクチャcolPicとしない場合に、シーケンス内ですべて参照間参照ピクチャを参照ピクチャcolPicとするかどうかを示すフラグをシーケンス単位で用意して符号化または復号してもよい。
また、シーケンス内ですべて階層間参照ピクチャを参照ピクチャcolPicとするかどうかを示すフラグをシーケンス単位で用意して符号化または復号し、シーケンス単位ですべて階層間参照ピクチャを参照ピクチャcolPicとしない場合に、ピクチャまたはスライス単位で階層間参照ピクチャを参照ピクチャcolPicとするかインター参照ピクチャを参照ピクチャcolPicとするかを示すフラグを符号化または復号してもよい。
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
動画像送信装置は、動画像符号化装置が出力する符号化ビット列をバッファするメモリと、符号化ビット列をパケット化するパケット処理部と、パケット化された符号化ストリームをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化ストリームをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、パケット化された符号化ストリームをパケット処理して符号化ビット列を生成し、動画像復号装置に提供するパケット処理部とを含む。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、本実施の形態の動画像符号化装置は同じ構成の階層画像符号化部を階層分だけ積み重ねた構成をとるものとして説明したが、この構成により階層ごとに並列に符号化処理を行ってもよいし、単独または階層数より少ない階層画像符号化部により下位階層のピクチャの符号化処理を行ってから上位階層のピクチャの符号化処理を行うことも可能である。同様に、動画像復号装置は同じ構成の階層画像復号部を階層分だけ積み重ねた構成をとるものとして説明したが、この構成により階層ごとに並列に復号処理を行ってもよいし、単独または階層数より少ない階層画像復号部により下位階層のピクチャの復号処理を行ってから上位階層のピクチャの復号処理を行うことも可能である。
また、動画像符号化装置の階層画像符号化部は同じ構成であるものとして説明したが、ベース階層の階層画像符号化部は下位階層の符号化情報を利用せずに符号化するので、下位階層の符号化情報を利用する階層間マージ候補導出処理、および階層間予測動きベクトル導出処理、及びそれに伴う切り替えや登録処理等を省略した構成とすることも可能である。同様に、動画像復号装置の階層画像復号部は同じ構成であるものとして説明したが、ベース階層の階層画像復号部は下位階層の符号化情報を利用せずに復号するので、下位階層の符号化情報を利用する階層間マージ候補導出処理、および階層間予測動きベクトル導出処理、及びそれに伴う切り替えや登録処理等を省略した構成とすることも可能である。
１１ 符号化制御部、 １２ 階層画像符号化部、 １３ 階層画像符号化部、 １４ 階層画像符号化部、 １５ 多重化部、 ２１ 復号制御部、 ２２ 階層画像復号部、 ２３ 階層画像復号部、 ２４ 階層画像復号部、 ２５ 分離部、 １０１ 画像メモリ、 １０２ 動きベクトル検出部、 １０３ 差分動きベクトル算出部、 １０４ インター予測情報導出部、 １０５ インター予測部、 １０６ イントラ予測部、 １０７ 予測方法決定部、 １０８ 残差信号生成部、 １０９ 直交変換・量子化部、 １１０ 第２符号化ビット列生成部、 １１１ 第３符号化ビット列生成部、 １１２ 多重化部、 １１３ 逆量子化・逆直交変換部、 １１４ 復号画像信号重畳部、 １１５ 符号化情報格納メモリ、 １１６ 復号画像メモリ、 １１７ ヘッダ情報設定部、 １１８ 第１符号化ビット列生成部、 １１９ 画像信号リサンプリング部、 １２０ 符号化情報リサンプリング部、 １３０ マージ候補リスト構築部、 １３１ マージ候補生成部、 １３２ 予測動きベクトル候補生成部、 １３３ 時間マージ候補生成部、 １３４ マージ候補登録部、 １３５ 追加マージ候補生成部、 １３６ インター予測情報選択部、 １４０ 予測動きベクトル候補リスト構築部、 １４１ 予測動きベクトル候補生成部、 １４２ 予測動きベクトル候補登録部、 １４３ 予測動きベクトル冗長候補削除部、 １４４ 予測動きベクトル候補数制限部、 １４５ 予測動きベクトル候補符号量算出部、 １４６ 予測動きベクトル選択部、 １４７ 動きベクトル減算部、 ２０１ 分離部、 ２０２ 第２符号化ビット列復号部、 ２０３ 第３符号化ビット列復号部、 ２０４ 動きベクトル算出部、 ２０５ インター予測情報導出部、 ２０６ インター予測部、 ２０７ イントラ予測部、 ２０８ 逆量子化・逆直交変換部、 ２０９ 復号画像信号重畳部、 ２１０ 符号化情報格納メモリ、 ２１１ 復号画像メモリ、 ２１２ 第１符号化ビット列復号部、 ２１３ 画像信号リサンプリング部、 ２１４ 符号化情報リサンプリング部、 ２３０ マージ候補リスト構築部、 ２３１ マージ候補生成部、 ２３２ 予測動きベクトル候補生成部、 ２３３ 時間マージ候補生成部、 ２３４ マージ候補登録部、 ２３５ 追加マージ候補生成部、 ２３６ インター予測情報選択部、 ２４０ 予測動きベクトル候補リスト構築部、 ２４１ 予測動きベクトル候補生成部、 ２４２ 予測動きベクトル候補登録部、 ２４３ 予測動きベクトル冗長候補削除部、 ２４４ 予測動きベクトル候補数制限部、 ２４５ 予測動きベクトル選択部、 ２４６ 動きベクトル加算部。

Claims (5)

  1. 画像を階層的に符号化するスケーラブル符号化を用いて、各階層のピクチャを分割したブロック単位でインター予測を用いて前記画像が符号化された符号化ビット列を復号する画像復号装置であって、
    前記符号化ビット列から、シーケンス単位で参照階層のピクチャを参照ピクチャとすることを示す値、シーケンス単位で時間的に異なるピクチャを参照ピクチャとすることを示す値、ピクチャまたはスライス単位で前記参照階層のピクチャまたは前記時間的に異なるピクチャを参照ピクチャとすることを示す値のいずれかが設定される第１パラメータを復号するパラメータ復号部と、
    前記符号化ビット列から、拡張階層における復号対象のブロックのインター予測情報として選択すべきインター予測情報の候補を特定するためのインデックスを復号する復号部と、
    前記復号対象のブロックと同一ピクチャ内の前記復号対象のブロックに空間的に近接するブロックのインター予測情報から、第１のインター予測情報の候補を導出する第１のインター予測情報導出部と、
    参照階層のピクチャ、または前記復号対象のブロックと同一階層内で時間的に異なるピクチャにおけるブロックのインター予測情報から、第２のインター予測情報の候補を導出する第２のインター予測情報導出部と、
    復号された前記インデックスに基づいて、導出されたインター予測情報の候補から、前記復号対象のブロックのインター予測情報となるインター予測情報の候補を選択する選択部とを備え、
    前記第２のインター予測情報導出部で前記参照階層のピクチャまたは前記時間的に異なるピクチャのいずれを参照ピクチャとするかをシーケンス単位で切り替えるモードと、ピクチャまたはスライス単位で切り替えるモードを選択可能なことを特徴とする画像復号装置。
  2. 前記復号対象のブロックと同一ピクチャ内の前記復号対象のブロックに空間的に近接するブロックのインター予測情報から、第１の予測動きベクトルの候補を導出する第１の予測動きベクトル導出部と、
    参照階層のピクチャ、または前記復号対象のブロックと同一階層内で時間的に異なるピクチャにおけるブロックのインター予測情報から、第２の予測動きベクトルの候補を導出する第２の予測動きベクトル導出部とをさらに備え、
    前記復号部は、前記符号化ビット列から、拡張階層における復号対象のブロックのインター予測情報として選択すべきインター予測情報の候補を特定するためのインデックス、または選択すべき予測動きベクトルの候補を特定するためのインデックスを含む符号化情報を復号し、
    前記選択部は、復号された、前記選択すべきインター予測情報の候補を特定するためのインデックスまたは前記選択すべき予測動きベクトルの候補を特定するためのインデックスをもとに、符号化の際に決定された予測方法に応じた、インター予測情報の候補または予測動きベクトルの候補を選択し、
    前記第２の予測動きベクトル導出部で前記参照階層のピクチャまたは前記時間的に異なるピクチャのいずれを参照ピクチャとするかをシーケンス単位で切り替えるモードと、ピクチャまたはスライス単位で切り替えるモードを選択可能なことを特徴とする請求項１に記載の画像復号装置。
  3. 前記第１パラメータが、ピクチャまたはスライス単位で前記参照階層のピクチャまたは前記時間的に異なるピクチャを参照ピクチャとすることを示す値の場合、前記パラメータ復号部は、前記符号化ビット列から、ピクチャまたはスライス単位で前記参照階層のピクチャを参照ピクチャとすることを示す値、ピクチャまたはスライス単位で前記時間的に異なるピクチャを参照ピクチャとすることを示す値のいずれかが設定される第２パラメータを復号することを特徴とする請求項１または２に記載の画像復号装置。
  4. 画像を階層的に符号化するスケーラブル符号化を用いて、各階層のピクチャを分割したブロック単位でインター予測を用いて前記画像が符号化された符号化ビット列を復号する画像復号方法であって、
    前記符号化ビット列から、シーケンス単位で参照階層のピクチャを参照ピクチャとすることを示す値、シーケンス単位で時間的に異なるピクチャを参照ピクチャとすることを示す値、ピクチャまたはスライス単位で前記参照階層のピクチャまたは前記時間的に異なるピクチャを参照ピクチャとすることを示す値のいずれかが設定される第１パラメータを復号するパラメータ復号ステップと、
    前記符号化ビット列から、拡張階層における復号対象のブロックのインター予測情報として選択すべきインター予測情報の候補を特定するためのインデックスを復号する復号ステップと、
    前記復号対象のブロックと同一ピクチャ内の前記復号対象のブロックに空間的に近接するブロックのインター予測情報から、第１のインター予測情報の候補を導出する第１のインター予測情報導出ステップと、
    参照階層のピクチャ、または前記復号対象のブロックと同一階層内で時間的に異なるピクチャにおけるブロックのインター予測情報から、第２のインター予測情報の候補を導出する第２のインター予測情報導出ステップと、
    復号された前記インデックスに基づいて、導出されたインター予測情報の候補から、前記復号対象のブロックのインター予測情報となるインター予測情報の候補を選択する選択ステップとを備え、
    前記第２のインター予測情報導出ステップで前記参照階層のピクチャまたは前記時間的に異なるピクチャのいずれを参照ピクチャとするかをシーケンス単位で切り替えるモードと、ピクチャまたはスライス単位で切り替えるモードを選択可能なことを特徴とする画像復号方法。
  5. 画像を階層的に符号化するスケーラブル符号化を用いて、各階層のピクチャを分割したブロック単位でインター予測を用いて前記画像が符号化された符号化ビット列を復号する画像復号プログラムであって、
    前記符号化ビット列から、シーケンス単位で参照階層のピクチャを参照ピクチャとすることを示す値、シーケンス単位で時間的に異なるピクチャを参照ピクチャとすることを示す値、ピクチャまたはスライス単位で前記参照階層のピクチャまたは前記時間的に異なるピクチャを参照ピクチャとすることを示す値のいずれかが設定される第１パラメータを復号するパラメータ復号ステップと、
    前記符号化ビット列から、拡張階層における復号対象のブロックのインター予測情報として選択すべきインター予測情報の候補を特定するためのインデックスを復号する復号ステップと、
    前記復号対象のブロックと同一ピクチャ内の前記復号対象のブロックに空間的に近接するブロックのインター予測情報から、第１のインター予測情報の候補を導出する第１のインター予測情報導出ステップと、
    参照階層のピクチャ、または前記復号対象のブロックと同一階層内で時間的に異なるピクチャにおけるブロックのインター予測情報から、第２のインター予測情報の候補を導出する第２のインター予測情報導出ステップと、
    復号された前記インデックスに基づいて、導出されたインター予測情報の候補から、前記復号対象のブロックのインター予測情報となるインター予測情報の候補を選択する選択ステップとをコンピュータに実行させ、
    前記第２のインター予測情報導出ステップで前記参照階層のピクチャまたは前記時間的に異なるピクチャのいずれを参照ピクチャとするかをシーケンス単位で切り替えるモードと、ピクチャまたはスライス単位で切り替えるモードを選択可能なことを特徴とする画像復号プログラム。
JP2013146983A 2013-07-12 2013-07-12 画像復号装置、画像復号方法及び画像復号プログラム Active JP6094409B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013146983A JP6094409B2 (ja) 2013-07-12 2013-07-12 画像復号装置、画像復号方法及び画像復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013146983A JP6094409B2 (ja) 2013-07-12 2013-07-12 画像復号装置、画像復号方法及び画像復号プログラム

Publications (2)

Publication Number Publication Date
JP2015019336A JP2015019336A (ja) 2015-01-29
JP6094409B2 true JP6094409B2 (ja) 2017-03-15

Family

ID=52439922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013146983A Active JP6094409B2 (ja) 2013-07-12 2013-07-12 画像復号装置、画像復号方法及び画像復号プログラム

Country Status (1)

Country Link
JP (1) JP6094409B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
JP2013090032A (ja) * 2011-10-14 2013-05-13 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US20140161192A1 (en) * 2011-10-20 2014-06-12 Sony Corporation Image processing device and method

Also Published As

Publication number Publication date
JP2015019336A (ja) 2015-01-29

Similar Documents

Publication Publication Date Title
WO2013099244A1 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP6015821B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6094408B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP6288237B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6226039B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP5747816B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6183505B2 (ja) 動画像符号化装置
JP6135250B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP5962877B1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6094409B2 (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP2013074468A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013131918A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP6135251B2 (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP5987615B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP5975146B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6037061B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874790B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874791B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874792B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874793B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013074467A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013131917A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013110576A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2014072773A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2014072762A (ja) 画像復号装置、画像復号方法及び画像復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170130

R150 Certificate of patent or registration of utility model

Ref document number: 6094409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150