JP6048564B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6048564B2 JP6048564B2 JP2015212445A JP2015212445A JP6048564B2 JP 6048564 B2 JP6048564 B2 JP 6048564B2 JP 2015212445 A JP2015212445 A JP 2015212445A JP 2015212445 A JP2015212445 A JP 2015212445A JP 6048564 B2 JP6048564 B2 JP 6048564B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- unit
- prediction unit
- layer
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本開示は、画像処理装置及び画像処理方法に関する。
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して画像の情報量を圧縮する、Ｈ．２６ｘ（ITU-T Q6/16 VCEG）標準及びＭＰＥＧ（Moving Picture Experts Group）−ｙ標準などの圧縮技術が普及している。ＭＰＥＧ４の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な、Ｈ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding；ＡＶＣ）という名称の国際的な標準規格が策定された。
これら画像符号化方式において重要な技術の１つに、フレーム間予測がある。フレーム間予測では、符号化される画像の内容が参照画像を用いて予測され、予測画像と実際の画像との差分のみが符号化される。それにより、符号量の圧縮が実現される。しかし、一連の画像内で物体が大きく動いている場合、予測画像と実際の画像との差分が大きくなり、単純なフレーム間予測では高い圧縮率を得ることができない。そこで、物体の動きを動きベクトルとして認識し、動きが現れている領域の画素値を動きベクトルに応じて補償することで、フレーム間予測における予測誤差の低減が図られる。このような手法を、動き補償という。
Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣ（High Efficiency Video Coding）ＨＥＶＣでは、画像内の各符号化単位（ＣＵ：Coding Unit）がさらに１つ以上の予測単位（ＰＵ：Prediction Unit）に区分され、各予測単位に動きベクトルを設定することができる。ＨＥＶＣの予測単位のサイズ及び形状はＨ．２６４／ＡＶＣのブロックよりも多様であり、物体の動きをより正確に動き補償に反映させることができる（下記非特許文献１参照）。下記非特許文献２は、動きベクトルの符号量を削減するために、動きの空間的相関又は時間的相関を利用して動きベクトルを予測し、予測動きベクトルと実際の動きベクトルとの差分のみを符号化する技術を提案している。下記非特許文献３は、画像内で隣り合うブロックのうち動き情報が共通するブロックをマージ（併合）することで、動き情報の符号量を削減することを提案している。
上述した画像符号化方式において重要なもう１つの技術は、スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）である。スケーラブル符号化とは、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding meeting: Geneva, CH, 21-28 July, 2010
VCEG-AI22， "Motion Vector Coding with Optimal PMV Selection"， Jungyoup Yang, et al， July, 2008
JCTVC-A116， "Video Coding Technology Proposal by Fraunhofer HHI"，M.Winken， et al， April, 2010
上述した非特許文献２により提案されている手法及び非特許文献３により提案されている手法は、スケーラブル符号化を前提としていない。スケーラブル符号化される画像の各レイヤについてこれら既存の手法を適用すれば、ある程度の符号量の削減を見込むことはできる。しかしながら、スケーラブル符号化の種類によっては、レイヤ間の動きの相関が顕著である。従って、そのようなレイヤ間の動きの相関を活用して符号化効率を高めることが有益である。
そこで、本開示に係る技術は、スケーラブル符号化される画像のレイヤ間の動きの相関を活用して、符号化効率を高めることを目的とする。
本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を取得する情報取得部と、前記情報取得部により取得される前記設定情報を用いて、前記第２の予測単位に動きベクトルを設定する動きベクトル設定部と、を備える画像処理装置が提供される。
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
また、本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を取得することと、取得された前記設定情報を用いて、前記第２の予測単位に動きベクトルを設定することと、を含む画像処理方法が提供される。
また、本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を生成する情報生成部と、前記情報生成部により生成される前記設定情報を符号化する符号化部と、を備える画像処理装置が提供される。
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
また、本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を生成することと、生成された前記設定情報を符号化することと、を含む画像処理方法が提供される。
本開示によれば、スケーラブル符号化される画像のレイヤ間の動きの相関を活用することにより、符号化効率が一層高められる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．画像符号化装置の構成例
２．動き探索部の詳細な構成例
２−１．第１の実施例
２−２．第２の実施例
２−３．第３の実施例
２−４．第４の実施例
３．画像復号装置の構成例
４．動き補償部の詳細な構成例
４−１．第１の実施例
４−２．第２の実施例
４−３．第３の実施例
４−４．第４の実施例
５．応用例
６．まとめ
１．画像符号化装置の構成例
２．動き探索部の詳細な構成例
２−１．第１の実施例
２−２．第２の実施例
２−３．第３の実施例
２−４．第４の実施例
３．画像復号装置の構成例
４．動き補償部の詳細な構成例
４−１．第１の実施例
４−２．第２の実施例
４−３．第３の実施例
４−４．第４の実施例
５．応用例
６．まとめ
＜１．画像符号化装置の構成例＞
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、並びに動き探索部４０を備える。
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、並びに動き探索部４０を備える。
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明するイントラ予測部３０又は動き探索部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又は動き探索部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。
セレクタ２７は、インター予測モードにおいて、動き探索部４０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、イントラ予測部３０及び動き探索部４０から出力されるコスト関数値の大きさに応じて切り替える。
イントラ予測部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
動き探索部４０は、並び替えバッファ１２から入力される原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測（フレーム間予測）のための動き探索処理を行う。本実施形態に係る動き探索部４０による動き探索処理は、上記非特許文献２に記載された手法又は上記非特許文献３に記載された手法を拡張することにより実現され得る。上記非特許文献２に記載された手法の拡張においては、動き探索部４０は、各予測単位について最適なプレディクタ（predictor）を示すプレディクタ情報を生成し得る。また、上記非特許文献３に記載された手法の拡張においては、動き探索部４０は、各予測単位について最適なマージモードを示すマージ情報を生成し得る。そして、動き探索部４０は、プレディクタ情報又はマージ情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。次節において、動き探索部４０の詳細な構成についての４つの実施例を説明する。
画像符号化装置１０は、ここで説明した一連の符号化処理を、スケーラブル符号化される画像の複数のレイヤの各々について繰り返す。最初に符号化されるレイヤは、ベースレイヤ（base layer）と呼ばれる、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、符号化効率を高めるためにベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤは、３つ以上であってもよい。その場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower layer）、依存する側のレイヤを上位レイヤ（upper layer）という。
画像符号化装置１０によるスケーラブル符号化に際しては、インター予測に関する情報を効率的に符号化するために、レイヤ間の動きの相関が利用される。即ち、インター予測ブロックにおいて、下位レイヤに設定された動きベクトルに関連する設定情報に基づく上位レイヤへの動きベクトルの設定が行われる。具体的には、図１に示した動き探索部４０は、下位レイヤでのインター予測の際に得られる情報を一時的に記憶するためのバッファを有し、当該バッファに記憶される情報を用いて上位レイヤに動きベクトルを設定する。レイヤ間の動きの相関は、特に、空間スケーラビリティ又はＳＮＲスケーラビリティに基づくスケーラブル符号化において顕著に現れ得る。
図２は、空間スケーラビリティの一例について説明するための説明図である。図２において、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３が示されている。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。このように互いに解像度が異なっているとしても、レイヤＬ１内の予測単位Ｂ１に現れる動きは、レイヤＬ２内の対応する予測単位Ｂ２及びレイヤＬ３内の対応する予測単位Ｂ３において同じように現れる可能性が高い。これが、空間スケーラビリティにおけるレイヤ間の動きの相関である。
図３は、ＳＮＲスケーラビリティの一例について説明するための説明図である。図３において、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３が示されている。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ１、Ｌ２及びＬ３の空間解像度は互いに等しい。しかし、一例として、レイヤＬ１の最小の量子化スケールは２５であり、直交変換係数の量子化によって符号化ストリームのビットレートは２Ｍｂｐｓ程度に抑えられる。一方、例えばレイヤＬ２の最小の量子化スケールは１２であり、符号化ストリームのビットレートは５Ｍｂｐｓ程度となる。また、例えばレイヤＬ３の最小の量子化スケールは０であり、符号化ストリームのビットレートは１０Ｍｂｐｓ程度となる。このように互いにビットレートが異なっているとしても、レイヤＬ１内の予測単位Ｂ１に現れる動きは、レイヤＬ２内の対応する予測単位Ｂ２及びレイヤＬ３内の対応する予測単位Ｂ３において同じように現れる可能性が高い。これが、ＳＮＲスケーラビリティにおけるレイヤ間の動きの相関である。
本実施形態に係る画像符号化装置１０は、これらのようなレイヤ間の動きの相関を積極的に活用して、インター予測に関する情報を効率的に符号化する。
なお、上位レイヤの予測単位に対応する下位レイヤの予測単位とは、例えば、上位レイヤの予測単位の所定の位置（例えば、左上）の画素に対応する画素を有する、下位レイヤの予測単位であってよい。このような定義により、下位レイヤの複数の予測単位を統合するような上位レイヤの予測単位が存在したとしても、上位レイヤの予測単位に対応する下位レイヤの予測単位を一意に決定することができる。その代わりに、上位レイヤの予測単位に対応する下位レイヤの予測単位とは、例えば、上位レイヤの予測単位と重なる（同じ位置の画素を共有する）下位レイヤ内の予測単位のうち重なりの最も大きい（共有される画素数の最も多い）予測単位であってもよい。このような定義により、動きの相関が最も現れ易い予測単位を「対応する予測単位」として決定することができる。
＜２．動き探索部の詳細な構成例＞
本節では、図１に示した動き探索部４０の詳細な構成についての４つの実施例を説明する。その４つの実施例のうち、第１及び第２の実施例は、上記非特許文献２に記載された手法の拡張についての実施例である。一方、第３及び第４の実施例は、上記非特許文献３に記載された手法の拡張についての実施例である。
本節では、図１に示した動き探索部４０の詳細な構成についての４つの実施例を説明する。その４つの実施例のうち、第１及び第２の実施例は、上記非特許文献２に記載された手法の拡張についての実施例である。一方、第３及び第４の実施例は、上記非特許文献３に記載された手法の拡張についての実施例である。
［２−１．第１の実施例］
図４は、第１の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図４を参照すると、動き探索部４０は、探索制御部１４１、動きベクトル算出部１４２、動きベクトル予測部１４３、動きベクトルバッファ１４４、モード選択部１４５、情報生成部１４６及びプレディクタ情報バッファ１４７を有する。
図４は、第１の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図４を参照すると、動き探索部４０は、探索制御部１４１、動きベクトル算出部１４２、動きベクトル予測部１４３、動きベクトルバッファ１４４、モード選択部１４５、情報生成部１４６及びプレディクタ情報バッファ１４７を有する。
（１）ベースレイヤ
ベースレイヤの動き探索処理において、探索制御部１４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部１４２に動きベクトルを算出させる。動きベクトル算出部１４２により算出された動きベクトルは、動きベクトル予測部１４３へ出力されると共に、動きベクトルバッファ１４４に記憶される。動きベクトル予測部１４３は、複数のプレディクタ候補の各々に従い、動きベクトルバッファ１４４に記憶されている他のブロックの動きベクトル（参照動きベクトルという）を用いて予測動きベクトルを生成する。そして、動きベクトル予測部１４３は、動きベクトル算出部１４２により算出された動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出する。モード選択部１４５は、動きベクトル算出部１４２により算出された動きベクトルを用いて予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいて計算されるコスト関数値を評価する。そして、モード選択部１４５は、コスト関数値を最小にする最適な予測単位の配置と各予測単位についての最適なプレディクタとを選択する。情報生成部１４６は、各予測単位について選択された最適なプレディクタを示すプレディクタ情報及び対応する差分動きベクトルを示す差分動きベクトル情報を含むインター予測に関する情報を生成する。例えば、プレディクタ情報は、参照動きベクトルを特定するインデックスを含んでもよい。また、プレディクタ情報は、予測式を特定するパラメータを含んでもよい。そして、情報生成部１４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。また、情報生成部１４６により生成されるプレディクタ情報は、上位レイヤでの処理のために、プレディクタ情報バッファ１４７に一時的に記憶される。
ベースレイヤの動き探索処理において、探索制御部１４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部１４２に動きベクトルを算出させる。動きベクトル算出部１４２により算出された動きベクトルは、動きベクトル予測部１４３へ出力されると共に、動きベクトルバッファ１４４に記憶される。動きベクトル予測部１４３は、複数のプレディクタ候補の各々に従い、動きベクトルバッファ１４４に記憶されている他のブロックの動きベクトル（参照動きベクトルという）を用いて予測動きベクトルを生成する。そして、動きベクトル予測部１４３は、動きベクトル算出部１４２により算出された動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出する。モード選択部１４５は、動きベクトル算出部１４２により算出された動きベクトルを用いて予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいて計算されるコスト関数値を評価する。そして、モード選択部１４５は、コスト関数値を最小にする最適な予測単位の配置と各予測単位についての最適なプレディクタとを選択する。情報生成部１４６は、各予測単位について選択された最適なプレディクタを示すプレディクタ情報及び対応する差分動きベクトルを示す差分動きベクトル情報を含むインター予測に関する情報を生成する。例えば、プレディクタ情報は、参照動きベクトルを特定するインデックスを含んでもよい。また、プレディクタ情報は、予測式を特定するパラメータを含んでもよい。そして、情報生成部１４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。また、情報生成部１４６により生成されるプレディクタ情報は、上位レイヤでの処理のために、プレディクタ情報バッファ１４７に一時的に記憶される。
図５及び図６は、このようなインター予測において使用され得る、動きベクトルの予測のためのプレディクタ候補の例について説明するための説明図である。図５を参照すると、予測対象である１つの予測単位ＰＴｅ、及び予測単位ＰＴｅの予測動きベクトルＰＭＶｅが示されている。予測単位ＰＴｅの予測動きベクトルＰＭＶｅは、例えば、予測単位ＰＴｅに隣接する予測単位の動きベクトルＭＶａ、ＭＶｂ及びＭＶｃを参照動きベクトルとして用いて予測され得る。参照動きベクトルＭＶａは、予測単位ＰＴｅの左に隣接する予測単位に設定された動きベクトルである。参照動きベクトルＭＶｂは、予測単位ＰＴｅの上に隣接する予測単位に設定された動きベクトルである。参照動きベクトルＭＶｃは、予測単位ＰＴｅの右上に隣接する予測単位に設定された動きベクトルである。予測動きベクトルＰＭＶｅは、これら参照動きベクトルＭＶａ、ＭＶｂ及びＭＶｃを用いて、次のような予測式に従って生成され得る。
式（１）は、動きの空間的相関に基づく予測式である。式（１）におけるｍｅｄはメディアンオペレーションを表す。即ち、式（１）によれば、予測動きベクトルＰＭＶｅは、参照動きベクトルＭＶａ、ＭＶｂ及びＭＶｃの水平成分の中央値と垂直成分の中央値とを成分とするベクトルである。式（１）に従って生成される予測動きベクトルＰＭＶｅは、プレディクタ候補の一例である。このような動きの空間的相関に基づく予測式によって算出される予測動きベクトルを、空間的プレディクタ（spatial predictor）という。
なお、式（１）は予測式の一例に過ぎない。例えば、予測対象の予測単位が画像の端部に位置するために、動きベクトルＭＶａ、ＭＶｂ又はＭＶｃのいずれかが存在しない場合には、存在しない動きベクトルは、メディアンオペレーションの引数から省略されてもよい。また、次の式（２）〜式（４）のように、より単純な空間的プレディクタもまたプレディクタ候補として使用されてよい。
一方、動きの時間的相関に基づく予測式によって算出される予測動きベクトルである時間的プレディクタ（temporal predictor）もまた、プレディクタ候補として使用され得る。図６を参照すると、予測対象の予測単位ＰＴｅを含む画像ＩＭ０１、及び参照画像ＩＭ０２が示されている。参照画像ＩＭ０２内のブロックＢｃｏｌは、予測単位ＰＴｅのコロケーテッドブロックである。動きの時間的相関を利用する予測式は、例えば、このコロケーテッドブロックＢｃｏｌ又はコロケーテッドブロックＢｃｏｌに隣接するブロックに設定された動きベクトルを参照動きベクトルとして使用する。
例えば、コロケーテッドブロックＢｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、コロケーテッドブロックＢｃｏｌの上、左、下、右、左上、左下、右下及び右上のブロックに設定された動きベクトルを、それぞれＭＶｔ０〜ＭＶｔ７とする。すると、予測動きベクトルＰＭＶｅは、例えば、次の予測式（５）又は（６）を用いて、参照動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７から生成され得る。
動きベクトル予測部１４３は、これら複数のプレディクタ候補の各々について予測動きベクトルＰＭＶｅを生成した後、次式のように、動きベクトル算出部１４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。
そして、モード選択部１４５により各予測単位についての最適なプレディクタ（例えば、予測精度の最も高いプレディクタ）が選択され、情報生成部１４６により当該最適なプレディクタを示すプレディクタ情報と対応する差分動きベクトルを示す差分動きベクトル情報とが生成される。動きベクトルの予測が行われない予測単位については、差分動きベクトル情報の代わりに、動きベクトル算出部１４２により算出された動きベクトルを示す動きベクトル情報が生成されてよい。このように生成された情報は、インター予測に関する情報として可逆符号化部１６により符号化され得る。プレディクタ情報は、上位レイヤでの処理のために、プレディクタ情報バッファ１４７に一時的に記憶される。
（２）エンハンスメントレイヤ
エンハンスメントレイヤの動き探索処理では、プレディクタ情報バッファ１４７に記憶されている下位レイヤのプレディクタ情報に基づく動きベクトルの予測が行われる。
エンハンスメントレイヤの動き探索処理では、プレディクタ情報バッファ１４７に記憶されている下位レイヤのプレディクタ情報に基づく動きベクトルの予測が行われる。
まず、探索制御部１４１は、符号化単位内に配置される各予測単位について、動きベクトル算出部１４２に動きベクトルを算出させる。そして、探索制御部１４１は、各予測単位について、動きベクトル予測部１４３に予測動きベクトルを生成させる。エンハンスメントレイヤにおける動きベクトル予測部１４３による予測動きベクトルの生成は、プレディクタ情報バッファ１４７に記憶されている設定情報であるプレディクタ情報を用いて行われる。より具体的には、例えば、ある上位レイヤ内の予測単位に対応する下位レイヤ内の予測単位についてプレディクタ情報が式（１）に示したような空間的プレディクタを示している場合、動きベクトル予測部１４３は、上位レイヤ内の隣接予測単位の参照動きベクトルを動きベクトルバッファ１４４から取得する。そして、動きベクトル予測部１４３は、取得した参照動きベクトルを式（１）に代入し、予測動きベクトルを生成する。また、例えば、ある上位レイヤ内の予測単位に対応する下位レイヤ内の予測単位についてプレディクタ情報が式（５）に示したような時間的プレディクタを示している場合、動きベクトル予測部１４３は、参照画像内のコロケーテッドブロック及び当該コロケーテッドブロックの隣接ブロックの参照動きベクトルを動きベクトルバッファ１４４から取得する。そして、動きベクトル予測部１４３は、取得した参照動きベクトルを式（５）に代入し、予測動きベクトルを生成する。さらに、動きベクトル予測部１４３は、動きベクトル算出部１４２により算出された動きベクトルと予測動きベクトルとの差分を表す差分動きベクトルを算出する。モード選択部１４５は、動きベクトル算出部１４２により算出された動きベクトルを用いて予測画像データを生成し、コスト関数値を計算する。情報生成部１４６は、各予測単位について算出された差分動きベクトルを示す差分動きベクトル情報を生成する。そして、情報生成部１４６は、差分動きベクトル情報を含むインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
（３）処理の流れ
図７は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図７を参照すると。まず、動き探索部４０は、ベースレイヤの動き探索処理を行う（ステップＳ１１０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位の最適なプレディクタが選択される。プレディクタ情報バッファ１４７は、各予測単位の最適なプレディクタを示すプレディクタ情報を設定情報としてバッファリングする。
図７は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図７を参照すると。まず、動き探索部４０は、ベースレイヤの動き探索処理を行う（ステップＳ１１０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位の最適なプレディクタが選択される。プレディクタ情報バッファ１４７は、各予測単位の最適なプレディクタを示すプレディクタ情報を設定情報としてバッファリングする。
ステップＳ１１１〜Ｓ１１７の処理は、エンハンスメントレイヤの動き探索処理である。これら処理のうちステップＳ１１１〜Ｓ１１６の処理は、各エンハンスメントレイヤの各予測単位（以下、注目ＰＵという）について繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、動きベクトル算出部１４２は、上位レイヤの１つの注目ＰＵについて、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する（ステップＳ１１１）。そして、動きベクトル算出部１４２は、算出した動きベクトルを、動きベクトル予測部１４３及び動きベクトルバッファ１４４へ出力する。
次に、動きベクトル予測部１４３は、プレディクタ情報バッファ１４７に記憶されている下位レイヤ内の対応するＰＵについてのプレディクタ情報と、プレディクタ情報に従って取得される参照動きベクトルとを用いて、注目ＰＵについての予測動きベクトルを生成する（ステップＳ１１２）。次に、動きベクトル予測部１４３は、動きベクトルから予測動きベクトルを減算することにより、差分動きベクトルを算出する（ステップＳ１１３）。そして、動きベクトル予測部１４３は、注目ＰＵについての動きベクトル及び差分動きベクトルをモード選択部１４５へ出力する。
次に、モード選択部１４５は、注目ＰＵについての予測画像データ及びコスト関数値を生成する（ステップＳ１１４）。また、情報生成部１４６は、注目ＰＵについての差分動きベクトルを示す差分動きベクトル情報を生成する（ステップＳ１１５）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ１１１に戻る（ステップＳ１１６）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１１７）。ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１１１以降の処理が繰り返される。下位レイヤについて選択されたプレディクタを示すプレディクタ情報は、プレディクタ情報バッファ１４７により引き続きバッファリングされる。残りのレイヤが存在しない場合には、図７の動き探索処理は終了する。ここで生成された予測画像データ及び（差分動きベクトル情報を含み得る）インター予測に関する情報は、スイッチ２７を介して、減算部１３及び可逆符号化部１６へそれぞれ出力され得る。
このように、第１の実施例では、上位レイヤのインター予測に関する情報としてプレディクタ情報が符号化されず、下位レイヤのプレディクタ情報が再利用されるため、インター予測に関する情報の符号量を削減することができる。
［２−２．第２の実施例］
図８は、第２の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図８を参照すると、動き探索部４０は、探索制御部２４１、動きベクトル算出部２４２、動きベクトル予測部２４３、動きベクトルバッファ２４４、モード選択部２４５及び情報生成部２４６を有する。
図８は、第２の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図８を参照すると、動き探索部４０は、探索制御部２４１、動きベクトル算出部２４２、動きベクトル予測部２４３、動きベクトルバッファ２４４、モード選択部２４５及び情報生成部２４６を有する。
（１）ベースレイヤ
本実施例に係るベースレイヤの動き探索処理は、上述した第１の実施例に係るベースレイヤの動き探索処理と同様であってよい。但し、本実施例では、ベースレイヤのプレディクタ情報はバッファリングされなくてよく、ベースレイヤの動きベクトル情報がレイヤをまたいでバッファリングされる。ベースレイヤの動き探索処理において、探索制御部２４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部２４２に動きベクトルを算出させる。動きベクトル算出部２４２により算出された動きベクトルは、動きベクトル予測部２４３へ出力されると共に、動きベクトルバッファ２４４に記憶される。動きベクトル予測部２４３は、複数のプレディクタ候補の各々に従い、動きベクトルバッファ２４４に記憶されている参照動きベクトルを用いて予測動きベクトルを生成する。そして、動きベクトル予測部２４３は、動きベクトル算出部２４２により算出された動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出する。モード選択部２４５は、動きベクトル算出部２４２により算出された動きベクトルを用いて予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいて計算されるコスト関数値を評価する。そして、モード選択部２４５は、コスト関数値を最小にする最適な予測単位の配置と各予測単位についての最適なプレディクタとを選択する。情報生成部２４６は、各予測単位について選択された最適なプレディクタを示すプレディクタ情報及び対応する差分動きベクトルを示す差分動きベクトル情報を含むインター予測に関する情報を生成する。そして、情報生成部２４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
本実施例に係るベースレイヤの動き探索処理は、上述した第１の実施例に係るベースレイヤの動き探索処理と同様であってよい。但し、本実施例では、ベースレイヤのプレディクタ情報はバッファリングされなくてよく、ベースレイヤの動きベクトル情報がレイヤをまたいでバッファリングされる。ベースレイヤの動き探索処理において、探索制御部２４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部２４２に動きベクトルを算出させる。動きベクトル算出部２４２により算出された動きベクトルは、動きベクトル予測部２４３へ出力されると共に、動きベクトルバッファ２４４に記憶される。動きベクトル予測部２４３は、複数のプレディクタ候補の各々に従い、動きベクトルバッファ２４４に記憶されている参照動きベクトルを用いて予測動きベクトルを生成する。そして、動きベクトル予測部２４３は、動きベクトル算出部２４２により算出された動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出する。モード選択部２４５は、動きベクトル算出部２４２により算出された動きベクトルを用いて予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいて計算されるコスト関数値を評価する。そして、モード選択部２４５は、コスト関数値を最小にする最適な予測単位の配置と各予測単位についての最適なプレディクタとを選択する。情報生成部２４６は、各予測単位について選択された最適なプレディクタを示すプレディクタ情報及び対応する差分動きベクトルを示す差分動きベクトル情報を含むインター予測に関する情報を生成する。そして、情報生成部２４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
（２）エンハンスメントレイヤ
本実施例に係るベースレイヤの動き探索処理において探索されるプレディクタ候補は、上述した空間的プレディクタ及び時間的プレディクタの一方又は双方を含んでよい。さらに、本実施例に係るエンハンスメントレイヤの動き探索処理では、追加的なプレディクタ候補が導入される。ここで導入されるプレディクタ候補は、下位レイヤの対応する予測単位に設定された動きベクトルを参照動きベクトルとするプレディクタ候補である。このようなプレディクタを、本明細書では、レイヤ間プレディクタという。
本実施例に係るベースレイヤの動き探索処理において探索されるプレディクタ候補は、上述した空間的プレディクタ及び時間的プレディクタの一方又は双方を含んでよい。さらに、本実施例に係るエンハンスメントレイヤの動き探索処理では、追加的なプレディクタ候補が導入される。ここで導入されるプレディクタ候補は、下位レイヤの対応する予測単位に設定された動きベクトルを参照動きベクトルとするプレディクタ候補である。このようなプレディクタを、本明細書では、レイヤ間プレディクタという。
図９は、レイヤ間プレディクタの一例について説明するための説明図である。図９を参照すると、上位レイヤであるレイヤＬ１２内の予測単位ＰＴｅ、及び予測単位ＰＴｅの予測動きベクトルＰＭＶｅが示されている。下位レイヤであるレイヤＬ１１内の予測単位ＰＴｂａｓｅは、予測単位ＰＴｅに対応する予測単位である。参照動きベクトルＭＶｂａｓｅは、予測単位ＰＴｂａｓｅに設定された動きベクトルである。レイヤ間プレディクタは、例えば次の式（８）により表され得る。
なお、下位レイヤと上位レイヤとで空間解像度が異なる場合には、下位レイヤと上位レイヤとの間の空間解像度の比率Ｎに応じて次式のように拡大された動きベクトルが、レイヤ間プレディクタとして用いられてもよい。その際、レイヤ間プレディクタの垂直成分及び水平成分の値は、上位レイヤの動きベクトルの精度（例えば、１／４画素精度など）に適合するように丸められ得る。
第１の実施例と異なり、本実施例では、エンハンスメントレイヤの動き探索処理においても、複数のプレディクタ候補からの最適なプレディクタの選択が行われる。
まず、探索制御部２４１は、符号化単位内の各予測単位について動きベクトル算出部２４２に動きベクトルを算出させる。動きベクトル算出部２４２により算出された動きベクトルは、動きベクトル予測部２４３へ出力されると共に、動きベクトルバッファ２４４に記憶される。動きベクトルバッファ２４４には、下位レイヤの各予測単位について算出された動きベクトル（参照動きベクトル）もまた記憶されている。動きベクトル予測部２４３は、複数のプレディクタ候補の各々に従い、動きベクトルバッファ２４４に記憶されている参照動きベクトルを用いて予測動きベクトルを生成する。ここでの複数のプレディクタ候補は、上述したレイヤ間プレディクタを含む。そして、動きベクトル予測部２４３は、動きベクトル算出部２４２により算出された動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出する。モード選択部２４５は、動きベクトル算出部２４２により算出された動きベクトルを用いて予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいて計算されるコスト関数値を評価する。そして、モード選択部２４５は、各予測単位についての最適なプレディクタを選択する。情報生成部２４６は、各予測単位について選択された最適なプレディクタを示すプレディクタ情報及び対応する差分動きベクトルを示す差分動きベクトル情報を含むインター予測に関する情報を生成する。上述したレイヤ間プレディクタが最適なプレディクタとして選択された場合には、プレディクタ情報は、下位レイヤの参照動きベクトルを特定するインデックスを含み得る。そして、情報生成部２４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
（３）処理の流れ
図１０は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図１０を参照すると。まず、動き探索部４０は、ベースレイヤの動き探索処理を行う（ステップＳ１２０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位の最適なプレディクタが選択される。動きベクトルバッファ２４４は、各予測単位について算出された動きベクトルをバッファリングする。
図１０は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図１０を参照すると。まず、動き探索部４０は、ベースレイヤの動き探索処理を行う（ステップＳ１２０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位の最適なプレディクタが選択される。動きベクトルバッファ２４４は、各予測単位について算出された動きベクトルをバッファリングする。
ステップＳ１２１〜Ｓ１２７の処理は、エンハンスメントレイヤの動き探索処理である。これら処理のうちステップＳ１２１〜Ｓ１２６の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、動きベクトル算出部２４２は、上位レイヤの１つの注目ＰＵについて、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する（ステップＳ１２１）。そして、動きベクトル算出部２４２は、算出した動きベクトルを、動きベクトル予測部２４３及び動きベクトルバッファ２４４へ出力する。
次に、動きベクトル予測部２４３は、複数のプレディクタ候補の各々に従い、動きベクトルバッファ２４４に記憶されている参照動きベクトルを用いて、注目ＰＵについての予測動きベクトルをそれぞれ生成する（ステップＳ１２２）。ここでの複数のプレディクタ候補は、レイヤ間プレディクタを含む。次に、動きベクトル予測部２４３は、複数のプレディクタ候補の各々について、差分動きベクトルをそれぞれ算出する（ステップＳ１２３）。そして、動きベクトル予測部２４３は、各プレディクタ候補についての動きベクトル及び差分動きベクトルをモード選択部２４５へ出力する。
次に、モード選択部２４５は、各プレディクタ候補について予測画像データを生成し、コスト関数値を評価することにより最適なプレディクタを選択する（ステップＳ１２４）。そして、情報生成部２４６は、選択された最適なプレディクタを示すプレディクタ情報及び対応する差分動きベクトルを示す差分動きベクトル情報を生成する（ステップＳ１２５）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ１２１に戻る（ステップＳ１２６）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１２７）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１２１以降の処理が繰り返される。下位レイヤの各注目ＰＵについて算出された動きベクトルは、動きベクトルバッファ２４４によりバッファリングされる。残りのレイヤが存在しない場合には、図１０の動き探索処理は終了する。ここで生成された予測画像データ及び（プレディクタ情報と差分動きベクトル情報とを含み得る）インター予測に関する情報は、スイッチ２７を介して、減算部１３及び可逆符号化部１６へそれぞれ出力され得る。
このように、第２の実施例では、上位レイヤのインター予測に関する情報として、下位レイヤに設定された動きベクトルに基づくレイヤ間プレディクタを使用すべきことを示すプレディクタ情報が符号化され得る。従って、動きの相関の顕著な下位レイヤの対応する予測単位に基づく動きベクトルの予測が可能となる。よって、動きベクトルの予測の精度が高められる結果、差分動きベクトルの符号量を削減することができる。
なお、プレディクタ情報を符号化する可逆符号化部１６は、上位レイヤのプレディクタ情報の符号化において、複数のプレディクタ候補の中でレイヤ間プレディクタに最小の符号番号を割り当ててよい。通常、レイヤ間の動きの相関は、動きの空間的な相関及び動きの時間的な相関よりも強い。従って、レイヤ間プレディクタに最小の符号番号を割り当てることで、可変長符号化後の符号化ストリームにおいてより短い符号語をより多く使用することが可能となり、符号量の一層の削減が図られる。
［２−３．第３の実施例］
図１１は、第３の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図１１を参照すると、動き探索部４０は、探索制御部３４１、動きベクトル算出部３４２、動きベクトルバッファ３４４、モード選択部３４５、情報生成部３４６及びマージ情報バッファ３４７を有する。
図１１は、第３の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図１１を参照すると、動き探索部４０は、探索制御部３４１、動きベクトル算出部３４２、動きベクトルバッファ３４４、モード選択部３４５、情報生成部３４６及びマージ情報バッファ３４７を有する。
（１）ベースレイヤ
ベースレイヤの動き探索処理において、探索制御部３４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部３４２に動きベクトルを算出させる。動きベクトル算出部３４２により算出された動きベクトルは、モード選択部３４５へ出力されると共に、動きベクトルバッファ３４４に記憶される。モード選択部３４５は、ある予測単位について動きベクトル算出部３４２により算出された動きベクトルが隣接する１つ以上の予測単位に設定された参照動きベクトルと共通である場合に、これら予測単位をマージすることを決定する。上記非特許文献３により提案されている手法では、ある予測単位は、上に隣接する予測単位又は左に隣接する予測単位とマージされ得る。即ち、モード選択部３４５は、例えば、マージモードとして、上に隣接する予測単位とのマージ、左に隣接する予測単位とのマージ、又はマージなし、のいずれかを選択し得る。さらに、モード選択部３４５は、各予測単位について予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいてコスト関数値を計算する。情報生成部３４６は、各予測単位についてのマージモードを示すマージ情報と、他の予測単位とマージされない予測単位についての動きベクトル情報とを含むインター予測に関する情報を生成する。そして、情報生成部３４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
ベースレイヤの動き探索処理において、探索制御部３４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部３４２に動きベクトルを算出させる。動きベクトル算出部３４２により算出された動きベクトルは、モード選択部３４５へ出力されると共に、動きベクトルバッファ３４４に記憶される。モード選択部３４５は、ある予測単位について動きベクトル算出部３４２により算出された動きベクトルが隣接する１つ以上の予測単位に設定された参照動きベクトルと共通である場合に、これら予測単位をマージすることを決定する。上記非特許文献３により提案されている手法では、ある予測単位は、上に隣接する予測単位又は左に隣接する予測単位とマージされ得る。即ち、モード選択部３４５は、例えば、マージモードとして、上に隣接する予測単位とのマージ、左に隣接する予測単位とのマージ、又はマージなし、のいずれかを選択し得る。さらに、モード選択部３４５は、各予測単位について予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいてコスト関数値を計算する。情報生成部３４６は、各予測単位についてのマージモードを示すマージ情報と、他の予測単位とマージされない予測単位についての動きベクトル情報とを含むインター予測に関する情報を生成する。そして、情報生成部３４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
本実施例において生成されるマージ情報は、例えば、「MergeFlag」及び「MergeLeftFlag」という２つのフラグを含み得る。MergeFlagは、注目ＰＵの動きベクトルが少なくとも１つの隣接ＰＵの動きベクトルと共通であるか否かを示すフラグである。例えば、MergeFlag＝１の場合、注目ＰＵの動きベクトルは少なくとも１つの隣接ＰＵの動きベクトルと共通である。MergeFlag＝０の場合、注目ＰＵの動きベクトルはいずれの隣接ＰＵの動きベクトルとも異なる。MergeFlag＝０の場合、MergeLeftFlagは符号化されず、その代わりに注目ＰＵについて動きベクトル（及び参照画像情報などの動き情報）が符号化される。MergeFlag＝１であって、２つの隣接ＰＵの動きベクトルが共通である場合にも、MergeLeftFlagは符号化されなくてよい。
MergeLeftFlagは、注目ＰＵの動きベクトルが左の隣接ＰＵの動きベクトルと共通であるか否かを示すフラグである。例えば、MergeLeftFlag＝１の場合、注目ＰＵの動きベクトルは左の隣接ＰＵの動きベクトルと共通である。MergeLeftFlag＝０の場合、注目ＰＵの動きベクトルは、左の隣接ＰＵの動きベクトルと異なり、上の隣接ＰＵの動きベクトルと共通である。
図１２Ａ〜図１２Ｃは、本実施例において生成され得るマージ情報の例をそれぞれ示している。これら３つの図において、レイヤＬ２１内の注目ＰＵである予測単位Ｂ２０が示されている。予測単位Ｂ２１及びＢ２２は、それぞれ予測単位Ｂ２０の左及び上に隣接している。動きベクトルＭＶ２０は、予測単位Ｂ２０について動きベクトル算出部３４２により算出された動きベクトルである。動きベクトルＭＶ２１及びＭＶ２２は、それぞれ予測単位Ｂ２１及びＢ２２に設定された参照動きベクトルである。
図１２Ａの例において、動きベクトルＭＶ２０は、参照動きベクトルＭＶ２１及びＭＶ２２の双方と共通である。この場合、情報生成部３４６は、マージ情報として、MergeFlag＝１を生成する。MergeLeftFlagは、マージ情報には含められない。このようなマージ情報を受け取った復号側は、MergeLeftFlagを復号することなく、予測単位Ｂ２１又はＢ２２に設定された動きベクトルと共通の動きベクトルを予測単位Ｂ２０に設定し得る。
図１２Ｂの例において、動きベクトルＭＶ２０は、参照動きベクトルＭＶ２１と共通であり、参照動きベクトルＭＶ２２と異なる。この場合、情報生成部３４６は、マージ情報として、MergeFlag＝１及びMergeLeftFlag＝１を生成する。このようなマージ情報を受け取った復号側は、予測単位Ｂ２１に設定された動きベクトルと共通の動きベクトルを予測単位Ｂ２０に設定し得る。
図１２Ｃの例において、動きベクトルＭＶ２０は、参照動きベクトルＭＶ２２と共通であり、参照動きベクトルＭＶ２１と異なる。この場合、情報生成部３４６は、マージ情報として、MergeFlag＝１及びMergeLeftFlag＝０を生成する。このようなマージ情報を受け取った復号側は、予測単位Ｂ２２に設定された動きベクトルと共通の動きベクトルを予測単位Ｂ２０に設定し得る。
（２）エンハンスメントレイヤ
エンハンスメントレイヤの動き探索処理では、マージ情報バッファ３４７に記憶されている下位レイヤのマージ情報を用いて、各予測単位に動きベクトルが設定される。
エンハンスメントレイヤの動き探索処理では、マージ情報バッファ３４７に記憶されている下位レイヤのマージ情報を用いて、各予測単位に動きベクトルが設定される。
まず、探索制御部３４１は、上位レイヤの符号化単位内の各予測単位に対応する下位レイヤ内の予測単位についてのマージ情報をマージ情報バッファ３４７から取得する。そして、探索制御部３４１は、取得したマージ情報がマージなしを示している場合（例えば、MergeFlag＝０）には、上位レイヤの当該予測単位について動きベクトル算出部３４２に動きベクトルを算出させる。動きベクトル算出部３４２により算出された動きベクトルは、モード選択部３４５へ出力されると共に、動きベクトルバッファ３４４に記憶される。一方、探索制御部３４１は、取得したマージ情報が他の予測単位とのマージを示している場合には、上位レイヤの当該予測単位について動きベクトル算出部３４２に動きベクトルを算出させない。その代わりに、モード選択部３４５は、他の予測単位とマージされる予測単位について、動きベクトルバッファ３４４から取得される（マージ先の予測単位の）動きベクトル（例えば、MergeLeftFlag＝１であれば、左に隣接する予測単位の動きベクトル）を用いて予測画像データを生成し、及びコスト関数値を計算する。一方、モード選択部３４５は、他の予測単位とマージされない予測単位については、動きベクトル算出部３４２から入力される動きベクトルを用いて予測画像データを生成し、及びコスト関数値を計算する。情報生成部３４６は、他の予測単位とマージされない予測単位についての動きベクトル情報を含むインター予測に関する情報を生成する。そして、情報生成部３４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
（３）処理の流れ
図１３は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図１３を参照すると。まず、動き探索部３４１は、ベースレイヤの動き探索処理を行う（ステップＳ１３０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位のマージモードが選択される。動きベクトルバッファ３４４は、各予測単位について算出された動きベクトルをバッファリングする。マージ情報バッファ３４７は、各予測単位について選択されたマージモードを示すマージ情報を設定情報としてバッファリングする。
図１３は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図１３を参照すると。まず、動き探索部３４１は、ベースレイヤの動き探索処理を行う（ステップＳ１３０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位のマージモードが選択される。動きベクトルバッファ３４４は、各予測単位について算出された動きベクトルをバッファリングする。マージ情報バッファ３４７は、各予測単位について選択されたマージモードを示すマージ情報を設定情報としてバッファリングする。
ステップＳ１３１〜Ｓ１３６の処理は、エンハンスメントレイヤの動き探索処理である。これら処理のうちステップＳ１３１〜Ｓ１３５の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、探索制御部３４１は、上位レイヤの１つの注目ＰＵについて、対応する下位レイヤのＰＵが他のＰＵとマージされているかを、マージ情報バッファ３４７に記憶されているマージ情報を参照することにより判定する（ステップＳ１３１）。ここで、対応する下位レイヤのＰＵが他のＰＵとマージされている場合には、注目ＰＵもまた他のＰＵとマージされるため、その後のステップＳ１３２の処理はスキップされる。
ステップＳ１３２において、動きベクトル算出部３４２は、他のＰＵとマージされない注目ＰＵについて、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する（ステップＳ１３２）。そして、動きベクトル算出部３４２は、算出した動きベクトルを、モード選択部３４５及び動きベクトルバッファ３４４へ出力する。
次に、モード選択部３４５は、動きベクトル算出部３４２により算出され又は動きベクトルバッファ３４４から取得される動きベクトルを用いて予測画像データを生成し、コスト関数値を計算する（ステップＳ１３３）。そして、情報生成部３４６は、他のＰＵとマージされない注目ＰＵについて動きベクトル情報を生成する（ステップＳ１３４）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ１３１に戻る（ステップＳ１３５）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１３６）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１３１以降の処理が繰り返される。下位レイヤの各注目ＰＵについて算出された動きベクトルは、動きベクトルバッファ３４４によりバッファリングされる。マージ情報は、マージ情報バッファ３４７により引き続きバッファリングされる。残りのレイヤが存在しない場合には、図１３の動き探索処理は終了する。ここで生成された予測画像データ及びインター予測に関する情報は、スイッチ２７を介して、減算部１３及び可逆符号化部１６へそれぞれ出力され得る。
このように、第３の実施例では、上位レイヤのインター予測に関する情報としてマージ情報が符号化されず、下位レイヤのマージ情報が再利用されるため、インター予測に関する情報の符号量を削減することができる。
［２−４．第４の実施例］
図１４は、第４の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図１４を参照すると、動き探索部４０は、探索制御部４４１、動きベクトル算出部４４２、動きベクトルバッファ４４４、モード選択部４４５及び情報生成部４４６を有する。
図１４は、第４の実施例に係る動き探索部４０の詳細な構成の一例を示すブロック図である。図１４を参照すると、動き探索部４０は、探索制御部４４１、動きベクトル算出部４４２、動きベクトルバッファ４４４、モード選択部４４５及び情報生成部４４６を有する。
（１）ベースレイヤ
本実施例に係るベースレイヤの動き探索処理は、上述した第３の実施例に係るベースレイヤの動き探索処理と同様であってよい。但し、本実施例では、ベースレイヤのマージ情報はバッファリングされなくてよい。ベースレイヤの動き探索処理において、探索制御部４４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部４４２に動きベクトルを算出させる。動きベクトル算出部４４２により算出された動きベクトルは、モード選択部４４５へ出力されると共に、動きベクトルバッファ４４４に記憶される。モード選択部４４５は、ある予測単位について動きベクトル算出部４４２により算出された動きベクトルが隣接する１つ以上の予測単位に設定された参照動きベクトルと共通である場合に、これら予測単位をマージすることを決定する。モード選択部４４５は、各予測単位について予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいてコスト関数値を計算する。情報生成部３４６は、各予測単位についてのマージモードを示すマージ情報と、他の予測単位とマージされない予測単位についての動きベクトル情報とを含むインター予測に関する情報を生成する。そして、情報生成部３４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
本実施例に係るベースレイヤの動き探索処理は、上述した第３の実施例に係るベースレイヤの動き探索処理と同様であってよい。但し、本実施例では、ベースレイヤのマージ情報はバッファリングされなくてよい。ベースレイヤの動き探索処理において、探索制御部４４１は、符号化単位内に１つ以上の予測単位を配置し、各予測単位について動きベクトル算出部４４２に動きベクトルを算出させる。動きベクトル算出部４４２により算出された動きベクトルは、モード選択部４４５へ出力されると共に、動きベクトルバッファ４４４に記憶される。モード選択部４４５は、ある予測単位について動きベクトル算出部４４２により算出された動きベクトルが隣接する１つ以上の予測単位に設定された参照動きベクトルと共通である場合に、これら予測単位をマージすることを決定する。モード選択部４４５は、各予測単位について予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいてコスト関数値を計算する。情報生成部３４６は、各予測単位についてのマージモードを示すマージ情報と、他の予測単位とマージされない予測単位についての動きベクトル情報とを含むインター予測に関する情報を生成する。そして、情報生成部３４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
（２）エンハンスメントレイヤ
本実施例に係るベースレイヤの動き探索処理において生成されるマージ情報は、第３の実施例と同様の「MergeFlag」及び「MergeLeftFlag」という２つのフラグを含んでよい。これに対し、エンハンスメントレイヤの動き探索処理において生成されるマージ情報は、「MergeBaseFlag」という新たなフラグを追加的に含み得る。MergeBaseFlagは、注目ＰＵの動きベクトルが対応する下位レイヤのＰＵの動きベクトルと共通であるか否かを示すフラグである。例えば、MergeBaseFlag＝１の場合、注目ＰＵの動きベクトルは対応する下位レイヤのＰＵの動きベクトルと共通である。
本実施例に係るベースレイヤの動き探索処理において生成されるマージ情報は、第３の実施例と同様の「MergeFlag」及び「MergeLeftFlag」という２つのフラグを含んでよい。これに対し、エンハンスメントレイヤの動き探索処理において生成されるマージ情報は、「MergeBaseFlag」という新たなフラグを追加的に含み得る。MergeBaseFlagは、注目ＰＵの動きベクトルが対応する下位レイヤのＰＵの動きベクトルと共通であるか否かを示すフラグである。例えば、MergeBaseFlag＝１の場合、注目ＰＵの動きベクトルは対応する下位レイヤのＰＵの動きベクトルと共通である。
図１５Ａ〜図１５Ｃは、本実施例において生成され得るマージ情報の例をそれぞれ示している。これら３つの図において、上位レイヤＬ３０内の注目ＰＵである予測単位Ｂ３０が示されている。予測単位Ｂ３１及びＢ３２は、それぞれ予測単位Ｂ３０の左及び上に隣接している。動きベクトルＭＶ３０は、予測単位Ｂ３０について動きベクトル算出部４４２により算出された動きベクトルである。動きベクトルＭＶ３１及びＭＶ３２は、それぞれ予測単位Ｂ３１及びＢ３２に設定された参照動きベクトルである。下位レイヤ２１内の注目ＰＵに対応するＰＵである予測単位Ｂ２０もまた示されている。動きベクトルＭＶ２０は、予測単位Ｂ２０についてバッファリングされている参照動きベクトルである。
図１５Ａの例において、動きベクトルＭＶ３０は、参照動きベクトルＭＶ３１、ＭＶ３２及びＭＶ２０の全てと共通である。この場合、情報生成部４４６は、マージ情報として、MergeFlag＝１を生成する。MergeBaseFlag及びMergeLeftFlagは、マージ情報には含められない。このようなマージ情報を受け取った復号側は、MergeBaseFlag及びMergeLeftFlagを復号することなく、予測単位Ｂ２０、Ｂ３１又はＢ３２に設定された動きベクトルと共通の動きベクトルを予測単位Ｂ３０に設定し得る。
図１５Ｂの例において、動きベクトルＭＶ３０は、参照動きベクトルＭＶ２０と共通であり、参照動きベクトルＭＶ３１及びＭＶ３２と異なる。この場合、情報生成部４４６は、マージ情報として、MergeFlag＝１及びMergeBaseFlag＝１を生成する。このようなマージ情報を受け取った復号側は、下位レイヤＬ２１内の予測単位Ｂ２０に設定された動きベクトルと共通の動きベクトルを上位レイヤＬ３０内の予測単位Ｂ３０に設定し得る。
図１５Ｃの例において、動きベクトルＭＶ３０は、参照動きベクトルＭＶ３１と共通であり、参照動きベクトルＭＶ２０及びＭＶ３２と異なる。この場合、情報生成部４４６は、マージ情報として、MergeFlag＝１、MergeBaseFlag＝０及びMergeLeftFlag＝１を生成する。このようなマージ情報を受け取った復号側は、予測単位Ｂ３１に設定された動きベクトルと共通の動きベクトルを予測単位Ｂ３０に設定し得る。
エンハンスメントレイヤの動き探索処理において、探索制御部４４１は、符号化単位内の各予測単位について動きベクトル算出部４４２に動きベクトルを算出させる。動きベクトル算出部４４２により算出された動きベクトルは、モード選択部４４５へ出力されると共に、動きベクトルバッファ４４４に記憶される。動きベクトルバッファ４４４には、下位レイヤの各予測単位について算出された動きベクトル（参照動きベクトル）もまた記憶されている。モード選択部４４５は、ある予測単位について動きベクトル算出部４４２により算出された動きベクトルが隣接する予測単位又は下位レイヤ内の対応する予測単位に設定された参照動きベクトルと共通である場合に、これら予測単位をマージすることを決定する。即ち、モード選択部４４５は、例えば、マージモードとして、下位レイヤとのマージ、上に隣接する予測単位とのマージ若しくは左に隣接する予測単位とのマージ、又はマージなし、のいずれかを選択し得る。さらに、モード選択部４４５は、各予測単位について予測画像データを生成し、生成した予測画像データと原画像データとの比較に基づいてコスト関数値を計算する。情報生成部３４６は、各予測単位についてのマージモードを示すマージ情報と、他の予測単位とマージされない予測単位についての動きベクトル情報とを含むインター予測に関する情報を生成する。そして、情報生成部３４６は、生成したインター予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
（３）処理の流れ
図１６は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図１６を参照すると。まず、動き探索部４４１は、ベースレイヤの動き探索処理を行う（ステップＳ１４０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位のマージモードが選択される。動きベクトルバッファ４４４は、各予測単位について算出された動きベクトルをバッファリングする。
図１６は、本実施例に係る動き探索部４０による動き探索処理の流れの一例を示すフローチャートである。図１６を参照すると。まず、動き探索部４４１は、ベースレイヤの動き探索処理を行う（ステップＳ１４０）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位のマージモードが選択される。動きベクトルバッファ４４４は、各予測単位について算出された動きベクトルをバッファリングする。
ステップＳ１４１〜Ｓ１４６の処理は、エンハンスメントレイヤの動き探索処理である。これら処理のうちステップＳ１４１〜Ｓ１４５の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、動きベクトル算出部４４２は、上位レイヤの１つの注目ＰＵについて、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する（ステップＳ１４１）。そして、動きベクトル算出部４４２は、算出した動きベクトルを、モード選択部４４５及び動きベクトルバッファ４４４へ出力する。
次に、モード選択部４４５は、動きベクトル算出部４４２により算出された動きベクトルを動きベクトルバッファ４４４に記憶されている参照動きベクトルと比較することにより、マージモードを選択する（ステップＳ１４２）。例えば、注目ＰＵについて算出された動きベクトルが下位レイヤ内の対応するＰＵについてバッファリングされている参照動きベクトルと共通である場合には、下位レイヤとのマージが選択され得る。
次に、モード選択部４４５は、注目ＰＵについての動きベクトルを用いて予測画像データを生成し、コスト関数値を計算する（ステップＳ１４４）。そして、情報生成部４４６は、注目ＰＵについてのマージ情報（及び他のＰＵとマージされない注目ＰＵについては動きベクトル情報）を含む設定情報を生成する（ステップＳ１４４）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ１４１に戻る（ステップＳ１４５）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１４６）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１４１以降の処理が繰り返される。下位レイヤの各注目ＰＵについて算出された動きベクトルは、動きベクトルバッファ４４４によりバッファリングされる。残りのレイヤが存在しない場合には、図１６の動き探索処理は終了する。ここで生成された予測画像データ及びインター予測に関する情報は、スイッチ２７を介して、減算部１３及び可逆符号化部１６へそれぞれ出力され得る。
このように、第４の実施例では、上位レイヤのインター予測に関する情報として、注目ＰＵが下位レイヤ内の対応するＰＵとマージされること（共通する動きベクトルが設定されること）を示すマージ情報が符号化され得る。従って、動きの相関の顕著な下位レイヤとの間の予測単位のマージが可能となり、マージされる上位レイヤ内の予測単位については動きベクトルが符号化されないため、符号量を効果的に削減することができる。
＜３．画像復号装置の構成例＞
図１７は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１７を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。
図１７は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１７を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを一時的に蓄積する。
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部９０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部９０へ出力する。
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。
動き補償部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。本実施形態に係る動き補償部９０による動き補償処理は、上記非特許文献２に記載された手法又は上記非特許文献３に記載された手法を拡張することにより実現され得る。そして、動き補償部９０は、動き補償処理の結果として生成される予測画像データをセレクタ７１へ出力する。次節において、動き補償部９０の詳細な構成についての４つの実施例を説明する。
画像復号装置６０は、ここで説明した一連の復号処理を、スケーラブル符号化された画像の複数のレイヤの各々について繰り返す。最初に復号されるレイヤは、ベースレイヤである。ベースレイヤが復号された後、１つ以上のエンハンスメントレイヤが復号される。エンハンスメントレイヤの復号に際しては、ベースレイヤ又は他のエンハンスメントレイヤである下位レイヤを復号することにより得られた情報が用いられる。
画像復号装置６０によるスケーラブル復号に際しては、ある上位レイヤ内の予測単位に、下位レイヤ内の対応する予測単位に設定された動きベクトルに関連する設定情報を用いて動きベクトルが設定される。当該設定情報は、例えば、上述したプレディクタ情報、マージ情報又は動きベクトル情報を含み得る。
＜４．動き補償部の詳細な構成例＞
本節では、図１７に示した動き補償部９０の詳細な構成についての４つの実施例を説明する。その４つの実施例は、上述した画像符号化装置１０の動き探索部４０の４つの実施例にそれぞれ対応する。第１及び第２の実施例は、上記非特許文献２に記載された手法の拡張についての実施例である。一方、第３及び第４の実施例は、上記非特許文献３に記載された手法の拡張についての実施例である。
本節では、図１７に示した動き補償部９０の詳細な構成についての４つの実施例を説明する。その４つの実施例は、上述した画像符号化装置１０の動き探索部４０の４つの実施例にそれぞれ対応する。第１及び第２の実施例は、上記非特許文献２に記載された手法の拡張についての実施例である。一方、第３及び第４の実施例は、上記非特許文献３に記載された手法の拡張についての実施例である。
［４−１．第１の実施例］
図１８は、第１の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図１８を参照すると、動き補償部９０は、情報取得部１９１、動きベクトル設定部１９２、プレディクタ情報バッファ１９３、動きベクトルバッファ１９４及び補償部１９５を有する。
図１８は、第１の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図１８を参照すると、動き補償部９０は、情報取得部１９１、動きベクトル設定部１９２、プレディクタ情報バッファ１９３、動きベクトルバッファ１９４及び補償部１９５を有する。
（１）ベースレイヤ
ベースレイヤの動き補償処理において、情報取得部１９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、プレディクタ情報及び差分動きベクトル情報（動きベクトルの予測が行われない予測単位については動きベクトル情報）を含み得る。ここで取得されるプレディクタ情報は、例えば、上述した様々なプレディクタ候補のうち符号化の際に各予測単位について選択されたプレディクタを示す。動きベクトル設定部１９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部１９２により各予測単位に設定された動きベクトルは、補償部１９５へ出力されると共に、動きベクトルバッファ１９４に記憶される。また、各予測単位についてのプレディクタ情報は、上位レイヤでの処理のために、プレディクタ情報バッファ１９３に一時的に記憶される。動きベクトル設定部１９２による動きベクトルの設定は、各予測単位についてプレディクタ情報により示されるプレディクタと差分動きベクトル情報により示される差分動きベクトルとを用いて行われ得る。例えば、ある予測単位についてプレディクタ情報が式（１）に示したような空間的プレディクタを示している場合、動きベクトル設定部１９２は、当該予測単位に隣接する予測単位の参照動きベクトルを動きベクトルバッファ１９４から取得する。そして、動きベクトル設定部１９２は、取得した参照動きベクトルを式（１）に代入し、予測動きベクトルを生成する。さらに、動きベクトル設定部１９２は、生成した予測動きベクトルに差分動きベクトルを加算することにより、動きベクトルを再構築する。このように再構築された動きベクトルが、各予測単位に設定され得る。補償部１９５は、動きベクトル設定部１９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部１９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
ベースレイヤの動き補償処理において、情報取得部１９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、プレディクタ情報及び差分動きベクトル情報（動きベクトルの予測が行われない予測単位については動きベクトル情報）を含み得る。ここで取得されるプレディクタ情報は、例えば、上述した様々なプレディクタ候補のうち符号化の際に各予測単位について選択されたプレディクタを示す。動きベクトル設定部１９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部１９２により各予測単位に設定された動きベクトルは、補償部１９５へ出力されると共に、動きベクトルバッファ１９４に記憶される。また、各予測単位についてのプレディクタ情報は、上位レイヤでの処理のために、プレディクタ情報バッファ１９３に一時的に記憶される。動きベクトル設定部１９２による動きベクトルの設定は、各予測単位についてプレディクタ情報により示されるプレディクタと差分動きベクトル情報により示される差分動きベクトルとを用いて行われ得る。例えば、ある予測単位についてプレディクタ情報が式（１）に示したような空間的プレディクタを示している場合、動きベクトル設定部１９２は、当該予測単位に隣接する予測単位の参照動きベクトルを動きベクトルバッファ１９４から取得する。そして、動きベクトル設定部１９２は、取得した参照動きベクトルを式（１）に代入し、予測動きベクトルを生成する。さらに、動きベクトル設定部１９２は、生成した予測動きベクトルに差分動きベクトルを加算することにより、動きベクトルを再構築する。このように再構築された動きベクトルが、各予測単位に設定され得る。補償部１９５は、動きベクトル設定部１９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部１９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（２）エンハンスメントレイヤ
エンハンスメントレイヤの動き補償処理では、プレディクタ情報バッファ１９３に記憶されている下位レイヤのプレディクタ情報に基づく動きベクトルの予測が行われる。
エンハンスメントレイヤの動き補償処理では、プレディクタ情報バッファ１９３に記憶されている下位レイヤのプレディクタ情報に基づく動きベクトルの予測が行われる。
まず、情報取得部１９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、エンハンスメントレイヤのインター予測に関する情報は、差分動きベクトル情報（動きベクトルの予測が行われない予測単位については動きベクトル情報）を含み得る。また、情報取得部１９１は、上位レイヤ内の各予測単位に動きベクトルを設定するための設定情報として、下位レイヤ内の対応する予測単位の動きベクトルの予測の際に用いられたプレディクタを示すプレディクタ情報を、プレディクタ情報バッファ１９３から取得する。ここで取得されるプレディクタ情報は、例えば、上述した空間的プレディクタ又は時間的プレディクタのうちのいずれかを示す。動きベクトル設定部１９２は、情報取得部１９１により取得された差分動きベクトル情報とプレディクタ情報とを用いて動きベクトルを再構築し、各予測単位に再構築された動きベクトルを設定する。動きベクトル設定部１９２により各予測単位に設定された動きベクトルは、補償部１９５へ出力されると共に、動きベクトルバッファ１９４に記憶される。補償部１９５は、動きベクトル設定部１９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部１９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（３）処理の流れ
図１９は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図１９を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２１０）。その際、プレディクタ情報バッファ１９３は、各予測単位について符号化の際に選択されたプレディクタを示すプレディクタ情報を設定情報としてバッファリングする。
図１９は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図１９を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２１０）。その際、プレディクタ情報バッファ１９３は、各予測単位について符号化の際に選択されたプレディクタを示すプレディクタ情報を設定情報としてバッファリングする。
ステップＳ２１１〜Ｓ２１８の処理は、エンハンスメントレイヤの動き補償処理である。これら処理のうちステップＳ２１１〜Ｓ２１７の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、情報取得部１９１は、上位レイヤの１つのＰＵを注目ＰＵとし、注目ＰＵに対応する下位レイヤ内のＰＵについてのプレディクタ情報を、プレディクタ情報バッファ１９３から取得する（ステップＳ２１１）。また、情報取得部１９１は、注目ＰＵについての差分動きベクトル情報を取得する（ステップＳ２１２）。動きベクトル設定部１９２は、差分動きベクトル情報を復号する（ステップＳ２１３）。
次に、動きベクトル設定部１９２は、情報取得部１９１により取得されたプレディクタ情報及び参照動きベクトルを用いて、注目ＰＵについての予測動きベクトルを生成する（ステップＳ２１４）。次に、動きベクトル設定部１９２は、生成した予測動きベクトルに差分動きベクトルを加算することにより、動きベクトルを再構築する（ステップＳ２１５）。このように再構築された動きベクトルが、注目ＰＵに設定される。また、再構築された動きベクトルは、上位レイヤでの処理のために、動きベクトルバッファ１９４に一時的に記憶される。なお、動きベクトルの予測が行われない予測単位については、差分動きベクトル情報の代わりに動きベクトル情報が符号化ストリームから取得され、当該動きベクトル情報から動きベクトルが復号されてよい。
次に、補償部１９５は、動きベクトル設定部１９２により注目ＰＵに設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、注目ＰＵの予測画像データを生成する（ステップＳ２１６）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ２１１に戻る（ステップＳ２１７）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２１８）。ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２１１以降の処理が繰り返される。下位レイヤについて選択されたプレディクタを示すプレディクタ情報は、プレディクタ情報バッファ１９３により引き続きバッファリングされる。残りのレイヤが存在しない場合には、図１９の動き補償処理は終了する。ここで生成された予測画像データは、スイッチ７１を介して、加算部６５へ出力され得る。
このように、第１の実施例では、上位レイヤの復号の際に下位レイヤのプレディクタ情報が再利用されるため、上位レイヤのためにプレディクタ情報を冗長的に符号化しなくてよい。従って、インター予測に関する情報の符号量を削減することができる。
［４−２．第２の実施例］
図２０は、第２の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図２０を参照すると、動き補償部９０は、情報取得部２９１、動きベクトル設定部２９２、動きベクトルバッファ２９４及び補償部２９５を有する。
図２０は、第２の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図２０を参照すると、動き補償部９０は、情報取得部２９１、動きベクトル設定部２９２、動きベクトルバッファ２９４及び補償部２９５を有する。
（１）ベースレイヤ
本実施例に係るベースレイヤの動き補償処理は、上述した第１の実施例に係るベースレイヤの動き補償処理と同様であってよい。但し、本実施例では、ベースレイヤのプレディクタ情報はバッファリングされなくてよく、ベースレイヤの動きベクトル情報がレイヤをまたいでバッファリングされる。ベースレイヤの動き補償処理において、情報取得部２９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、プレディクタ情報及び差分動きベクトル情報（動きベクトルの予測が行われない予測単位については動きベクトル情報）を含み得る。ここで取得されるプレディクタ情報は、例えば、上述した空間的プレディクタ及び時間的プレディクタを含み得るプレディクタ候補のうち符号化の際に各予測単位について選択されたプレディクタを示す。動きベクトル設定部２９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部２９２により各予測単位に設定された動きベクトルは、補償部２９５へ出力されると共に、動きベクトルバッファ２９４に記憶される。動きベクトル設定部２９２による動きベクトルの設定は、各予測単位についてプレディクタ情報により示されるプレディクタと差分動きベクトル情報により示される差分動きベクトルとを用いて行われ得る。補償部２９５は、動きベクトル設定部２９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部２９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
本実施例に係るベースレイヤの動き補償処理は、上述した第１の実施例に係るベースレイヤの動き補償処理と同様であってよい。但し、本実施例では、ベースレイヤのプレディクタ情報はバッファリングされなくてよく、ベースレイヤの動きベクトル情報がレイヤをまたいでバッファリングされる。ベースレイヤの動き補償処理において、情報取得部２９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、プレディクタ情報及び差分動きベクトル情報（動きベクトルの予測が行われない予測単位については動きベクトル情報）を含み得る。ここで取得されるプレディクタ情報は、例えば、上述した空間的プレディクタ及び時間的プレディクタを含み得るプレディクタ候補のうち符号化の際に各予測単位について選択されたプレディクタを示す。動きベクトル設定部２９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部２９２により各予測単位に設定された動きベクトルは、補償部２９５へ出力されると共に、動きベクトルバッファ２９４に記憶される。動きベクトル設定部２９２による動きベクトルの設定は、各予測単位についてプレディクタ情報により示されるプレディクタと差分動きベクトル情報により示される差分動きベクトルとを用いて行われ得る。補償部２９５は、動きベクトル設定部２９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部２９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（２）エンハンスメントレイヤ
エンハンスメントレイヤの動き補償処理では、動きベクトルバッファ２９４に記憶されている下位レイヤの参照動きベクトルに基づくレイヤ間プレディクタを用いた動きベクトルの予測が行われ得る。
エンハンスメントレイヤの動き補償処理では、動きベクトルバッファ２９４に記憶されている下位レイヤの参照動きベクトルに基づくレイヤ間プレディクタを用いた動きベクトルの予測が行われ得る。
まず、情報取得部２９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、エンハンスメントレイヤのインター予測に関する情報は、差分動きベクトル情報に加えて、レイヤ間プレディクタを含む複数のプレディクタ候補から符号化の際に選択されたプレディクタを示すプレディクタ情報を設定情報として含み得る。なお、レイヤ間プレディクタが選択されたことを示すプレディクタ情報には、複数のプレディクタ候補の中で最小の符号番号が割り当てられ得る。動きベクトル設定部２９２は、情報取得部２９１により取得された差分動きベクトル情報とプレディクタ情報とを用いて動きベクトルを再構築し、各予測単位に再構築された動きベクトルを設定する。なお、動きベクトル設定部２９２は、プレディクタ情報がレイヤ間プレディクタを示している場合には、上述した式（９）のように、レイヤ間の空間解像度の比率に応じて拡大された参照動きベクトルを、予測動きベクトルとしてよい。その際、動きベクトル設定部２９２は、予測動きベクトルを動きベクトル精度に応じて丸めてもよい。動きベクトル設定部２９２により各予測単位に設定された動きベクトルは、補償部２９５へ出力されると共に、動きベクトルバッファ２９４に記憶される。補償部２９５は、動きベクトル設定部２９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部２９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（３）処理の流れ
図２１は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図２１を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２２０）。その際、動きベクトルバッファ２９４は、各予測単位に設定された動きベクトルをバッファリングする。
図２１は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図２１を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２２０）。その際、動きベクトルバッファ２９４は、各予測単位に設定された動きベクトルをバッファリングする。
ステップＳ２２１〜Ｓ２２８の処理は、エンハンスメントレイヤの動き補償処理である。これら処理のうちステップＳ２２１〜Ｓ２２７の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、情報取得部２９１は、上位レイヤの１つのＰＵを注目ＰＵとし、注目ＰＵについての差分動きベクトル情報及びプレディクタ情報を符号化ストリームから取得する（ステップＳ２２１）。動きベクトル設定部２９２は、差分動きベクトル情報を復号する（ステップＳ２２２）。また、動きベクトル設定部２９２は、プレディクタ情報を用いて、注目ＰＵの予測動きベクトルの生成の際に用いるべきプレディクタを特定する（ステップＳ２２３）。
次に、動きベクトル設定部２９２は、特定したプレディクタに従い、動きベクトルバッファ２９４によりバッファリングされている参照動きベクトルを用いて、注目ＰＵについての予測動きベクトルを生成する（ステップＳ２２４）。例えば、特定したプレディクタがレイヤ間プレディクタである場合には、注目ＰＵに対応する下位レイヤ内のＰＵについて設定された動きベクトルが、上述した式（８）又は式（９）の参照動きベクトルＭＶｂａｓｅとして使用される。次に、動きベクトル設定部２９２は、生成した予測動きベクトルに差分動きベクトルを加算することにより、動きベクトルを再構築する（ステップＳ２２５）。このように再構築された動きベクトルが、注目ＰＵに設定される。また、再構築された動きベクトルは、上位レイヤでの処理のために、動きベクトルバッファ２９４に一時的に記憶される。なお、動きベクトルの予測が行われない予測単位については、差分動きベクトル情報の代わりに動きベクトル情報が符号化ストリームから取得され、当該動きベクトル情報から動きベクトルが復号されてよい。
次に、補償部２９５は、動きベクトル設定部２９２により注目ＰＵに設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、注目ＰＵの予測画像データを生成する（ステップＳ２２６）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ２２１に戻る（ステップＳ２２７）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２２８）。ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２２１以降の処理が繰り返される。残りのレイヤが存在しない場合には、図２１の動き補償処理は終了する。ここで生成された予測画像データは、スイッチ７１を介して、加算部６５へ出力され得る。
このように、第２の実施例では、上位レイヤの動き補償の際に使用される動きベクトルを、下位レイヤに設定された動きベクトルに基づくレイヤ間プレディクタに従って予測することができる。従って、動きベクトルの予測の精度が高められる結果、差分動きベクトルの符号量を削減することができる。
［４−３．第３の実施例］
図２２は、第３の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図２２を参照すると、動き補償部９０は、情報取得部３９１、動きベクトル設定部３９２、マージ情報バッファ３９３、動きベクトルバッファ３９４及び補償部３９５を有する。
図２２は、第３の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図２２を参照すると、動き補償部９０は、情報取得部３９１、動きベクトル設定部３９２、マージ情報バッファ３９３、動きベクトルバッファ３９４及び補償部３９５を有する。
（１）ベースレイヤ
ベースレイヤの動き補償処理において、情報取得部３９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、マージ情報及び動きベクトル情報を含み得る。ここで取得されるマージ情報は、例えば、図１２Ａ〜図１２Ｃを用いて説明したMergeFlag及びMergeLeftFlagを含み、複数のマージモードの候補のうち符号化の際に各予測単位について選択されたマージモードを示し得る。動きベクトル設定部３９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部３９２により各予測単位に設定された動きベクトルは、補償部３９５へ出力されると共に、動きベクトルバッファ３９４に記憶される。また、各予測単位についてのマージ情報は、上位レイヤでの処理のために、マージ情報バッファ３９３に記憶される。動きベクトル設定部３９２は、例えば、ある予測単位が当該予測単位に隣接する隣接予測単位とマージされること（これら予測単位に共通する動きベクトルが設定されること）をマージ情報が示している場合には、隣接予測単位に設定された動きベクトルを動きベクトルバッファ３９４から取得し、取得した動きベクトルを上記予測単位に設定する。一方、動きベクトル設定部３９２は、ある予測単位が他の予測単位とマージされないことをマージ情報が示している場合には、情報取得部３９１により取得された動きベクトル情報を復号することにより再構築される動きベクトルを上記予測単位に設定する。補償部３９５は、動きベクトル設定部３９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部３９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
ベースレイヤの動き補償処理において、情報取得部３９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、マージ情報及び動きベクトル情報を含み得る。ここで取得されるマージ情報は、例えば、図１２Ａ〜図１２Ｃを用いて説明したMergeFlag及びMergeLeftFlagを含み、複数のマージモードの候補のうち符号化の際に各予測単位について選択されたマージモードを示し得る。動きベクトル設定部３９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部３９２により各予測単位に設定された動きベクトルは、補償部３９５へ出力されると共に、動きベクトルバッファ３９４に記憶される。また、各予測単位についてのマージ情報は、上位レイヤでの処理のために、マージ情報バッファ３９３に記憶される。動きベクトル設定部３９２は、例えば、ある予測単位が当該予測単位に隣接する隣接予測単位とマージされること（これら予測単位に共通する動きベクトルが設定されること）をマージ情報が示している場合には、隣接予測単位に設定された動きベクトルを動きベクトルバッファ３９４から取得し、取得した動きベクトルを上記予測単位に設定する。一方、動きベクトル設定部３９２は、ある予測単位が他の予測単位とマージされないことをマージ情報が示している場合には、情報取得部３９１により取得された動きベクトル情報を復号することにより再構築される動きベクトルを上記予測単位に設定する。補償部３９５は、動きベクトル設定部３９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部３９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（２）エンハンスメントレイヤ
エンハンスメントレイヤの動き補償処理では、マージ情報バッファ３９３に記憶されている下位レイヤのマージ情報に従って、各予測単位に動きベクトルが設定される。
エンハンスメントレイヤの動き補償処理では、マージ情報バッファ３９３に記憶されている下位レイヤのマージ情報に従って、各予測単位に動きベクトルが設定される。
まず、情報取得部３９１は、上位レイヤ内の各予測単位に動きベクトルを設定するための設定情報として、各予測単位に対応する下位レイヤ内の予測単位についてのマージ情報を、マージ情報バッファ３９３から取得する。また、情報取得部３９１は、他の予測単位とマージされない予測単位について、インター予測に関する情報に含まれる動きベクトル情報を取得する。情報取得部３９１により取得されるマージ情報は、例えば、図１２Ａ〜図１２Ｃを用いて説明したMergeFlag及びMergeLeftFlagを含み得る。動きベクトル設定部３９２は、情報取得部３９１により取得されたマージ情報に従って、各予測単位に動きベクトルを設定する。動きベクトル設定部３９２により各予測単位に設定された動きベクトルは、補償部３９５へ出力されると共に、動きベクトルバッファ３９４に記憶される。動きベクトル設定部３９２は、他の予測単位とマージされない予測単位については、動きベクトル情報を復号することにより再構築される動きベクトルを当該予測単位に設定してよい。補償部３９５は、動きベクトル設定部３９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部３９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（３）処理の流れ
図２３は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図２３を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２３０）。その際、マージ情報バッファ３９３は、各予測単位について符号化の際に選択されたマージモードを示すマージ情報を設定情報としてバッファリングする。
図２３は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図２３を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２３０）。その際、マージ情報バッファ３９３は、各予測単位について符号化の際に選択されたマージモードを示すマージ情報を設定情報としてバッファリングする。
ステップＳ２３１〜Ｓ２３８の処理は、エンハンスメントレイヤの動き補償処理である。これら処理のうちステップＳ２３１〜Ｓ２３７の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、情報取得部３９１は、上位レイヤの１つのＰＵを注目ＰＵとし、注目ＰＵに対応する下位レイヤ内のＰＵについてのマージ情報を、マージ情報バッファ３９３から取得する（ステップＳ２３１）。次に、情報取得部３９１は、取得したマージ情報から、注目ＰＵを他のＰＵとマージするか否かを判定する（ステップＳ２３２）。例えば、下位レイヤ内の対応するＰＵが左の隣接ＰＵとマージされる場合には、注目ＰＵもまた左の隣接ＰＵとマージされると判定され得る。同様に、下位レイヤ内の対応するＰＵが上の隣接ＰＵとマージされる場合には、注目ＰＵもまた上の隣接ＰＵとマージされると判定され得る。これらの場合、処理はステップＳ２３３へ進む。一方、下位レイヤ内の対応するＰＵが隣接ＰＵとマージされない場合には、注目ＰＵもまた他のＰＵとマージされないと判定され得る。この場合、処理はステップＳ２３４へ進む。
ステップＳ２３３では、動きベクトル設定部３９２は、マージ情報に応じて特定される動きベクトルを動きベクトルバッファ３９４から取得し、取得した動きベクトルを注目ＰＵに設定する（ステップＳ２３３）。一方、ステップＳ２３４では、情報取得部３９１により、注目ＰＵについての動きベクトル情報が取得される（ステップＳ２３４）。そして、動きベクトル設定部３９２は、取得された動きベクトル情報から動きベクトルを復号し、復号した動きベクトルを注目ＰＵに設定する（ステップＳ２３５）。
次に、補償部３９５は、動きベクトル設定部３９２により注目ＰＵに設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、注目ＰＵの予測画像データを生成する（ステップＳ２３６）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ２３１に戻る（ステップＳ２３７）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２３８）。ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２３１以降の処理が繰り返される。下位レイヤについて選択されたマージモードを示すマージ情報は、マージ情報バッファ３９３により引き続きバッファリングされる。残りのレイヤが存在しない場合には、図２３の動き補償処理は終了する。ここで生成された予測画像データは、スイッチ７１を介して、加算部６５へ出力され得る。
このように、第３の実施例では、上位レイヤの復号の際に下位レイヤのマージ情報が再利用されるため、上位レイヤのためにマージ情報を冗長的に符号化しなくてよい。従って、インター予測に関する情報の符号量を削減することができる。
［４−４．第４の実施例］
図２４は、第４の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図２４を参照すると、動き補償部９０は、情報取得部４９１、動きベクトル設定部４９２、動きベクトルバッファ４９４及び補償部４９５を有する。
図２４は、第４の実施例に係る動き補償部９０の詳細な構成の一例を示すブロック図である。図２４を参照すると、動き補償部９０は、情報取得部４９１、動きベクトル設定部４９２、動きベクトルバッファ４９４及び補償部４９５を有する。
（１）ベースレイヤ
ベースレイヤの動き補償処理において、情報取得部４９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、マージ情報及び動きベクトル情報を含み得る。ベースレイヤについて取得されるマージ情報は、例えば、図１２Ａ〜図１２Ｃを用いて説明したMergeFlag及びMergeLeftFlagを含み、複数のマージモードの候補のうち符号化の際に各予測単位について選択されたマージモードを示し得る。動きベクトル設定部４９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部４９２により各予測単位に設定された動きベクトルは、補償部４９５へ出力されると共に、動きベクトルバッファ４９４に記憶される。動きベクトル設定部４９２は、例えば、ある予測単位が当該予測単位に隣接する隣接予測単位とマージされることをマージ情報が示している場合には、隣接予測単位に設定された動きベクトルを動きベクトルバッファ４９４から取得し、取得した動きベクトルを上記予測単位に設定する。一方、動きベクトル設定部４９２は、ある予測単位が他の予測単位とマージされないことをマージ情報が示している場合には、情報取得部４９１により取得された動きベクトル情報を復号することにより再構築される動きベクトルを上記予測単位に設定する。補償部４９５は、動きベクトル設定部４９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部４９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
ベースレイヤの動き補償処理において、情報取得部４９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。本実施例において、インター予測に関する情報は、マージ情報及び動きベクトル情報を含み得る。ベースレイヤについて取得されるマージ情報は、例えば、図１２Ａ〜図１２Ｃを用いて説明したMergeFlag及びMergeLeftFlagを含み、複数のマージモードの候補のうち符号化の際に各予測単位について選択されたマージモードを示し得る。動きベクトル設定部４９２は、各予測単位に動きベクトルを設定する。そして、動きベクトル設定部４９２により各予測単位に設定された動きベクトルは、補償部４９５へ出力されると共に、動きベクトルバッファ４９４に記憶される。動きベクトル設定部４９２は、例えば、ある予測単位が当該予測単位に隣接する隣接予測単位とマージされることをマージ情報が示している場合には、隣接予測単位に設定された動きベクトルを動きベクトルバッファ４９４から取得し、取得した動きベクトルを上記予測単位に設定する。一方、動きベクトル設定部４９２は、ある予測単位が他の予測単位とマージされないことをマージ情報が示している場合には、情報取得部４９１により取得された動きベクトル情報を復号することにより再構築される動きベクトルを上記予測単位に設定する。補償部４９５は、動きベクトル設定部４９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部４９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（２）エンハンスメントレイヤ
エンハンスメントレイヤの動き補償処理では、下位レイヤ内の対応する予測単位とのマージを示すMergeBaseFlagを含むマージ情報が利用され得る。
エンハンスメントレイヤの動き補償処理では、下位レイヤ内の対応する予測単位とのマージを示すMergeBaseFlagを含むマージ情報が利用され得る。
まず、情報取得部４９１は、可逆復号部６２により符号化ストリームから復号されるインター予測に関する情報を取得する。エンハンスメントレイヤについてのインター予測に関する情報は、マージ情報及び動きベクトル情報を含み得る。マージ情報は、例えば、図１５Ａ〜図１５Ｃを用いて説明したMergeFlag、MergeBaseFlag及びMergeLeftFlagを含み、複数のマージモードの候補のうち符号化の際に各予測単位について選択されたマージモードを示し得る。動きベクトル設定部４９２は、情報取得部４９１により取得されたマージ情報に従って、各予測単位に動きベクトルを設定する。なお、動きベクトル設定部４９２は、レイヤ間で予測単位がマージされる場合には、上述した式（９）のように、バッファリングされている動きベクトルをレイヤ間の空間解像度の比率に応じて拡大した上で、拡大した動きベクトルを設定してよい。その際、動きベクトル設定部４９２は、拡大された動きベクトルを動きベクトル精度に応じて丸めてもよい。動きベクトル設定部４９２により各予測単位に設定された動きベクトルは、補償部４９５へ出力されると共に、動きベクトルバッファ４９４に記憶される。動きベクトル設定部４９２は、他の予測単位とマージされない予測単位については、動きベクトル情報を復号することにより再構築される動きベクトルを当該予測単位に設定してよい。補償部４９５は、動きベクトル設定部４９２により各予測単位に設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、各予測単位の予測画像データを生成する。そして、補償部４９５は、生成した予測画像データをスイッチ７１を介して加算部６５へ出力する。
（３）処理の流れ
図２５は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図２５を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２４０）。その際、動きベクトルバッファ４９４は、各予測単位に設定された動きベクトルをバッファリングする。
図２５は、本実施例に係る動き補償部９０による動き補償処理の流れの一例を示すフローチャートである。図２５を参照すると。まず、動き補償部９０は、ベースレイヤの動き補償処理を行う（ステップＳ２４０）。その際、動きベクトルバッファ４９４は、各予測単位に設定された動きベクトルをバッファリングする。
ステップＳ２４１〜Ｓ２４８の処理は、エンハンスメントレイヤの動き補償処理である。これら処理のうちステップＳ２４１〜Ｓ２４７の処理は、各エンハンスメントレイヤの各注目ＰＵについて繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、情報取得部４９１は、上位レイヤの１つの注目ＰＵについてのマージ情報を取得する（ステップＳ２４１）。次に、情報取得部４９１は、取得したマージ情報から、注目ＰＵを他のＰＵとマージするか否かを判定する（ステップＳ２４２）。例えば、注目ＰＵは、下位レイヤ内の対応するＰＵ又は上位レイヤ内の隣接ＰＵとマージされ得る。注目ＰＵが他のＰＵとマージされる場合、処理はステップＳ２４３へ進む。一方、注目ＰＵが他のＰＵとマージされない場合、処理はステップＳ２４４へ進む。
ステップＳ２４３では、動きベクトル設定部４９２は、マージ情報に応じて特定される動きベクトルを動きベクトルバッファ４９４から取得し、取得した動きベクトルを注目ＰＵに設定する（ステップＳ２４３）。一方、ステップＳ２４４では、情報取得部４９１により、注目ＰＵについての動きベクトル情報が取得される（ステップＳ２４４）。そして、動きベクトル設定部４９２は、取得された動きベクトル情報から動きベクトルを復号し、復号した動きベクトルを注目ＰＵに設定する（ステップＳ２４５）。
次に、補償部４９５は、動きベクトル設定部４９２により注目ＰＵに設定された動きベクトルとフレームメモリ６９から入力される参照画像データとを用いて、注目ＰＵの予測画像データを生成する（ステップＳ２４６）。
その後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ２４１に戻る（ステップＳ２４７）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２４８）。ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２４１以降の処理が繰り返される。下位レイヤの各予測単位に設定された動きベクトルは、動きベクトルバッファ４９４によりバッファリングされる。残りのレイヤが存在しない場合には、図２５の動き補償処理は終了する。ここで生成された予測画像データは、スイッチ７１を介して、加算部６５へ出力され得る。
このように、第４の実施例では、レイヤ間での予測単位のマージを含む複数のマージモードの候補から選択されたマージモードを示すマージ情報を用いて、エンハンスメントレイヤの各予測単位に動きベクトルが設定される。従って、動きの相関の顕著な下位レイヤ内の対応する予測単位とマージされる上位レイヤ内の予測単位については動きベクトルが符号化されないため、符号量を効果的に削減することができる。
＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
［５−１．第１の応用例］
図２６は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
図２６は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、テレビジョン装置９００での画像のスケーラブル復号に際してレイヤ間の動きの相関を活用することにより、符号化効率を一層高めることができる。
［５−２．第２の応用例］
図２７は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
図２７は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、携帯電話機９２０での画像のスケーラブル符号化及び復号に際してレイヤ間の動きの相関を活用することにより、符号化効率を一層高めることができる。
［５−３．第３の応用例］
図２８は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
図２８は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、記録再生装置９４０での画像のスケーラブル符号化及び復号に際してレイヤ間の動きの相関を活用することにより、符号化効率を一層高めることができる。
［５−４．第４の応用例］
図２９は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
図２９は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、撮像装置９６０での画像のスケーラブル符号化及び復号に際してレイヤ間の動きの相関を活用することにより、符号化効率を一層高めることができる。
＜６．まとめ＞
ここまで、図１〜図２９を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０の４つの実施例について説明した。これら実施例によれば、画像のスケーラブル符号化及び復号に際して、下位レイヤ内の第１の予測単位に対応する上位レイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、上記第１の予測単位に設定された動きベクトルに関連する設定情報を用いて、上記第２の予測単位に動きベクトルが設定される。従って、レイヤ間の動きの相関を活用して上位レイヤの各予測単位に動きベクトルを設定することが可能となる。よって、動きベクトル情報、差分動きベクトル情報、プレディクタ情報又はマージ情報の冗長な符号化が回避されるため、符号化効率を高めることができる。
ここまで、図１〜図２９を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０の４つの実施例について説明した。これら実施例によれば、画像のスケーラブル符号化及び復号に際して、下位レイヤ内の第１の予測単位に対応する上位レイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、上記第１の予測単位に設定された動きベクトルに関連する設定情報を用いて、上記第２の予測単位に動きベクトルが設定される。従って、レイヤ間の動きの相関を活用して上位レイヤの各予測単位に動きベクトルを設定することが可能となる。よって、動きベクトル情報、差分動きベクトル情報、プレディクタ情報又はマージ情報の冗長な符号化が回避されるため、符号化効率を高めることができる。
例えば、第１の実施例によれば、下位レイヤ内の予測単位の動きベクトルの予測の際に用いられるプレディクタを示すプレディクタ情報が、上位レイヤ内の予測単位の動きベクトルの予測の際に再利用される。従って、プレディクタ情報の冗長な符号化を回避することができる。
また、例えば、第２の実施例によれば、上位レイヤ内の予測単位のための、下位レイヤ内の対応する予測単位に設定された動きベクトルに基づくレイヤ間プレディクタが、新たなプレディクタ候補として導入される。従って、上位レイヤ内の予測単位について動きベクトルの予測の精度を向上させ、差分動きベクトル情報の符号化に要する符号量を低減することができる。
また、例えば、第３の実施例によれば、下位レイヤ内の予測単位について選択されたマージモードを示すマージ情報が、上位レイヤ内の予測単位について再利用される。従って、マージ情報の冗長な符号化を回避することができる。
また、例えば、第４の実施例によれば、下位レイヤ内の対応する予測単位と上位レイヤ内の予測単位とをマージする新たなマージモードが導入される。従って、上位レイヤ内の予測単位について動きベクトル情報の冗長な符号化を回避することができる。
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を取得する情報取得部と、
前記情報取得部により取得される前記設定情報を用いて、前記第２の予測単位に動きベクトルを設定する動きベクトル設定部と、
を備える画像処理装置。
（２）
前記設定情報は、前記第１の予測単位の動きベクトルの予測の際に用いられるプレディクタを示すプレディクタ情報を含み、
前記動きベクトル設定部は、前記プレディクタ情報により示される前記プレディクタを用いて、前記第２の予測単位に設定される動きベクトルを予測する、
前記（１）に記載の画像処理装置。
（３）
前記設定情報は、前記第２の予測単位の動きベクトルの予測の際に用いられるプレディクタを示すプレディクタ情報を含み、
前記プレディクタは、前記第１の予測単位に設定された動きベクトルに基づくプレディクタ候補を含む複数のプレディクタ候補から選択される、
前記（１）に記載の画像処理装置。
（４）
前記第１の予測単位に設定された動きベクトルに基づくプレディクタ候補には、前記複数のプレディクタ候補の中で最小の符号番号が割り当てられる、前記（３）に記載の画像処理装置。
（５）
前記情報取得部は、前記第２の予測単位に設定される動きベクトルと予測動きベクトルとの差分を示す差分動きベクトル情報をさらに取得し、
前記動きベクトル設定部は、前記プレディクタを用いて予測した前記予測動きベクトルに前記差分動きベクトル情報により示される差分を加算することにより生成される動きベクトルを、前記第２の予測単位に設定する、
前記（２）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記設定情報は、前記第１の予測単位と前記第１の予測単位に隣接する予測単位とに共通する動きベクトルが設定されるかを示すマージ情報を含み、
前記動きベクトル設定部は、前記マージ情報に従って、前記第２の予測単位と前記第２の予測単位に隣接する予測単位とに共通の動きベクトルを設定する、
前記（１）に記載の画像処理装置。
（７）
前記設定情報は、前記第１の予測単位と前記第２の予測単位とに共通する動きベクトルが設定されるかを示すマージ情報を含み、
前記動きベクトル設定部は、前記第１の予測単位と前記第２の予測単位とに共通する動きベクトルが設定されることを前記マージ情報が示している場合には、前記第１の予測単位と共通の動きベクトルを前記第２の予測単位に設定する、
前記（１）に記載の画像処理装置。
（８）
前記動きベクトル設定部は、前記第１のレイヤと前記第２のレイヤとの間の空間解像度の比率に応じて前記第１の予測単位に設定された動きベクトルを拡大した上で、前記第２の予測単位について動きベクトル設定処理を行う、前記（３）、４及び７のいずれか１項に記載の画像処理装置。
（９）
前記動きベクトル設定部は、前記第１の予測単位に設定された動きベクトルの拡大に際して、拡大された動きベクトルを動きベクトル精度に応じて丸める、前記（８）に記載の画像処理装置。
（１０）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度の互いに異なるレイヤである、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１１）
前記第１のレイヤ及び前記第２のレイヤは、雑音比率の互いに異なるレイヤである、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１２）
前記第１の予測単位は、前記第２の予測単位内の所定の位置の画素に対応する画素を有する、前記第１のレイヤ内の予測単位である、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記第１の予測単位は、前記第２の予測単位と重なる前記第１のレイヤ内の予測単位のうち重なりの最も大きい予測単位である、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１４）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を取得することと、
取得された前記設定情報を用いて、前記第２の予測単位に動きベクトルを設定することと、
を含む画像処理方法。
（１５）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を生成する情報生成部と、
前記情報生成部により生成される前記設定情報を符号化する符号化部と、
を備える画像処理装置。
（１６）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を生成することと、
生成された前記設定情報を符号化することと、
を含む画像処理方法。
（１）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を取得する情報取得部と、
前記情報取得部により取得される前記設定情報を用いて、前記第２の予測単位に動きベクトルを設定する動きベクトル設定部と、
を備える画像処理装置。
（２）
前記設定情報は、前記第１の予測単位の動きベクトルの予測の際に用いられるプレディクタを示すプレディクタ情報を含み、
前記動きベクトル設定部は、前記プレディクタ情報により示される前記プレディクタを用いて、前記第２の予測単位に設定される動きベクトルを予測する、
前記（１）に記載の画像処理装置。
（３）
前記設定情報は、前記第２の予測単位の動きベクトルの予測の際に用いられるプレディクタを示すプレディクタ情報を含み、
前記プレディクタは、前記第１の予測単位に設定された動きベクトルに基づくプレディクタ候補を含む複数のプレディクタ候補から選択される、
前記（１）に記載の画像処理装置。
（４）
前記第１の予測単位に設定された動きベクトルに基づくプレディクタ候補には、前記複数のプレディクタ候補の中で最小の符号番号が割り当てられる、前記（３）に記載の画像処理装置。
（５）
前記情報取得部は、前記第２の予測単位に設定される動きベクトルと予測動きベクトルとの差分を示す差分動きベクトル情報をさらに取得し、
前記動きベクトル設定部は、前記プレディクタを用いて予測した前記予測動きベクトルに前記差分動きベクトル情報により示される差分を加算することにより生成される動きベクトルを、前記第２の予測単位に設定する、
前記（２）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記設定情報は、前記第１の予測単位と前記第１の予測単位に隣接する予測単位とに共通する動きベクトルが設定されるかを示すマージ情報を含み、
前記動きベクトル設定部は、前記マージ情報に従って、前記第２の予測単位と前記第２の予測単位に隣接する予測単位とに共通の動きベクトルを設定する、
前記（１）に記載の画像処理装置。
（７）
前記設定情報は、前記第１の予測単位と前記第２の予測単位とに共通する動きベクトルが設定されるかを示すマージ情報を含み、
前記動きベクトル設定部は、前記第１の予測単位と前記第２の予測単位とに共通する動きベクトルが設定されることを前記マージ情報が示している場合には、前記第１の予測単位と共通の動きベクトルを前記第２の予測単位に設定する、
前記（１）に記載の画像処理装置。
（８）
前記動きベクトル設定部は、前記第１のレイヤと前記第２のレイヤとの間の空間解像度の比率に応じて前記第１の予測単位に設定された動きベクトルを拡大した上で、前記第２の予測単位について動きベクトル設定処理を行う、前記（３）、４及び７のいずれか１項に記載の画像処理装置。
（９）
前記動きベクトル設定部は、前記第１の予測単位に設定された動きベクトルの拡大に際して、拡大された動きベクトルを動きベクトル精度に応じて丸める、前記（８）に記載の画像処理装置。
（１０）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度の互いに異なるレイヤである、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１１）
前記第１のレイヤ及び前記第２のレイヤは、雑音比率の互いに異なるレイヤである、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１２）
前記第１の予測単位は、前記第２の予測単位内の所定の位置の画素に対応する画素を有する、前記第１のレイヤ内の予測単位である、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記第１の予測単位は、前記第２の予測単位と重なる前記第１のレイヤ内の予測単位のうち重なりの最も大きい予測単位である、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１４）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を取得することと、
取得された前記設定情報を用いて、前記第２の予測単位に動きベクトルを設定することと、
を含む画像処理方法。
（１５）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を生成する情報生成部と、
前記情報生成部により生成される前記設定情報を符号化する符号化部と、
を備える画像処理装置。
（１６）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報であって、前記第１の予測単位に設定された動きベクトルに関連する前記設定情報を生成することと、
生成された前記設定情報を符号化することと、
を含む画像処理方法。
１０ 画像符号化装置（画像処理装置）
１４６，２４６，３４６，４４６ 情報生成部
１６ 符号化部
６０ 画像復号装置（画像処理装置）
１９１，２９１，３９１，４９１ 情報取得部
１９２，２４６，３９２，４９２ 動きベクトル設定部
１４６，２４６，３４６，４４６ 情報生成部
１６ 符号化部
６０ 画像復号装置（画像処理装置）
１９１，２９１，３９１，４９１ 情報取得部
１９２，２４６，３９２，４９２ 動きベクトル設定部
Claims (12)
- 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報を用いて、前記第２の予測単位に動きベクトルを設定する動きベクトル設定部、
を備え、
前記設定情報は、前記第２の予測単位に他の予測単位と共通する動きベクトルが設定されるかを示すマージフラグと、前記第１の予測単位及び前記第２の予測単位の近傍の１つ以上の近傍予測単位のうちのいずれの予測単位と共通する動きベクトルが前記第２の予測単位に設定されるかを示すマージ情報と、を含む、
画像処理装置。 - 前記動きベクトル設定部は、前記第２の予測単位に他の予測単位と共通する動きベクトルが設定されることを前記マージフラグが示しており、かつ前記設定情報が前記マージ情報を有しない場合に、前記第１の予測単位及び前記１つ以上の近傍予測単位のうちの、所定の予測単位と共通の動きベクトルを前記第２の予測単位に設定する、請求項１に記載の画像処理装置。
- 前記動きベクトル設定部は、前記第１の予測単位と共通の動きベクトルを前記第２の予測単位に設定する場合には、前記第１のレイヤと前記第２のレイヤとの間の空間解像度の比率に応じて前記第１の予測単位に設定された動きベクトルを拡大した上で、前記第２の予測単位について動きベクトル設定処理を行う、請求項２に記載の画像処理装置。
- 前記動きベクトル設定部は、前記第１の予測単位に設定された動きベクトルの拡大に際して、拡大された動きベクトルを動きベクトル精度に応じて丸める、請求項３に記載の画像処理装置。
- 前記設定情報を復号する復号部、をさらに備える、請求項１に記載の画像処理装置。
- 前記第１のレイヤ及び前記第２のレイヤは、空間解像度の互いに異なるレイヤである、請求項１に記載の画像処理装置。
- 前記第１のレイヤ及び前記第２のレイヤは、雑音比率の互いに異なるレイヤである、請求項１に記載の画像処理装置。
- 前記第１の予測単位は、前記第２の予測単位内の所定の位置の画素に対応する画素を有する、前記第１のレイヤ内の予測単位である、請求項１に記載の画像処理装置。
- 前記第１の予測単位は、前記第２の予測単位と重なる前記第１のレイヤ内の予測単位のうち重なりの最も大きい予測単位である、請求項１に記載の画像処理装置。
- 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報を用いて、前記第２の予測単位に動きベクトルを設定すること、
を含み、
前記設定情報は、前記第２の予測単位に他の予測単位と共通する動きベクトルが設定されるかを示すマージフラグと、前記第１の予測単位及び前記第２の予測単位の近傍の１つ以上の近傍予測単位のうちのいずれの予測単位と共通する動きベクトルが前記第２の予測単位に設定されるかを示すマージ情報と、を含む、
画像処理方法。 - 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報を符号化する符号化部、
を備え、
前記設定情報は、前記第２の予測単位に他の予測単位と共通する動きベクトルが設定されるかを示すマージフラグと、前記第１の予測単位及び前記第２の予測単位の近傍の１つ以上の近傍予測単位のうちのいずれの予測単位と共通する動きベクトルが前記第２の予測単位に設定されるかを示すマージ情報と、を含む、
画像処理装置。 - 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位に対応する前記第２のレイヤ内の第２の予測単位に動きベクトルを設定するための設定情報を符号化すること、
を含み、
前記設定情報は、前記第２の予測単位に他の予測単位と共通する動きベクトルが設定されるかを示すマージフラグと、前記第１の予測単位及び前記第２の予測単位の近傍の１つ以上の近傍予測単位のうちのいずれの予測単位と共通する動きベクトルが前記第２の予測単位に設定されるかを示すマージ情報と、を含む、
画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015212445A JP6048564B2 (ja) | 2015-10-29 | 2015-10-29 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015212445A JP6048564B2 (ja) | 2015-10-29 | 2015-10-29 | 画像処理装置及び画像処理方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011155414A Division JP5830993B2 (ja) | 2011-07-14 | 2011-07-14 | 画像処理装置及び画像処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016226631A Division JP6265249B2 (ja) | 2016-11-22 | 2016-11-22 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016042717A JP2016042717A (ja) | 2016-03-31 |
| JP6048564B2 true JP6048564B2 (ja) | 2016-12-21 |
Family
ID=55592250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015212445A Active JP6048564B2 (ja) | 2015-10-29 | 2015-10-29 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6048564B2 (ja) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006080662A1 (en) * | 2004-10-21 | 2006-08-03 | Samsung Electronics Co., Ltd. | Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer |
| KR100664929B1 (ko) * | 2004-10-21 | 2007-01-04 | 삼성전자주식회사 | 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치 |
| US20060153300A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for motion vector prediction in scalable video coding |
| CN101147399B (zh) * | 2005-04-06 | 2011-11-30 | 汤姆森许可贸易公司 | 编码增强层视频数据的方法和设备 |
| KR100896279B1 (ko) * | 2005-04-15 | 2009-05-07 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
| JP2007174569A (ja) * | 2005-12-26 | 2007-07-05 | Sanyo Electric Co Ltd | 符号化方法 |
| CN103597827B (zh) * | 2011-06-10 | 2018-08-07 | 寰发股份有限公司 | 可伸缩视频编码方法及其装置 |
-
2015
- 2015-10-29 JP JP2015212445A patent/JP6048564B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016042717A (ja) | 2016-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5830993B2 (ja) | 画像処理装置及び画像処理方法 | |
| US11196995B2 (en) | Image processing device and image processing method | |
| TWI620433B (zh) | Image processing device and method | |
| JP5810700B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2012008270A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP2013141187A (ja) | 画像処理装置及び画像処理方法 | |
| WO2013164922A1 (ja) | 画像処理装置及び画像処理方法 | |
| US20130259129A1 (en) | Image processing device and method | |
| WO2013001939A1 (ja) | 画像処理装置及び画像処理方法 | |
| WO2014038330A1 (ja) | 画像処理装置及び画像処理方法 | |
| WO2013088833A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP6265249B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6048564B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20160037184A1 (en) | Image processing device and method | |
| JP2012195815A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6048564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |