JPWO2014002900A1

JPWO2014002900A1 - 画像処理装置および画像処理方法

Info

Publication number: JPWO2014002900A1
Application number: JP2014522598A
Authority: JP
Inventors: 碩陸; 鈴木　輝彦; 輝彦鈴木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-06-29
Filing date: 2013-06-21
Publication date: 2016-05-30
Also published as: US20150139310A1; WO2014002900A1

Abstract

本技術は、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができるようにする画像処理装置および画像処理方法に関する。動き予測・補償部は、参照画像を用いて符号化対象の画像の予測画像を生成する。フレームメモリは、例えばDPB（Decoded Picture Buffer）であり、符号化対象の画像と表示順が近い参照画像を優先的に記憶する。本技術は、例えば、HEVC（High Efficiency Video Coding）方式の符号化装置に適用することができる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができるようにした画像処理装置および画像処理方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO/IEC 13818-2）方式は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22MBpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H．26L （ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。この標準化は、2003年3月にH．264及びMPEG-4 Part10（AVC（Advanced Video Coding））という名の元に国際標準化された。

更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了し、これにより、ＡＶＣは、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、Blu-Ray（登録商標） Disc等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の４倍の、4000×2000画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続され行なわれている。

また、現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team-Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、２０１２年２月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。

Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H1003 ver20,2012.2.17

ところで、HEVC方式においてDPB（Decoded Picture Buffer）に記憶可能な参照画像の枚数をより削減したいという要望がある。

本技術は、このような状況に鑑みてなされたものであり、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができるようにするものである。

本技術の一側面の画像処理装置は、参照画像を用いて画像の予測画像を生成する予測画像生成部と、前記画像と表示順が近い前記参照画像を優先的に記憶する記憶部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。

本技術の一側面においては、参照画像を用いて画像の予測画像が生成され、前記画像と表示順が近い前記参照画像が優先的に記憶される。

本技術によれば、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができる。

本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。フレームメモリに記憶される参照画像の第１の例を説明する図である。フレームメモリに記憶される参照画像の第２の例を説明する図である。フレームメモリに記憶される参照画像の第３の例を説明する図である。フレームメモリに記憶される参照画像の第４の例を説明する図である。図３の符号化装置の符号化処理の詳細を説明するフローチャートである。図３の符号化装置の符号化処理の詳細を説明するフローチャートである。本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。図８の復号装置の復号処理の詳細を説明するフローチャートである。多視点画像符号化方式の例を示す図である。本技術を適用した多視点画像符号化装置の主な構成例を示す図である。本技術を適用した多視点画像復号装置の主な構成例を示す図である。階層画像符号化方式の例を示す図である。スペーシャルなスケーラブル符号化の例を説明する図である。テンポラルなスケーラブル符号化の例を説明する図である。信号雑音比のスケーラブル符号化の例を説明する図である。本技術を適用した階層画像符号化装置の主な構成例を示す図である。本技術を適用した階層画像復号装置の主な構成例を示す図である。コンピュータのハードウエアの構成例を示すブロック図である。本技術を適用したテレビジョン装置の概略構成例を示す図である。本技術を適用した携帯電話機の概略構成例を示す図である。本技術を適用した記録再生装置の概略構成例を示す図である。本技術を適用した撮像装置の概略構成例を示す図である。スケーラブル符号化利用の一例を示すブロック図である。スケーラブル符号化利用の他の例を示すブロック図である。スケーラブル符号化利用のさらに他の例を示すブロック図である。

＜一実施の形態＞
（符号化装置の一実施の形態の構成例）
図１は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。

図１の符号化装置１１は、A/D変換部３１、画面並べ替えバッファ３２、演算部３３、直交変換部３４、量子化部３５、可逆符号化部３６、蓄積バッファ３７、逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、動き予測・補償部４７、予測画像選択部４８、およびレート制御部４９により構成される。

具体的には、符号化装置１１のA/D変換部３１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３２に出力して記憶させる。画面並べ替えバッファ３２は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替え、演算部３３、イントラ予測部４６、および動き予測・補償部４７に出力する。

演算部３３は、予測画像選択部４８から供給される予測画像と、画面並べ替えバッファ３２から出力された符号化対象の画像の差分を演算することにより符号化を行う。具体的には、演算部３３は、画面並べ替えバッファ３２から出力された符号化対象の画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、その結果得られる画像を、残差情報として直交変換部３４に出力する。なお、予測画像選択部４８から予測画像が供給されない場合、演算部３３は、画面並べ替えバッファ３２から読み出された画像をそのまま残差情報として直交変換部３４に出力する。

直交変換部３４は、演算部３３からの残差情報を直交変換し、直交変換係数を生成する。直交変換部３４は、生成された直交変換係数を量子化部３５に供給する。

量子化部３５は、直交変換部３４から供給される直交変換係数に対して、レート制御部４９から供給される量子化パラメータを用いて量子化を行う。量子化部３５は、その結果得られる係数は、可逆符号化部３６に入力される。

可逆符号化部３６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部４６から取得する。また、可逆符号化部３６は、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトルなどを動き予測・補償部４７から取得する。また、可逆符号化部３６は、レート制御部４９から量子化パラメータを取得する。

また、可逆符号化部３６は、適応オフセットフィルタ４２から格納フラグ、インデックスまたはオフセット、および種類情報をオフセットフィルタ情報として取得し、適応ループフィルタ４３からフィルタ係数を取得する。

可逆符号化部３６は、量子化部３５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定するための情報など、量子化パラメータ、オフセットフィルタ情報、およびフィルタ係数を、符号化に関する符号化情報として可逆符号化する。可逆符号化部３６は、可逆符号化された符号化情報と係数を、符号化データとして蓄積バッファ３７に供給し、蓄積させる。なお、可逆符号化された符号化情報は、可逆符号化された係数のヘッダ情報（スライスヘッダ）とされてもよい。

蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ３７は、記憶している符号化データを出力する。

また、量子化部３５より出力された、量子化された係数は、逆量子化部３８にも入力される。逆量子化部３８は、量子化部３５により量子化された係数に対して、レート制御部４９から供給される量子化パラメータを用いて逆量子化を行い、その結果得られる直交変換係数を逆直交変換部３９に供給される。

逆直交変換部３９は、逆量子化部３８から供給される直交変換係数に対して逆直交変換を行う。逆直交変換部３９は、逆直交変換の結果得られる残差情報を加算部４０に供給する。

加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部４８から予測画像が供給されない場合、加算部４０は、逆直交変換部３９から供給される残差情報を局部的に復号された復号画像とする。加算部４０は、局部的に復号された画像をデブロックフィルタ４１に供給するとともに、フレームメモリ４４に供給して蓄積させる。

デブロックフィルタ４１は、加算部４０から供給される局部的に復号された画像に対して、ブロック歪を除去する適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ４２に供給する。

適応オフセットフィルタ４２は、デブロックフィルタ４１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。

具体的には、適応オフセットフィルタ４２は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ４２は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ４２は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に供給する。

また、適応オフセットフィルタ４２は、オフセットを格納するバッファを有している。適応オフセットフィルタ４２は、LCUごとに、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。

適応オフセットフィルタ４２は、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。

そして、適応オフセットフィルタ４２は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を可逆符号化部３６に供給する。

一方、適応オフセットフィルタ４２は、適応デブロックフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットを順にバッファに格納する。また、適応オフセットフィルタ４２は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ４２は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を可逆符号化部３６に供給する。

適応ループフィルタ４３は、適応オフセットフィルタ４２から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF:Adaptive Loop Filter)処理を行う。適応ループフィルタ処理としては、例えば、２次元のウィナーフィルタ（Wiener Filter）による処理が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。

具体的には、適応ループフィルタ４３は、LCUごとに、画面並べ替えバッファ３２から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ４３は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。

適応ループフィルタ４３は、適応ループフィルタ処理後の画像をフレームメモリ４４に供給する。また、適応ループフィルタ４３は、フィルタ係数を可逆符号化部３６に供給する。

なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ４２と適応ループフィルタ４３の処理単位を合わせることにより、処理を効率的に行うことができる。

フレームメモリ４４は、DPBであり、適応ループフィルタ４３から供給される画像、または、加算部４０から供給される画像を復号画像として蓄積する。フレームメモリ４４に蓄積された復号画像は、参照画像としてスイッチ４５を介してイントラ予測部４６または動き予測・補償部４７に出力される。

イントラ予測部４６は、フレームメモリ４４からスイッチ４５を介して読み出された参照画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、符号化対象の画像の予測画像を生成する。

また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。イントラ予測部４６は、予測画像選択部４８から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部３６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。

Cost(Mode)=D＋λ・R ・・・（１）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。

Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）

Dは、原画像と予測画像の差分（歪）、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。

動き予測・補償部４７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と、フレームメモリ４４からスイッチ４５を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部４７は、予測画像生成部として機能し、その動きベクトルに基づいて参照画像に補償処理を施し、符号化対象の画像の予測画像を生成する。

このとき、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。また、動き予測・補償部４７は、予測画像選択部４８から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定するための情報などを可逆符号化部３６に出力する。

予測画像選択部４８は、イントラ予測部４６および動き予測・補償部４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に供給する。また、予測画像選択部４８は、最適予測モードの予測画像の選択をイントラ予測部４６または動き予測・補償部４７に通知する。

レート制御部４９は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５で用いられる量子化パラメータを決定する。レート制御部４９は、決定された量子化パラメータを、量子化部３５、可逆符号化部３６、および逆量子化部３８に供給する。

（フレームメモリに記憶される参照画像の第１の例）
図２は、フレームメモリ４４に記憶可能な参照画像の枚数が６枚である場合にフレームメモリ４４に記憶される参照画像を説明する図である。

図２に示すように、フレームメモリ４４に記憶可能な参照画像の枚数が６枚である場合、１枚の符号化対象の画像の復号画像と、５枚以下の符号化済みの画像の復号画像とが、フレームメモリ４４に記憶される。即ち、フレームメモリ４４は、１枚の符号化対象の画像の復号画像を一時的に記憶する一時記憶領域と、５枚以下の符号化済みの画像の復号画像を記憶する長期記憶領域とを有する。

なお、図２において、Ｉは、Ｉピクチャを表し、Ｂは、Ｂピクチャを表す。また、ＩやＢの後の数字は、対応するピクチャの表示順を表す。図２において、最上段は、ピクチャを、符号化順（復号順）に並べて記載したものである。上から２番目の段は、最上段のピクチャの表示順（POC（Picture Order Count））を記載したものである。上から３番目の段は、最上段のピクチャの復号時に表示されるピクチャを記載したものである。

また、上から４番目乃至８番目の段は、最上段のピクチャの符号化時にフレームメモリ４４の長期記憶領域に記憶されるピクチャを記載したものである。上から９番目の段は、最上段のピクチャの符号化時のL0予測に参照画像として用いられるピクチャの表示順を表し、上から１０番目の段は、最上段のピクチャの符号化時のL1予測に参照画像として用いられるピクチャの表示順を表す。これらのことは、後述する図３乃至図５においても同様である。

図２に示すように、フレームメモリ４４は、符号化対象のピクチャの復号時にまだ表示が終わらないピクチャを、長期記憶領域に記憶する。一方、フレームメモリ４４は、符号化対象のピクチャの復号時に表示が済んでおり、参照画像として用いられないピクチャを、長期記憶領域に記憶しない。

さらに、フレームメモリ４４は、符号化対象のピクチャと表示順が近いピクチャよりも、量子化パラメータの小さいピクチャを優先的に長期記憶領域に記憶する。例えば、フレームメモリ４４は、表示順が５番目であるＢピクチャ（Ｂ５ピクチャ）の符号化時に、Ｂ５ピクチャと表示順が近い、表示順が２番目であるＢピクチャ（Ｂ２ピクチャ）よりも、量子化パラメータの小さい、表示順が０番目であるIピクチャ（Ｉ０ピクチャ）を優先的に長期記憶領域に記憶する。

（フレームメモリに記憶される参照画像の第２の例）
図３は、フレームメモリ４４に記憶可能な参照画像の枚数が５枚である場合にフレームメモリ４４に記憶される参照画像の第１の例を説明する図である。

図３に示すように、フレームメモリ４４に記憶可能な参照画像の枚数が５枚である場合、１枚の符号化対象の画像の復号画像と、４枚以下の符号化済みの画像の復号画像とが、フレームメモリ４４に記憶される。即ち、フレームメモリ４４は、１枚の符号化対象の画像の復号画像を一時的に記憶する一時記憶領域と、４枚以下の符号化済みの画像の復号画像を記憶する長期記憶領域とを有する。

図３に示すように、フレームメモリ４４は、符号化対象のピクチャの復号時にまだ表示が終わらないピクチャを、長期記憶領域に記憶する。一方、フレームメモリ４４は、符号化対象のピクチャの復号時に表示が済んでおり、参照画像として用いられないピクチャを、長期記憶領域に記憶しない。

さらに、フレームメモリ４４は、符号化対象のピクチャと表示順が近いピクチャを優先的に長期記憶領域に記憶する。例えば、フレームメモリ４４は、表示順が６番目であるＢピクチャ（Ｂ６ピクチャ）の符号化時に、表示順が０番目であるＩ０ピクチャよりも、Ｂ６ピクチャと表示順が近い、表示順が２番目であるＢ２ピクチャを優先的に長期記憶領域に記憶する。

（フレームメモリに記憶される参照画像の第３の例）
図４は、フレームメモリ４４に記憶可能な参照画像の枚数が５枚である場合にフレームメモリ４４に記憶される参照画像の第２の例を説明する図である。

上述したように、フレームメモリ４４に記憶可能な参照画像の枚数が５枚である場合、フレームメモリ４４は、１枚の符号化対象の画像の復号画像を一時的に記憶する一時記憶領域と、４枚以下の符号化済みの画像の復号画像を記憶する長期記憶領域とを有する。

図４に示すように、フレームメモリ４４は、符号化対象のピクチャの復号時にまだ表示が終わらないピクチャを、長期記憶領域に記憶する。一方、フレームメモリ４４は、符号化対象のピクチャの復号時に表示が済んでおり、参照画像として用いられないピクチャを、長期記憶領域に記憶しない。

さらに、フレームメモリ４４は、符号化対象のピクチャと表示順が近いピクチャを部分的に優先して長期記憶領域に記憶する。例えば、フレームメモリ４４は、表示順が６番目であるＢ６ピクチャの符号化時に、Ｂ６ピクチャと表示順が近い、表示順が２番目であるＢ２ピクチャよりも、量子化パラメータの小さい、表示順が０番目であるＩ０ピクチャを優先的に長期記憶領域に記憶する。

一方、フレームメモリ４４は、表示順が７番目であるＢピクチャ（Ｂ７ピクチャ）の符号化時に、表示順が０番目であるＩ０ピクチャよりも、Ｂ７ピクチャと表示順が近い、表示順が４番目であるＢピクチャ（Ｂ４ピクチャ）を優先的に長期記憶領域に記憶する。

（フレームメモリに記憶される参照画像の第４の例）
図５は、フレームメモリ４４に記憶可能な参照画像の枚数が５枚である場合にフレームメモリ４４に記憶される参照画像の第３の例を説明する図である。

図５に示すように、フレームメモリ４４は、符号化対象のピクチャの復号時にまだ表示が終わらないピクチャを、長期記憶領域に記憶する。一方、フレームメモリ４４は、符号化対象のピクチャの復号時に表示が済んでおり、参照画像として用いられないピクチャを、長期記憶領域に記憶しない。

さらに、フレームメモリ４４は、符号化対象のピクチャと表示順が近いピクチャよりも、量子化パラメータの小さいピクチャを優先的に長期記憶領域に記憶する。例えば、フレームメモリ４４は、表示順が６番目であるＢ６ピクチャの符号化時に、Ｂ６ピクチャと表示順が近い、表示順が２番目であるＢ２ピクチャよりも、量子化パラメータの小さい、表示順が０番目であるＩ０ピクチャを優先的に長期記憶領域に記憶する。

なお、フレームメモリ４４に記憶可能な参照画像の枚数は、符号化対象の画像の大きさ、即ちプロファイルのレベルなどに応じて決定される。例えば、符号化対象の画像が大きい場合、フレームメモリ４４に記憶可能な参照画像の枚数は５枚とされ、符号化対象の画像が小さい場合、フレームメモリ４４に記憶可能な参照画像の枚数は６枚とされる。

また、フレームメモリ４４に記憶可能な参照画像の枚数が５枚である場合、フレームメモリ４４は、図３乃至図５のいずれの方法で参照画像を記憶してもよい。また、符号化対象の画像の種類等に応じて、図３乃至図５の方法が切り替えられるようにしてもよい。この場合、例えば、符号化対象の画像が動画像である場合図３の方法が用いられ、符号化対象の画像が静止画像である場合図５の方法が用いられる。

（符号化装置の処理の説明）
図６は、図３の符号化装置１１の符号化処理の詳細を説明するフローチャートである。

図６のステップＳ３１において、符号化装置１１のA/D変換部３１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３２に出力して記憶させる。

ステップＳ３２において、画面並べ替えバッファ３２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ３２は、並べ替え後のフレーム単位の画像を、演算部３３、イントラ予測部４６、および動き予測・補償部４７に供給する。

ステップＳ３３において、イントラ予測部４６は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。

また、動き予測・補償部４７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。

ステップＳ３４において、予測画像選択部４８は、ステップＳ３３の処理によりイントラ予測部４６および動き予測・補償部４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に供給する。

ステップＳ３５において、予測画像選択部４８は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部４８は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部４７に通知する。

そして、ステップＳ３６において、動き予測・補償部４７は、インター予測モード情報、対応する動きベクトル、参照画像を特定するための情報などを可逆符号化部３６に供給し、処理をステップＳ３８に進める。

一方、ステップＳ３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部４８は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部４６に通知する。そして、ステップＳ３７において、イントラ予測部４６は、イントラ予測モード情報を可逆符号化部３６に供給し、処理をステップＳ３８に進める。

ステップＳ３８において、演算部３３は、画面並べ替えバッファ３２から供給される画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、その結果得られる画像を、残差情報として直交変換部３４に出力する。

ステップＳ３９において、直交変換部３４は、演算部３３からの残差情報に対して直交変換を施し、その結果得られる直交変換係数を量子化部３５に供給する。

ステップＳ４０において、量子化部３５は、レート制御部４９から供給される量子化パラメータを用いて直交変換部３４から供給される係数を量子化する。量子化された係数は、可逆符号化部３６と逆量子化部３８に入力される。

図７のステップＳ４１において、逆量子化部３８は、レート制御部４９から供給される量子化パラメータを用いて、量子化部３５から供給される量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部３９に供給する。

ステップＳ４２において、逆直交変換部３９は、逆量子化部３８から供給される直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部４０に供給する。

ステップＳ４３において、加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算し、局部的に復号された画像を得る。加算部４０は、得られた画像をデブロックフィルタ４１に供給するとともに、フレームメモリ４４に供給する。

ステップＳ４４において、デブロックフィルタ４１は、加算部４０から供給される局部的に復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ４１は、その結果得られる画像を適応オフセットフィルタ４２に供給する。

ステップＳ４５において、適応オフセットフィルタ４２は、デブロックフィルタ４１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ４２は、その結果得られる画像を適応ループフィルタ４３に供給する。また、適応オフセットフィルタ４２は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部３６に供給する。

ステップＳ４６において、適応ループフィルタ４３は、適応オフセットフィルタ４２から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ４３は、その結果得られる画像をフレームメモリ４４に供給する。また、適応ループフィルタ４３は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部３６に供給する。

ステップＳ４７において、フレームメモリ４４は、図２乃至図５で説明したように、適応ループフィルタ４３から供給される画像または加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積された画像は、参照画像としてスイッチ４５を介してイントラ予測部４６または動き予測・補償部４７に出力される。

ステップＳ４８において、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定するための情報など、レート制御部４９からの量子化パラメータ、オフセットフィルタ情報、およびフィルタ係数を、符号化情報として可逆符号化する。

ステップＳ４９において、可逆符号化部３６は、量子化部３５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部３６は、ステップＳ４８の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成する。

ステップＳ５０において、蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に蓄積する。

ステップＳ５１において、レート制御部４９は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５で用いられる量子化パラメータを決定する。レート制御部４９は、決定された量子化パラメータを、量子化部３５、可逆符号化部３６、および逆量子化部３８に供給する。

ステップＳ５２において、蓄積バッファ３７は、記憶している符号化データを出力する。

なお、図６および図７の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

以上のように、符号化装置１１のフレームメモリ４４は、図３乃至図５で説明したように記憶することにより、参照画像の記憶可能な枚数を５枚に削減することができる。また、フレームメモリ４４は、図３や図４で説明したように、符号化対象の画像と表示順が近い復号画像を参照画像として優先的に記憶することにより、符号化対象の画像が動画像などである場合、予測画像の精度の劣化を抑制することができる。

さらに、フレームメモリ４４は、図４や図５で説明したように、量子化パラメータの小さい復号画像を参照画像として優先的に記憶することにより、符号化対象の画像が静止画像などである場合、予測画像の精度の劣化を抑制することができる。

（復号装置の一実施の形態の構成例）
図８は、図３の符号化装置１１から伝送される符号化ストリームを復号する、本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。

図８の復号装置１１３は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、画面並べ替えバッファ１３９、D/A変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４４、およびスイッチ１４５により構成される。

復号装置１１３の蓄積バッファ１３１は、図３の符号化装置１１から伝送されてくる符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に供給する。

可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１３２は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き補償部１４４に供給する。

さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４５に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。

逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、および、動き補償部１４４は、図４の逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、および、動き予測・補償部４７とそれぞれ同様の処理を行い、これにより、画像が復号される。

具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。

加算部１３５は、逆直交変換部１３４から供給される復号対象の画像としての残差情報と、スイッチ１４５から供給される予測画像を加算することにより、復号を行う。加算部１３５は、復号の結果得られる画像をデブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。なお、スイッチ１４５から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。

デブロックフィルタ１３６は、加算部１３５から供給される画像に対して適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ１３７に供給する。

適応オフセットフィルタ１３７は、可逆復号部１３２から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ１３７は、LCUごとに、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１３６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。

具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ１３７は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。

一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ１３７は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。そして、適応オフセットフィルタ１３７は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に供給する。

適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、その結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１４０に供給する。

D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

フレームメモリ１４１は、DPBであり、フレームメモリ４４と同様に、適応ループフィルタ１３８から供給される画像または加算部１３５から供給される画像を、復号画像として蓄積する。具体的には、図１のフレームメモリ４４に記憶する復号画像を指定する情報や、図２乃至図５の方法を指定する情報等が、符号化装置１１から伝送されてくる。フレームメモリ１４１は、符号化装置１１から伝送されてくる情報に基づいて、フレームメモリ４４と同様に復号画像の記憶を制御する。フレームメモリ１４１に蓄積された画像は参照画像として読み出され、スイッチ１４２を介して動き補償部１４４またはイントラ予測部１４３に供給される。

イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された参照画像を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される復号対象の画像の予測画像をスイッチ１４５に供給する。

動き補償部１４４は、可逆復号部１３２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１４１からスイッチ１４２を介して、参照画像を読み出す。動き補償部１４４は、予測画像生成部として機能し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４４は、その結果生成される復号対象の画像の予測画像をスイッチ１４５に供給する。

スイッチ１４５は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４５は、動き補償部１４４から供給される予測画像を加算部１３５に供給する。

（復号装置の処理の説明）
図９は、図８の復号装置１１３の復号処理の詳細を説明するフローチャートである。

図９のステップＳ１３１において、復号装置１１３の蓄積バッファ１３１は、符号化装置１１から伝送されてくるフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に供給する。

ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部１３２は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き補償部１４４に供給する。

ステップＳ１３３において、逆量子化部１３３は、可逆復号部１３２からの量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

ステップＳ１３４において、動き補償部１４４は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３５に進む。

ステップＳ１３５において、動き補償部１４４は、可逆復号部１３２から供給される参照画像を特定するための情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４４は、その結果生成される予測画像を、スイッチ１４５を介して加算部１３５に供給し、処理をステップＳ１３７に進める。

一方、ステップＳ１３４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された参照画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４５を介して加算部１３５に供給し、処理をステップＳ１３７に進める。

ステップＳ１３７において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。

ステップＳ１３８において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４５から供給される予測画像を加算する。加算部１３５は、その結果得られる画像をデブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。

ステップＳ１３９において、デブロックフィルタ１３６は、加算部１３５から供給される画像に対してデブロッキングフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ１３６は、その結果得られる画像を適応オフセットフィルタ１３７に供給する。

ステップＳ１４０において、適応オフセットフィルタ１３７は、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１３６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に供給する。

ステップＳ１４１において、適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、その結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

ステップＳ１４２において、フレームメモリ１４１は、図１のフレームメモリ４４と同様の図２乃至図５の方法で、加算部１３５から供給される画像、または、適応ループフィルタ１３８から供給される画像を蓄積する。フレームメモリ１４１に蓄積された画像は、参照画像としてスイッチ１４２を介して動き補償部１４４またはイントラ予測部１４３に供給される。

ステップＳ１４３において、画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１４０に供給する。

ステップＳ１４４において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をD/A変換し、出力信号として出力し、処理を終了する。

以上のように、復号装置１１３のフレームメモリ１４１は、フレームメモリ４４と同様の図３乃至図５の方法で復号画像を記憶することにより、参照画像の記憶可能な枚数を５枚に削減することができる。また、フレームメモリ１４１は、図３や図４の方法で、符号化対象の画像と表示順が近い復号画像を参照画像として優先的に記憶することにより、符号化対象の画像が動画像などである場合、予測画像の精度の劣化を抑制することができる。

さらに、フレームメモリ１４１は、図４や図５の方法で、量子化パラメータの小さい復号画像を参照画像として優先的に記憶することにより、符号化対象の画像が静止画像などである場合、予測画像の精度の劣化を抑制することができる。

（多視点画像符号化・多視点画像復号への適用）
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図１０は、多視点画像符号化方式の一例を示す。

図１０に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。

図１０のような多視点画像符号化を行う場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した実施の形態の方法を適用するようにしてもよい。このようにすることにより、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができる。

また、各ビュー（同一ビュー）において、量子化パラメータの差分をとることもできる：
(1)base-view：
(1-1) dQP(base view)＝Current_CU_QP(base view)−LCU_QP(base view)
(1-2) dQP(base view)＝Current_CU_QP(base view)−Previsous_CU_QP(base view)
(1-3) dQP(base view)＝Current_CU_QP(base view)−Slice_QP(base view)
(2)non-base-view：
(2-1) dQP(non-base view)＝Current_CU_QP(non-base view)−LCU_QP(non-base view)
(2-2) dQP(non-base view)＝CurrentQP(non-base view)−PrevisousQP(non-base view)
(2-3) dQP(non-base view)＝Current_CU_QP(non-base view)−Slice_QP(non-base view)

多視点画像符号化を行う場合、各ビュー(異なるビュー)において、量子化パラメータの差分をとることもできる：
(3)base-view/ non-base view：
(3-1) dQP(inter-view)＝Slice_QP(base view)−Slice_QP(non-base view)
(3-2) dQP(inter-view)＝LCU_QP(base view)−LCU_QP(non-base view)
(4)non-base view / non-base view ：
(4-1) dQP(inter-view)＝Slice_QP(non-base view i)−Slice_QP(non-base view j)
(4-2) dQP(inter-view)＝LCU_QP(non-base view i)−LCU_QP(non-base view j)

この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースビューでは、ベースビューとノンベースビューとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースビューとノンベースビューとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、多視点符号化を行った場合においても、符号化効率を向上させることができる。

上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。

（多視点画像符号化装置の構成例）
図１１は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図１１に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、符号化装置１１を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値を設定して、伝送させる。

（多視点画像復号装置の構成例）
図１２は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図１２に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、復号装置１１３を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値から量子化パラメータを設定して、逆量子化を行う。

（階層画像符号化・階層画像復号への適用）
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図１３は、多視点画像符号化方式の一例を示す。

図１３に示されるように、階層画像は、所定のパラメータについてスケーラブル（scalable）機能を有するように、複数の階層の画像を含み、その複数の階層のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。

図１３のような階層画像符号化を行う場合、各レイヤ(同一レイヤ)において、量子化パラメータの差分をとることもできる：
(1)base-layer：
(1-1)dQP(base layer)＝Current_CU_QP(base layer)−LCU_QP(base layer)
(1-2)dQP(base layer)＝Current_CU_QP(base layer)−Previsous_CU_QP(base layer)
(1-3)dQP(base layer)＝Current_CU_QP(base layer)−Slice_QP(base layer)
(2)non-base-layer：
(2-1)dQP(non-base layer)＝Current_CU_QP(non-base layer)−LCU_QP(non-base layer)
(2-2)dQP(non-base layer)＝CurrentQP(non-base layer)−PrevisousQP(non-base layer)
(2-3)dQP(non-base layer)＝Current_CU_QP(non-base layer)−Slice_QP(non-base layer)

階層符号化を行う場合、各レイヤ(異なるレイヤ)において、量子化パラメータの差分をとることもできる：
(3)base-layer/ non-base layer：
(3-1)dQP(inter-layer)＝Slice_QP(base layer)−Slice_QP(non-base layer)
(3-2)dQP(inter-layer)＝LCU_QP(base layer)−LCU_QP(non-base layer)
(4)non-base layer / non-base layer ：
(4-1)dQP(inter-layer)＝Slice_QP(non-base layer i)−Slice_QP(non-base layer j)
(4-2)dQP(inter-layer)＝LCU_QP(non-base layer i)−LCU_QP(non-base layer j)

この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースレイヤでは、ベースレイヤとノンベースレイヤとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースレイヤとノンベースレイヤとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、階層符号化を行った場合においても、符号化効率を向上させることができる。

（スケーラブルなパラメータ）
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラブル（scalable）機能を有するパラメータは、任意である。例えば、図１４に示されるような空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図１４に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

また、このようなスケーラブル性を持たせるパラメータとして、他には、例えば、図１５に示されるような、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図１５に示されるように、各ピクチャが、元の動画像より低フレームレートのベースレイヤと、ベースレイヤと合成することにより元のフレームレートが得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

さらに、このようなスケーラブル性を持たせるパラメータとして、例えば、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、この場合、図１６に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤと合成することにより元のSNRが得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

スケーラブル性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、スケーラブル性を持たせるパラメータとして、ビット深度を用いることもできる（bit-depth scalability）。このビット深度スケーラビリティ（bit-depth scalability）の場合、レイヤ毎にビット深度が異なる。この場合、例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるようにすることができる。

また、スケーラブル性を持たせるパラメータとして、クロマフォーマットを用いることもできる（chroma scalability）。このクロマスケーラビリティ（chroma scalability）の場合、レイヤ毎にクロマフォーマットが異なる。この場合、例えば、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるようにすることができる。

（階層画像符号化装置の構成例）
図１７は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図１７に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、符号化装置１１を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１が設定する量子化パラメータと符号化部６２２が設定する量子化パラメータとの差分値を設定して、伝送させる。

（階層画像復号装置の構成例）
図１８は、上述した階層画像復号を行う階層画像復号装置を示す図である。図１８に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、復号装置１１３を適用することができる。この場合、階層画像復号装置６３０は、符号化部６２１が設定する量子化パラメータと符号化部６２２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。

（本技術を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

（テレビジョン装置の構成例）
図２０は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができる。

（携帯電話機の構成例）
図２１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができる。

（記録再生装置の構成例）
図２２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができる。

（撮像装置の構成例）
図２３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測画像の精度の劣化を抑制しつつ、参照画像の記憶可能な枚数を削減することができる。

＜スケーラブル符号化の応用例＞
（第１のシステム）
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図２４に示される例のように、伝送するデータの選択のために利用される。

図２４に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバーフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバーフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

（第２のシステム）
また、スケーラブル符号化は、例えば、図２５に示される例のように、複数の通信媒体を介する伝送のために利用される。

図２５に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバーフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

（第３のシステム）
また、スケーラブル符号化は、例えば、図２６に示される例のように、符号化データの記憶に利用される。

図２６に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

また、LCUとは、最大のサイズのCU（Coding Unit）であり、CTU（Coding Tree Unit）は、LCUのCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位である。また、CTUを構成するCUは、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位である。

本発明は、MPEG，H.26x等のように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる装置に適用することができる。

また、本発明における符号化方式は、HEVC方式以外の符号化方式であってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本技術は、以下のような構成もとることができる。

（１）
参照画像を用いて画像の予測画像を生成する予測画像生成部と、
前記画像と表示順が近い前記参照画像を優先的に記憶する記憶部と
を備える画像処理装置。
（２）
前記記憶部は、前記画像が動画像である場合、前記画像と表示順が近い前記参照画像を優先的に記憶し、前記画像が静止画像である場合、量子化パラメータの小さい前記参照画像を優先的に記憶する
前記（１）に記載の画像処理装置。
（３）
前記記憶部は、前記画像が静止画像である場合、前記参照画像としてのＩピクチャを優先的に記憶する
前記（２）に記載の画像処理装置。
（４）
前記記憶部に記憶可能な前記参照画像の枚数は、前記画像のサイズに基づいて決定される
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
画像処理装置が、
参照画像を用いて、画像の予測画像を生成する予測画像生成ステップと、
前記画像と表示順が近い前記参照画像を優先的に記憶する記憶ステップと
を含む画像処理方法。

１１符号化装置, ４４フレームメモリ，４７動き予測・補償部，１１３復号装置，１４１フレームメモリ，１４４動き補償部

Claims

参照画像を用いて画像の予測画像を生成する予測画像生成部と、
前記画像と表示順が近い前記参照画像を優先的に記憶する記憶部と
を備える画像処理装置。
前記記憶部は、前記画像が動画像である場合、前記画像と表示順が近い前記参照画像を優先的に記憶し、前記画像が静止画像である場合、量子化パラメータの小さい前記参照画像を優先的に記憶する
請求項１に記載の画像処理装置。
前記記憶部は、前記画像が静止画像である場合、前記参照画像としてのＩピクチャを優先的に記憶する
請求項２に記載の画像処理装置。
前記記憶部に記憶可能な前記参照画像の枚数は、前記画像のサイズに基づいて決定される
請求項１に記載の画像処理装置。
画像処理装置が、
参照画像を用いて、画像の予測画像を生成する予測画像生成ステップと、
前記画像と表示順が近い前記参照画像を優先的に記憶する記憶ステップと
を含む画像処理方法。