JPWO2012169403A1 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JPWO2012169403A1 JPWO2012169403A1 JP2013519453A JP2013519453A JPWO2012169403A1 JP WO2012169403 A1 JPWO2012169403 A1 JP WO2012169403A1 JP 2013519453 A JP2013519453 A JP 2013519453A JP 2013519453 A JP2013519453 A JP 2013519453A JP WO2012169403 A1 JPWO2012169403 A1 JP WO2012169403A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- unit
- referred
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Abstract
本技術は、多視点符号化における符号化効率を改善することができるようにする画像処理装置および方法に関する。参照画像インデックス割り当て部は、動き視差予測・補償部が対象画像を予測する際に参照する参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てる。割り当てに際して、参照画像インデックス割り当て部は、デコードピクチャバッファに蓄積されている参照画像の時刻情報およびビュー情報、並びに、シンタックス処理部からのシーケンスパラメータセットおよびスライスヘッダなどの情報を参照する。本開示は、例えば、画像処理装置に適用することができる。
Description
本開示は画像処理装置および方法に関し、特に、多視点符号化において、符号化効率を改善することができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている（非特許文献１参照）。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。HEVCにおいては、ドラフトとして非特許文献２が発行されている。
ところで、H．264/AVCにおいては、Ｂピクチャを復号するために、参照画像インデックスを割り当てる場合、リストL0に対して、ピクチャの出力順序を示す情報であるPOC(Picture Order Count)の降順に参照画像インデックスが割り当てられる。リストL1に対して、POCの昇順に参照画像インデックスが割り当てられる。
また、Ｐピクチャを復号するために、参照画像インデックスを割り当てる場合、復号順に参照画像インデックスが割り当てられる。
"ITU-T Recommendation H.264 Advanced video coding for generic audiovisual", March 2010
Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding", JCTVc-E603, 2011年3月
ただし、上述したH．264/AVCにおける参照画像インデックスの割り当て方法は、同一視点内における処理が主となっている。したがって、多視点符号化の場合、参照画像インデックスは、時間方向の参照画像に対してすべて割り当てた後に、ビュー方向の参照画像に対して割り当てられるものであった。そして、割り当てられた参照画像インデックスが非効率であり、変更したいときには、変更コマンドを送るというものであった。
このように、多視点符号化の場合の参照画像インデックスの割り当て方法は、効率的ではなかった。
本開示は、このような状況に鑑みてなされたものであり、多視点符号化において、符号化効率を改善することができるものである。
本開示の一側面の画像処理装置は、ビットストリームを復号して、画像を生成する復号部と、前記復号部により生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記復号部により生成された前記画像を予測する予測部とを備える。
前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返すことができる。
前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返すことができる。
前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に、時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方を選択して、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てることができる。
本開示の一側面の画像処理方法は、画像処理装置が、ビットストリームを復号して、画像を生成し、生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、割り当てられたインデックスの参照画像を参照して、生成された前記画像を予測する。
本開示の他の側面の画像処理装置は、画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記画像を予測する予測部と前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部とを備える。
前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返すことができる。
前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返すことができる。
前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方を選択して、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てることができる。
前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部をさらに備えることができる。
前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てることができる。
前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てることができる。
前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部をさらに備えることができる。
本開示の他の側面の画像処理方法は、画像処理装置が、画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、割り当てられたインデックスの参照画像を参照して、前記画像を予測し前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する。
本開示の一側面においては、ビットストリームを復号して、画像が生成される。そして、生成された前記画像を予測する際に参照される参照画像のインデックスが、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てられ、割り当てられたインデックスの参照画像を参照して、生成された前記画像が予測される。
本開示の他の側面においては、画像を予測する際に参照される参照画像のインデックスが、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てられる。そして、割り当てられたインデックスの参照画像を参照して、前記画像が予測され、予測された前記画像を用いて符号化してビットストリームが生成される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の一側面によれば、画像を復号することができる。特に、符号化効率を改善することができる。
本開示の他の側面によれば、画像を符号化することができる。特に、符号化効率を改善することができる。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（４種類のデフォルトの割り当てパターンの例）
４．第４の実施の形態（画像符号化装置）
５．第５の実施の形態（画像復号装置）
６．第６の実施の形態（コンピュータ）
７．応用例
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（４種類のデフォルトの割り当てパターンの例）
４．第４の実施の形態（画像符号化装置）
５．第５の実施の形態（画像復号装置）
６．第６の実施の形態（コンピュータ）
７．応用例
＜１．第１の実施の形態＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１００は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式や、HEVC（High Efficiency Video Coding）方式などが用いられる。
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
画像符号化装置１００は、さらに、シンタックス処理部１２１および参照画像インデックス割り当て部１２２を有する。
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、シンタックス処理部１２１に供給する。
シンタックス処理部１２１は、画面並べ替えバッファ１０２から読み出された画像のデータを順次確認し、画像のデータに、ヘッダ情報を挿入する。ヘッダ情報は、シーケンスパラメータセット（SPS：Sequence Parameter Set）およびピクチャパラメータセット（PPS：Picture Parameter Set）などを含む。また、シンタックス処理部１２１は、スライスの先頭にスライスヘッダ（SH：Slice Header）を付加する。
シンタックス処理部１２１は、ヘッダ情報などが挿入された画像を、演算部１０３、イントラ予測部１１４および動き視差予測・補償部１１５に供給する。また、シンタックス処理部１２１は、各ヘッダ情報およびスライスヘッダなどの情報を、参照画像インデックス割り当て部１２２に供給する。
演算部１０３は、シンタックス処理部１２１から供給される画像から、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、シンタックス処理部１２１から供給される画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、シンタックス処理部１２１から供給される画像から、動き視差予測・補償部１１５から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部１０６は、イントラ予測モードを示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き視差予測・補償部１１５から取得する。
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、および量子化パラメータを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き視差予測・補償部１１５から供給される予測画像を加算する。
その加算結果は、デブロックフィルタ１１１およびデコードピクチャバッファ１１２に供給される。
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１１１は、そのフィルタ処理結果をデコードピクチャバッファ１１２に供給する。
デコードピクチャバッファ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き視差予測・補償部１１５に出力する。
例えば、イントラ符号化が行われる画像の場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介して動き視差予測・補償部１１５に供給する。
選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き視差予測・補償部１１５に供給する。
イントラ予測部１１４は、シンタックス処理部１２１から供給される入力画像の画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
動き視差予測・補償部１１５は、インター符号化が行われる画像について、シンタックス処理部１２１から供給される入力画像と、選択部１１３を介してデコードピクチャバッファ１１２から供給される参照画像とを用いて、動き予視差測を行う。その際、動き視差予測・補償部１１５は、参照画像インデックス割り当て部１２２により割り当てられた参照画像インデックスの参照画像を用いる。動き視差予測・補償部１１５は、検出された動きおよび視差ベクトルに応じて動き視差補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き視差予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き視差予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、動き視差予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。
選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き視差予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
参照画像インデックス割り当て部１２２は、動き視差予測・補償部１１５が対象画像を予測する際に参照する参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てる。割り当てに際し、処理対象画像の情報として、シンタックス処理部１２１からのシーケンスパラメータセットおよびスライスヘッダなどのヘッダ情報が参照される。さらに、参照画像の情報として、デコードピクチャバッファ１１２に蓄積されている参照画像のヘッダ情報などから得られる参照画像の時刻情報およびビュー情報も参照される。
参照画像インデックス割り当て部１２２は、割り当てた参照画像インデックスを、動き視差予測・補償部１１５に供給する。
［参照画像インデックスの割り当て方法］
H．264/AVC方式およびHEVC方式においては、以下のように、同一ビュー内の参照画像インデックスの割り当て方法が規定されている。
H．264/AVC方式およびHEVC方式においては、以下のように、同一ビュー内の参照画像インデックスの割り当て方法が規定されている。
画像を復号するときは、過去に復号された画像へ参照画像インデックスを割り当てることができる。
参照画像のインデックスは、デコードピクチャバッファ１１２内の参照可能な画像へ割り当てることが可能である。参照画像インデックスの最大値はヘッダ情報として伝送することで変更することができる。
復号画像がＰピクチャの場合、リストL0に対して、参照可能な画像のうち、復号順序が近い順に小さい参照画像インデックスが割り当てられる。
復号画像がＢピクチャの場合、リストL0に対して、参照可能な画像のうち、前方向へ、ピクチャの出力順序を示す情報であるPOC(Picture Order Count)の降順に、次に、後方向へ、POCの昇順に、小さい参照画像インデックスが割り当てられる。また、リストL1に対して、参照可能な画像のうち、後方向へPOCの昇順に、次に、前方向へPOCの降順に、小さい参照画像インデックスが割り当てられる。
図２は、従来の参照画像インデックスの割り当て方法の例を示す図である。図２の例において、PicNumは、復号順序のインデックスを表し、POCは、時刻（ピクチャの出力順序）のインデックスを表し、四角は、ピクチャを表している。
なお、図２の例は、同一（view_id=0）ビュー内の例である。図２例においては、上から順に、POC順に並ぶピクチャ、復号順に並ぶピクチャ、並びに、復号順に並ぶピクチャの復号時に利用する参照画像インデックスが割り当てられる参照ピクチャが示されている。また、図２の例において、参照画像インデックスは、リストL0に対して、ref_idx_l0＝０乃至２が示されており、リストL1に対して、ref_idx_l1＝０乃至２が示されている。
以下、左から復号順に説明する。POC（出力順序）が０番目であるI_vi0は、view_id=0のＩピクチャを表し、PicNum（復号順序）が０番目である。I_vi0は、Ｉピクチャであるので、０が付された矢印が示すように、画像は参照されない。
POC（出力順序）が８番目であるP_vi0は、view_id=0のＰピクチャを表し、PicNum（復号順序）が１番目である。P_vi0は、Ｐピクチャであり、まだ、I_vi0しか復号されていない。したがって、１が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、I_vi0に割り当てられる。
POC（出力順序）が４番目であるB4_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が２番目である。B4_vi0は、Ｂピクチャであり、I_vi0とP_vi0しか復号されていない。したがって、２が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、I_vi0に割り当てられ、ref_idx_l0＝１は、P_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、P_vi0に割り当てられ、ref_idx_l1＝１は、I_vi0に割り当てられる。
POC（出力順序）が２番目であるB2_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が３番目である。B2_vi0は、Ｂピクチャであり、I_vi0、P_vi0、およびB4_vi0が復号されている。したがって、３が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、I_vi0に割り当てられ、ref_idx_l0＝１は、B4_vi0に割り当てられ、ref_idx_l0＝２は、P_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、P_vi0に割り当てられ、ref_idx_l1＝１は、B4_vi0に割り当てられ、ref_idx_l1＝２は、I_vi0に割り当てられる。
POC（出力順序）が６番目であるB6_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が４番目である。B6_vi0は、Ｂピクチャであり、I_vi0、P_vi0、B4_vi0、およびB2_vi0が復号されている。したがって、４が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、B2_vi0に割り当てられ、ref_idx_l0＝１は、B4_vi0に割り当てられ、ref_idx_l0＝２は、I_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、P_vi0に割り当てられ、ref_idx_l1＝１は、B4_vi0に割り当てられ、ref_idx_l1＝２は、B2_vi0に割り当てられる。
POC（出力順序）が１番目であるB1_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が５番目である。B1_vi0は、Ｂピクチャであり、I_vi0、P_vi0、B4_vi0、B2_vi0、およびB6_vi0が復号されている。したがって、５が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、I_vi0に割り当てられ、ref_idx_l0＝１は、B2_vi0に割り当てられ、ref_idx_l0＝２は、B4_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、B2_vi0に割り当てられ、ref_idx_l1＝１は、B4_vi0に割り当てられ、ref_idx_l1＝２は、B6_vi0に割り当てられる。
POC（出力順序）が３番目であるB3_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が６番目である。B3_vi0は、Ｂピクチャであり、I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、およびB1_vi0が復号されている。したがって、６が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、B2_vi0に割り当てられ、ref_idx_l0＝１は、B1_vi0に割り当てられ、ref_idx_l0＝２は、I_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、B4_vi0に割り当てられ、ref_idx_l1＝１は、B6_vi0に割り当てられ、ref_idx_l1＝２は、P_vi0に割り当てられる。
POC（出力順序）が５番目であるB5_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が７番目である。B5_vi0は、Ｂピクチャであり、I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、B1_vi0 、およびB3_vi0が復号されている。したがって、７が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、B4_vi0に割り当てられ、ref_idx_l0＝１は、B3_vi0に割り当てられ、ref_idx_l0＝２は、B2_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、B6_vi0に割り当てられ、ref_idx_l1＝１は、P_vi0に割り当てられ、ref_idx_l1＝２は、B4_vi0に割り当てられる。
POC（出力順序）が７番目であるB7_vi0は、view_id=0のＢピクチャを表し、PicNum（復号順序）が８番目である。B7_vi0は、Ｂピクチャであり、I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、B1_vi0 、B3_vi0 、およびB5_vi0が復号されている。したがって、８が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、B6_vi0に割り当てられ、ref_idx_l0＝１は、B5_vi0に割り当てられ、ref_idx_l0＝２は、B4_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、P_vi0に割り当てられ、ref_idx_l1＝１は、B6_vi0に割り当てられ、ref_idx_l1＝２は、B5_vi0に割り当てられる。
ただし、上述した参照画像インデックスを割り当てる方法は、同一視点内における処理であった。これに対して、多視点符号化の場合、H．264/AVC方式およびHEVC方式において、参照画像インデックスは、時間方向の参照画像に対してすべて割り当てた後に、ビュー方向の参照画像に対して割り当てられていた。そして、割り当てられた参照画像インデックスの符号化効率が低く、変更したいときには、その都度、変更コマンドが送られていたが、その送信自体も符号化効率の低下の原因の１つとなっていた。
その改善を目的として、多視点符号化の場合における参照画像インデックスのデフォルトの割り当て方法について以下に述べる。
図３は、３視点画像の場合のビュー間の参照関係の例を示す図である。図３の例においては、左から、POCの昇順（すなわち、時刻情報の昇順）にＩピクチャ、Ｂ２ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャ、Ｂ０ピクチャ、Ｂ２ピクチャ、Ｂ１ピクチャ、Ｂ２ピクチャ、Ｐピクチャが示されている。POCのインデックスの上には、PicNumのインデックスも示されている。
また、上から順に、同一の時刻情報を有し、異なる視差情報を有するビュー０（View_id_0）、ビュー１（View_id_1）、ビュー２（View_id_2）の各ピクチャが示されている。
図３の例においては、ビュー０、ビュー２、ビュー１の順に復号される場合が示されている。
図３の例においては、ビュー０、ビュー２、ビュー１の順に復号される場合が示されている。
ビュー０は、ベースビューと呼ばれ、その画像は、時間予測を使って符号化することが可能である。ビュー１とビュー２は、ノンベースビューと呼ばれ、その画像は、時間予測と視差予測を使って符号化することが可能である。
ビュー１の画像は、視差予測の際、矢印に示されるように、符号化済みのビュー０の画像とビュー２の画像を参照することが可能である。このことから、ビュー１のPOCが８番目であるＰピクチャは、時間予測ではＰピクチャであるが、視差予測ではＢピクチャとなる。
ビュー２の画像は、視差予測の際、矢印に示されるように、符号化済みのビュー０の画像を参照することが可能である。
そして、図３の３視点画像においては、まず、ベースビューの画像が復号され、同じ時刻の他のビューの画像がすべて復号された後に、次の時刻（PicNum）のベースビューの画像の復号が開始されるという順序で復号が行われる。
ここで、一般的に、参照割合が高いのは、参照画像のうち、予測対象画像に時間的距離が最も近い参照画像と、予測画像と同じ時刻の異なるビューの画像であることが多い。
このことを踏まえて、画像符号化装置１００においては、上述した３視点画像に対して、次のような参照画像インデックスの割り当てがデフォルトで行われる。
参照画像インデックス割り当て部１２２は、復号画像の時刻情報とビュー情報および参照画像の時刻情報とビュー情報を参照し、参照可能な画像に対して参照画像インデックスの割り当てを行う。ここで、時刻情報は、POCやPicNumなどである。ビュー情報は、ビューIDや後述するシーケンスパラメータのビュー参照情報などである。
参照画像インデックス割り当て部１２２は、同一ビューから異なるビューへ順番に小さい参照画像インデックスを割り当て、かつ、復号画像の時刻により近い参照画像へ小さい参照画像インデックスを割り付ける。
その１つの方法として、例えば、参照画像インデックス割り当て部１２２は、参照画像インデックスを、同一ビューの時間が異なる参照画像と、異なるビューの時間が同じ参照画像とに対して交互に割り当てる。なお、時間が同じ複数のビューに対しては、参照画像インデックスが連続で割り当てられるようにしてもよい。
参照画像インデックス割り当て部１２２は、ビュー１の画像を復号するとき、同時刻のビュー０の画像とビュー２の画像、並びに、過去の時刻のすべてのビューの画像を参照可能な画像とする。
さらに、参照画像インデックス割り当て部１２２は、ビュー１の画像を復号するとき、リストL0に対して、同時刻のビュー１およびビュー０の画像を参照画像とし、リストL1に対して、同時刻のビュー１およびビュー２の画像を参照画像とする。そして、どちらの場合も、同一ビューの時間が異なる参照画像と異なるビューの時間が同じ参照画像とへ交互に参照画像インデックスが割り当てられる。なお、ビューにおける参照画像の順番は、リストL0に対しては、前方向へPOCの昇順、リストL1に対しては、後ろ方向へPOCの降順となり、Ｐピクチャの場合は、復号順となる。
例えば、リストL0に対して、参照画像インデックス割り当て部１２２は、まず、同一ビュー（ビュー１）で、過去の時刻で時間的距離が最も近い参照画像へ、参照画像インデックス＝０を割り当てる。次に、参照画像インデックス割り当て部１２２は、ビュー０の同一時刻の参照画像へ、参照画像インデックス＝１を割り当てる。さらに、参照画像インデックス割り当て部１２２は、同一ビュー（ビュー１）で次に時間的距離が近い参照画像へ、参照画像インデックス＝２を割り当てる。次に、参照画像インデックス割り当て部１２２は、ビュー０で次に時間的距離が近い参照画像へ、参照画像インデックス＝３を割り当てる。参照画像インデックス４以降も、必要であれば、この繰り返しが行われる。
また、例えば、リストL1に対して、参照画像インデックス割り当て部１２２は、まず、同一ビュー（ビュー１）で、過去の時刻で時間的距離が最も近い参照画像へ、参照画像インデックス＝０を割り当てる。次に、参照画像インデックス割り当て部１２２は、ビュー２の同一時刻の参照画像へ、参照画像インデックス＝１を割り当てる。さらに、インデックス割り当て部１２２は、同一ビュー（ビュー１）で次に時間的距離が近い参照画像へ、参照画像インデックス＝２を割り当てる。次に、参照画像インデックス割り当て部１２２は、ビュー２で次に時間的距離が近い参照画像へ、参照画像インデックス＝３を割り当てる。以降、参照画像インデックス４以降も、必要であれば、この繰り返しが行われる。
なお、以下、同一ビューの時間が異なる参照画像を、時間方向の参照可能な画像とも称し、異なるビューの時間が同じ参照画像を、ビュー方向の参照可能な画像とも称する。
以上の３視点画像の場合の参照画像インデックス割り当て方法を踏まえて、図４の例を説明する。
図４は、参照画像インデックス割り当て部１２２による参照画像インデックスの割り当て方法の例を示す図である。図４の例において、PicNumは、復号順序のインデックスを表し、POCは、時刻（ピクチャの出力順序）のインデックスを表し、四角は、ピクチャを表している。
なお、図４の例は、ビュー０（View_id_0）、ビュー１（View_id_1）、ビュー２（View_id_2）の３視点のピクチャの例であり、３視点間の復号は、ビュー０、ビュー２、ビュー１の順になされる。
図４の例においては、上から順に、POC順に並ぶ３視点のピクチャ、復号順に並ぶ３視点のピクチャ、並びに、ビュー１のピクチャ（復号順）の復号時に利用する参照画像インデックスが割り当てられる参照ピクチャが示されている。また、図４の例において、参照画像インデックスは、リストL0に対して、ref_idx_l0＝０乃至３が示されており、リストL1に対して、ref_idx_l1＝０乃至３が示されている。
以下、黒い四角に白文字で示されるビュー１の画像が復号される例を左から復号順に説明する。POC（出力順序）が０番目であるI_vi1は、view_id=1のＩピクチャを表し、PicNum（復号順序）が０番目である。I_vi1は、Ｉピクチャであるので、０が付された矢印が示すように、画像は参照されない。
POC（出力順序）が８番目であるP_vi1は、view_id=1のＰピクチャを表し、PicNum（復号順序）が１番目である。P_vi1は、Ｐピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2が復号されている。なお、図３を参照して上述したように、P_vi1は、ビュー間においてはＢピクチャである。
したがって、１が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるI_vi1に割り当てられ、ref_idx_l0＝２は、異なるビューであるP_vi0に割り当てられる。また、リストL1に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるI_vi1に割り当てられ、ref_idx_l0＝２は、異なるビューであるP_vi2に割り当てられる。
POC（出力順序）が４番目であるB4_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が２番目である。B4_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2が復号されている。
したがって、２が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるI_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB4_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるP_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるI_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるP_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB4_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるI_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるP_vi2に割り当てられる。
POC（出力順序）が２番目であるB2_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が３番目である。B2_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1,B2_vi0、B2_vi2が復号されている。
したがって、３が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるI_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB2_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるI_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB2_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるP_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB4_vi2に割り当てられる。
POC（出力順序）が６番目であるB6_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が４番目である。B6_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1,B6_vi0、B6_vi2が復号されている。
したがって、４が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB6_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB2_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB4_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるP_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB6_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるP_vi2に割り当てられる。
POC（出力順序）が１番目であるB1_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が５番目である。B1_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1,B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2が復号されている。
したがって、５が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるI_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB1_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB2_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるI_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるB2_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB1_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB2_vi2に割り当てられる。
POC（出力順序）が３番目であるB3_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が６番目である。B1_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1,B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2が復号されている。
したがって、６が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるB2_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB3_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB1_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB2_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB3_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB6_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB4_vi2に割り当てられる。
POC（出力順序）が５番目であるB5_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が７番目である。B5_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1,B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2、B3_vi1、B5_vi0、B5_vi2が復号されている。
したがって、７が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるB4_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB5_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB3_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB4_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるB6_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB5_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるP_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB6_vi2に割り当てられる。
POC（出力順序）が７番目であるB7_vi1は、view_id=1のＢピクチャを表し、PicNum（復号順序）が８番目である。B7_vi1は、Ｂピクチャであり、I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1,B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2、B3_vi1、B5_vi0、B5_vi2、B5_vi1、B7_vi0、B7_vi2が復号されている。
したがって、８が付された矢印が示すように、リストL0に対しての参照画像インデックスであるref_idx_l0＝０は、同一ビューであるB6_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB7_vi0に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB5_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるB6_vi0に割り当てられる。
また、リストL1に対しての参照画像インデックスであるref_idx_l1＝０は、同一ビューであるP_vi1に割り当てられ、ref_idx_l0＝１は、異なるビューであるB7_vi2に割り当てられる。次に、ref_idx_l0＝２は、同一ビューであるB6_vi1に割り当てられ、ref_idx_l0＝３は、異なるビューであるP_vi2に割り当てられる。
以上のように、参照画像インデックスを時間方向に参照可能な画像とビュー方向に参照可能な画像とに対して交互に割り当てるようにした。これにより、参照割合が高い参照画像へ小さい参照画像インデックスを割り当てることになり、その結果、符号化効率を改善することが可能になる。
すなわち、参照画像インデックスは小さい値ほど符号量が少ない。そこで、参照割合の高い参照画像へ小さいインデックスを割り当てるようにしたので、全体の符号量を小さくすることができる。
また、参照画像インデックスは、参照画像インデックスの変更コマンドを伝送することにより、自由に変更することが可能であるが、その際、変更コマンド情報を符号化する必要がある。
これに対して、上述した参照画像インデックスの割り当て方法をデフォルトとすることで、参照画像インデックスが適切に割り当てられることが多くなり、変更コマンド情報を伝送することが少なくなる。これにより、符号化効率をさらに改善することができる。
図５は、シーケンスパラメータセットのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図５の例において、第２１行目にmax_num_ref_framesが設定されている。このmax_num_ref_framesは、このストリームにおける参照画像の最大値（枚数）である。これにより、参照画像インデックス割り当て部１２２は、割り当て可能な参照画像の枚数を認識する。
第３１行目乃至第３８行目には、ビュー参照情報が記述されている。例えば、ビュー参照情報は、ビューの合計数、ビューの識別子、リストL0における視差予測の枚数、リストL0における参照ビューの識別子、リストL1における視差予測の枚数、およびリストL1における参照ビューの識別子などで構成される。
具体的には、第３１行目にnum_viewsが設定されている。このnum_views は、このストリーム中に含まれているビューの合計数である。
第３３行目にview_id[i]が設定されている。このview_id[i]は、ビューを区別するための識別子である。
第３４行目にnum_ref_views_l0[i]が設定されている。このnum_ref_views_l0[i]は、リストL0における視差予測の枚数である。例えば、「num_ref_views_l0[i]」が２を示す場合、リストL0においては、２枚のビューのみ参照可能なことを示している。
第３５行目にref_view_id_l0[i][j]が設定されている。このref_view_id_l0[i][j]は、リストL0における視差予測で参照するビューの識別子である。例えば、３つのビューがあったとしても、「num_ref_views_l0[i]」が２を示す場合に、３つのうちの、リストL0が参照する２つのビューはどのビューであるかを識別するために「ref_view_id_l0[i][j]」が設定される。
第３６行目にnum_ref_views_l1[i]が設定されている。このnum_ref_views_l1[i]は、リストL1における視差予測の枚数である。例えば、「num_ref_views_l1[i]」が２を示す場合、リストL1においては、２枚のビューのみ参照可能なことを示している。
第３７行目にref_view_id_l1[i][j]が設定されている。このref_view_id_l1[i][j]は、リストL1における視差予測で参照するビューの識別子である。例えば、３つのビューがあったとしても、「num_ref_views_l1[i]」が２を示す場合に、３つのうちの、リストL1が参照する２つのビューはどのビューであるかを識別するために「ref_view_id_l1[i][j]」が設定される。
図６は、スライスヘッダのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図６の例において、第５行目にslice_typeが設定されている。このslice_typeは、このスライスがＩスライス、Ｐスライス、およびＢスライスのうちのどのスライスであるかを示すものである。
第８行目にview_idが設定されている。このview_id は、ビューを識別するためのIDである。これにより、参照画像インデックス割り当て部１２２は、ビューを識別することができる。
第１２行目にpic_order_cnt_lsbが設定されている。このpic_order_cnt_lsbは、時刻情報（すなわち、POC：Picture Order Count)である。
第１４行目にnum_ref_idx_active_override_flagが設定されている。このnum_ref_idx_active_override_flagは、参照画像インデックスの有効数をデフォルトから変更するかしないかを示すフラグである。このフラグが１の場合、第１６行目および第１７行目の設定が有効になる。なお、図示しないが、ピクチャパラメータセットには、参照画像インデックスのデフォルトの有効数が設定されており、このフラグが０の場合、デフォルトの値が有効となる。
第１６行目にnum_ref_idx_l0_active_minus1が設定されている。このnum_ref_idx_l0_active_minus1は、第１５行目のフラグが１の場合、リストL0における参照画像インデックスの有効数を示す。
第１７行目にnum_ref_idx_l1_active_minus1が設定されている。このnum_ref_idx_l1_active_minus1は、第５行目のスライスタイプがＢスライスで、１５行目のフラグが１の場合、リストL1における参照画像インデックスの有効数を示す。
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図７のフローチャートを参照して、符号化処理の流れの例を説明する。
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図７のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、シンタックス処理部１２１は、画面並べ替えバッファ１０２から読み出された画像のデータを順次確認し、画像のデータに、ヘッダ情報を挿入する。シンタックス処理部１２１は、ヘッダ情報などが挿入された画像を、演算部１０３、イントラ予測部１１４および動き視差予測・補償部１１５に供給する。また、シンタックス処理部１２１は、シーケンスパラメータセットおよびスライスヘッダなどの情報を、参照画像インデックス割り当て部１２２に供給する。
ステップＳ１０４において、演算部１０３は、シンタックス処理部１２１から供給される画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き視差予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０５において、直交変換部１０４は、ステップＳ１０４の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１０６において、量子化部１０５は、ステップＳ１０５の処理により得られた直交変換係数を量子化する。
ステップＳ１０６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０７において、逆量子化部１０８は、ステップＳ１０６の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。
ステップＳ１０８において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
ステップＳ１０９において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。
ステップＳ１１０において、デブロックフィルタ１１１は、ステップＳ１０９の処理により生成された画像に対して、デブロックフィルタ処理を行う。これによりブロック歪みが除去される。
ステップＳ１１１において、デコードピクチャバッファ１１２は、ステップＳ１１０の処理によりブロック歪みが除去された画像を記憶する。なお、デコードピクチャバッファ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。
ステップＳ１１２において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。
ステップＳ１１３において、参照画像インデックス割り当て部１２２は、参照画像インデックスの割り当て処理を行う。この参照画像インデックスの割り当て処理の詳細は、図８を参照して後述される。参照画像インデックス割り当て部１２２は、割り当てた参照画像インデックスを、動き視差予測・補償部１１５に供給する。
ステップＳ１１４において、動き視差予測・補償部１１５は、ステップＳ１１３の処理により割り当てられた参照画像インデックスの参照画像を用いて、インター予測モードでの動き視差予測や動き視差補償を行うインター動き視差予測処理を行う。
ステップＳ１１５において、選択部１１６は、イントラ予測部１１４および動き視差予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き視差予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き視差予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
最適インター予測モードの予測画像が選択された場合、動き視差予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報、視差ベクトル情報やフラグ情報、参照フレーム情報などがあげられる。
ステップＳ１１６において、可逆符号化部１０６は、ステップＳ１０６の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、可逆符号化部１０６は、ステップＳ１１５の処理により選択された予測画像の予測モードに関する情報を、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き視差予測・補償部１１５から供給される最適インター予測モードに応じた情報などを、符号化データに付加する。
ステップＳ１１７において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ１１８においてレート制御部１１７は、ステップＳ１１７の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
ステップＳ１１８の処理が終了すると、符号化処理が終了される。
［参照画像インデックス割り当て処理の流れ］
次に、図８のフローチャートを参照して、図７のステップＳ１１３において実行される参照画像インデックスの割り当て処理の流れの例を説明する。なお、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
次に、図８のフローチャートを参照して、図７のステップＳ１１３において実行される参照画像インデックスの割り当て処理の流れの例を説明する。なお、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
上述した図７のステップＳ１０３において、シンタックス処理部１２１より、復号画像のシーケンスパラメータセットおよびスライスヘッダなどの情報が、参照画像インデックス割り当て部１２２に供給される。
ステップＳ１３１において、参照画像インデックス割り当て部１２２は、復号画像のビュー参照情報を受け取る。ビュー参照情報は、図５を参照して上述したように、シンタクス処理部１２１からのシーケンスパラメータに記述されている。参照画像インデックス割り当て部１２２は、ビュー参照情報を取得することで、リストL0およびリストL1で参照すべきビューの数やビューの識別子を認識することができる。
ステップＳ１３２において、参照画像インデックス割り当て部１２２は、参照画像の最大値を受け取る。参照画像の最大値は、図５を参照して上述したシーケンスパラメータのmax_num_ref_framesに設定されている。
ステップＳ１３３において、参照画像インデックス割り当て部１２２は、復号画像のピクチャタイプがＰピクチャであるか否かを判定する。復号画像のピクチャタイプは、図６を参照して上述したスライスヘッダのslice_typeに記述されている。ステップＳ１３３において、復号画像のピクチャタイプがＰピクチャであると判定された場合、処理は、ステップＳ１３４に進む。
なお、これ以降の処理においては、デコードピクチャバッファ１１２からの参照画像の時刻情報およびビュー情報も参照される。
ステップＳ１３４において、参照画像インデックス割り当て部１２２は、同一ビューで、参照画像インデックスを割り当てていない参照画像で、かつ復号順序が最も近い参照画像に対して、リストL0の参照画像インデックスを１つ割り当てる。
ステップＳ１３５において、参照画像インデックス割り当て部１２２は、参照画像インデックスを割り当てていない同一時刻の参照画像で、復号画像のビューよりも小さく最も近いビューIDの参照画像に対してリストL0の参照画像インデックスを１つ割り当てる。
ステップＳ１３６において、参照画像インデックス割り当て部１２２は、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したか否かを判定する。ステップＳ１３６において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了していないと判定された場合、処理はステップＳ１３５に戻り、それ以降の処理が繰り返される。
ステップＳ１３６において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したと判定された場合、処理は、ステップＳ１３７に進む。ステップＳ１３７において、参照画像インデックス割り当て部１２２は、参照画像のインデックスが、ステップＳ１３２で受け取った参照画像の最大値（枚数）よりも小さいか否かを判定する。
ステップＳ１３７において、参照画像のインデックスが、参照画像の最大値よりも小さいと判定された場合、処理はステップＳ１３４に戻り、それ以降の処理が繰り返される。ステップＳ１３７において、参照画像のインデックスが、参照画像の最大値以上であると判定された場合、割り当てる参照画像がもうないので、参照画像インデックス割り当て処理は終了され、処理は、図７のステップＳ１１３に戻る。
一方、ステップＳ１３３において、復号画像のピクチャタイプがＢピクチャであると判定された場合、処理は、ステップＳ１３８に進む。
ステップＳ１３８において、参照画像インデックス割り当て部１２２は、同一ビューで、参照画像インデックスを割り当てていない参照画像で、かつ復号順序が最も近い参照画像に対して、リストL0の参照画像インデックスを１つ割り当てる。
ステップＳ１３９において、参照画像インデックス割り当て部１２２は、参照画像インデックスを割り当てていない同一時刻の参照画像で、復号画像のビューよりも小さく最も近いビューIDの参照画像に対してリストL0の参照画像インデックスを１つ割り当てる。
ステップＳ１４０において、参照画像インデックス割り当て部１２２は、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したか否かを判定する。ステップＳ１４０において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了していないと判定された場合、処理はステップＳ１３９に戻り、それ以降の処理が繰り返される。
ステップＳ１４０において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したと判定された場合、処理は、ステップＳ１４１に進む。ステップＳ１４１において、参照画像インデックス割り当て部１２２は、同一ビューで、参照画像インデックスを割り当てていない参照画像で、かつ復号順序が最も近い参照画像に対して、リストL1の参照画像インデックスを１つ割り当てる。
ステップＳ１４２において、参照画像インデックス割り当て部１２２は、参照画像インデックスを割り当てていない同一時刻の参照画像で、復号画像のビューよりも小さく最も近いビューIDの参照画像に対してリストL1の参照画像インデックスを１つ割り当てる。
ステップＳ１４３において、参照画像インデックス割り当て部１２２は、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したか否かを判定する。ステップＳ１４３において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了していないと判定された場合、処理はステップＳ１４２に戻り、それ以降の処理が繰り返される。
ステップＳ１４３において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したと判定された場合、処理は、ステップＳ１４４に進む。ステップＳ１４４において、参照画像インデックス割り当て部１２２は、参照画像のインデックスが、ステップＳ１３２で受け取った参照画像の最大値（枚数）よりも小さいか否かを判定する。
ステップＳ１４４において、参照画像のインデックスが、参照画像の最大値よりも小さいと判定された場合、処理はステップＳ１３８に戻り、それ以降の処理が繰り返される。ステップＳ１４４において、参照画像のインデックスが、参照画像の最大値以上であると判定された場合、割り当てる参照画像がもうないので、参照画像インデックス割り当て処理は終了され、処理は、図７のステップＳ１１３に戻る。
なお、本処理は、ステップＳ１３７およびＳ１４４において参照画像のインデックスが、参照画像の最大値となる前に、スライスヘッダやピクチャパラメータセットに設定される参照画像インデックスのデフォルトの有効数になってしまった場合にも終了される。
以上のように、時間方向の参照画像とビュー方向の参照画像とに対して、交互に、参照画像インデックスが割り当てられる。これにより、参照割合が高い参照画像に対して、小さい参照画像インデックスが割り当てられるので、符号化効率を改善することができる。
なお、図８の例においては、同一時刻のすべてのビューの参照画像に対してインデックスを割り当ててから、復号順序が次に近い参照画像に対してインデックスを割り当てる例を説明した。すなわち、上記説明においては、同一時刻のすべてのビューの参照画像には連続したインデックスが割り当てられる場合を説明したが、これに限定されない。例えば、時間方向も、ビュー方向も、１つずつ交互にインデックスを割り当てるようにしてもよい。
さらに、例えば、図５のシーケンスパラメータセットのビュー参照情報が示す数のビューにだけ連続したインデックスが割り当てられるようにしてもよい。
すなわち、シーケンスパラメータセットのビュー参照情報のうち、「num_ref_views_l0」および「num_ref_views_l1」で、リストL0およびリストL1における視差予測の枚数が設定されている。また、「ref_view_id_l1」および「num_ref_views_l0」において視差予測で参照されるビューの識別子も設定されている。したがって、ビュー方向の参照画像にインデックスを割り当てる場合、ビュー参照情報に基づいて、ここに設定されているビュー分だけ連続したインデックスを割り当てるようにしてもよい。
また、時間方向も、ビュー方向も、１つずつ交互にインデックスを割り当てる際にも、ビュー参照情報に基づいて決めるようにしてもよい。
このビュー参照情報に示されるビューは、画像間の相関が比較的よいものであると考えられ、逆に、ビュー参照情報に示されないビューは、相関があまりないものと考えられる。したがって、ビュー参照情報に示されないビューは、割り当ての対象としないとか、ビュー参照情報に示されるビューは、優先的に割り当てるなど、インデックス割り当てに、この情報を用いることで、符号化効率をさらに改善させることができる。
また、図８の例においては、時間方向の参照画像に対して、先にインデックスを割り当てるようにしたが、ビュー方向の参照画像に対して先にインデックスを割り当ててから、時間方向の参照画像に対してインデックスを割り当てるようにしてもよい。この場合も、参照画像インデックスを、ビュー方向の参照画像すべてに割り当ててから、時間方向の参照画像に割り当てるようにすることも可能である。そして、このときも、ビュー方向の参照画像は、ビュー参照情報に示されるビューに限定するようにしてもよい。
さらに、図８のように、時間方向の参照画像、ビュー方向の参照画像の順で交互にインデックスを割り付けるパターンは、時間方向優先パターンである。それに対して、ビュー方向の参照画像、時間方向の参照画像の順で交互にインデックスを割り付けるパターンは、ビュー方向優先パターンである。
これらの２つのパターンを設定しておき、そのどちらのパターンを選択したかを示す１ビットのパターンフラグを復号側に送り、復号側で、フラグに応じたパターンでインデックス割り当てを行うように構成することも可能である。このパターンフラグは、例えば、スライス毎に送るようにしてもよい。
例えば、静止画像や動きのある画像など、画像によって、よりよいパターンが異なるので、このようにパターン選択のフラグを送ることで、例えば、変更コマンドを画像によって送る場合に比して、符号化効率を改善することができる。
＜２．第２の実施の形態＞
［画像復号装置］
図９は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図９に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。
［画像復号装置］
図９は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図９に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。
図９に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３を有する。
さらに、画像復号装置２００は、シンタックス処理部２２１および参照画像インデックス割り当て部２２２を有する。
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。シンタックス処理部２２１は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データから、シーケンスパラメータセット、ピクチャパラメータセット、およびスライスヘッダなどを取得し、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報などを、参照画像インデックス割り当て部２２２に供給する。
可逆復号部２０２は、シンタックス処理部２２１からの符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された量子化パラメータを用いて、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き視差予測・補償部２１２から予測画像が供給される。
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
デブロックフィルタ２０６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ２０６は、そのフィルタ処理結果を、画面並べ替えバッファ２０７に供給する。
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
デブロックフィルタ２０６の出力は、さらに、デコードピクチャバッファ２０９に供給される。
デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３は、画像符号化装置１００のデコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、および選択部１１６にそれぞれ対応する。
選択部２１０は、インター処理される画像と参照される画像をデコードピクチャバッファ２０９から読み出し、動き視差予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をデコードピクチャバッファ２０９から読み出し、イントラ予測部２１１に供給する。
イントラ予測部２１１には、ヘッダ情報から得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
動き視差予測・補償部２１２には、ヘッダ情報から得られた情報（予測モード情報、動きベクトル情報、視差ベクトル情報、および各種パラメータ等）が可逆復号部２０２から供給される。また、動き視差予測・補償部２１２には、参照画像インデックス割り当て部２２２により割り当てられた参照画像インデックスが供給される。
動き視差予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報と、参照画像インデックス割り当て部２２２により割り当てられた参照画像インデックスに基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成する。動き視差予測・補償部２１２は、生成した予測画像を選択部２１３に供給する。
選択部２１３は、動き視差予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
参照画像インデックス割り当て部２２２は、画像符号化装置１００の参照画像インデックス割り当て部１２２と基本的に同様に構成される。参照画像インデックス割り当て部２２２は、動き視差予測・補償部２１２が対象画像を予測する際に参照する参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てる。割り当てに際し、対象画像の情報として、シンタックス処理部２２１からのシーケンスパラメータセットおよびスライスヘッダなどのヘッダ情報が参照される。さらに、参照画像の情報として、デコードピクチャバッファ２０９に蓄積されている参照画像のヘッダ情報などから得られる参照画像の時刻情報およびビュー情報も参照される。
参照画像インデックス割り当て部２２２は、割り当てた参照画像インデックスを、動き視差予測・補償部２１２に供給する。
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１０のフローチャートを参照して、復号処理の流れの例を説明する。
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１０のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、シンタックス処理部２２１は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データから、ヘッダ情報を取得する。シンタックス処理部２２１は、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報などを、参照画像インデックス割り当て部２２２に供給する。
ステップＳ２０３において、可逆復号部２０２は、シンタックス処理部２２１から供給される符号化データを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、各ヘッダ情報から、動きベクトル情報、視差ベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等の情報が取得される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き視差予測・補償部２１２に供給される。
ステップＳ２０４において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０５において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図１の直交変換部１０４に対応する方法で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
ステップＳ２０６において、演算部２０５は、ステップＳ２０５の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
ステップＳ２０７において、デブロックフィルタ２０６は、ステップＳ２０６の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。
ステップＳ２０８において、デコードピクチャバッファ２０９は、フィルタリングされた復号画像を記憶する。
ステップＳ２０９において、参照画像インデックス割り当て部２２２は、参照画像インデックスの割り当て処理を行う。この参照画像インデックスの割り当て処理の詳細は、図１１を参照して後述される。参照画像インデックス割り当て部２２２は、割り当てた参照画像インデックスを、動き視差予測・補償部２１２に供給する。
ステップＳ２１０において、イントラ予測部２１１、または動き視差予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き視差予測・補償部２１２は、ステップＳ２０９の処理により割り当てられた参照画像インデックスの参照画像を用いて、インター予測モードの動き視差予測補償処理を行う。
ステップＳ２１１において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き視差予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０６の処理により差分情報に加算される。
ステップＳ２１２において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図１）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２１３において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。このステップＳ２１３の処理が終了すると、復号処理が終了される。
［参照画像インデックス割り当て処理の流れ］
次に、図１１のフローチャートを参照して、図１０のステップＳ２０９において実行される参照画像インデックスの割り当て処理の流れの例を説明する。なお、この処理は、復号画像がＰピクチャまたはＢピクチャのみに実行される。また、図１１の参照画像インデックス割り当て処理は、図８の参照画像インデックス割り当て処理と基本的に同様の処理であるので、図８の処理に対する効果やなお書きは、繰り返しになるので記載しないが、図１１の処理にも当てはまるものとする。
次に、図１１のフローチャートを参照して、図１０のステップＳ２０９において実行される参照画像インデックスの割り当て処理の流れの例を説明する。なお、この処理は、復号画像がＰピクチャまたはＢピクチャのみに実行される。また、図１１の参照画像インデックス割り当て処理は、図８の参照画像インデックス割り当て処理と基本的に同様の処理であるので、図８の処理に対する効果やなお書きは、繰り返しになるので記載しないが、図１１の処理にも当てはまるものとする。
図１０のステップＳ２０２において、シンタックス処理部２２１より、復号画像のシーケンスパラメータセットおよびスライスヘッダなどの情報が、参照画像インデックス割り当て部２２２に供給される。
ステップＳ２３１において、参照画像インデックス割り当て部２２２は、ビュー参照情報を受け取る。ビュー参照情報は、図５を参照して上述したように、シンタクス処理部２２１からのシーケンスパラメータに記述されている。参照画像インデックス割り当て部２２２は、ビュー参照情報を取得することで、リストL0およびリストL1で参照すべきビューの数やビューの識別子を認識することができる。
ステップＳ２３２において、参照画像インデックス割り当て部２２２は、参照画像の最大値を受け取る。参照画像の最大値は、図５を参照して上述したシーケンスパラメータのmax_num_ref_framesに設定されている。
ステップＳ２３３において、参照画像インデックス割り当て部２２２は、復号画像のピクチャタイプがＰピクチャであるか否かを判定する。復号画像のピクチャタイプは、図６を参照して上述したスライスヘッダのslice_typeに記述されている。ステップＳ２３３において、復号画像のピクチャタイプがＰピクチャであると判定された場合、処理は、ステップＳ２３４に進む。
なお、これ以降の処理においては、デコードピクチャバッファ２０９からの参照画像の時刻情報およびビュー情報も参照される。
ステップＳ２３４において、参照画像インデックス割り当て部２２２は、同一ビューで、参照画像インデックスを割り当てていない参照画像で、かつ復号順序が最も近い参照画像に対して、リストL0の参照画像インデックスを１つ割り当てる。
ステップＳ２３５において、参照画像インデックス割り当て部２２２は、参照画像インデックスを割り当てていない同一時刻の参照画像で、復号画像のビューよりも小さく最も近いビューIDの参照画像に対してリストL0の参照画像インデックスを１つ割り当てる。
ステップＳ２３６において、参照画像インデックス割り当て部２２２は、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したか否かを判定する。ステップＳ２３６において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了していないと判定された場合、処理はステップＳ２３５に戻り、それ以降の処理が繰り返される。
ステップＳ２３６において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したと判定された場合、処理は、ステップＳ２３７に進む。ステップＳ２３７において、参照画像インデックス割り当て部２２２は、参照画像のインデックスが、ステップＳ２３２で受け取った参照画像の最大値（枚数）よりも小さいか否かを判定する。
ステップＳ２３７において、参照画像のインデックスが、参照画像の最大値よりも小さいと判定された場合、処理はステップＳ２３４に戻り、それ以降の処理が繰り返される。ステップＳ２３７において、参照画像のインデックスが、参照画像の最大値以上であると判定された場合、割り当てる参照画像がもうないので、参照画像インデックス割り当て処理は終了され、処理は、図１０のステップＳ２０９に戻る。
一方、ステップＳ２３３において、復号画像のピクチャタイプがＢピクチャであると判定された場合、処理は、ステップＳ２３８に進む。
ステップＳ２３８において、参照画像インデックス割り当て部２２２は、同一ビューで、参照画像インデックスを割り当てていない参照画像で、かつ復号順序が最も近い参照画像に対して、リストL0の参照画像インデックスを１つ割り当てる。
ステップＳ２３９において、参照画像インデックス割り当て部２２２は、参照画像インデックスを割り当てていない同一時刻の参照画像で、復号画像のビューよりも小さく最も近いビューIDの参照画像に対してリストL0の参照画像インデックスを１つ割り当てる。
ステップＳ２４０において、参照画像インデックス割り当て部２２２は、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したか否かを判定する。ステップＳ２４０において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了していないと判定された場合、処理はステップＳ２３９に戻り、それ以降の処理が繰り返される。
ステップＳ２４０において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したと判定された場合、処理は、ステップＳ２４１に進む。ステップＳ２４１において、参照画像インデックス割り当て部２２２は、同一ビューで、参照画像インデックスを割り当てていない参照画像で、かつ復号順序が最も近い参照画像に対して、リストL1の参照画像インデックスを１つ割り当てる。
ステップＳ２４２において、参照画像インデックス割り当て部２２２は、参照画像インデックスを割り当てていない同一時刻の参照画像で、復号画像のビューよりも小さく最も近いビューIDの参照画像に対してリストL1の参照画像インデックスを１つ割り当てる。
ステップＳ２４３において、参照画像インデックス割り当て部２２２は、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したか否かを判定する。ステップＳ２４３において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了していないと判定された場合、処理はステップＳ２４２に戻り、それ以降の処理が繰り返される。
ステップＳ２４３において、同一時刻のすべてのビューの参照画像に対して参照画像インデックス割り当てが完了したと判定された場合、処理は、ステップＳ２４４に進む。ステップＳ２４４において、参照画像インデックス割り当て部２２２は、参照画像のインデックスが、ステップＳ２３２で受け取った参照画像の最大値（枚数）よりも小さいか否かを判定する。
ステップＳ２４４において、参照画像のインデックスが、参照画像の最大値よりも小さいと判定された場合、処理はステップＳ２３８に戻り、それ以降の処理が繰り返される。ステップＳ２４４において、参照画像のインデックスが、参照画像の最大値以上であると判定された場合、割り当てる参照画像がもうないので、参照画像インデックス割り当て処理は終了され、処理は、図１０のステップＳ２０９に戻る。
以上のように、時間方向の参照画像とビュー方向の参照画像とに対して、交互に、参照画像インデックスが割り当てられる。これにより、参照割合が高い参照画像に対して、小さい参照画像インデックスが割り当てられるので、符号化効率を改善することができる。
なお、上記説明においては、時間方向優先パターンと、ビュー方向優先パターンとの２種類のパターンを設定しておき、そのどちらのパターンを選択したかを示す１ビットのパターンフラグを復号側に送る例について説明した。しかしながら、パターンの種類は、２種類に限定されない。例えば、次に説明するように、４種類の割り当てパターン（方法）を用意しておき、符号化側で、その４種類の中から１種類をデフォルトとして指定するようにしてもよい。
＜３．第３の実施の形態＞
［４種類の割り当てパターン］
次に、図１２乃至図１５を参照して、デフォルトとして指定可能な４種類の割り当てパターンについて説明する。図１２乃至図１５の例において、中央に示されるＢピクチャは、符号化対象のピクチャを表している。符号化対象のピクチャに対して左右方向に示されるピクチャは、同一ビューの時間が異なる参照ピクチャ（時間方向の参照画像）を表している。POCは、時刻（ピクチャの出力順序）のインデックスを示し、A乃至Eの順に時刻が経過していることを示している。
［４種類の割り当てパターン］
次に、図１２乃至図１５を参照して、デフォルトとして指定可能な４種類の割り当てパターンについて説明する。図１２乃至図１５の例において、中央に示されるＢピクチャは、符号化対象のピクチャを表している。符号化対象のピクチャに対して左右方向に示されるピクチャは、同一ビューの時間が異なる参照ピクチャ（時間方向の参照画像）を表している。POCは、時刻（ピクチャの出力順序）のインデックスを示し、A乃至Eの順に時刻が経過していることを示している。
また、符号化対象のピクチャに対して上下方向に示されるピクチャは、同一時刻の異なるビューの参照ピクチャ（ビュー方向の参照画像）を表している。ViewID＝V乃至Zの順に、小さいViewIDが割り当てられていることを示している。
さらに、太い実線矢印は、List0についてのインデックスの割り当て順を示しており、太い点線矢印は、List1についてのインデックスの割り当て順を示している。なお、図１２乃至図１５の例においては、時間方向の参照画像について、List0に対しては、参照可能な画像のうち、前方向へ、POCの降順に小さい参照画像インデックスが割り当てられている。List1に対しては、参照可能な画像のうち、後方向へ、POCの昇順に小さい参照画像インデックスが割り当てられている。
図１２の例においては、time first（時間方向優先） パターンが示されている。time firstパターンは、図１２の例に示されるように、同一ビューの時間が異なる参照（時間方向に参照可能な）ピクチャに対してインデックスを割り当てた後に、同一時間の異なるビューの参照（ビュー方向に参照可能な）ピクチャに対してインデックスを割り当てるパターンである。
例えば、太い実線矢印で示されるように、List0については、refPicList0[0]のインデックスが、ViewIDがXで、POCがBであるＢピクチャに割り当てられ、refPicList0[1]のインデックスが、ViewIDがXで、POCがAであるＢピクチャに割り当てられる。その後、refPicList0[2]のインデックスが、ViewIDがWで、POCがCであるＢピクチャに割り当てられ、refPicList0[3]のインデックスが、ViewIDがVで、POCがCであるＢピクチャに割り当てられる。
また、太い点線矢印で示されるように、List1については、refPicList1[0]のインデックスが、ViewIDがXで、POCがDであるＢピクチャに割り当てられ、refPicList1[1]のインデックスが、ViewIDがXで、POCがEであるＢピクチャに割り当てられる。その後、refPicList1[2]のインデックスが、ViewIDがYで、POCがCであるＢピクチャに割り当てられ、refPicList1[3]のインデックスが、ViewIDがZで、POCがCであるＢピクチャに割り当てられる。
図１３の例においては、view fist（ビュー方向優先）パターンが示されている。view fistパターンは、図１３の例に示されるように、同一時間の異なるビューの参照（ビュー方向に参照可能な）ピクチャに対してインデックスを割り当てた後に、同一ビューの時間が異なる参照（時間方向に参照可能な）ピクチャに対してインデックスを割り当てるパターンである。
例えば、太い実線矢印で示されるように、List0については、refPicList0[0]のインデックスが、ViewIDがWで、POCがCであるＢピクチャに割り当てられ、refPicList0[1]のインデックスが、ViewIDがVで、POCがCであるＢピクチャに割り当てられる。その後、refPicList0[2]のインデックスが、ViewIDがXで、POCがBであるＢピクチャに割り当てられ、refPicList0[3]のインデックスが、ViewIDがXで、POCがAであるＢピクチャに割り当てられる。
また、太い点線矢印で示されるように、List1については、refPicList1[0]のインデックスが、ViewIDがYで、POCがCであるＢピクチャに割り当てられ、refPicList1[1]のインデックスが、ViewIDがZで、POCがCであるＢピクチャに割り当てられる。その後、refPicList1[2]のインデックスが、ViewIDがXで、POCがDであるＢピクチャに割り当てられ、refPicList1[3]のインデックスが、ViewIDがXで、POCがEであるＢピクチャに割り当てられる。
図１４の例においては、time first zig-zag（時間方向優先の交互）パターンが示されている。time first zig-zagパターンは、図１４の例に示されるように、同一ビューの時間が異なる参照（時間方向に参照可能な）ピクチャと、同一時間の異なるビューの参照（ビュー方向に参照可能な）ピクチャとに対してインデックスを交互に割り当てるパターンである。なお、このtime first zig-zagパターンにおいては、時間方向優先と称されるように、同一ビューの時間が異なる参照ピクチャからインデックスの割り当てが開始される。
例えば、太い実線矢印で示されるように、List0については、refPicList0[0]のインデックスが、ViewIDがXで、POCがBであるＢピクチャに割り当てられ、その後、refPicList0[1]のインデックスが、ViewIDがWで、POCがCであるＢピクチャに割り当てられる。次に、refPicList0[2]のインデックスが、ViewIDがXで、POCがAであるＢピクチャに割り当てられ、その後、refPicList0[3]のインデックスが、ViewIDがVで、POCがCであるＢピクチャに割り当てられる。
また、太い点線矢印で示されるように、List1については、refPicList1[0]のインデックスが、ViewIDがXで、POCがDであるＢピクチャに割り当てられ、その後、refPicList1[1]のインデックスが、ViewIDがYで、POCがCであるＢピクチャに割り当てられる。次に、refPicList1[2]のインデックスが、ViewIDがXで、POCがEであるＢピクチャに割り当てられ、その後、refPicList1[3]のインデックスが、ViewIDがZで、POCがCであるＢピクチャに割り当てられる。
図１５の例においては、view first zig-zag（ビュー方向優先の交互）パターンが示されている。view first zig-zagパターンは、図１５の例に示されるように、同一時間の異なるビューの参照（ビュー方向に参照可能な）ピクチャと、同一ビューの時間が異なる参照（時間方向に参照可能な）ピクチャとに対してインデックスを交互に割り当てるパターンである。なお、このview first zig-zagパターンにおいては、ビュー方向優先と称されるように、同一時間の異なるビューの参照ピクチャからインデックスの割り当てが開始される。
例えば、太い実線矢印で示されるように、List0については、refPicList0[0]のインデックスが、ViewIDがWで、POCがCであるＢピクチャに割り当てられ、その後、refPicList0[1]のインデックスが、ViewIDがXで、POCがBであるＢピクチャに割り当てられる。次に、refPicList0[2]のインデックスが、ViewIDがVで、POCがCであるＢピクチャに割り当てられ、その後、refPicList0[3]のインデックスが、ViewIDがXで、POCがAであるＢピクチャに割り当てられる。
また、太い点線矢印で示されるように、List1については、refPicList1[0]のインデックスが、ViewIDがYで、POCがCであるＢピクチャに割り当てられ、その後、refPicList1[1]のインデックスが、ViewIDがXで、POCがDであるＢピクチャに割り当てられる。次に、refPicList1[2]のインデックスが、ViewIDがZで、POCがCであるＢピクチャに割り当てられ、その後、refPicList1[3]のインデックスが、ViewIDがXで、POCがEであるＢピクチャに割り当てられる。
以上の４種類の割り当てパターンは、画像符号化装置１００において、次に示されるシンタックス内で指定される。例えば、シンタックス処理部１２１により指定（付加）される。
［シーケンスパラメータセットのシンタックスの例］
図１６は、シーケンスパラメータセット(SPS)のシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図１６は、シーケンスパラメータセット(SPS)のシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図１６の例において、第１３行目に、default_reference_picture_index_pattern_idcが設定されている。このdefault_reference_picture_index_pattern_idcは、このシーケンスにおける参照ピクチャインデックスのデフォルトとしてどの割り当てパターンが指定されているかを示すパターンＩＤである。
default_reference_picture_index_pattern_idcは、参照ピクチャインデックスの初期化プロセスを次のように選択する。
例えば、default_reference_picture_index_pattern_idc＝０の場合、デフォルト参照ピクチャインデックスは、異なるビューのピクチャの前に同一ビューのピクチャに割り当てられる。すなわち、default_reference_picture_index_pattern_idc＝０の場合、図１３を参照して上述したtime firstパターンが、このシーケンスにおけるデフォルトの割り当てパターンとして指定されている。
default_reference_picture_index_pattern_idc＝１の場合、デフォルト参照ピクチャインデックスは、同一ビューのピクチャの前に異なるビューのピクチャに割り当てられる。すなわち、default_reference_picture_index_pattern_idc＝１の場合、図１４を参照して上述したview firstパターンが、このシーケンスにおけるデフォルトの割り当てパターンとして指定されている。
default_reference_picture_index_pattern_idc＝２の場合、デフォルト参照ピクチャインデックスは、同一ビューのピクチャと異なるビューのピクチャに交互に割り当てられ、その順番は、同一ビューのピクチャから開始される。すなわち、default_reference_picture_index_pattern_idc＝２の場合、図１５を参照して上述したtime first zig-zagパターンが、このシーケンスにおけるデフォルトの割り当てパターンとして指定されている。
default_reference_picture_index_pattern_idc＝３の場合、デフォルト参照ピクチャインデックスは、同一ビューのピクチャと異なるビューのピクチャに交互に割り当てられ、その順番は、異なるビューのピクチャから開始される。すなわち、default_reference_picture_index_pattern_idc＝３の場合、図１５を参照して上述したview first zig-zagパターンが、このシーケンスにおけるデフォルトの割り当てパターンとして指定されている。
上記説明においては、デフォルトの割り当てパターンを、シーケンスパラメータセットにおいて、シーケンス毎に決め打ちで指定する例を説明した。これに対して、例えば、既存のNALユニットであるピクチャパラメータセット(PPS)に、上述したパターンＩＤを設け、次に説明するように、デフォルトの割り当てパターンを、シーンチェンジ毎やフェイドの開始と終了に応じて切り替えるようにしてもよい。
［割り当てパターンと想定されるシーンの例］
図１７は、４種類の割り当てパターンと、どのようなシーンが想定される場合に、それぞれがデフォルトとして設定されるかを示す表を示している。
図１７は、４種類の割り当てパターンと、どのようなシーンが想定される場合に、それぞれがデフォルトとして設定されるかを示す表を示している。
例えば、想定されるシーンが、時間相関がビュー間相関よりもかなり高いシーンである場合、符号化側において、ピクチャパラメータセットのパターンＩＤには、０が記述されて、デフォルトの割り当てパターンとして、time firstパターンが設定される。
例えば、想定されるシーンが、ビュー間相関が、時間相関よりもかなり高いシーンである場合、符号化側において、ピクチャパラメータセットのパターンＩＤには、１が記述されて、デフォルトの割り当てパターンとして、view firstパターンが設定される。
例えば、想定されるシーンが、時間相関が、ビュー間相関と同じくらいであるが、どちらかといえば、時間相関が、ビュー間相関よりも比較的高いシーンである場合、符号化側において、次のように設定される。すなわち、ピクチャパラメータセットのパターンＩＤには、２が記述されて、デフォルトの割り当てパターンとして、time first zig-zagパターンが設定される。
例えば、想定されるシーンが、時間相関が、ビュー間相関と同じくらいであるが、どちらかといえば、時間相関が、ビュー間相関よりも比較的高いシーンである場合、符号化側において、次のように設定される。すなわち、ピクチャパラメータセットのパターンＩＤには、２が記述されて、デフォルトの割り当てパターンとして、time first zig-zagパターンが設定される。
このようにすることで、画像復号装置２００においては、このパターンＩＤが新たに設定されたピクチャパラメータセットを受け取ったときに、デフォルトの割り当てパターンが切り替えられる。これにより、シーンが一気に変わるシーンチェンジ毎や、明るさが徐々に変わるフェイドの開始と終了に応じてデフォルト割り当てパターンを切り替えることができる。その結果、参照割合が高い参照画像に対して、小さい参照画像インデックスが割り当てられるので、さらに、符号化効率を改善することができる。
なお、上記説明においては、既存のNALユニットであるピクチャパラメータセット(PPS)に、上述したパターンＩＤを設けるように説明したが、PPSに限定されず、複数ピクチャに適応できれば、他のNALユニットに設けるようにしてもよい。例えば、新しいNALユニットであるAPS(Adaptation Parameter Set:アダプテーションパラメータセット)などに設けるようにしてもよい。
また、このように、ピクチャパラメータセットでパターンＩＤを、複数ピクチャ毎に送ることで、上述したシーケンスパラメータ毎に送るよりもビット量が増えてしまうことが想定される。したがって、ビット量の増加が負荷にならない場合に、ピクチャパラメータセットでパターンＩＤを、複数ピクチャ毎に送るようにすることが望ましい。
なお、上記説明においては、４種類のパターンからデフォルトの割り当てパターンを選択する例を説明したが、上述した４種類のうちいずれか数種類（２種類など）のパターンを候補として、デフォルトの割り当てパターンを選ぶようにしてもよい。また、候補のパターンの数は、４種類に限定されず、複数であればよい。
また、上記説明においては、パターンフラグの例と、パターンＩＤの例を説明したが、パターンフラグもパターンＩＤも、パターンを識別するものであるパターン識別情報の一例であり、パターン識別情報には、パターンフラグとパターンＩＤとが含まれる。
なお、本開示は、次に示されるHEVC方式を用いた画像符号化装置および画像復号装置にも適用することができる。
＜４．第４の実施の形態＞
［画像符号化装置の構成例］
図１８は、本開示を適用した画像処理装置としての画像符号化装置の他の実施の形態の構成を表している。
［画像符号化装置の構成例］
図１８は、本開示を適用した画像処理装置としての画像符号化装置の他の実施の形態の構成を表している。
図１８に示される画像符号化装置３１１は、HEVC方式により、予測処理を用いて画像データを符号化する。
図１の例において、画像符号化装置３１１は、A/D（Analog / Digital）変換部３２１、画面並べ替えバッファ３２２、演算部３２３、直交変換部３２４、量子化部３２５、可逆符号化部３２６、および蓄積バッファ３２７を有する。また、画像符号化装置３１１は、逆量子化部３２８、逆直交変換部３２９、演算部３３０、デブロッキングフィルタ３３１、フレームメモリ３３２、選択部３３３、イントラ予測部３３４、動き予測・補償部３３５、予測画像選択部３３６、およびレート制御部３３７を有する。
さらに、画像符号化装置３１１は、デブロッキングフィルタ３３１とフレームメモリ３３２との間に、適応オフセットフィルタ３４１および適応ループフィルタ３４２を有する。
A/D変換部３２１は、入力された画像データをA/D変換し、画面並べ替えバッファ３２２に出力し、記憶させる。
画面並べ替えバッファ３２２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ３２２は、フレームの順番を並び替えた画像を、演算部３２３に供給する。また、画面並べ替えバッファ３２２は、フレームの順番を並び替えた画像を、イントラ予測部３３４および動き予測・補償部３３５にも供給する。
演算部３２３は、画面並べ替えバッファ３２２から読み出された画像から、予測画像選択部３３６を介してイントラ予測部３３４若しくは動き予測・補償部３３５から供給される予測画像を減算し、その差分情報を直交変換部３２４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部３２３は、画面並べ替えバッファ３２２から読み出された画像から、イントラ予測部３３４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部３２３は、画面並べ替えバッファ３２２から読み出された画像から、動き予測・補償部３３５から供給される予測画像を減算する。
直交変換部３２４は、演算部３２３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部３２５に供給する。
量子化部３２５は、直交変換部３２４が出力する変換係数を量子化する。量子化部３２５は、量子化された変換係数を可逆符号化部３２６に供給する。
可逆符号化部３２６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部３２６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部３３４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３３５から取得する。
可逆符号化部３２６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部３２６は、符号化して得られた符号化データを蓄積バッファ３２７に供給して蓄積させる。
例えば、可逆符号化部３２６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ３２７は、可逆符号化部３２６から供給された符号化ストリーム（データ）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ３２７は、符号化ストリームを伝送する伝送部でもある。
また、量子化部３２５において量子化された変換係数は、逆量子化部３２８にも供給される。逆量子化部３２８は、その量子化された変換係数を、量子化部３２５による量子化に対応する方法で逆量子化する。逆量子化部３２８は、得られた変換係数を、逆直交変換部３２９に供給する。
逆直交変換部３２９は、供給された変換係数を、直交変換部３２４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部３３０に供給される。
演算部３３０は、逆直交変換部３２９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部３３６を介してイントラ予測部３３４若しくは動き予測・補償部３３５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３３０は、その差分情報にイントラ予測部３３４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３３０は、その差分情報に動き予測・補償部３３５から供給される予測画像を加算する。
その加算結果である復号画像は、デブロッキングフィルタ３３１およびフレームメモリ３３２に供給される。
デブロッキングフィルタ３３１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ３３１は、そのフィルタ処理結果を適応オフセットフィルタ３４１に供給する。
適応オフセットフィルタ３４１は、デブロッキングフィルタ３３１によるフィルタ後の画像に対して、主にリンギングを除去するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ３４１は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３３１によるフィルタ後の画像に対して、フィルタ処理を施す。
なお、画像符号化装置３１１において、quad-tree構造と分割領域毎のオフセット値は、適応オフセットフィルタ３４１により算出されて用いられる。算出されたquad-tree構造と分割領域毎のオフセット値は、可逆符号化部３２６において符号化され、後述する図１９の画像復号装置３５１に送信される。
適応オフセットフィルタ３４１は、フィルタ処理後の画像を、適応ループフィルタ３４２に供給する。
適応ループフィルタ３４２は、ALF処理単位として、最大の符号化単位であるLCU単位で適応ループフィルタ（ALF:AdaptiveLoop Filter)処理を行う。フィルタ後の画像は、フレームメモリ３３２に供給される。適応ループフィルタ３４２においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。
適応ループフィルタ３４２は、適応オフセットフィルタ３４１によるフィルタ後の画像に対して、フィルタ係数を用いて、LCU毎にフィルタ処理を行い、フィルタ処理結果をフレームメモリ３３２に供給する。
なお、画像符号化装置３１１において、フィルタ係数は、LCU毎に、画面並べ替えバッファ３１２からの原画像との残差を最小とするよう適応ループフィルタ３４２により算出されて用いられる。算出されたフィルタ係数は、可逆符号化部３２６において符号化され、後述する図１９の画像復号装置３５１に送信される。また、本明細書では、LUC毎に処理を行う例を記載するが、適応ループフィルタ３４２の処理単位は、これに限定されない。
フレームメモリ３３２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部３３３を介してイントラ予測部３３４または動き予測・補償部３３５に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ３３２は、参照画像を、選択部３３３を介してイントラ予測部３３４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３３２は、参照画像を、選択部３３３を介して動き予測・補償部３３５に供給する。
選択部３３３は、フレームメモリ３３２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３３４に供給する。また、選択部３３３は、フレームメモリ３３２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３３５に供給する。
イントラ予測部３３４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３３４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部３３４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部３３４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部３３６を介して演算部３２３や演算部３３０に供給する。
また、上述したように、イントラ予測部３３４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部３２６に供給する。
動き予測・補償部３３５は、インター符号化が行われる画像について、画面並べ替えバッファ３２２から供給される入力画像と、選択部３３３を介してフレームメモリ３３２から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部３３５は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き予測・補償部３３５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部３３５は、生成された予測画像を、予測画像選択部３３６を介して演算部３２３や演算部３３０に供給する。
また、動き予測・補償部３３５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部３２６に供給する。
予測画像選択部３３６は、イントラ符号化を行う画像の場合、イントラ予測部３３４の出力を演算部３２３や演算部３３０に供給し、インター符号化を行う画像の場合、動き予測・補償部３３５の出力を演算部３２３や演算部３３０に供給する。
レート制御部３３７は、蓄積バッファ３２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３２５の量子化動作のレートを制御する。
＜５．第５の実施の形態＞
［画像復号装置の構成例］
図１９は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１９に示される画像復号装置３５１は、図１８の画像符号化装置３１１に対応する復号装置であり、画像符号化装置３１１からの符号化データに対して、HEVC方式により復号を行う。
［画像復号装置の構成例］
図１９は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１９に示される画像復号装置３５１は、図１８の画像符号化装置３１１に対応する復号装置であり、画像符号化装置３１１からの符号化データに対して、HEVC方式により復号を行う。
画像符号化装置３１１より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置３１１に対応する画像復号装置３５１に伝送され、復号されるものとする。
図１９に示されるように、画像復号装置３５１は、蓄積バッファ３６１、可逆復号部３６２、逆量子化部３６３、逆直交変換部３６４、演算部３６５、デブロッキングフィルタ３６６、画面並べ替えバッファ３６７、およびD/A変換部３６８を有する。また、画像復号装置３５１は、フレームメモリ３６９、選択部３７０、イントラ予測部３７１、動き予測・補償部３７２、および選択部３７３を有する。
さらに、画像復号装置３５１は、デブロッキングフィルタ３６６と、画面並べ替えバッファ３６７およびフレームメモリ３６９との間に、適応オフセットフィルタ３８１および適応ループフィルタ３８２を有する。
蓄積バッファ３６１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ３６１は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置３１１により符号化されたものである。可逆復号部３６２は、蓄積バッファ３６１から所定のタイミングで読み出された符号化データを、図１８の可逆符号化部３２６の符号化方式に対応する方式で復号する。
可逆復号部３６２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部３７１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３７２に供給する。また、可逆復号部３６２は、復号された適応ループフィルタのパラメータ（フィルタ係数など）を、適応ループフィルタ３８２に供給する。可逆復号部３６２は、復号された適応オフセットパラメータ（quad-tree構造と分割領域毎のオフセット値など）を、適応オフセットフィルタ３８１に供給する。
逆量子化部３６３は、可逆復号部３６２により復号されて得られた係数データ（量子化係数）を、図１８の量子化部３２５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部３６３は、画像符号化装置３１１から供給された量子化パラメータを用いて、図１８の逆量子化部３２８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部３６３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部３６４に供給する。逆直交変換部３６４は、図１８の直交変換部３２４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置３１１において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部３６５に供給される。また、演算部３６５には、選択部３７３を介して、イントラ予測部３７１若しくは動き予測・補償部３７２から予測画像が供給される。
演算部３６５は、その復号残差データと予測画像とを加算し、画像符号化装置３１１の演算部３２３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部３６５は、その復号画像データをデブロッキングフィルタ３６６に供給する。
デブロッキングフィルタ３６６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ３６６は、そのフィルタ処理結果を適応オフセットフィルタ３８１に供給する。
適応オフセットフィルタ３８１は、デブロッキングフィルタ３６６によるフィルタ後の画像に対して、主にリンギングを除去するオフセットフィルタ(SAO)処理を行う。
適応オフセットフィルタ３８１は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３６６によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ３８１は、フィルタ処理後の画像を、適応ループフィルタ３８２に供給する。
なお、このquad-tree構造と分割領域毎のオフセット値は、画像符号化装置３１１の適応オフセットフィルタ３４１により算出され、符号化されて送られてきたものである。そして、画像符号化装置３１１により符号化されたquad-tree構造と分割領域毎のオフセット値は、画像復号装置３５１において受信されて、可逆復号部３６２により復号されて、適応オフセットフィルタ３８１により用いられる。
適応ループフィルタ３８２は、図１８の適応ループフィルタ３４２と基本的に同様に構成され、ALF処理単位として、最大の符号化単位であるLCU単位で適応ループフィルタ（ALF : Adaptive Loop Filter)処理を行う。適応ループフィルタ３８２は、適応オフセットフィルタ３８１によるフィルタ後の画像に対して、フィルタ係数を用いて、LCU毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ３６９および画面並べ替えバッファ３６７に供給する。
なお、画像復号装置３５１において、フィルタ係数は、画像符号化装置３１１の適応ループフィルタ３４２によりLUC毎に算出され、符号化されて送られてきたものが可逆復号部６２により復号されて用いられる。
画面並べ替えバッファ３６７は、画像の並べ替えを行う。すなわち、図１８の画面並べ替えバッファ３２２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部３６８は、画面並べ替えバッファ３６７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
適応ループフィルタ３８２の出力は、さらに、フレームメモリ３６９に供給される。
フレームメモリ３６９、選択部３７０、イントラ予測部３７１、動き予測・補償部３７２、および選択部３７３は、画像符号化装置３１１のフレームメモリ３３２、選択部３３３、イントラ予測部３３４、動き予測・補償部３３５、および予測画像選択部３３６にそれぞれ対応する。
選択部３７０は、インター処理される画像と参照される画像をフレームメモリ３６９から読み出し、動き予測・補償部３７２に供給する。また、選択部３７０は、イントラ予測に用いられる画像をフレームメモリ３６９から読み出し、イントラ予測部３７１に供給する。
イントラ予測部３７１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部３６２から適宜供給される。イントラ予測部３７１は、この情報に基づいて、フレームメモリ３６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３７３に供給する。
動き予測・補償部３７２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部３６２から供給される。
動き予測・補償部３７２は、可逆復号部３６２から供給されるそれらの情報に基づいて、フレームメモリ３６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３７３に供給する。
選択部３７３は、動き予測・補償部３７２またはイントラ予測部３７１により生成された予測画像を選択し、演算部３６５に供給する。
なお、上記説明においては、符号化方式としてH．264/AVC方式やHEVC方式をベースに用いるようにしたが、本開示はこれに限らず、動き視差予測、補償を行う、その他の符号化方式／復号方式を適用することができる。
なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
＜６．第６の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図２０において、コンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜７．応用例＞
［第１の応用例：テレビジョン受像機］
図２１は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
［第１の応用例：テレビジョン受像機］
図２１は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、多視点符号化における符号化効率を改善することができることができる。
［第２の応用例：携帯電話機］
図２２は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
図２２は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、多視点符号化における符号化効率を改善することができる。
［第３の応用例：記録再生装置］
図２３は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
図２３は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、多視点符号化における符号化効率を改善することができる。
［第４の応用例：撮像装置］
図２４は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
図２４は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、多視点符号化における符号化効率を改善することができる。
なお、本明細書では、パターンフラグまたはパターンＩＤ等のパターン識別情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） ビットストリームを復号して、画像を生成する復号部と、
前記復号部により生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、
前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記復号部により生成された前記画像を予測する予測部と
を備える画像処理装置。
（２） 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１）に記載の画像処理装置。
（３） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（２）に記載の画像処理装置。
（４） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１）に記載の画像処理装置。
（５） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（４）に記載の画像処理装置。
（６） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方選択して、前記参照画像のインデックスを割り当てる
前記（１）に記載の画像処理装置。
（７） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（６）に記載の画像処理装置。
（８） 前記インデックス割り当て部は、前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てる
前記（６）に記載の画像処理装置。
（９） 前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てる
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てる
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（１）に記載の画像処理装置。
（１２）
前記インデックス割り当て部は、前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てる
前記（１１）に記載の画像処理装置。
（１３） 画像処理装置が、
画像を復号し、
ビットストリームを復号して、画像を生成し、
生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、
割り当てられたインデックスの参照画像を参照して、生成された前記画像を予測する
画像処理方法。
（１４） 画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、
前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記画像を予測する予測部と
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部と
を備える画像処理装置。
（１５） 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１４）に記載の画像処理装置。
（１６） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（１５）に記載の画像処理装置。
（１７） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１４）に記載の画像処理装置。
（１８） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（１７）に記載の画像処理装置。
（１９） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方を選択して、前記参照画像のインデックスを割り当てる
前記（１４）に記載の画像処理装置。
（２０） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（１９）に記載の画像処理装置。
（２１） 前記ビットストリームは、前記インデックス割り当て部により選択された前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部を
さらに備える前記（１９）に記載の画像処理装置。
（２２） 前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てる
前記（１４）乃至（２１）のいずれかに記載の画像処理装置。
（２３） 前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てる
前記（１４）乃至（２２）のいずれかに記載の画像処理装置。
（２４） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（１４）に記載の画像処理装置。
（２５） 前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部を
さらに備える前記（２４）に記載の画像処理装置。
（２６） 画像処理装置が、
画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、
割り当てられたインデックスの参照画像を参照して、前記画像を予測し、
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する
画像処理方法。
（１） ビットストリームを復号して、画像を生成する復号部と、
前記復号部により生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、
前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記復号部により生成された前記画像を予測する予測部と
を備える画像処理装置。
（２） 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１）に記載の画像処理装置。
（３） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（２）に記載の画像処理装置。
（４） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１）に記載の画像処理装置。
（５） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（４）に記載の画像処理装置。
（６） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方選択して、前記参照画像のインデックスを割り当てる
前記（１）に記載の画像処理装置。
（７） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（６）に記載の画像処理装置。
（８） 前記インデックス割り当て部は、前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てる
前記（６）に記載の画像処理装置。
（９） 前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てる
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てる
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（１）に記載の画像処理装置。
（１２）
前記インデックス割り当て部は、前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てる
前記（１１）に記載の画像処理装置。
（１３） 画像処理装置が、
画像を復号し、
ビットストリームを復号して、画像を生成し、
生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、
割り当てられたインデックスの参照画像を参照して、生成された前記画像を予測する
画像処理方法。
（１４） 画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、
前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記画像を予測する予測部と
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部と
を備える画像処理装置。
（１５） 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１４）に記載の画像処理装置。
（１６） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（１５）に記載の画像処理装置。
（１７） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返す
前記（１４）に記載の画像処理装置。
（１８） 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
前記（１７）に記載の画像処理装置。
（１９） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方を選択して、前記参照画像のインデックスを割り当てる
前記（１４）に記載の画像処理装置。
（２０） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（１９）に記載の画像処理装置。
（２１） 前記ビットストリームは、前記インデックス割り当て部により選択された前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部を
さらに備える前記（１９）に記載の画像処理装置。
（２２） 前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てる
前記（１４）乃至（２１）のいずれかに記載の画像処理装置。
（２３） 前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てる
前記（１４）乃至（２２）のいずれかに記載の画像処理装置。
（２４） 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
前記（１４）に記載の画像処理装置。
（２５） 前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部を
さらに備える前記（２４）に記載の画像処理装置。
（２６） 画像処理装置が、
画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、
割り当てられたインデックスの参照画像を参照して、前記画像を予測し、
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する
画像処理方法。
１００ 画像符号化装置， １０６ 可逆符号化部， １１５ 動き視差予測・補償部， １２１ シンタックス処理部， １２２ 参照画像インデックス割り当て部， ２００ 画像復号装置， ２０２ 可逆復号部， ２１２ 動き視差予測・補償部，２２１ シンタックス処理部， ２２２ 参照画像インデックス割り当て部， ３１１ 画像符号化装置， ３５１ 画像復号装置
Claims (26)
- ビットストリームを復号して、画像を生成する復号部と、
前記復号部により生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、
前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記復号部により生成された前記画像を予測する予測部と
を備える画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返す
請求項１に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
請求項２に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返す
請求項１に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
請求項４に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に、時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方を選択して、前記参照画像のインデックスを割り当てる
請求項１に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
請求項６に記載の画像処理装置。 - 前記インデックス割り当て部は、前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てる
請求項６に記載の画像処理装置。 - 前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てる
請求項１に記載の画像処理装置。 - 前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てる
請求項１に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
請求項１に記載の画像処理装置。 - 前記インデックス割り当て部は、前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報に従って、前記参照画像のインデックスを割り当てる
請求項１１に記載の画像処理装置。 - 画像処理装置が、
ビットストリームを復号して、画像を生成し、
生成された前記画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、
割り当てられたインデックスの参照画像を参照して、生成された前記画像を予測する
画像処理方法。 - 画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当てるインデックス割り当て部と、
前記インデックス割り当て部により割り当てられたインデックスの参照画像を参照して、前記画像を予測する予測部と
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部と
を備える画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像、ビュー方向に参照可能な画像の順に割り当てる処理を繰り返す
請求項１４に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
請求項１５に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像、時間方向に参照可能な画像の順に割り当てる処理を繰り返す
請求項１４に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、ビュー方向に参照可能な画像すべてに対して割り当てた後に、時間方向に参照可能な画像に対して割り当てる
請求項１７に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像に割り当てた後にビュー方向に参照可能な画像に割り当てる時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像に割り当てた後に時間方向に参照可能な画像に割り当てるビュー方向優先パターンとから、一方を選択して、前記参照画像のインデックスを割り当てる
請求項１４に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先パターンとから、前記参照画像を割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
請求項１９に記載の画像処理装置。 - 前記時間方向優先パターンを用いるか前記ビュー方向優先パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部を
さらに備える請求項１９に記載の画像処理装置。 - 前記インデックス割り当て部は、ビュー方向に参照可能な画像に対しては、シーケンスパラメータセットのビュー参照情報に基づいて、前記参照画像のインデックスを割り当てる
請求項１４に記載の画像処理装置。 - 前記インデックス割り当て部は、時間方向に参照可能な画像に対しては、Ｐピクチャの場合、復号順序に基づいて、Ｂピクチャの場合、POC(Picture Order Count)に基づいて、前記参照画像のインデックスを割り当てる
請求項１４に記載の画像処理装置。 - 前記インデックス割り当て部は、前記参照画像のインデックスを、時間方向に参照可能な画像から割り当てを始めて時間方向に参照可能な画像からビュー方向に参照可能な画像の順に割り当てる処理を繰り返す時間方向優先の交互パターンと、前記参照画像のインデックスをビュー方向に参照可能な画像から割り当てを始めてビュー方向に参照可能な画像から時間方向に参照可能な画像の順に割り当てる処理を繰り返すビュー方向優先の交互パターンとから、前記参照画像のインデックスを割り当てるパターンを選択して、前記参照画像のインデックスを割り当てる
請求項１４に記載の画像処理装置。 - 前記時間方向優先の交互パターンを用いるか前記ビュー方向優先の交互パターンを用いるかを識別するパターン識別情報と、前記符号化部により生成されたビットストリームとを伝送する伝送部を
さらに備える請求項２４に記載の画像処理装置。 - 画像処理装置が、
画像を予測する際に参照される参照画像のインデックスを、ビュー方向に参照可能な画像と、時間方向に参照可能な画像とに対して交互に割り当て、
割り当てられたインデックスの参照画像を参照して、前記画像を予測し、
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する
画像処理方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011127332 | 2011-06-07 | ||
| JP2011127332 | 2011-06-07 | ||
| JP2011252685 | 2011-11-18 | ||
| JP2011252685 | 2011-11-18 | ||
| PCT/JP2012/063911 WO2012169403A1 (ja) | 2011-06-07 | 2012-05-30 | 画像処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2012169403A1 true JPWO2012169403A1 (ja) | 2015-02-23 |
| JP5954587B2 JP5954587B2 (ja) | 2016-07-20 |
Family
ID=47295969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013519453A Active JP5954587B2 (ja) | 2011-06-07 | 2012-05-30 | 画像処理装置および方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10021386B2 (ja) |
| JP (1) | JP5954587B2 (ja) |
| CN (1) | CN103563364B (ja) |
| TW (1) | TWI530161B (ja) |
| WO (1) | WO2012169403A1 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| JP5359657B2 (ja) | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
| JP5914962B2 (ja) | 2010-04-09 | 2016-05-11 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
| TWI600318B (zh) | 2010-05-18 | 2017-09-21 | Sony Corp | Image processing apparatus and image processing method |
| EP4290860A3 (en) | 2010-06-04 | 2024-02-14 | Sony Group Corporation | Image processing apparatus and method |
| EP3748964A1 (en) | 2010-12-07 | 2020-12-09 | Sony Corporation | Image processing device and image processing method |
| PH12018501811A1 (en) | 2010-12-07 | 2019-02-18 | Sony Corp | Image processing device and image processing method |
| JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| BR122014031521B1 (pt) | 2011-02-10 | 2022-08-23 | Velos Media International Limited | Dispositivo e método de processamento de imagem |
| MY186854A (en) | 2011-03-11 | 2021-08-26 | Sony Corp | Image processing apparatus and method |
| KR102010160B1 (ko) | 2011-06-28 | 2019-08-12 | 소니 주식회사 | 화상 처리 장치, 화상 처리 방법 및 기록 매체 |
| JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| CN103765903B (zh) * | 2012-01-18 | 2017-09-01 | 松下知识产权经营株式会社 | 图像解码装置、图像编码装置、图像解码方法及图像编码方法 |
| US9350970B2 (en) | 2012-12-14 | 2016-05-24 | Qualcomm Incorporated | Disparity vector derivation |
| US9992513B2 (en) | 2012-12-21 | 2018-06-05 | Sony Corporation | Image processing efficient transmission or reception of encoded information |
| TWI669950B (zh) * | 2012-12-21 | 2019-08-21 | 日商新力股份有限公司 | 影像處理裝置及方法 |
| GB201321851D0 (en) | 2013-12-10 | 2014-01-22 | Canon Kk | Run length parameters coding for palette mode |
| CN103957341B (zh) * | 2014-04-30 | 2016-09-28 | 华为软件技术有限公司 | 图片传输的方法及其相关设备 |
| JP6626319B2 (ja) * | 2015-11-18 | 2019-12-25 | キヤノン株式会社 | 符号化装置、撮像装置、符号化方法、及びプログラム |
| CN105513101B (zh) * | 2015-12-03 | 2018-08-07 | 小米科技有限责任公司 | 图片处理方法及装置 |
| KR102170550B1 (ko) * | 2016-05-24 | 2020-10-29 | 노키아 테크놀로지스 오와이 | 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램 |
| CN106507106B (zh) * | 2016-11-08 | 2018-03-06 | 中国科学技术大学 | 基于参考片的视频帧间预测编码方法 |
| CN108600769A (zh) * | 2018-04-16 | 2018-09-28 | 西安万像电子科技有限公司 | 图像传输方法、装置及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006521071A (ja) * | 2003-03-03 | 2006-09-14 | エルジー エレクトロニクス インコーポレーテッド | 参照ピクチャの選択方法 |
| JP2009532934A (ja) * | 2006-03-30 | 2009-09-10 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号のデコーディング／エンコーディング方法及び装置 |
| JP2011087270A (ja) * | 2009-09-17 | 2011-04-28 | Victor Co Of Japan Ltd | 画像符号化装置及び画像符号化方法 |
| JP4964355B2 (ja) * | 2010-09-30 | 2012-06-27 | パナソニック株式会社 | 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| KR100506864B1 (ko) * | 2002-10-04 | 2005-08-05 | 엘지전자 주식회사 | 모션벡터 결정방법 |
| TWI268715B (en) * | 2004-08-16 | 2006-12-11 | Nippon Telegraph & Telephone | Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus |
| US7671894B2 (en) * | 2004-12-17 | 2010-03-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
| WO2007148906A1 (en) * | 2006-06-19 | 2007-12-27 | Lg Electronics, Inc. | Method and apparatus for processing a vedeo signal |
| WO2010123198A2 (ko) * | 2009-04-21 | 2010-10-28 | 엘지전자 주식회사 | 다시점 비디오 신호 처리 방법 및 장치 |
| KR101620067B1 (ko) * | 2009-05-14 | 2016-05-12 | 삼성전자주식회사 | 다시점 영상 압축 장치 및 방법 |
| JP5359657B2 (ja) | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
| JP5344238B2 (ja) | 2009-07-31 | 2013-11-20 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
| JP2011082683A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
| JP5914962B2 (ja) | 2010-04-09 | 2016-05-11 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
| TWI600318B (zh) | 2010-05-18 | 2017-09-21 | Sony Corp | Image processing apparatus and image processing method |
| EP4290860A3 (en) | 2010-06-04 | 2024-02-14 | Sony Group Corporation | Image processing apparatus and method |
| US20120075436A1 (en) * | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
| WO2012045319A1 (en) * | 2010-10-05 | 2012-04-12 | Telefonaktiebolaget L M Ericsson (Publ) | Multi-view encoding and decoding technique based on single-view video codecs |
| EP2630799A4 (en) * | 2010-10-20 | 2014-07-02 | Nokia Corp | METHOD AND DEVICE FOR VIDEO CODING AND DECODING |
| EP3748964A1 (en) | 2010-12-07 | 2020-12-09 | Sony Corporation | Image processing device and image processing method |
| PH12018501811A1 (en) | 2010-12-07 | 2019-02-18 | Sony Corp | Image processing device and image processing method |
| JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| BR122014031521B1 (pt) | 2011-02-10 | 2022-08-23 | Velos Media International Limited | Dispositivo e método de processamento de imagem |
| MY186854A (en) | 2011-03-11 | 2021-08-26 | Sony Corp | Image processing apparatus and method |
| JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| RU2643490C2 (ru) | 2012-06-29 | 2018-02-01 | Вилос Медиа Интернэшнл Лимитед | Устройство декодирования и способ декодирования |
-
2012
- 2012-03-30 TW TW101111523A patent/TWI530161B/zh not_active IP Right Cessation
- 2012-05-30 CN CN201280026261.XA patent/CN103563364B/zh active Active
- 2012-05-30 US US14/118,408 patent/US10021386B2/en active Active
- 2012-05-30 JP JP2013519453A patent/JP5954587B2/ja active Active
- 2012-05-30 WO PCT/JP2012/063911 patent/WO2012169403A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006521071A (ja) * | 2003-03-03 | 2006-09-14 | エルジー エレクトロニクス インコーポレーテッド | 参照ピクチャの選択方法 |
| JP2009532934A (ja) * | 2006-03-30 | 2009-09-10 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号のデコーディング／エンコーディング方法及び装置 |
| JP2011087270A (ja) * | 2009-09-17 | 2011-04-28 | Victor Co Of Japan Ltd | 画像符号化装置及び画像符号化方法 |
| JP4964355B2 (ja) * | 2010-09-30 | 2012-06-27 | パナソニック株式会社 | 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法 |
Non-Patent Citations (2)
| Title |
|---|
| 大久保 榮, 改訂三版Ｈ．２６４／ＡＶＣ教科書 第１版 H.264/AVC TEXTBOOK, vol. 第1版, JPN6015039697, 1 January 2009 (2009-01-01), pages 169 - 170, ISSN: 0003168850 * |
| 記載なし: "H.264 (03/10)Advanced video coding for generic audiovisual services", ＩＴＵ−Ｔ規格文書（Ｈシリーズ） H.264, JPN6015039696, 31 March 2010 (2010-03-31), pages 604 - 622, ISSN: 0003168849 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI530161B (zh) | 2016-04-11 |
| US10021386B2 (en) | 2018-07-10 |
| TW201251469A (en) | 2012-12-16 |
| WO2012169403A1 (ja) | 2012-12-13 |
| US20140086322A1 (en) | 2014-03-27 |
| JP5954587B2 (ja) | 2016-07-20 |
| CN103563364B (zh) | 2016-03-30 |
| CN103563364A (zh) | 2014-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5954587B2 (ja) | 画像処理装置および方法 | |
| AU2013281945B2 (en) | Image processing device and method | |
| WO2013108691A1 (ja) | 画像処理装置および方法 | |
| EP2876875A1 (en) | Image processing device and method | |
| US9591329B2 (en) | Image processing device and method for encoding and decoding image | |
| WO2013002110A1 (ja) | 画像処理装置および方法 | |
| US10547864B2 (en) | Image processing device and method | |
| WO2013108690A1 (ja) | 画像処理装置および方法 | |
| WO2012176684A1 (ja) | 画像処理装置および方法 | |
| US10873758B2 (en) | Image processing device and method | |
| WO2014050731A1 (ja) | 画像処理装置および方法 | |
| WO2013031574A1 (ja) | 画像処理装置および方法 | |
| WO2013108688A1 (ja) | 画像処理装置および方法 | |
| WO2014156708A1 (ja) | 画像復号装置および方法 | |
| WO2013005659A1 (ja) | 画像処理装置および方法 | |
| WO2012173022A1 (ja) | 画像処理装置および方法 | |
| WO2014050732A1 (ja) | 符号化装置および符号化方法、並びに、復号装置および復号方法 | |
| WO2014156705A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160601 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5954587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |