JPWO2014097912A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2014097912A1
JPWO2014097912A1 JP2014553078A JP2014553078A JPWO2014097912A1 JP WO2014097912 A1 JPWO2014097912 A1 JP WO2014097912A1 JP 2014553078 A JP2014553078 A JP 2014553078A JP 2014553078 A JP2014553078 A JP 2014553078A JP WO2014097912 A1 JPWO2014097912 A1 JP WO2014097912A1
Authority
JP
Japan
Prior art keywords
image
list
unit
referred
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014553078A
Other languages
English (en)
Other versions
JP6233655B2 (ja
Inventor
良知 高橋
良知 高橋
央二 中神
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014097912A1 publication Critical patent/JPWO2014097912A1/ja
Application granted granted Critical
Publication of JP6233655B2 publication Critical patent/JP6233655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本開示は、多視点符号化における符号化効率を改善することができるようにする画像処理装置および方法に関する。本技術１の場合、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。この場合、num_ref_idx_l0_active_minus1＝４により、L0の参照リストは、インデックス０の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像の順に生成される。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は画像処理装置および方法に関し、特に、多視点符号化において、符号化効率を改善することができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下 AVCと記す）などがある。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。また、その拡張として、多視点画像についての符号化の標準化も並行して進められており、多視点画像の符号化についてのドラフトとして非特許文献１が発行されている。
ところで、Ｂピクチャを復号するための参照画像の候補が優先順に並ぶリストである参照リストは、一時的なリストであるテンポラルリストに優先順に並ぶ参照画像の先頭から順に生成される。
非特許文献１においては、テンポラルリストは、時間方向の参照画像の後に、ビュー方向の参照画像が配置されて生成されていた。したがって、テンポラルリスト内でビュー方向の参照画像の優先順を上げるために、参照リストコマンドを使用しなければ、参照リストに、ビュー方向の参照画像を配置することが難しく、そのため、ビュー方向の参照画像を参照しにくかった。
そこで、非特許文献２においては、テンポラルリストを生成する際に、ビュー方向の参照画像を、複数の時間方向の参照画像のどの間の位置に挿入するかを指定する情報を、スライスヘッダで伝送することが提案されている。これにより、ビュー方向の相関を考慮して、ビュー方向の参照画像を、テンポラルリストの好きな位置に挿入することができる。
Gerhard Tech , Krzysztof Wegner , Ying Chen , Miska Hannuksela,"MV-HEVC Draft Text2", JCT3V-B1004, 2012,11,07 Li Zhang , Ying Chen , Jewon Kang ,"AHG5: MV-Hevc software for HTM", JCT3V-B0046, 2012,10,07
しかしながら、非特許文献２に記載の技術においては、テンポラルリストにおいて、ビュー方向の参照画像の挿入位置を変更する必要がないときも、スライスヘッダを伝送する必要があり、符号化効率の低下を招く恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、階層符号化または多視点符号化において、符号化効率を改善することができるものである。
本開示の一側面の画像処理装置は、ビットストリームを復号して、画像を生成する復号部と、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記復号部により生成された画像を予測する際に参照される参照リストを設定する参照リスト設定部と、前記参照リスト設定部により設定された参照リストを参照して、前記復号部により生成された前記画像を予測する予測部とを備える。
前記参照リスト設定部は、前記時間方向に参照可能な複数の参照画像のうち、前記画像より時間的に前に位置する参照画像と、前記画像より時間的に後に位置する参照画像との間に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に後に位置する参照画像の順に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に前に位置する参照画像の順に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、前記時間方向に参照可能な参照画像と、前記レイヤ方向に参照可能な参照画像とを交互に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定することができる。
前記参照リスト設定部は、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記参照リストの設定に用いられる一時的なリストであるテンポラルリストを設定するテンポラルリスト設定部と、前記テンポラルリスト設定部により設定されたテンポラルリストに基づいて、前記参照リストを設定する参照画像リスト設定部とを含むことができる。
本開示の一側面の画像処理方法は、画像処理装置が、ビットストリームを復号して、画像を生成し、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、生成された画像を予測する際に参照される参照リストを設定し、設定された参照リストを参照して、生成された前記画像を予測する。
本開示の他の側面の画像処理装置は、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストを設定する参照リスト設定部と、前記参照リスト設定部により設定された参照リストを参照して、前記画像を予測する予測部と、前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部とを備える。
前記参照リスト設定部は、前記時間方向に参照可能な複数の参照画像のうち、前記画像より時間的に前に位置する参照画像と、前記画像より時間的に後に位置する参照画像との間に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に後に位置する参照画像の順に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に前に位置する参照画像の順に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、前記時間方向に参照可能な参照画像と、前記レイヤ方向に参照可能な参照画像とを交互に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定することができる。
前記参照リスト設定部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定することができる。
前記参照リスト設定部は、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記参照リストの設定に用いられる一時的なリストであるテンポラルリストを設定するテンポラルリスト設定部と、前記テンポラルリスト設定部により設定されたテンポラルリストに基づいて、前記参照リストを設定する参照画像リスト設定部とを含むことができる。
本開示の他の側面の画像処理方法は、画像処理装置が、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストを設定し、設定された参照リストを参照して、前記画像を予測し、予測された前記画像を用いて符号化してビットストリームを生成する。
本開示の一側面においては、ビットストリームを復号して、画像が生成され、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、生成された画像を予測する際に参照される参照リストが設定される。そして、設定された参照リストを参照して、生成された前記画像が予測される。
本開示の他の側面においては、時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストが設定される。そして、設定された参照リストを参照して、前記画像が予測され、予測された前記画像を用いて符号化してビットストリームが生成される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の一側面によれば、画像を復号することができる。特に、符号化効率を改善することができる。
本開示の他の側面によれば、画像を符号化することができる。特に、符号化効率を改善することができる。
画像符号化装置の主な構成例を示すブロック図である。 参照画像の構造の例を説明する図である。 従来の参照リストの生成方法の例を示す図である。 従来の参照リストの生成方法の他の例を示す図である。 本技術の参照リストの生成方法の例を示す図である。 本技術の参照リストの生成方法の他の例を示す図である。 本技術と従来との比較を示す図である。 本技術におけるインタービュー画像間の並び順を説明する図である。 本技術におけるインタービュー画像間の並び順の変更方法を示す図である。 図１の参照リスト生成部の構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 参照リスト生成処理の流れの例を説明するフローチャートである。 参照リスト生成処理の流れの他の例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 図１４の参照リスト生成部の構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 参照リスト生成処理の流れの例を説明するフローチャートである。 参照リスト生成処理の流れの他の例を説明するフローチャートである。 画像符号化装置の主な構成の他の例を示すブロック図である。 画像復号装置の主な構成の他の例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（AVC方式の画像符号化装置および画像復号装置）
４．第４の実施の形態（コンピュータ）
５．応用例
６．第５の実施の形態（セット・ユニット・モジュール・プロセッサ）
＜第１の実施の形態＞
［階層符号化の説明］
これまでの、MPEG2、AVCといった画像符号化方式は、スケーラビリティ（scalability）機能を有していた。スケーラブル符号化（階層符号化）とは、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化する方式である。
画像の階層化においては、所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。基本的に各レイヤは、冗長性が低減されるように、差分データにより構成される。例えば、１の画像をベースレイヤとエンハンスメントレイヤに２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとエンハンスメントレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話機のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
このようなスケーラビリティ性を持たせるパラメータとして、例えば、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
さらに、スケーラビリティ性を持たせるパラメータとして、マルチビューがある。この場合、互いに異なるビュー（視点）のレイヤに階層化されている。
本実施の形態に記載のレイヤは、上述した、スケーラビリティ符号化のスペイシャル、テンポラル、SNR、ビット深度、カラー、ビューなどを含む。
なお、本明細書において使われているレイヤの用語は、上述したスケーラブル（階層）符号化のレイヤと、さらに、多視点のマルチビューを考えたときの各ビューを含むものである。
以下、ビューを例として説明するが、ビューを他のレイヤに置き換えることで、本技術は、上述した他のレイヤにも同様に適用することができる。
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１００は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC方式などが用いられる。すなわち、画像符号化装置１００においては、CU（コーディングユニット）単位で処理が行われる。
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
画像符号化装置１００は、さらに、シンタックス処理部１２１、参照リスト生成部１２２、適応オフセットフィルタ１２３、および適応ループフィルタ１２４を有する。
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、シンタックス処理部１２１に供給する。
シンタックス処理部１２１は、画面並べ替えバッファ１０２から読み出された画像のデータを順次確認し、画像のデータに、図示せぬ前段から供給されるヘッダ情報を挿入する。ヘッダ情報は、例えば、ビデオパラメータセット（VPS：Video Parameter Set）、シーケンスパラメータセット（SPS：Sequence Parameter Set）およびピクチャパラメータセット（PPS：Picture Parameter Set）などを含む。また、シンタックス処理部１２１は、スライスの先頭にスライスヘッダ（SH：Slice Header）を付加する。
シンタックス処理部１２１は、ヘッダ情報などが挿入された画像を、演算部１０３、イントラ予測部１１４および動き視差予測・補償部１１５に供給する。また、シンタックス処理部１２１は、各ヘッダ情報およびスライスヘッダなどの情報を、参照リスト生成部１２２に供給する。
演算部１０３は、シンタックス処理部１２１から供給される画像から、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、シンタックス処理部１２１から供給される画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、シンタックス処理部１２１から供給される画像から、動き視差予測・補償部１１５から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部１０６は、イントラ予測モードを示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き視差予測・補償部１１５から取得する。
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、および量子化パラメータを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の画像復号装置、図示せぬ記録装置や伝送路などに出力する。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き視差予測・補償部１１５から供給される予測画像を加算する。
その加算結果は、デブロックフィルタ１１１およびデコードピクチャバッファ１１２に供給される。
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１１１は、そのフィルタ処理結果を、適応オフセットフィルタ１２３に供給する。
適応オフセットフィルタ１２３は、デブロックフィルタ１１１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
より詳細には、適応オフセットフィルタ１２３は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ１２３は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ１２３は、適応オフセットフィルタ処理後の画像を適応ループフィルタ１２４に供給する。
また、適応オフセットフィルタ１２３は、オフセットを格納するバッファを有している。適応オフセットフィルタ１２３は、LCUごとに、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。
適応オフセットフィルタ１２３は、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。
そして、適応オフセットフィルタ１２３は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を可逆符号化部１０６に供給する。
一方、適応オフセットフィルタ１２３は、適応デブロックフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットを順にバッファに格納する。また、適応オフセットフィルタ１２３は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ１２３は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を可逆符号化部１０６に供給する。
適応ループフィルタ１２４は、適応オフセットフィルタ１２３から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF:Adaptive Loop Filter)処理を行う。適応ループフィルタ処理としては、例えば、２次元のウィナーフィルタ（Wiener Filter）による処理が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。
具体的には、適応ループフィルタ１２４は、LCUごとに、シンタックス処理部１２１から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ１２４は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。
適応ループフィルタ１２４は、適応ループフィルタ処理後の画像をデコードピクチャバッファ１１２に供給する。また、適応ループフィルタ１２４は、フィルタ係数を可逆符号化部１０６に供給する。
なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ１２３と適応ループフィルタ１２４の処理単位を合わせることにより、処理を効率的に行うことができる。
デコードピクチャバッファ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き視差予測・補償部１１５に出力する。
例えば、イントラ符号化が行われる画像の場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介して動き視差予測・補償部１１５に供給する。
選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き視差予測・補償部１１５に供給する。
イントラ予測部１１４は、シンタックス処理部１２１から供給される入力画像の画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
動き視差予測・補償部１１５は、インター符号化が行われる画像について、シンタックス処理部１２１から供給される入力画像と、選択部１１３を介してデコードピクチャバッファ１１２から供給される参照画像とを用いて、動き視差予測を行う。その際、動き視差予測・補償部１１５は、参照リスト生成部１２２により生成された参照リストで示される参照画像インデックスの参照画像を用いる。動き視差予測・補償部１１５は、検出された動きおよび視差ベクトルに応じて動き視差補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き視差予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き視差予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、動き視差予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。
選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き視差予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
参照リスト生成部１２２は、デコードピクチャバッファ１１２に蓄積される参照画像の情報（POC情報やビュー情報）を用いて、動き視差予測・補償部１１５が対象画像を予測する際に参照する参照リストを生成する。その際、参照リスト生成部１２２は、参照リストを、時間方向に参照可能な複数の参照画像の間にビュー方向に参照可能な参照画像を挿入して生成する。
すなわち、参照リスト生成部１２２は、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストを、時間方向に参照可能な複数の参照画像の間にビュー方向に参照可能な参照画像を挿入して生成する。そして、参照リスト生成部１２２は、生成したテンポラルリストに基づいて、参照リストを生成する。
なお、時間方向に参照可能な参照画像とは、異なる時間で参照可能な参照画像であり、ビュー（レイヤ）方向に参照可能な参照画像とは、異なるビュー（レイヤ）で参照可能な参照画像のことである。
［参照画像の構造］
次に、図２を参照して、HEVC方式における参照画像の構造について説明する。
図２の例においては、左からPOC順に、長時間参照画像(Long-term:LT)、短時間（前）参照画像(Short-term before Curr:STbC)、Ｃが示されるカレント画像、短時間（後）参照画像(Short-term after Curr:STaC)が示されている。また、下からView（視差）方向順に、Ｃが示されるカレント画像、インタービュー参照画像(Inter-view:IV)が示されている。なお、各参照画像に示される数字は、デコードピクチャバッファ１１２における各参照画像の配列のインデックスを表している。
HEVC方式においては、インター予測を行う際に、図２に示される長時間参照画像、短時間（前）参照画像、短時間（後）参照画像、およびインタービュー参照画像の４種類の画像を参照画像の候補とすることができる。
短時間（前）参照画像は、Ｃが示されるカレント画像に対して、同一ビュー内で時間的に前に位置する（POCが小さい）短時間参照画像であり、短時間（後）参照画像は、カレント画像に対して、同一ビュー内で時間的に後に位置する（POCが大きい）短時間参照画像である。また、長時間参照画像は、同一ビュー内でロングターム指定された参照画像である。インタービュー参照画像は、同一時刻における異なるビューの参照画像である。
［従来１の参照リストの生成方法］
次に、図３を参照し、従来１の方法として、HEVC方式のデフォルトの参照リストの生成方法を説明する。図３の例においては、各４枚参照される例として、デコードピクチャバッファ１１２における短時間（前）参照画像のリスト（配列）（RefPicSetStCurrBefore[i]）、短時間（後）参照画像のリスト（RefPicSetStCurrAfter[i]）、長時間参照画像のリスト(RefPicSetLtCurr[i])、インタービュー参照画像のリスト(RefPicSetIvCurr[i])(i：インデックス=0乃至3)が示されている。
短時間参照画像については、スライスヘッダやRPS(Reference Picture Set)のシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。RPSは、SPSに含まれるピクチャ毎にデコードピクチャバッファの状態を明示するためのシンタックスである。長時間参照画像については、スライスヘッダやSPSのシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。used_by_currフラグが１の画像のみが、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストに追加される。なお、used_by_currフラグは、インタービュー参照画像に対しては設定されていないため、インタービュー参照画像については、インタービュー参照画像のリストに配列されるすべての画像がテンポラルリストに追加される。
図３の例においては、これらの参照画像のリストから生成されるL0（L0方向）のテンポラルリスト(RefPicListTemp0[rIdx])、およびL1（L１方向）のテンポラルリスト(RefPicListTemp1[rIdx])が示されている。
L0のテンポラルリスト(RefPicListTemp0[rIdx])は、短時間（前）参照画像、短時間（後）参照画像、長時間参照画像、インタービュー参照画像の順に、used_by_currフラグに１が設定されている画像が追加されて生成される。したがって、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像、インデックス０乃至３のインタービュー参照画像の順に生成されている。
L1のテンポラルリスト(RefPicListTemp1[rIdx])は、短時間（後）参照画像、短時間（前）参照画像、長時間参照画像、インタービュー参照画像の順に、used_by_currフラグに１が設定されている画像が追加されて生成される。したがって、L1のテンポラルリスト(RefPicListTemp1[rIdx])は、インデックス０と１の短時間（後）参照画像、インデックス０と１の短時間（前）参照画像、インデックス０の長時間参照画像、インデックス０乃至３のインタービュー参照画像の順に生成されている。
また、図３の例においては、L0のテンポラルリストから生成されるL0の参照リスト(RefPicList0[rIdx])、およびL1のテンポラルリストから生成されるL1の参照リスト(RefPicList1[rIdx])が示されている。
ここで、スライスヘッダやSPSのシンタックスで、テンポラルリストのうち、参照可能な画像の数として、num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1とが設定されている。L0/L1のテンポラルリストの先頭から、これらにより制限されている数だけの参照画像が、参照リストに追加されて、参照画像として用いることができる。
例えば、num_ref_idx_l0_active_minus1が４の場合、L0のテンポラルリストの先頭（左から１番目）から５番目までの画像が、L0の参照リスト(RefPicList0[rIdx])に追加されて、L0の参照リストが生成される。図３の例の場合、L0の参照リストは、インデックス０と１の短時間（前）参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。
例えば、num_ref_idx_l1_active_minus1が３の場合、L1のテンポラルリストの先頭から４番目までの画像が、L1の参照リスト(RefPicList1[rIdx])に追加されて、L1の参照リストが生成される。図３の例の場合、L1の参照リストは、インデックス０と１の短時間（後）参照画像、インデックス０と１の短時間（前）参照画像の順に生成される。
以上のように、HEVC方式においては、テンポラルリストは、時間方向の参照画像の後に、ビュー方向の参照画像が配置されて生成されていた。したがって、参照リストに、ビュー方向の参照画像を配置することが難しかった。
なお、HEVC方式においては、参照リストの変更コマンドが定義されており、その変更コマンドを送ることで、テンポラルリストの中から自由に並び替えたものを参照リストに入れることができる。これにより、ビュー方向の参照画像を参照することはできる。しかしながら、変更コマンドは、シンタックスで伝送するため、追加のビットが発生してしまっていた。
すなわち、上述した方法の場合、時間相関がビュー間相関よりも極めて高いときはよいが、一般的なシーケンスでは、ビュー間相関が著しく低いわけではないので、視差予測をするために、参照リストコマンドを使用する必要があった。
そこで、非特許文献２においては、テンポラルリストを生成する際に、ビュー方向の参照画像を、複数の時間方向の参照画像のどの間の位置に挿入するかを指定する情報を、スライスヘッダで伝送することが提案されている。
［従来２の参照リストの生成方法］
次に、図４を参照して、従来２の方法として、非特許文献２に記載のデフォルトの参照リストの生成方法を説明する。なお、図４においては、L0の例のみが記載されている。
非特許文献２に記載の方法では、テンポラルリストの生成までは、HEVC方式と同様であり、繰り返しになるのでその説明を省略する。
すなわち、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、HEVC方式と同様に、短時間（前）参照画像、短時間（後）参照画像、長時間参照画像、インタービュー参照画像の順に、used_by_currフラグに１が設定されている画像が追加されて生成される。したがって、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像、インデックス０乃至３のインタービュー参照画像の順に生成されている。
ここで、非特許文献２に記載の方法の場合、テンポラルリストにおけるインタービュー参照画像を挿入する位置(inter_view_ref_start_position)が、スライスヘッダエクステンションに設定して伝送されてくる。
例えば、inter_view_ref_start_positionにより、矢印Ｐ１に示されるように、テンポラルリストの先頭（１番目）から２番目の位置が指定される。この場合、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像、インデックス１の短時間（前）参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l0_active_minus1＝４により、L0の参照リストは、インデックス０の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像の順に生成される。
また、例えば、inter_view_ref_start_positionにより、矢印Ｐ２に示されるように、テンポラルリストの先頭（１番目）から３番目の位置が指定される。この場合、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l0_active_minus1＝４により、L0の参照リストは、インデックス０と１の短時間（前）参照画像、インデックス０乃至２のインタービュー参照画像の順に生成される。
さらに、例えば、inter_view_ref_start_positionにより、矢印Ｐ３に示されるように、テンポラルリストの先頭（１番目）から４番目の位置が指定される。この場合、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス０乃至３のインタービュー参照画像、インデックス１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l0_active_minus1＝４により、L0の参照リストは、インデックス０と１の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス０と１のインタービュー参照画像の順に生成される。
以上のように、非特許文献２に記載の方法においては、スライスヘッダエクステンションにおいて、テンポラルリストにおけるインタービュー参照画像を挿入するポジションをシンタックスで伝送していた。したがって、ビュー相関を考慮して、テンポラルリストにおいて、インタービュー参照画像を好きな位置に挿入することができた。
しかしながら、非特許文献２に記載の方法の場合、インタービュー参照画像を動かす必要がないときも、シンタックスを伝送する必要があった。
また、この場合、シンタックスで設定されたポジションに、複数のインタービュー参照画像が１度に挿入されてしまう。したがって、テンポラルリストにおいて、インタービュー参照画像と短時間参照画像または長時間参照画像とを混ぜたいときは、参照リスト変更コマンドを伝送する必要があった。
そこで、本技術においては、テンポラルリストを、時間方向に参照可能な複数の参照画像の間に、ビュー方向に参照可能な参照画像を挿入して生成するようにした。
［本技術１の参照リストの生成方法］
次に、図５を参照して、本技術１の参照リストの生成方法を説明する。図５の例においては、各４枚参照される例として、デコードピクチャバッファ１１２における短時間（前）参照画像のリスト（配列）（RefPicSetStCurrBefore[i]）、短時間（後）参照画像のリスト（RefPicSetStCurrAfter[i]）、長時間参照画像のリスト(RefPicSetLtCurr[i])、インタービュー参照画像のリスト(RefPicSetIvCurr[i]) (i：インデックス=0乃至3)が示されている。
本技術１の場合、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l0_active_minus1＝４により、L0の参照リストは、インデックス０と１の短時間（前）参照画像、インデックス０乃至２のインタービュー参照画像の順に生成される。
本技術１のL1のテンポラルリスト(RefPicListTemp1[rIdx])は、インデックス０と１の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像、インデックス０と１の短時間（後）参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l0_active_minus1＝３により、L1の参照リストは、インデックス０と１の短時間（後）参照画像、インデックス０と１のインタービュー参照画像の順に生成される。
以上のように、本技術１の方法においては、テンポラルリストの生成において、短時間（前）参照画像と短時間（後）参照画像との間に、インタービュー画像が挿入される。
これがデフォルト処理となるので、追加のシンタックスを送る必要がない。また、短時間（後）参照画像は、L1において最優先でリストに入るため、L0における短時間（後）参照画像の前にインタービュー参照画像を挿入することで、L0/L1における短時間（後）参照画像の重複利用を避けることができる。
ただし、L0の場合、短時間（前）参照画像の枚数が多いとき、参照リストの中にインタービュー画像が入らないことがある。これに関しては、短時間（前）参照画像の枚数をRPSで制限することが可能である。なお、L1の場合、短時間参照画像について、対象となる前／後が逆になるが、同様のことが言える。
また、短時間（前／後）参照画像の後に、複数のインタービュー参照画像が１度に挿入されてしまう。したがって、テンポラルリストにおいて、インタービュー参照画像と短時間参照画像または長時間参照画像とを混ぜたいときは、参照リスト変更コマンドを伝送する必要がある。
さらに時間相関がビュー間相関よりも極めて高い場合、符号化効率が落ちてしまう恐れがある。
［本技術２の参照リストの生成方法］
さらに、図６を参照して、本技術２の参照リストの生成方法を説明する。図６の例においては、各４枚参照される例として、デコードピクチャバッファ１１２における短時間（前）参照画像のリスト（配列）（RefPicSetStCurrBefore[i]）、短時間（後）参照画像のリスト（RefPicSetStCurrAfter[i]）、長時間参照画像のリスト(RefPicSetLtCurr[i])、インタービュー参照画像のリスト(RefPicSetIvCurr[i])(i：インデックス=0乃至3)が示されている。
本技術２の場合、L0のテンポラルリスト(RefPicListTemp0[rIdx])は、インデックス０の短時間（前）参照画像、インデックス０のインタービュー参照画像、インデックス１の短時間（前）参照画像、インデックス１のインタービュー参照画像、インデックス０の短時間（後）参照画像、インデックス２のインタービュー参照画像、インデックス１の短時間（後）参照画像、インデックス３のインタービュー参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l0_active_minus1＝４により、L0の参照リストは、インデックス０の短時間（前）参照画像、インデックス０のインタービュー参照画像、インデックス１の短時間（前）参照画像、インデックス１のインタービュー参照画像、インデックス０の短時間（後）参照画像の順に生成される。
本技術２のL1のテンポラルリスト(RefPicListTemp1[rIdx])は、インデックス０の短時間（後）参照画像、インデックス０のインタービュー参照画像、インデックス１の短時間（後）参照画像、インデックス１のインタービュー参照画像、インデックス０の短時間（前）参照画像、インデックス２のインタービュー参照画像、インデックス１の短時間（前）参照画像、インデックス３のインタービュー参照画像、インデックス０の長時間参照画像の順に生成される。
そして、この場合、num_ref_idx_l1_active_minus1＝３により、L1の参照リストは、インデックス０の短時間（後）参照画像、インデックス０のインタービュー参照画像、インデックス１の短時間（後）参照画像、インデックス１のインタービュー参照画像の順に生成される。
以上のように、本技術２の方法においては、テンポラルリストの生成において、時間方向の参照画像とビュー方向の参照画像とが交互に配置される。
時間相関とビュー間相関の高さが交互に並ぶときに、参照効率がよい配置となる。また、L0の場合、短時間（前）参照画像の枚数が多いとしても、デフォルトでインタービュー参照画像を、参照リストに追加しやすい。さらに、これがデフォルト処理となるので、追加のシンタックスを送る必要がない。
ただし、時間相関がビュー間相関よりも極めて高い場合、符号化効率が落ちてしまう恐れがある。
[従来と本技術の比較]
図７の例においては、上述した従来の方法と本技術の方法との比較した表が示されている。
本技術１の従来１に対する利点は、２つある。１つ目は、インタービュー相関の高いシーケンス（一般的）に対して、符号化効率を改善できる点である。インタービュー相関とは、インタービュー画像間において相関があることである。２つ目は、STbC（短時間（前）参照画像）とSTaC（短時間（後）参照画像）の枚数が少ないときに、参照リストL0/L1全体で、ユニークなピクチャの数を増やすことができる点である。
本技術１の従来２に対する利点は、２つある。１つ目は、追加シンタックスを伝送しなくてもよい点である。２つ目は、テンポラルリストの並べ直しがないので、処理量が少ない点である。
本技術２の従来１に対する利点は、２つある。１つ目は、テンポラル相関とインタービュー相関が交互に並ぶときに、符号化効率が改善できる点である。テンポラル相関とは、時間の異なるインター画像間において相関があることである。インタービュー相関とは、インタービュー画像間において相関があることである。２つ目は、ワーストでも、参照リストの先頭から２番目にインタービュー参照画像を配置できる点である。
本技術２の従来２に対する利点は、２つある。１つ目は、追加シンタックスを伝送しなくてもよい点である。２つ目は、テンポラル相関とインタービュー相関が交互に並ぶときに、符号化効率が改善できる点である。
さらに、本技術１と本技術２とを比較する。
本技術２の本技術１に対する利点は、２つある。１つ目は、テンポラル相関とインタービュー相関が交互に並ぶときに、符号化効率が改善できる点である。２つ目は、ワーストでも、参照リストの先頭から２番目にインタービュー参照画像を配置できる点である。
なお、上記説明においては、従来と同様に、インタービュー画像の参照リスト（テンポラルリスト）への追加順が、L0とL1で同じ例を説明したが、L0とL1で変更することができる。
[インタービュー画像間の並び]
次に、図８を参照して、本技術におけるインタービュー画像間の並び順について説明する。
従来において、該当するインタービュー参照画像は、VPS(Video Parameter Set)のref_layer_id[i][j]に基づいて、j=0,1,2,….の順番で、参照リスト（テンポラルリスト）に追加していた。この処理は、L0とL1とで全く同じなので、L0/L1のテンポラルリストにおいて、インタービュー参照画像が並ぶ順番は同じであった。
そこで、本技術においては、L0のテンポラルリストに対しては、ref_layer_id[i][j]( j=0,1,2,….)の順番で、インタービュー参照画像を追加する。また、L1のテンポラルリストに対しては、ref_layer_id[i][j]( j=…,2,1,0.)の順番で、インタービュー参照画像を追加する。
具体的には、図８の左側に示されるように、例えば、view_id=0,1,2,3の４ビューにおいて、view_id=2のビュー画像を符号化するときに、VPSにおいて、view_id=1,0,3の順番で、参照関係が記述されているとする。
この場合、本技術においては、図８の右側に示されるように、L0のテンポラルリストにおいては、VPSに記述されているview_id=1,0,3の順番で、インタービュー参照画像を並べる。また、L1のテンポラルリストにおいては、VPSに記述されているview_idの逆順=3,0,1の順番で、インタービュー参照画像を並べる。
このようにすることで、L0/L1のテンポラルリストにおいて、ref_id=n+1番目の画像までしか参照されない、すなわち、ref_id=n+1番目の画像までしか参照リストに追加されない場合に、L0とL1において異なるインタービュー参照画像を参照することができる。
具体的には、図８の例においては、L0において、n+1番目は、view_id=1のv1となり、L1において、n+1番目は、view_id=3のv3となり、L0およびL1において、n+1番目のインタービュー参照画像を変更することができる。
このように、L0/L1で、異なるインタービュー参照画像を参照できるので、同じ画像を参照する場合よりも視差予測の性能がよくなる可能性が高く、符号化効率の改善を期待することができる。
なお、図８の例においては、図３の従来例のように、時間方向の参照画像の後に、ビュー方向の参照画像が追加される例が示されているが、図５および図６を参照して上述した本技術の場合におけるインタービュー参照画像の順番にも適用することができる。
本技術を適用する場合、非特許文献１における記述は、図９の実線に示されるように、L0については変更されないが、図９の点線に示されるように、インタービュー画像をL0と逆の順番で追加するように変更される。
以上の処理を行う図１の参照リスト生成部１２２は、次の図１０に示すように構成される。
[参照リスト生成部の構成例]
図１０は、上述した処理を行う参照リスト生成部の構成例を示すブロック図である。
図１０の例において、参照リスト生成部１２２は、参照画像設定部１３１、テンポラルリスト生成部１３２、および参照画像リスト生成部１３３を含むように構成されている。
参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報（すなわち、POC情報）とシンタックス処理部１２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像を設定し、短時間（前）参照画像リスト（RefPicSetStCurrBefore[i]）を生成する。参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とシンタックス処理部１２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像を設定し、短時間（後）参照画像リスト（RefPicSetStCurrAfter[i]）を生成する。
参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやSPSに設定されている長時間参照画像のused_by_currフラグを参照し、長時間参照画像を設定し、長時間参照画像リスト(RefPicSetLtCurr[i])を生成する。参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像のビュー情報を参照し、インタービュー参照画像(RefPicSetIvCurr[i])を設定し、そのリストを生成する。
テンポラルリスト生成部１３２は、参照画像設定部１３１により設定されたリストを、上述した本技術による所定の順番で結合し、L0およびL1のテンポラルリスト(RefPicListTemp0[rIdx], RefPicListTemp1[rIdx])を生成する。
参照画像リスト生成部１３３は、シンタックス処理部１２１から供給されるスライスヘッダやSPSに設定されているnum_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1を参照する。参照画像リスト生成部１３３は、テンポラルリスト生成部１３２により生成されたL0/L1のテンポラルリストのうち、num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1で設定されている数だけの参照画像を抜き出して追加し、L0/L1の参照リストを生成する。
参照画像リスト生成部１３３により生成されたL0/L1の参照リストは、動き視差予測・補償部１１５に参照される。
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図１１のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、シンタックス処理部１２１は、画面並べ替えバッファ１０２から読み出された画像のデータを順次確認し、画像のデータに、ヘッダ情報を挿入する。シンタックス処理部１２１は、ヘッダ情報などが挿入された画像を、演算部１０３、イントラ予測部１１４および動き視差予測・補償部１１５に供給する。また、シンタックス処理部１２１は、VPS、SPS(RPS含む)、およびスライスヘッダなどの情報を、参照リスト生成部１２２に供給する。
ステップＳ１０４において、演算部１０３は、シンタックス処理部１２１から供給される画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き視差予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０５において、直交変換部１０４は、ステップＳ１０４の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１０６において、量子化部１０５は、ステップＳ１０５の処理により得られた直交変換係数を量子化する。
ステップＳ１０６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０７において、逆量子化部１０８は、ステップＳ１０６の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。
ステップＳ１０８において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
ステップＳ１０９において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。
ステップＳ１１０において、デブロックフィルタ１１１は、演算部１１０から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１１１は、その結果得られる画像を適応オフセットフィルタ１２３に供給する。
ステップＳ１１１において、適応オフセットフィルタ１２３は、デブロックフィルタ１１１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１２３は、その結果得られる画像を適応ループフィルタ１２４に供給する。また、適応オフセットフィルタ１２３は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部１０６に供給する。
ステップＳ１１２において、適応ループフィルタ１２４は、適応オフセットフィルタ１２３から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１２４は、その結果得られる画像をデコードピクチャバッファ１１２に供給する。また、適応ループフィルタ１２４は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部１０６に供給する。
ステップＳ１１３において、デコードピクチャバッファ１１２は、フィルタ処理された画像を記憶する。なお、デコードピクチャバッファ１１２には、フィルタ処理されていない画像も演算部１１０から供給され、記憶される。デコードピクチャバッファ１１２に蓄積された画像は、参照画像として選択部１１３を介して動き視差予測・補償部１１５またはイントラ予測部１１４に供給される。
ステップＳ１１４において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。
ステップＳ１１５において、参照リスト生成部１２２は、動き視差予測・補償部１１５が対象画像を予測する際に参照する参照リストを生成する。この参照リストの生成処理の詳細は、図１２を参照して後述される。
ステップＳ１１５により、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストが、時間方向に参照可能な複数の参照画像の間にビュー方向に参照可能な参照画像を挿入して生成される。そして、生成したテンポラルリストに基づいて、参照リストが生成される。
ステップＳ１１６において、動き視差予測・補償部１１５は、ステップＳ１１５の処理により生成された参照リストが示す参照画像インデックスの参照画像を用いて、インター予測モードでの動き視差予測や動き視差補償を行うインター動き視差予測処理を行う。
ステップＳ１１７において、選択部１１６は、イントラ予測部１１４および動き視差予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き視差予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き視差予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
最適インター予測モードの予測画像が選択された場合、動き視差予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報、視差ベクトル情報やフラグ情報、参照フレーム情報などがあげられる。
ステップＳ１１８において、可逆符号化部１０６は、ステップＳ１０６の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、可逆符号化部１０６は、ステップＳ１１７の処理により選択された予測画像の予測モードに関する情報を、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き視差予測・補償部１１５から供給される最適インター予測モードに応じた情報などを、符号化データに付加する。
ステップＳ１１９において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ１２０においてレート制御部１１７は、ステップＳ１１９の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
ステップＳ１２０の処理が終了すると、符号化処理が終了される。
［参照リスト生成処理の流れ］
次に、図１２のフローチャートを参照して、図１１のステップＳ１１５において実行される参照リスト生成処理の流れの例を説明する。なお、この処理により、図５を参照して上述した本技術１の参照リストが生成される。また、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
上述した図１１のステップＳ１０３において、シンタックス処理部１２１より、復号画像のVPS、SPS（RPS含む）、およびスライスヘッダなどの情報が、参照リスト生成部１２２に供給される。短時間参照画像のused_by_currフラグは、シンタックス処理部１２１から供給されるスライスヘッダやRPSに設定されている。長時間参照画像のused_by_currフラグは、スライスヘッダやSPSに設定されている。
ステップＳ１３１において、参照リスト生成部１２２の参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報（すなわち、POC情報）とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像（STbC）を設定し、RefPicSetStCurrBefore[i]リストを生成する。
ステップＳ１３２において、参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像（STaC）を設定し、RefPicSetStCurrAfter[i]リストを生成する。
ステップＳ１３３において、参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやSPSの長時間参照画像のused_by_currフラグを参照し、長時間参照画像(LT)を設定し、RefPicSetLtCurr[i]リストを生成する。
ステップＳ１３４において、参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像のビュー情報を参照し、インタービュー参照画像(IV)を設定し、RefPicSetIvCurr[i]リストを生成する。
ステップＳ１３５において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定された上記４種類のリストを、STbC,IV,STaC,LTの順番で結合し、L0のテンポラルリスト(RefPicListTemp0[rIdx])を生成する。
すなわち、上述した４種類のリストでused_by_currフラグが１である参照画像だけが、STbC,IV,STaC,LTの順番で結合されて、L0のテンポラルリストが生成される。なお、その際、IV(インタービュー参照画像)は、すべて追加される。
ステップＳ１３６において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定された上記４種類のリストを、STaC,IV,STbC,LTの順番で結合し、L1のテンポラルリスト(RefPicListTemp1[rIdx])を生成する。
すなわち、used_by_currフラグが１である参照画像だけが、STaC,IV,STbC,LTの順番で結合されて、L1のテンポラルリストが生成される。なお、その際、IV(インタービュー参照画像)は、すべて追加されるが、その順番は、図８を参照して上述したように、L0方向の順番と逆順に追加されてもよい。
num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1は、シンタックス処理部１２１から供給されるスライスヘッダやSPSに設定されている。
ステップＳ１３７において、参照画像リスト生成部１３３は、L0のテンポラルリスト(RefPicListTemp0[rIdx])の先頭から、num_ref_idx_l0_active_minus1+1までの要素を抜きだし、L0の参照リスト(RefPicList0[rIdx])を生成する。
ステップＳ１３８において、参照画像リスト生成部１３３は、L1のテンポラルリスト(RefPicListTemp1[rIdx])の先頭から、num_ref_idx_l1_active_minus1+1までの要素を抜きだし、L1の参照リスト(RefPicList1[rIdx])を生成する。
以上のように、短時間（前）参照画像と短時間（後）参照画像との間に、インタービュー画像が挿入されて、図５を参照して上述した参照リストが生成される。
［参照リスト生成処理の他の流れ］
次に、図１３のフローチャートを参照して、図１１のステップＳ１１５において実行される参照リスト生成処理の流れの例を説明する。なお、この処理により、図６を参照して上述した本技術２の参照リストが生成される。また、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
上述した図１１のステップＳ１０３において、シンタックス処理部１２１より、復号画像のVPS、SPS(RPS含む)、およびスライスヘッダなどの情報が、参照リスト生成部１２２に供給される。短時間参照画像のused_by_currフラグは、シンタックス処理部１２１から供給されるスライスヘッダやRPSに設定されている。長時間参照画像のused_by_currフラグは、スライスヘッダやSPSに設定されている。
ステップＳ１５１において、参照リスト生成部１２２の参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報（すなわち、POC情報）とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像（STbC）を設定し、RefPicSetStCurrBefore[i]リストを生成する。
ステップＳ１５２において、参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像（STaC）を設定し、RefPicSetStCurrAfter[i]リストを生成する。
ステップＳ１５３において、参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやSPSの長時間参照画像のused_by_currフラグを参照し、長時間参照画像(LT)を設定し、RefPicSetLtCurr[i]リストを生成する。
ステップＳ１５４において、参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像のビュー情報を参照し、インタービュー参照画像(IV)を設定し、RefPicSetIvCurr[i]リストを生成する。
ステップＳ１５５において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定されたSTbC,STaC,LTの３つのリストを順番で結合したリスト１と、IVからなるリスト２の２つのリストを生成する。すなわち、used_by_currフラグが１である参照画像だけが、STbC,STaC,LTの順番で結合されて、リスト１が生成される。また、リスト２は、RefPicSetIvCurr[i]リストのすべてのIVが追加されて生成される。
ステップＳ１５６において、テンポラルリスト生成部１３２は、ステップＳ１５５で生成したリスト１およびリスト２、それぞれの先頭から１つずつ要素を取り出し、交互にならべて、L0のテンポラルリスト(RefPicListTemp0[rIdx])を生成する。
ステップＳ１５７において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定されたSTaC,STbC,LTの３つのリストを順番で結合したリスト１１と、IVからなるリスト１２の２つのリストを生成する。すなわち、used_by_currフラグが１である参照画像だけが、STaC,STbC,LTの順番で結合されて、リスト１１が生成される。また、リスト１２は、RefPicSetIvCurr[i]リストのすべてのIVが追加されて生成されるが、その際、図８を参照して上述したように、L0方向の順番と逆順に追加されてもよい。
ステップＳ１５８において、テンポラルリスト生成部１３２は、ステップＳ１５５で生成したリスト１１およびリスト１２、それぞれの先頭から１つずつ要素を取り出し、交互にならべて、L1のテンポラルリスト(RefPicListTemp1[rIdx])を生成する。
num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1は、シンタックス処理部１２１から供給されるスライスヘッダやSPSに設定されている。
ステップＳ１５９において、参照画像リスト生成部１３３は、L0のテンポラルリスト(RefPicListTemp0[rIdx])の先頭から、num_ref_idx_l0_active_minus1+1までの要素を抜きだし、L0の参照リスト(RefPicList0[rIdx])を生成する。
ステップＳ１６０において、参照画像リスト生成部１３３は、L1のテンポラルリスト(RefPicListTemp1[rIdx])の先頭から、num_ref_idx_l1_active_minus1+1までの要素を抜きだし、L1の参照リスト(RefPicList1[rIdx])を生成する。
以上のように、テンポラルリストの生成において、時間方向の参照画像とビュー方向の参照画像とが交互に配置されて、図６を参照して上述した参照リストが生成される。
なお、上記説明においては、２種類の参照リストの例を説明したが、例えば、符号化側で、どちらの参照リストを選択したかを示す１ビットの参照リスト選択フラグを復号側に送り、復号側で、参照リスト選択フラグに応じた参照リスト生成を行うように構成することも可能である。この参照リスト選択フラグは、例えば、スライス毎に送るようにしてもよい。
例えば、図７を参照して上述したように、シーケンスにおけるテンポラル相関の高低やインタービュー相関の高低によって、よりよいリストが異なる。したがって、このように参照リスト選択フラグを送ることで、例えば、変更コマンドを画像によって送る場合に比して、また、例えば、非特許文献２のように、毎回シンタックスを送る場合に比して、符号化効率を改善することができる。
＜２．第２の実施の形態＞
［画像復号装置］
図１４は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１４に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、HEVC方式などで復号されるものとする。
図１４に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３を有する。
さらに、画像復号装置２００は、シンタックス処理部２２１、参照リスト生成部２２２、適応オフセットフィルタ２２３、および適応ループフィルタ２２４を有する。
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。シンタックス処理部２２１は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データから、VPS、SPS、およびスライスヘッダなどを取得し、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報などを、参照リスト生成部２２２に供給する。
可逆復号部２０２は、シンタックス処理部２２１からの符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された量子化パラメータを用いて、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き視差予測・補償部２１２から予測画像が供給される。
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
デブロックフィルタ２０６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ２０６は、その結果得られる画像を適応オフセットフィルタ２２３に供給する。
適応オフセットフィルタ２２３は、シンタックス処理部２２１から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ２２３は、LCUごとに、シンタックス処理部２２１から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ２０６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。
具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ２２３は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。
一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ２２３は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。そして、適応オフセットフィルタ２２３は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ２２３は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ２２４に供給する。
適応ループフィルタ２２４は、適応オフセットフィルタ２２３から供給される画像に対して、シンタックス処理部２２１から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ２２４は、その結果得られる画像を画面並べ替えバッファ２０７に供給する。
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
適応ループフィルタ２２４の出力は、さらに、デコードピクチャバッファ２０９に供給される。
デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３は、画像符号化装置１００のデコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、および選択部１１６にそれぞれ対応する。
選択部２１０は、インター処理される画像と参照される画像をデコードピクチャバッファ２０９から読み出し、動き視差予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をデコードピクチャバッファ２０９から読み出し、イントラ予測部２１１に供給する。
イントラ予測部２１１には、ヘッダ情報から得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
動き視差予測・補償部２１２には、ヘッダ情報から得られた情報（予測モード情報、動きベクトル情報、視差ベクトル情報、および各種パラメータ等）が可逆復号部２０２から供給される。また、動き視差予測・補償部２１２には、参照リスト生成部２２２により割り当てられた参照画像インデックスが供給される。
動き視差予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報と、参照リスト生成部２２２生成された参照リストで示される参照画像インデックスに基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成する。動き視差予測・補償部２１２は、生成した予測画像を選択部２１３に供給する。
選択部２１３は、動き視差予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
参照リスト生成部２２２は、画像符号化装置１００の参照リスト生成部１２２と基本的に同様に構成される。参照リスト生成部２２２は、デコードピクチャバッファ２０９に蓄積される参照画像の情報（POC情報やビュー情報）を用いて、動き視差予測・補償部２１２が対象画像を予測する際に参照する参照リストを生成する。その際、参照リスト生成部１２２は、参照リストを、時間方向に参照可能な複数の参照画像の間にビュー方向に参照可能な参照画像を挿入して生成する。
すなわち、参照リスト生成部２２２は、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストを、時間方向に参照可能な複数の参照画像の間にビュー方向に参照可能な参照画像を挿入して生成する。そして、参照リスト生成部２２２は、生成したテンポラルリストに基づいて、参照リストを生成する。
[参照リスト生成部の構成例]
図１５は、図１４の参照リスト生成部の構成例を示すブロック図である。
図１５の例において、参照リスト生成部２２２は、参照画像設定部２３１、テンポラルリスト生成部２３２、および参照画像リスト生成部２３３を含むように構成されている。
参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報（すなわち、POC情報）とシンタックス処理部２２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像を設定し、短時間（前）参照画像リスト（RefPicSetStCurrBefore[i]）を生成する。参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とシンタックス処理部２２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像を設定し、短時間（後）参照画像リスト（RefPicSetStCurrAfter[i]）を生成する。
参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやSPSに設定されている長時間参照画像のused_by_currフラグを参照し、長時間参照画像を設定し、長時間参照画像リスト(RefPicSetLtCurr[i])を生成する。参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像のビュー情報を参照し、インタービュー参照画像(RefPicSetIvCurr[i])を設定し、そのリストを生成する。
テンポラルリスト生成部２３２は、参照画像設定部２３１により設定されたリストを、上述した本技術による所定の順番で結合し、L0およびL1のテンポラルリスト(RefPicListTemp0[rIdx], RefPicListTemp1[rIdx])を生成する。
参照画像リスト生成部２３３は、シンタックス処理部２２１から供給されるスライスヘッダやSPSに設定されているnum_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1を参照する。参照画像リスト生成部２３３は、テンポラルリスト生成部２３２により生成されたL0/L1のテンポラルリストのうち、num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1で設定されている数だけの参照画像を抜き出して追加し、L0/L1の参照リストを生成する。
参照画像リスト生成部２３３により生成されたL0/L1の参照リストは、動き視差予測・補償部２１２に参照される。
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１６のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、シンタックス処理部２２１は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データから、ヘッダ情報を取得する。シンタックス処理部２２１は、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報（VPS、SPS(RPS含む)、スライスヘッダ）などを、参照リスト生成部２２２に供給する。
ステップＳ２０３において、可逆復号部２０２は、シンタックス処理部２２１から供給される符号化データを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、各ヘッダ情報から、動きベクトル情報、視差ベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等の情報が取得される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き視差予測・補償部２１２に供給される。
ステップＳ２０４において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０５において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図１の直交変換部１０４に対応する方法で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
ステップＳ２０６において、演算部２０５は、ステップＳ２０５の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
ステップＳ２０７において、デブロックフィルタ２０６は、ステップＳ２０６の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。デブロックフィルタ２０６は、その結果得られる画像を適応オフセットフィルタ２２３に供給する。
ステップＳ２０８において、適応オフセットフィルタ２２３は、シンタックス処理部２２１から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ２０６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ２２３は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ２２４に供給する。
ステップＳ２０９において、適応ループフィルタ２２４は、適応オフセットフィルタ２２３から供給される画像に対して、シンタックス処理部２２１から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ２２４は、その結果得られる画像をデコードピクチャバッファ２０９および画面並べ替えバッファ２０７に供給する。
ステップＳ２１０において、デコードピクチャバッファ２０９は、フィルタリングされた復号画像を記憶する。
ステップＳ２１１において、参照リスト生成部２２２は、動き視差予測・補償部２１２が対象画像を予測する際に参照する参照リストを生成する。この参照リストの生成処理の詳細は、図１７を参照して後述される。
ステップＳ２１１により、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストが、時間方向に参照可能な複数の参照画像の間にビュー方向に参照可能な参照画像を挿入して生成される。そして、生成したテンポラルリストに基づいて、参照リストが生成される。
ステップＳ２１２において、イントラ予測部２１１、または動き視差予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き視差予測・補償部２１２は、ステップＳ２１１の処理により生成された参照リストが示す参照画像インデックスの参照画像を用いて、インター予測モードの動き視差予測補償処理を行う。
ステップＳ２１３において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き視差予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０６の処理により差分情報に加算される。
ステップＳ２１４において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図１）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２１５において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。このステップＳ２１５の処理が終了すると、復号処理が終了される。
［参照リスト生成処理の流れ］
次に、図１７のフローチャートを参照して、図１６のステップＳ２１１において実行される参照リスト生成処理の流れの例を説明する。なお、この処理により、図５を参照して上述した本技術１の参照リストが生成される。また、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
上述した図１６のステップＳ２０３において、シンタックス処理部２２１より、復号画像のVPS、SPS（RPSを含む）、およびスライスヘッダなどの情報が、参照リスト生成部２２２に供給される。短時間参照画像のused_by_currフラグは、シンタックス処理部２２１から供給されるスライスヘッダやRPSに設定されている。長時間参照画像のused_by_currフラグは、スライスヘッダやSPSに設定されている。
ステップＳ２３１において、参照リスト生成部２２２の参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報（すなわち、POC情報）とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像（STbC）を設定し、RefPicSetStCurrBefore[i]リストを生成する。
ステップＳ２３２において、参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像（STaC）を設定し、RefPicSetStCurrAfter[i]リストを生成する。
ステップＳ２３３において、参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報（すなわち、POC情報）スライスヘッダやSPSの長時間参照画像のused_by_currフラグを参照し、長時間参照画像(RefPicSetLtCurr[i]:LT)を設定し、RefPicSetLtCurr[i]リストを生成する。
ステップＳ２３４において、参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像のビュー情報を参照し、インタービュー参照画像(IV)を設定し、RefPicSetIvCurr[i]リストを生成する。
ステップＳ２３５において、テンポラルリスト生成部２３２は、参照画像設定部２３１により設定された上記４種類のリストを、STbC,IV,STaC,LTの順番で結合し、L0のテンポラルリスト(RefPicListTemp0[rIdx])を生成する。
すなわち、上述した４種類のリストでused_by_currフラグが１である参照画像だけが、STbC,IV,STaC,LTの順番で結合されて、L0のテンポラルリストが生成される。なお、その際、IV(インタービュー参照画像)は、すべて追加される。
ステップＳ２３６において、テンポラルリスト生成部２３２は、参照画像設定部２３１により設定された４種類のリストを、STaC,IV,STbC,LTの順番で結合し、L1のテンポラルリスト(RefPicListTemp1[rIdx])を生成する。
すなわち、used_by_currフラグが１である参照画像だけが、STaC,IV,STbC,LTの順番で結合されて、L1のテンポラルリストが生成される。なお、その際、IV(インタービュー参照画像)は、すべて追加されるが、その順番は、図８を参照して上述したように、L0方向の順番と逆順に追加されてもよい。
num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1は、シンタックス処理部２２１から供給されるスライスヘッダやSPSに設定されている。
ステップＳ２３７において、参照画像リスト生成部２３３は、L0のテンポラルリスト(RefPicListTemp0[rIdx])の先頭から、num_ref_idx_l0_active_minus1+1までの要素を抜きだし、L0の参照リスト(RefPicList0[rIdx])を生成する。
ステップＳ２３８において、参照画像リスト生成部２３３は、L1のテンポラルリスト(RefPicListTemp1[rIdx])の先頭から、num_ref_idx_l1_active_minus1+1までの要素を抜きだし、L1の参照リスト(RefPicList1[rIdx])を生成する。
以上のように、短時間（前）参照画像と短時間（後）参照画像との間に、インタービュー画像が挿入されて、図５を参照して上述した参照リストが生成される。
［参照リスト生成処理の他の流れ］
次に、図１８のフローチャートを参照して、図１６のステップＳ２１１において実行される参照リスト生成処理の流れの例を説明する。なお、この処理により、図６を参照して上述した本技術２の参照リストが生成される。また、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
上述した図１６のステップＳ２０３において、シンタックス処理部２２１より、復号画像のVPS、SPS（RPSを含む）、およびスライスヘッダなどの情報が、参照リスト生成部２２２に供給される。短時間参照画像のused_by_currフラグは、シンタックス処理部１２１から供給されるスライスヘッダやRPSに設定されている。長時間参照画像のused_by_currフラグは、スライスヘッダやSPSに設定されている。
ステップＳ２５１において、参照リスト生成部２２２の参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報（すなわち、POC情報）とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像（STbC）を設定し、RefPicSetStCurrBefore[i]リストを生成する。
ステップＳ２５２において、参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやRPSの短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像（STaC）を設定し、RefPicSetStCurrAfter[i]リストを生成する。
ステップＳ２５３において、参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやSPSの長時間参照画像のused_by_currフラグを参照し、長時間参照画像(LT)を設定し、RefPicSetLtCurr[i]リストを生成する。
ステップＳ２５４において、参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像のビュー情報を参照し、インタービュー参照画像(IV)を設定し、RefPicSetIvCurr[i]リストを生成する。
ステップＳ２５５において、テンポラルリスト生成部２３２は、参照画像設定部２３１により設定されたSTbC,STaC,LTの３つのリストを順番で結合したリスト１と、IVからなるリスト２の２つのリストを生成する。すなわち、used_by_currフラグが１である参照画像だけが、STbC,STaC,LTの順番で結合されて、リスト１が生成される。また、リスト２は、RefPicSetIvCurr[i]リストのすべてのIVが追加されて生成される。
ステップＳ２５６において、テンポラルリスト生成部２３２は、ステップＳ２５５で生成したリスト１およびリスト２、それぞれの先頭から１つずつ要素を取り出し、交互にならべて、L0のテンポラルリスト(RefPicListTemp0[rIdx])を生成する。
ステップＳ２５７において、テンポラルリスト生成部２３２は、参照画像設定部２３１により設定されたSTaC,STbC,LTの３つのリストを順番で結合したリスト１１と、IVからなるリスト１２の２つのリストを生成する。すなわち、used_by_currフラグが１である参照画像だけが、STaC,STbC,LTの順番で結合されて、リスト１１が生成される。また、リスト１２は、RefPicSetIvCurr[i]リストのすべてのIVが追加されて生成されるが、その際、図８を参照して上述したように、L0方向の順番と逆順に追加されてもよい。
ステップＳ２５８において、テンポラルリスト生成部２３２は、ステップＳ２５５で生成したリスト１１およびリスト１２、それぞれの先頭から１つずつ要素を取り出し、交互にならべて、L1のテンポラルリスト(RefPicListTemp1[rIdx])を生成する。
num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1は、シンタックス処理部２２１から供給されるスライスヘッダやSPSに設定されている。
ステップＳ２５９において、参照画像リスト生成部２３３は、L0のテンポラルリスト(RefPicListTemp0[rIdx])の先頭から、num_ref_idx_l0_active_minus1+1までの要素を抜きだし、L0の参照リスト(RefPicList0[rIdx])を生成する。
ステップＳ２６０において、参照画像リスト生成部２３３は、L1のテンポラルリスト(RefPicListTemp1[rIdx])の先頭から、num_ref_idx_l1_active_minus1+1までの要素を抜きだし、L1の参照リスト(RefPicList1[rIdx])を生成する。
以上のように、テンポラルリストの生成において、時間方向の参照画像とビュー方向の参照画像とが交互に配置されて、図６を参照して上述した参照リストが生成される。
また、以上においては、符号化方式としてHEVC方式をベースに用いるようにしたが、本技術は、表示を行う際の技術であり、符号化方式に拘らない。したがって、本技術は、HEVC方式に限らず、その他の符号化方式／復号方式を適用することができる。例えば、次に説明するAVC方式をベースに符号化／復号処理を行う装置にも適用することができる。
＜３．第３の実施の形態＞
［画像符号化装置の他の構成例］
図１９は、本開示を適用した画像処理装置としての画像符号化装置のその他の実施の形態の構成を表している。図１９の画像符号化装置３００においては、AVC方式による符号化処理が行われる点のみが、図１の画像符号化装置１００と異なっている。
図１９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１９の画像符号化装置３００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
画像符号化装置１００は、さらに、シンタックス処理部１２１、および参照リスト生成部１２２を有する。
すなわち、図１９の画像符号化装置３００の構成は、適応オフセットフィルタ１２３と適応ループフィルタ１２４が除かれている点、および可逆符号化部１０６がHEVC方式ではなく、AVC方式により符号化を行う点のみが図１の画像符号化装置１００の構成と異なる。したがって、画像符号化装置３００においては、CU単位ではなく、ブロック単位に符号化処理が行われる。
可逆符号化部１０６の符号化処理の対象は、適応オフセットフィルタおよび適応ループフィルタのパラメータを除き、図１の可逆符号化部１０６の場合と基本的に同様である。すなわち、可逆符号化部１０６は、図１の可逆符号化部１０６と同様に、イントラ予測モード情報をイントラ予測部１１４から取得する。また、インター予測モード情報、動きベクトル、参照画像を特定するための情報などを動き視差予測・補償部１１５から取得する。
可逆符号化部１０６は、図１の可逆符号化部１０６と同様に、量子化部１０５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLCなど）、算術符号化（例えば、CABACなど）などの可逆符号化を行う。
また、可逆符号化部１０６は、図１の可逆符号化部１０６と同様に、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、および量子化パラメータを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
デブロックフィルタ１１１は、演算部１１０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１１１は、その結果得られる画像をデコードピクチャバッファ１１２に供給し、蓄積させる。
デコードピクチャバッファ１１２に蓄積された画像は、参照画像として選択部１１３を介してイントラ予測部１１４または動き視差予測・補償部１１５に出力される。
本技術は、このようなAVC方式の画像符号化装置にも適用することができる。
［復号部の他の構成例］
図２０は、本開示を適用した画像処理装置としての画像復号装置の他の実施の形態の構成を表している。図２０に示される画像復号装置３５０は、図１９の画像符号化装置３００に対応する復号装置である。図２０の画像復号装置３５０においては、AVC方式による復号処理が行われる点のみが、図１４の画像復号装置２００と異なっている。
図２０に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２０の画像復号装置３５０は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、D/A変換部２０８、デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３により構成される。
図２０の画像復号装置３５０の構成は、適応オフセットフィルタ２２３と適応ループフィルタ２２４が除かれている点、および可逆復号部２０２がHEVC方式ではなく、AVC方式により復号を行う点のみが図１４の画像復号装置２００の構成と異なる。したがって、画像復号装置３５０においては、CU単位ではなく、ブロック単位に復号処理が行われる。
可逆復号部２０２の復号処理の対象は、適応オフセットフィルタおよび適応ループフィルタのパラメータを除き、図１４の可逆復号部２０２の場合と基本的に同様である。すなわち、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置３００により符号化されたものである。
シンタックス処理部２２１は、図１４のシンタックス処理部２２１と同様に、蓄積バッファ２０１から所定のタイミングで読み出された符号化データから、シーケンスパラメータセット、ピクチャパラメータセット、およびスライスヘッダなどを取得し、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報などを、参照リスト生成部２２２に供給する。
また、可逆復号部２０２は、図１４の可逆復号部２０２と同様に、シンタックス処理部２２１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数を得る。可逆復号部２０２は、量子化された係数を逆量子化部２０３に供給する。
デブロックフィルタ２０６は、演算部２０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２０６は、その結果得られる画像をデコードピクチャバッファ２０９および画面並べ替えバッファ２０７に供給する。
本技術は、このようなAVC方式の画像復号装置にも適用することができる。
なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
＜４．第４の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５１０が接続されている。入出力インタフェース５１０には、入力部５１１、出力部５１２、記憶部５１３、通信部５１４、及びドライブ５１５が接続されている。
入力部５１１は、キーボード、マウス、マイクロホンなどよりなる。出力部５１２は、ディスプレイ、スピーカなどよりなる。記憶部５１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部５１４は、ネットワークインタフェースなどよりなる。ドライブ５１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５２１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５１３に記憶されているプログラムを、入出力インタフェース５１０及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５２１をドライブ５１５に装着することにより、入出力インタフェース５１０を介して、記憶部５１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５１４で受信し、記憶部５１３にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５１３に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜５．応用例＞
［第１の応用例：テレビジョン受像機］
図２２は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、多視点符号化における符号化効率を改善することができることができる。
［第２の応用例：携帯電話機］
図２３は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、多視点符号化における符号化効率を改善することができる。
［第３の応用例：記録再生装置］
図２４は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、及びユーザインタフェース部９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース部９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD部９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD部９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD部９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD部９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
OSD部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD部９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、多視点符号化における符号化効率を改善することができる。
［第４の応用例：撮像装置］
図２５は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、多視点符号化における符号化効率を改善することができる。
＜６．第５の実施の形態＞
[実施のその他の例]
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
[ビデオセット]
本技術をセットとして実施する場合の例について、図２６を参照して説明する。図２６は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図２６に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図２６に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図２６の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図２６のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図２６において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図２６に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
[ビデオプロセッサの構成例]
図２７は、本技術を適用したビデオプロセッサ１３３２（図２６）の概略的な構成の一例を示している。
図２７の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図２７に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図２６）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図２６）等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図２６）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図２６）等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図２６）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図２６）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２６）等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図２６）等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図２６）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図２６）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図２６）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１（図２６）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２６）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図２６）等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２６）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図２６）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係る画像符号化装置１００（図１）や第２の実施の形態に係る画像復号装置２００（図１４）の機能を有するようにすればよい。また、例えば、エンコード・デコードエンジン１４０７が、第３の実施の形態に係る画像符号化装置３００（図１９）や画像復号装置３５０（図２０）の機能を有するようにすればよい。さらに、例えば、エンコード・デコードエンジン１４０７が、画像符号化装置２００（図１４）や第２の実施の形態に係る画像復号装置３５０（図２０）の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１８を参照して上述した効果と同様の効果を得ることができる。
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
[ビデオプロセッサの他の構成例]
図２８は、本技術を適用したビデオプロセッサ１３３２（図２６）の概略的な構成の他の例を示している。図２８の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
より具体的には、図２８に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図２８に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図２６）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図２６）のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図２８に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図２６）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図２６）等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２６）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図２６）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図２６）等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１（図２６）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図２６）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図２６）等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係る画像符号化装置１００（図１）や第２の実施の形態に係る画像復号装置２００（図１４）を実現する機能ブロックを有するようにすればよい。また、例えば、コーデックエンジン１５１６が、第３の実施の形態に係る画像符号化装置３００（図１９）や画像復号装置３５０（図２０）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１８を参照して上述した効果と同様の効果を得ることができる。
なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
[装置への適用例]
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２２）、携帯電話機９２０（図２３）、記録再生装置９４０（図２４）、撮像装置９６０（図２５）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図１８を参照して上述した効果と同様の効果を得ることができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１８を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２２）、携帯電話機９２０（図２３）、記録再生装置９４０（図２４）、撮像装置９６０（図２５）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図１８を参照して上述した効果と同様の効果を得ることができる。
なお、本明細書では、参照リスト選択フラグ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） ビットストリームを復号して、画像を生成する復号部と、
時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記復号部により生成された画像を予測する際に参照される参照リストを設定する参照リスト設定部と、
前記参照リスト設定部により設定された参照リストを参照して、前記復号部により生成された前記画像を予測する予測部と
を備える画像処理装置。
（２） 前記参照リスト設定部は、前記時間方向に参照可能な複数の参照画像のうち、前記画像より時間的に前に位置する参照画像と、前記画像より時間的に後に位置する参照画像との間に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
前記（１）に記載の画像処理装置。
（３） 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に後に位置する参照画像の順に配置して、前記参照リストを設定する
前記（２）に記載の画像処理装置。
（４） 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に前に位置する参照画像の順に配置して、前記参照リストを設定する
前記（２）に記載の画像処理装置。
（５） 前記参照リスト設定部は、前記時間方向に参照可能な参照画像と、前記レイヤ方向に参照可能な参照画像とを交互に配置して、前記参照リストを設定する
前記（１）に記載の画像処理装置。
（６） 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
前記（５）に記載の画像処理装置。
（７） 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像がからなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
前記（５）に記載の画像処理装置。
（８） 前記参照リスト設定部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記参照リスト設定部は、
時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記参照リストの設定に用いられる一時的なリストであるテンポラルリストを設定するテンポラルリスト設定部と、
前記テンポラルリスト設定部により設定されたテンポラルリストに基づいて、前記参照リストを設定する参照画像リスト設定部と
を含む前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 画像処理装置が、
ビットストリームを復号して、画像を生成し、
時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、生成された画像を予測する際に参照される参照リストを設定し、
設定された参照リストを参照して、生成された前記画像を予測する
画像処理方法。
（１１） 時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストを設定する参照リスト設定部と、
前記参照リスト設定部により設定された参照リストを参照して、前記画像を予測する予測部と、
前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部と
を備える画像処理装置。
（１２） 前記参照リスト設定部は、前記時間方向に参照可能な複数の参照画像のうち、前記画像より時間的に前に位置する参照画像と、前記画像より時間的に後に位置する参照画像との間に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
前記（１１）に記載の画像処理装置。
（１３） 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に後に位置する参照画像の順に配置して、前記参照リストを設定する
前記（１２）に記載の画像処理装置。
（１４） 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に前に位置する参照画像の順に配置して、前記参照リストを設定する
前記（１２）に記載の画像処理装置。
（１５） 前記参照リスト設定部は、前記時間方向に参照可能な参照画像と、前記レイヤ方向に参照可能な参照画像とを交互に配置して、前記参照リストを設定する
前記（１１）に記載の画像処理装置。
（１６） 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
前記（１５）に記載の画像処理装置。
（１７） 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
前記（１５）に記載の画像処理装置。
（１８） 前記参照リスト設定部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
前記（１１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記参照リスト設定部は、
時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記参照リストの設定に用いられる一時的なリストであるテンポラルリストを設定するテンポラルリスト設定部と、
前記テンポラルリスト設定部により設定されたテンポラルリストに基づいて、前記参照リストを設定する参照画像リスト設定部と
を含む前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 画像処理装置が、
時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストを設定し、
設定された参照リストを参照して、前記画像を予測し、
予測された前記画像を用いて符号化してビットストリームを生成する
画像処理方法。
１００ 画像符号化装置， １０６ 可逆符号化部， １１５ 動き視差予測・補償部， １２１ シンタックス処理部， １２２ 参照リスト生成部， １３１ 参照画像設定部， １３２ テンポラルリスト生成部， １３３ 参照画像リスト生成部， ２００ 画像復号装置， ２０２ 可逆復号部， ２１２ 動き視差予測・補償部，２２１ シンタックス処理部， ２２２ 参照リスト生成部， ２３１ 参照画像設定部， ２３２ テンポラルリスト生成部， ２３３ 参照画像リスト生成部， ３００ 画像符号化装置， ３５０ 画像復号装置

Claims (20)

  1. ビットストリームを復号して、画像を生成する復号部と、
    時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記復号部により生成された画像を予測する際に参照される参照リストを設定する参照リスト設定部と、
    前記参照リスト設定部により設定された参照リストを参照して、前記復号部により生成された前記画像を予測する予測部と
    を備える画像処理装置。
  2. 前記参照リスト設定部は、前記時間方向に参照可能な複数の参照画像のうち、前記画像より時間的に前に位置する参照画像と、前記画像より時間的に後に位置する参照画像との間に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
    請求項１に記載の画像処理装置。
  3. 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に後に位置する参照画像の順に配置して、前記参照リストを設定する
    請求項２に記載の画像処理装置。
  4. 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に前に位置する参照画像の順に配置して、前記参照リストを設定する
    請求項２に記載の画像処理装置。
  5. 前記参照リスト設定部は、前記時間方向に参照可能な参照画像と、前記レイヤ方向に参照可能な参照画像とを交互に配置して、前記参照リストを設定する
    請求項１に記載の画像処理装置。
  6. 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
    請求項５に記載の画像処理装置。
  7. 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
    請求項５に記載の画像処理装置。
  8. 前記参照リスト設定部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
    請求項１に記載の画像処理装置。
  9. 前記参照リスト設定部は、
    時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記参照リストの設定に用いられる一時的なリストであるテンポラルリストを設定するテンポラルリスト設定部と、
    前記テンポラルリスト設定部により設定されたテンポラルリストに基づいて、前記参照リストを設定する参照画像リスト設定部と
    を含む請求項１に記載の画像処理装置。
  10. 画像処理装置が、
    ビットストリームを復号して、画像を生成し、
    時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、生成された画像を予測する際に参照される参照リストを設定し、
    設定された参照リストを参照して、生成された前記画像を予測する
    画像処理方法。
  11. 時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストを設定する参照リスト設定部と、
    前記参照リスト設定部により設定された参照リストを参照して、前記画像を予測する予測部と、
    前記予測部により予測された前記画像を用いて符号化してビットストリームを生成する符号化部と
    を備える画像処理装置。
  12. 前記参照リスト設定部は、前記時間方向に参照可能な複数の参照画像のうち、前記画像より時間的に前に位置する参照画像と、前記画像より時間的に後に位置する参照画像との間に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
    請求項１１に記載の画像処理装置。
  13. 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に後に位置する参照画像の順に配置して、前記参照リストを設定する
    請求項１２に記載の画像処理装置。
  14. 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記レイヤ方向に参照可能な参照画像、前記画像より時間的に前に位置する参照画像の順に配置して、前記参照リストを設定する
    請求項１２に記載の画像処理装置。
  15. 前記参照リスト設定部は、前記時間方向に参照可能な参照画像と、前記レイヤ方向に参照可能な参照画像とを交互に配置して、前記参照リストを設定する
    請求項１１に記載の画像処理装置。
  16. 前記参照リスト設定部は、Ｌ０方向に関して、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像の順に設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
    請求項１５に記載の画像処理装置。
  17. 前記参照リスト設定部は、Ｌ１方向に関して、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像の順で設定された前記時間方向に参照可能な参照画像のリストの要素と、前記レイヤ方向に参照可能な参照画像からなる前記レイヤ方向に参照可能な参照画像のリストの要素とを交互に配置して、前記参照リストを設定する
    請求項１５に記載の画像処理装置。
  18. 前記参照リスト設定部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆に、前記レイヤ方向に参照可能な参照画像を挿入して、前記参照リストを設定する
    請求項１１に記載の画像処理装置。
  19. 前記参照リスト設定部は、
    時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、前記参照リストの設定に用いられる一時的なリストであるテンポラルリストを設定するテンポラルリスト設定部と、
    前記テンポラルリスト設定部により設定されたテンポラルリストに基づいて、前記参照リストを設定する参照画像リスト設定部と
    を含む請求項１１に記載の画像処理装置。
  20. 画像処理装置が、
    時間方向に参照可能な複数の参照画像の間に、レイヤ方向に参照可能な参照画像を挿入して、画像を予測する際に参照される参照リストを設定し、
    設定された参照リストを参照して、前記画像を予測し、
    予測された前記画像を用いて符号化してビットストリームを生成する
    画像処理方法。
JP2014553078A 2012-12-21 2013-12-09 画像処理装置および方法 Active JP6233655B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012279847 2012-12-21
JP2012279847 2012-12-21
PCT/JP2013/082936 WO2014097912A1 (ja) 2012-12-21 2013-12-09 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2014097912A1 true JPWO2014097912A1 (ja) 2017-01-12
JP6233655B2 JP6233655B2 (ja) 2017-11-22

Family

ID=50978247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014553078A Active JP6233655B2 (ja) 2012-12-21 2013-12-09 画像処理装置および方法

Country Status (16)

Country Link
US (1) US10701395B2 (ja)
EP (1) EP2938080A4 (ja)
JP (1) JP6233655B2 (ja)
KR (1) KR102197557B1 (ja)
CN (1) CN104854869B (ja)
AR (1) AR093983A1 (ja)
AU (1) AU2013365149B2 (ja)
BR (1) BR112015013852A2 (ja)
CA (1) CA2895092A1 (ja)
MX (1) MX348596B (ja)
MY (1) MY189279A (ja)
RU (1) RU2649758C2 (ja)
SG (2) SG11201504511XA (ja)
TW (1) TWI669950B (ja)
WO (1) WO2014097912A1 (ja)
ZA (1) ZA201504181B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113443B (zh) 2014-12-26 2020-04-28 索尼公司 影像处理设备和影像处理方法
US10555002B2 (en) 2016-01-21 2020-02-04 Intel Corporation Long term reference picture coding
CN106027538A (zh) * 2016-05-30 2016-10-12 东软集团股份有限公司 加载图片的方法及装置、发送图片资源的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009532934A (ja) * 2006-03-30 2009-09-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
WO2012169403A1 (ja) * 2011-06-07 2012-12-13 ソニー株式会社 画像処理装置および方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
US8693539B2 (en) * 2009-03-26 2014-04-08 Panasonic Corporation Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus
EP4250733A3 (en) * 2011-01-14 2023-12-27 Sun Patent Trust Image coding method, image decoding method, memory managing method, image coding apparatus, image decoding apparatus, memory managing apparatus, and image coding and decoding apparatus
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US20130114710A1 (en) * 2011-11-08 2013-05-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
AU2013215198A1 (en) * 2012-01-31 2014-08-28 Vid Scale, Inc. Reference picture set (RPS) signaling for scalable high efficiency video coding (HEVC)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009532934A (ja) * 2006-03-30 2009-09-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
WO2012169403A1 (ja) * 2011-06-07 2012-12-13 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH ET AL.: "3D-HEVC Test Model 1", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-A1005_d0, JPN6014006791, September 2012 (2012-09-01), pages 1 - 83, ISSN: 0003599201 *
GERHARD TECH ET AL.: "MV-HEVC Working Draft 1", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-A1004_d0, JPN6017026143, September 2012 (2012-09-01), pages 1 - 16, ISSN: 0003599200 *
JUNG WON KANG ET AL.: "Description of scalable video coding technology proposal by ETRI and Kwangwoon Univ. (JCTVC-K0037)", JCTVC, vol. JCTVC-K0037_presentation.pdf, JPN6014009403, October 2012 (2012-10-01), pages 1 - 18, ISSN: 0003599198 *
JUNG WON KANG ET AL.: "Description of scalable video coding technology proposal by ETRI and Kwangwoon Univ.", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, vol. JCTVC-K0037, JPN6017026138, October 2012 (2012-10-01), pages 1 - 20, ISSN: 0003599199 *
OHJI NAKAGAMI AND TERUHIKO SUZUKI: "AHG9: On initialization process of reference picture lists for HEVC extensions", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0081r1, JPN6017026142, April 2013 (2013-04-01), pages 1 - 11, ISSN: 0003599203 *
OHJI NAKAGAMI, YOSHITOMO TAKAHASHI AND TERUHIKO SUZUKI: "AHG7: On initialization process for reference picture lists of MV-HEVC and 3DHTM", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-C0079, JPN6017026140, January 2013 (2013-01-01), pages 1 - 5, ISSN: 0003599202 *

Also Published As

Publication number Publication date
KR20150097485A (ko) 2015-08-26
AU2013365149A1 (en) 2015-06-04
MY189279A (en) 2022-01-31
KR102197557B1 (ko) 2020-12-31
CA2895092A1 (en) 2014-06-26
CN104854869A (zh) 2015-08-19
JP6233655B2 (ja) 2017-11-22
TW201440500A (zh) 2014-10-16
RU2649758C2 (ru) 2018-04-04
EP2938080A4 (en) 2016-06-22
AU2013365149B2 (en) 2017-11-23
AR093983A1 (es) 2015-07-01
US10701395B2 (en) 2020-06-30
WO2014097912A1 (ja) 2014-06-26
RU2015122881A (ru) 2017-01-10
ZA201504181B (en) 2015-08-26
CN104854869B (zh) 2018-03-23
SG10201606210VA (en) 2016-09-29
EP2938080A1 (en) 2015-10-28
MX348596B (es) 2017-06-21
TWI669950B (zh) 2019-08-21
US20150319460A1 (en) 2015-11-05
BR112015013852A2 (pt) 2017-07-11
SG11201504511XA (en) 2015-07-30
MX2015007442A (es) 2015-09-16

Similar Documents

Publication Publication Date Title
US10142634B2 (en) Image processing apparatus and method
JP6287035B2 (ja) 復号装置および復号方法
US10375415B2 (en) Image processing apparatus and method
JP6256340B2 (ja) 画像処理装置および方法、並びにプログラム
WO2016104179A1 (ja) 画像処理装置および画像処理方法
WO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2016147836A1 (ja) 画像処理装置および方法
JPWO2015151791A1 (ja) 画像復号装置および方法
JP6233655B2 (ja) 画像処理装置および方法
JP6150134B2 (ja) 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
WO2015098563A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
WO2017126331A1 (ja) 画像処理装置および方法
JP2015050738A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2017158206A (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171011

R151 Written notification of patent or utility model registration

Ref document number: 6233655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250