JP5524594B2 - 画像復号装置及び画像復号方法 - Google Patents
画像復号装置及び画像復号方法 Download PDFInfo
- Publication number
- JP5524594B2 JP5524594B2 JP2009283354A JP2009283354A JP5524594B2 JP 5524594 B2 JP5524594 B2 JP 5524594B2 JP 2009283354 A JP2009283354 A JP 2009283354A JP 2009283354 A JP2009283354 A JP 2009283354A JP 5524594 B2 JP5524594 B2 JP 5524594B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- unit
- image
- frame memory
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Description
本発明は、画像復号装置及び画像復号方法に関し、特に、第１視点の第１画像信号が符号化された第１符号化信号と、第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置に関する。
近年、高品位画像システムとして、デジタル放送及びパッケージメディアを中心とした立体画像システムに対する期待が高まっている。一般的に、人間は、両眼の視差によって奥行きを知覚できることが知られている。立体画像システムでは、これを利用し、この視差に相当する画像のずれを有する２つの画像を、左眼及び右眼それぞれに独立に映し出すことで立体感を生み出す。
左眼及び右眼へ、それぞれ独立に視差のある画像を与える方法に関しては、これまで様々な方式が提案されている。例えば、左眼用の二次元画像と右眼用の二次元画像とを同一画面に交互に表示する。さらに、その表示タイミングに同期して、液晶シャッタ等を内蔵したメガネ等を用いて左眼及び右眼のシャッタを切り替える。これにより、視聴者に、視差画像を与える方法がある。なお、より臨場感を出すためには、左眼と右眼とのそれぞれに対して、二次元画像システムと同等の表示コマ数を与える必要がある。
すなわち、このような立体画像システムにおいては、左眼用及び右眼用といった複数のビットストリームを同時に復号処理することが必要になる。つまり、立体画像システムは、二次元画像システムに比べて大きな画像復号処理性能が必要となり、これによりコストが増大する。
このようなコストの増大を軽減しつつ、複数のビットストリームを同時に復号する方法としては、特許文献１に、複数の画像復号部を用いて並列に複数のビットストリームを復号する技術が開示されている。
図３０は、特許文献１記載の画像復号装置５００の構成を示すブロック図である。
図３０に示す画像復号装置５００は、入力部５０２と、ヘッダ解析部５０３と、復号制御部５０４とを備える。さらに、画像復号装置５００は、復号制御部５０４の後段に、複数の算術復号部５０５、５０６及び５０７と、複数の記憶部５０８、５０９及び５１０と、複数の画像復号部５１１、５１２及び５１３とをそれぞれ並列に備える。また、画像復号装置５００には、複数のビットストリームＡ、Ｂ及びＣが入力される。
復号制御部５０４は、ヘッダ解析部５０３での解析結果を受けて、算術復号部５０５、５０６及び５０７での算術復号処理の開始タイミング、及びビットストリーム中の算術復号処理の開始位置などを、算術復号部５０５、５０６及び５０７に通知する。
算術復号部５０５、５０６及び５０７は、入力するビットストリームＡ、Ｂ及びＣに対応して、それぞれ個別に設けられる。この算術復号部５０５、５０６及び５０７は、それぞれビットストリームＡ、Ｂ、Ｃの算術復号処理を同時並行的に行い、生成された算術復号データを記憶部５０８、５０９及び５１０にそれぞれ出力する。
画像復号部５１１、５１２及び５１３は、記憶部５０８、５０９及び５１０に格納された算術復号データを、実際の画像データに復号することにより、複数のデータストリームを同時再生する。
また、特許文献２には、単一の画像復号部を用いて、時分割処理により複数のビットストリームを同時に復号する方法が開示されている。
図３１は、特許文献２記載の画像復号装置６００の構成を示すブロック図である。
図３１に示す画像復号装置６００は、複数のＶＢＶバッファ６０１と、可変長復号器６０２と、逆量子化器６０３と、ＩＤＣＴ器６０４と、加算器６０５と、画像メモリ６０６と、動き補償予測器６０７と、多重分離器６１１と、信号切替器６１２、６１３及び６１４と、復号制御器６２１と、表示制御器６２２と、スイッチ制御器６２３とを備える。
画像復号装置６００では、可変長復号器６０２と、逆量子化器６０３と、ＩＤＣＴ器６０４と、加算器６０５と、動き補償予測器６０７とが、それぞれ単一の資源で構成されている。また、画像復号装置６００は、これらの回路に複数のビットストリームを時分割で入力し、復号処理を行う。
具体的には、複数のチャネルの画像ビットストリームが多重化されているトランスポートストリームが、前段の多重分離器６１１に入力される。多重分離器６１１は、当該トランスポートストリームを各チャネルのビットストリームに分離する。分離された各チャネルのビットストリームは、対応するＶＢＶバッファ６０１（ＶＢＶバッファ１からＶＢＶバッファＮ）にそれぞれ蓄積される。
多重分離処理後は、ＶＢＶバッファ１からＶＢＶバッファＮに格納されているＮ本のビットストリームを同時復号する処理を行う必要がある。これに対して、特定のチャネルに対応するＶＢＶバッファ６０１内のビットストリームが、スイッチ制御器６２３からのスイッチ切替信号に基づき信号切替器６１２により選択される。この選択されたビットストリームが可変長復号器６０２に入力される。その後、このビットストリームは、可変長復号器６０２、逆量子化器６０３、ＩＤＣＴ器６０４及び動き補償予測器６０７により復号処理される。この復号処理された画像データは、加算器６０５から信号切替器６１３に入力される。信号切替器６１３は、この画像データを、スイッチ制御器６２３の出力するスイッチ切替信号に基づいて、複数の画像メモリ６０６（画像メモリ１から画像メモリＮ）のうちの、対応するチャネルのメモリに格納する。
表示制御器６２２は、所定の表示タイミングで、画像メモリ１から画像メモリＮの中のそれぞれのチャネルの画像データを同時に読み出し表示するように制御を行う。これにより、表示制御器６２２は、チャネル間の同期を取り、複数のビットストリームを同時再生する。
上述したように立体画像システムでは、視聴者に対して臨場感を与えるため、左眼用画像及び右眼用画像はそれぞれ独立した画像として個別に伝送、又は記録されることが必要になる。よって、立体画像システムは、単一の二次元画像システムに比べて、約２倍の情報量が必要となってしまう。これは、伝送系システムでは膨大な転送帯域が必要になり、また蓄積系になると、これに加えて膨大な記憶容量が必要となる。これにより、システムとしてのコストの増大を招く。
これを鑑み、立体画像システムを実現するためのデータ量を軽減するために、画像符号化方式も工夫されようとしている。Ｈ．２６４−ＭＶＣ（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ）規格では、各視点の映像間には相関が存在する場合が多いことを利用し、Ｈ．２６４規格をベースに、図３２に示すような視点間の予測構造を持たせる。これにより、冗長性を取り除くことで、圧縮効率を高めることができる。
各視点は、ｖｉｅｗ＿ｉｄなる視点ＩＤが付与され、ビューという形で管理されるとともに、区別される。このビューには、他のビューから参照される対象になるベースビューと、ベースビューを参照するノンベースビューとが存在する。つまり、視点間予測時はベースビューの画像を予測画像として、ノンベースビューの符号化を行うことにより符号化効率を上げている。
しかしながら、このような視点間予測を用いて符号化された符号データが、ビューごとに個別のビットストリームとして提供されるシステムにおいては、これら複数のビットストリームを復号する上で、従来技術では、ノンベースビューが参照すべき画像の特定に関する課題が存在する。
具体的には、Ｈ．２６４−ＭＶＣ規格では、ノンベースビューからは、同一時刻（同一アクセスユニット）に復号されたベースビューの画像のみ参照が許可されている。よって、ビットストリーム中のシンタックス情報では、各ノンベースビューに対し、参照すべきビュー（ベースビュー）のｖｉｅｗ＿ｉｄのみが指定される。
つまり、ノンベースビューの復号に際しては、ｖｉｅｗ＿ｉｄにより参照対象となるビュー（ベースビュー）を知り、そのベースビューの復号後画像が格納されているフレームメモリの中から、どれが参照対象画像であるか（どれが同一アクセスユニットの画像であるか）を知る必要がある。
しかしながら、従来技術のように、各チャネルの画像の復号処理を、他のチャネルの復号情報を考慮することなく、それぞれ独立に実施する構成であると、各チャネルが参照すべき画像の特定が行えず、正しく復号処理が行えないという課題が発生する。
本発明は、この課題を解決するためになされたものであり、その目的は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる画像復号装置を提供することである。
上記目的を達成するために、本発明の一形態に係る画像復号装置は、第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置であって、前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部と、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として格納するためのフレームメモリとを備え、前記画像復号部は、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、前記画像復号装置は、さらに、前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納部と、前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御部とを備える。
この構成によれば、本発明の一形態に係る画像復号装置は、第１管理情報を用いて、第２符号化信号の復号の際に参照される第１復号画像信号を特定できる。このように、本発明の一形態に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
また、前記第１管理情報は、前記第１復号画像信号ごとに、前記第１符号化信号に含まれ、前記第１復号画像信号を特定するための第１シンタックス情報と、当該第１シンタックス情報に対応付けられた第１識別番号とを含む第１シンタックス情報リストと、前記第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す第１マッピングリストとを含み、前記制御部は、前記第１シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記第２管理情報は、前記第２復号画像信号ごとに、前記第２符号化信号に含まれ、前記第２復号画像信号を特定するための第２シンタックス情報と、当該第２シンタックス情報に対応付けられた第２識別番号とを含む第２シンタックス情報リストと、前記第２復号画像信号ごとに、前記第２識別番号と前記フレームメモリの領域との対応関係を示す第２マッピングリストとを含み、前記制御部は、前記第２シンタックス情報リストを参照することにより、前記第２復号画像信号に対応する前記第２識別番号を取得し、前記第２マッピングリストを参照することにより、前記第２識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１シンタックス情報リスト及び第１マッピングリストを用いて、第２符号化信号の復号の際に参照される第１復号画像信号を特定できる。
また、前記第１シンタックス情報及び第２シンタックス情報は、Ｈ．２６４規格で定義される復号ピクチャバッファ（ＤＰＢ）を更新する際に必要なシンタックス情報であってもよい。
また、前記第１シンタックス情報リストは、前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点内参照用シンタックス情報リストと、前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点間参照用シンタックス情報リストとを含み、前記制御部は、前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、視点内の参照に用いられる視点内参照用シンタックス情報リストと、視点間の参照に用いられる視点間参照用シンタックス情報リストとを個別に設けることにより、視点内の参照と、視点間の参照とを個別に管理及び制御できる。これにより、本発明の一形態に係る画像復号装置は、視点間の参照画像の管理及び制御を好適に行える。
また、前記第１マッピングリストは、前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点内参照用マッピングリストと、前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点間参照用マッピングリストとを含み、前記制御部は、前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点内参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点間参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、視点内の参照に用いられる視点内参照用マッピングリストと、視点間の参照に用いられる視点間参照用マッピングリストとを個別に設けることにより、視点内の参照と、視点間の参照とを個別に管理及び制御できる。これにより、本発明の一形態に係る画像復号装置は、視点間の参照画像の管理及び制御を好適に行える。
また、前記画像復号装置は、さらに、前記フレームメモリに格納されている前記第１復号画像信号及び前記第２復号画像信号を外部に出力する画像表示部を備え、前記第１マッピングリストは、さらに、前記第１復号画像信号ごとに、当該第１復号画像信号が前記画像表示部により外部に出力されたか否かを示す第１画像表示情報と、当該第１復号画像信号が前記参照画像として用いられるか否かを示す第１参照情報とを含み、前記制御部は、前記第１画像表示情報により当該第１復号画像信号が外部に出力されたことが示され、かつ、前記第１参照情報により当該第１復号画像信号が前記参照画像として用いられないことが示される場合、当該第１復号画像信号が格納されている前記フレームメモリの領域に、前記画像復号部により新たに復号された第１復号画像信号を格納してもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１マッピングリストを用いて、フレームメモリの空き領域の管理を好適に行える。
また、前記画像復号部は、前記第１符号化信号を復号することにより第１復号画像信号を生成する第１復号部と、前記第２符号化信号を復号することにより第２復号画像信号を生成する第２復号部とを備え、前記制御部は、前記第１復号部及び前記第２復号部により、前記第１符号化信号及び前記第２符号化信号の予め定められた復号処理単位の復号処理が共に完了した後、前記第１復号部及び前記第２復号部に次の復号処理単位の復号処理を開始させてもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
また、前記画像復号装置は、さらに、第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、前記制御部は、前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、前記第１制御部は、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記第１復号部に開始させ、前記第２制御部は、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記第２復号部に開始させてもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理とを個別に制御することにより、復号処理の制御の複雑化を抑制できる。
また、前記画像復号部は、前記第１符号化信号及び前記第２符号化信号の一方を選択する選択部と、前記選択部により選択された前記第１符号化信号又は前記第２符号化信号を復号する復号部とを備え、前記制御部は、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの一方の信号を選択させ、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの他方の信号を選択させてもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
また、前記画像復号装置は、さらに、第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、前記制御部は、前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、前記第１制御部は、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記復号部に開始させ、前記第２制御部は、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記復号部に開始させてもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理とを個別に制御することにより、復号処理の制御の複雑化を抑制できる。
また、前記画像復号装置は、さらに、前記第１符号化信号と前記第２符号化信号とを予め定められた符号化単位ごとに交互に配置することにより１つの第３符号化信号を生成する結合部を備え、前記画像復号部は、前記第３符号化信号に含まれる前記第１符号化信号及び前記第２符号化信号を前記符号化単位ごとに交互に復号してもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
また、前記符号化単位は、フレーム単位、フィールド単位及びスライス単位のうちのいずれかであってもよい。
また、前記結合部は、前記符号化単位の対応する前記第１符号化信号と前記第２符号化信号とのうち、前記符号化単位の前記第１符号化信号を配置した後に、当該第１符号化信号に対応する、前記符号化単位の前記第２符号化信号を配置することにより前記第３符号化信号を生成してもよい。
この構成によれば、本発明の一形態に係る画像復号装置は、第２符号化信号の復号処理の際に参照される第１符号化信号を常に先に復号できる。
また、前記復号処理単位は、フレーム単位、フィールド単位、ヘッダ復号処理単位、及びスライス単位のうちのいずれかであってもよい。
なお、本発明は、このような画像復号装置として実現できるだけでなく、画像復号装置に含まれる特徴的な手段をステップとする画像復号方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような画像復号装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像復号装置を備える画像再生装置等として実現したり、このような画像復号装置を含む画像表示システムとして実現したりできる。
以上のように、本発明は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる画像復号装置を提供できる。
以下、本発明に係る画像復号装置の実施の形態について、図面を参照しながら詳細に説明する。
（実施の形態１）
本発明の実施の形態１に係る画像復号装置は、第１符号化ビットストリームを復号した第１復号画像信号が格納される領域を特定するための第１管理情報を用いて、第２ビットストリームの復号の際に参照される参照画像が格納されている領域を特定する。これにより、本発明の実施の形態１に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
本発明の実施の形態１に係る画像復号装置は、第１符号化ビットストリームを復号した第１復号画像信号が格納される領域を特定するための第１管理情報を用いて、第２ビットストリームの復号の際に参照される参照画像が格納されている領域を特定する。これにより、本発明の実施の形態１に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
まず、本発明の実施の形態に係る画像復号装置１００の構成を説明する。
図１は、本発明の実施の形態１に係る画像復号装置１００の構成を示すブロック図である。
図１に示す画像復号装置１００は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を復号することにより出力画像信号１１２を生成する。
符号化ビットストリーム１１０及び１１１は、それぞれ、互いに視差を有する画像が符号化されたデータを含むストリームデータである。言い換えると、符号化ビットストリーム１１０は、第１視点で撮影された第１画像信号が符号化された第１符号化信号である。また、符号化ビットストリーム１１１は、第１視点と異なる第２視点で撮影された第２画像信号が符号化された第２符号化信号である。
なお、本実施の形態では、Ｈ．２６４規格で符号化されているビットストリームの復号処理を例に説明する。例えば、符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣ規格に準拠して符号化されている。また、符号化ビットストリーム１１０は左眼用ビットストリーム（Ｌ側）である。また、符号化ビットストリーム１１１は右眼用ビットストリーム（Ｒ側）である。また、符号化ビットストリーム１１０（Ｌ側）及び１１１（Ｒ側）は２本の独立した符号化ビットストリームとして、画像復号装置１００に入力される。
また、Ｌ側符号化ビットストリーム１１０はベースビューであり、Ｒ側符号化ビットストリームはノンベースビューであるとする。
この画像復号装置１００は、画像復号部１２０と、制御部１３０と、管理情報格納部１４０と、フレームメモリ管理部１５０と、画像表示部１６０とを、フレームメモリ１７０とを備える。
画像復号部１２０は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を、参照画像を参照して復号することにより第１復号画像信号（以下、Ｌ側復号ピクチャ）及び第２復号画像信号（以下、Ｒ側復号ピクチャ）を生成する。なお、Ｌ側復号ピクチャ及びＲ側復号ピクチャを特に区別しない場合には、単に「復号ピクチャ」とも記す。
フレームメモリ１７０は、画像復号部１２０により生成された復号後の画像データ（Ｌ側復号ピクチャ及びＲ側復号ピクチャ）を格納する。
また、符号化ビットストリーム１１０がベースビューなので、画像復号部１２０は、Ｌ側復号ピクチャのみを参照画像として参照して符号化ビットストリーム１１０を復号する。また、符号化ビットストリーム１１１がノンベースビューなので、画像復号部１２０は、Ｌ側復号ピクチャ及びＲ側復号ピクチャを参照画像として参照して符号化ビットストリーム１１１を復号する。
なお、以下では、ノンベースビューのピクチャがベースビューのピクチャを参照することをビュー間参照と記す。また、ピクチャが同じビュー（ベースビュー又はノンベースビュー）内のピクチャを参照することをビュー内参照と記す。
制御部１３０は、画像復号部１２０による符号化ビットストリーム１１０及び１１１の復号処理を制御する。
管理情報格納部１４０は、画像復号部１２０による復号処理に用いられるピクチャ管理情報を格納する。このピクチャ管理情報は、Ｌ側復号ピクチャ及びＲ側復号ピクチャが格納されるフレームメモリ１７０の領域（ベースアドレス）を特定するための情報である。また、このピクチャ管理情報は、Ｌ側復号ピクチャが格納されるベースアドレスを特定するためのＬ側管理情報と、Ｒ側復号ピクチャが格納されるベースアドレスを特定するためのＲ側管理情報とを含む。
また、制御部１３０は、Ｌ側管理情報を参照して、符号化ビットストリーム１１０の復号の際に参照する参照画像が格納されているベースアドレスを画像復号部１２０に通知する。また、制御部１３０は、Ｌ側管理情報及びＲ側管理情報を参照して、符号化ビットストリーム１１１の復号の際に参照する参照画像が格納されているベースアドレスを画像復号部１２０に通知する。
フレームメモリ管理部１５０は、フレームメモリ１７０を管理する。
画像表示部１６０は、フレームメモリ１７０に格納されたＬ側復号ピクチャ及びＲ側復号ピクチャを含む出力画像信号１１２を生成し、生成した出力画像信号１１２を外部に出力する。
図２は、画像復号装置１００の詳細な構成を示すブロック図である。
図２に示すように、画像復号部１２０は、第１復号部１２１と、第２復号部１２２とを備える。
第１復号部１２１は、符号化ビットストリーム１１０をリアルタイムで復号することによりＬ側復号ピクチャを生成する。
第２復号部１２２は、符号化ビットストリーム１１１をリアルタイムで復号することによりＲ側復号ピクチャを生成する。
管理情報格納部１４０は、ピクチャ管理情報として、ＤＰＢ（復号ピクチャバッファ）リスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４とを格納する。ここで、ＤＰＢリスト１４１ａ、フレームメモリマッピングリスト１４２ａ、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は、Ｌ側復号ピクチャが格納されるベースアドレスを特定するためのＬ側管理情報である。また、ＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂは、Ｒ側復号ピクチャが格納されるベースアドレスを特定するためのＲ側管理情報である。
ＤＰＢリスト１４１ａは、符号化ビットストリーム１１０から生成されたＬ側復号ピクチャのビュー内参照用のシンタックス情報を含む。また、ＤＰＢリスト１４１ｂは、符号化ビットストリーム１１１から生成されたＬ側復号ピクチャのビュー内参照用のシンタックス情報を含む。ここでシンタックス情報とは、規格で定められたパラメータ（変数）を含む。
ビュー間参照用シンタックス情報リスト１４３は、ビュー間参照用のシンタックス情報を含む。
フレームメモリマッピングリスト１４２ａ及び１４２ｂは、フレームメモリ１７０のベースアドレスを管理するために用いられる。
ビュー間参照用フレームメモリマッピングリスト１４４は、ビュー間参照用ピクチャのベースアドレスを管理するために用いられる。
フレームメモリ管理部１５０は、制御部１３０及び画像表示部１６０から得られる情報をもとにフレームメモリマッピングリスト１４２ａ及び１４２ｂを更新することにより、フレームメモリ１７０のベースアドレスを管理する。
制御部１３０は、第１制御部１３１と、第２制御部とを含む。
第１制御部１３１は、Ｌ側符号化ビットストリーム１１０の復号処理を担当する。また、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理を担当する。
第１制御部１３１は、管理情報格納部１４０に格納されている、ＤＰＢリスト１４１ａと、ビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ａと、ビュー間参照用フレームメモリマッピングリスト１４４とを用いて、第１復号部１２１の復号処理を制御する。
第２制御部１３２は、管理情報格納部１４０に格納されている、ＤＰＢリスト１４１ｂと、ビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ｂと、ビュー間参照用フレームメモリマッピングリスト１４４とを用いて、第２復号部１２２の復号処理を制御する。
つまり、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は、第１制御部１３１と第２制御部１３２との両方からアクセス可能である。
また、画像復号装置１００は、さらに、フラグ格納部１８０を備える。
このフラグ格納部１８０は、第１制御部１３１及び第２制御部１３２に用いられる第１完了フラグ及び第２完了フラグを格納する。
また、第１制御部１３１は、１ピクチャの復号処理が完了した際に第１完了フラグをフラグ格納部１８０に格納する。第２制御部１３２は１ピクチャの復号処理が完了した際に第２完了フラグをフラグ格納部１８０に格納する。フラグ格納部１８０は、第１制御部１３１と第２制御部１３２との両方からアクセス可能である。よって、第１制御部１３１及び第２制御部１３２は、フラグ格納部１８０を介してお互いの復号処理が完了したことを確認することができる。
画像表示部１６０は、フレームメモリ１７０に格納されている復号ピクチャのうち、表示対象ピクチャが格納されているベースアドレスをフレームメモリ管理部１５０から取得する。画像表示部１６０は、取得したベースアドレスに格納される表示対象ピクチャをフレームメモリ１７０から読み出し、読み出した表示対象ピクチャを表示出力する。また、画像表示部１６０は、表示が完了したことをフレームメモリ管理部１５０に通知する。
以下、第１復号部１２１及び第２復号部１２２の構成を説明する。
図３は、第１復号部１２１の構成を示すブロック図である。なお、第２復号部１２２の構成も第２復号部１２２と同様である。
図３に示すように、第１復号部１２１は、ヘッダ解析部１２３と、エントロピー復号部１２４と、逆量子化部１２５と、逆直交変換部１２６と、イントラ予測部１２７と、動き補償部１２８と、デブロッキングフィルタ処理部１２９とを備える。
ヘッダ解析部１２３は、シーケンス層／ピクチャ層／スライス層などのヘッダ解析を行う。また、ヘッダ解析部１２３は、符号化ビットストリーム１１０に含まれる、復号対象画像のシンタックス情報１１３を取得する。
また、第１復号部１２１は、マクロブロック層以下の復号機能を備えている。具体的には、エントロピー復号部１２４、逆量子化部１２５、逆直交変換部１２６、イントラ予測部１２７、動き補償部１２８及びデブロッキングフィルタ処理部１２９により、Ｈ．２６４規格に準拠した一連の復号処理が行われる。
なお、動き補償部１２８は、過去に復号した画像をフレームメモリ１７０から読み出すことで参照を行い、復号後の画像をフレームメモリ１７０に格納する。
また、フレームメモリ１７０に対する読み出し及び書き込みに際して、第１制御部１３１は、ベースアドレスをフレームメモリ管理部１５０から取得し第１復号部１２１に設定する。また、第２制御部１３２はベースアドレスをフレームメモリ管理部１５０から取得し第２復号部１２２に設定する。
以上のように構成された画像復号装置１００の具体的な動作の説明を容易にするために、以下、Ｈ．２６４規格で定義されている用語と、本実施の形態の構成要素との対応関係を説明する。
まず、Ｈ．２６４規格で定義されている復号ピクチャバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ：ＤＰＢ）と、本実施の形態の構成要素であるＤＰＢリスト１４１ａ及び１４１ｂとの関係を説明する。
Ｈ．２６４規格では、複数の復号ピクチャを参照ピクチャとして用いることができる。また、Ｈ．２６４規格では、複数の参照ピクチャの中から動き補償ブロックごとに、異なるピクチャを選択して動き補償処理が行われる。この参照ピクチャを指定するために、各復号ピクチャに割り当てられた識別番号を参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）と言う。Ｈ．２６４規格では、符号化時に、動き補償ブロックごとに参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）が付与され、復号時にはこの参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を用いて、参照ピクチャが特定される。
ここで、参照ピクチャ枚数を増やすと符号化効率が上がる一方、多くの復号ピクチャをメモリに確保しておく必要がある。この複数の参照ピクチャに加えて、動き補償時に参照されない復号ピクチャである非参照ピクチャも、その表示時刻までメモリに確保しておく必要がある。これにより、非常に多くのメモリ容量が必要となる。また、これらピクチャの管理も複雑になる。
そこで、Ｈ．２６４規格では、復号ピクチャバッファ（ＤＰＢ）というメモリを概念的に準備し、このＤＰＢに復号ピクチャを格納する。また、Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ又はＭＭＣＯ（Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ）といった方法でピクチャを統一的に管理する。これにより、Ｈ．２６４規格では、メモリを効率良く利用できる。
また、Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ又はＭＭＣＯは、ピクチャのシンタックス情報１１３を用いて処理を行う。
図４は、ピクチャの参照関係を示す図である。
前述のように、参照ピクチャを指定するために参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）が付与されているが、図４に示すように復号対象ピクチャごとに、参照ピクチャ番号に対応する参照ピクチャの割り当てを変えることができる。また、ＤＰＢに確保されている参照ピクチャと、参照ピクチャ番号との対応付けには、参照ピクチャリスト（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ：ＲＰＬ）というリストが用いられる。
なお、このＲＰＬはピクチャごとにシンタックス情報１１３をもとに作成される。
本実施の形態においては、このようなＨ．２６４規格の柔軟な参照構造に対応するために、前述のようにＤＰＢリスト１４１ａ及び１４１ｂを管理情報格納部１４０に格納し、このＤＰＢリスト１４１ａ及び１４１ｂの情報を用いることにより、Ｈ．２６４規格で規定される復号ピクチャバッファ（ＤＰＢ）に格納されるべきピクチャの特定及び管理を実現している。
図５は、各ピクチャのシンタックス情報１１３の構成を示す図である。このシンタックス情報１１３は、参照ピクチャとして用いる復号ピクチャを特定するために用いられる。
図５に示すように、例えば、シンタックス情報１１３は、ｓｈｏｒｔ ｔｅｒｍ／ｌｏｎｇ ｔｅｒｍと、ｎａｌ＿ｒｅｆ＿ｉｄｃと、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇと、ｉｎ
ｔｅｒ＿ｖｉｅｗ＿ｆｌａｇと、ｆｒａｍｅ＿ｎｕｍと、ｖｉｅｗ＿ｉｄとを含む。なお、シンタックス情報１１３には、これらの情報の一部のみが含まれていてもよいし、これら以外の情報が含まれていてもよい。
ｔｅｒ＿ｖｉｅｗ＿ｆｌａｇと、ｆｒａｍｅ＿ｎｕｍと、ｖｉｅｗ＿ｉｄとを含む。なお、シンタックス情報１１３には、これらの情報の一部のみが含まれていてもよいし、これら以外の情報が含まれていてもよい。
ｓｈｏｒｔ ｔｒｅｍ／ｌｏｎｇ ｔｅｒｍは、当該ピクチャがｓｈｏｒｔ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅかｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅかを示す。ｓｈｏｒｔ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅとはＳｌｉｄｉｎｇ Ｗｉｎｄｏｗによって管理できるピクチャであり、ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅとはＳｌｉｄｉｎｇ Ｗｉｎｄｏｗでは管理できない時間的に離れた位置に存在するピクチャである。
ｎａｌ＿ｒｅｆ＿ｉｄｃは、当該ピクチャがビュー内参照されるか否かを示す。
ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇは、当該ピクチャの方式がフィールド（インタレース）であるかフレーム（プログレッシブ）であるかを示す。
ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、当該ピクチャがビュー間参照されるか否かを示す。
ｆｒａｍｅ＿ｎｕｍは、当該ピクチャの番号を示す。
ｖｉｅｗ＿ｉｄは、当該ピクチャが含まれるビューの識別子である。例えば、ベースビューに含まれるピクチャには「０」が付与され、ノンベースビューに含まれるピクチャには、「１、２、・・・」が付与される。
図６は、ＤＰＢリスト１４１ａ（１４１ｂ）の構成を示す図である。
ＤＰＢリスト１４１ａ及び１４１bは、ビュー内参照の参照画像として用いられる復号ピクチャのシンタックス情報１１３を含む。
図６に示すように、復号ピクチャごとに、シンタックス情報２０２と、当該シンタックス情報２０２に対応付けられた識別番号であるインデックス２０１とを含む。このシンタックス情報２０２は、図５に示すシンタックス情報１１３に相当する。
また、このＤＰＢリスト１４１ａ及び１４１ｂに含まれるシンタックス情報２０２の数は、各ピクチャがビュー内参照可能な参照ピクチャの数により決定される。
また、ＤＰＢリスト１４１ａ及び１４１ｂは、マクロブロック層の復号処理のみならず、Ｈ．２６４規格で規定される復号ピクチャバッファ（ＤＰＢ）の更新、及び、おなじくＨ．２６４規格で規定される参照ピクチャリスト（ＲＰＬ）の作成時にも使用される。
また、ビュー間参照用シンタックス情報リスト１４３は、ビュー間参照の参照画像として用いられる復号ピクチャのシンタックス情報１１３を含む。例えば、ビュー間参照用シンタックス情報リスト１４３の構成も図６と同様である。
また、このビュー間参照用シンタックス情報リスト１４３に含まれるシンタックス情報２０２の数は、各ピクチャがビュー間参照可能な参照ピクチャの数により決定される。
次に、Ｈ．２６４規格で定義されている復号ピクチャバッファ（ＤＰＢ）と、本実施の形態の構成要素であるフレームメモリマッピングリスト１４２ａ及び１４２ｂとの関係を説明する。
Ｈ．２６４規格では、参照されるピクチャは、必ず復号ピクチャバッファ（ＤＰＢ）に格納される。また、１ピクチャの復号処理が完了するたびに復号ピクチャバッファの内容が更新される。
この復号ピクチャバッファ（ＤＰＢ）の更新手順も、Ｈ．２６４規格で規定されており、以下の手順で行われる。
（ステップ１）ピクチャを復号する。
（ステップ２）所定のルール（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ又はＭＭＣＯ）により、復号ピクチャバッファ（ＤＰＢ）を更新し、開放対象ピクチャを決定する。
（ステップ３）（ステップ２）の開放対象ピクチャの代わりに、（ステップ１）で復号したピクチャを復号ピクチャバッファ（ＤＰＢ）に格納する。
（ステップ２）所定のルール（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ又はＭＭＣＯ）により、復号ピクチャバッファ（ＤＰＢ）を更新し、開放対象ピクチャを決定する。
（ステップ３）（ステップ２）の開放対象ピクチャの代わりに、（ステップ１）で復号したピクチャを復号ピクチャバッファ（ＤＰＢ）に格納する。
上記のように、規格上では、（ステップ１）で復号が完了したピクチャは、（ステップ２）で開放対象ピクチャが決まるまで、一旦、テンポラリバッファに確保される。また、この復号が完了したピクチャは、（ステップ３）において実際に復号ピクチャバッファ（ＤＰＢ）に格納される。このような手順になっているため、実装上は復号ピクチャバッファ（ＤＰＢ）に相当するメモリ容量とは別に、復号中のピクチャが格納できるテンポラリバッファを余分に確保しなければならない。
本実施の形態では、このテンポラリバッファとしても、フレームメモリ１７０を用いる。つまり、復号対象ピクチャ（復号中のピクチャ）はフレームメモリ１７０に格納される。
このように、フレームメモリ１７０内には、Ｈ．２６４規格において規定されるピクチャ（ＤＰＢ内のピクチャ）と、実装形態に依存したピクチャ（復号中のピクチャ）が混在する。また、これらの中で表示が完了したピクチャが格納されていたフレームメモリ領域が次のピクチャの格納用として開放される。よって、これらをまとめて管理する必要がある。
本実施の形態においては、このような管理に柔軟に対応するために、前述のようにフレームメモリマッピングリスト１４２ａ及び１４２ｂを、管理情報格納部１４０内に格納する。また、フレームメモリ１７０内のフレームメモリ領域ごとに、ＤＰＢリスト１４１ａ及び１４１ｂにおいて参照ピクチャとして指定されているか否か、及び画像表示対象として指定されているか否か、といった状態管理をする。これらにより、次のピクチャの格納用として開放すべきフレームメモリ領域の特定を実現する。
図７は、フレームメモリマッピングリスト１４２ａの構成を示す図である。例えば、フレームメモリマッピングリスト１４２ａは、図７に示すようなテーブル形式である。なお、フレームメモリマッピングリスト１４２ｂの構成も図７と同様である。
図７に示すように、フレームメモリマッピングリスト１４２ａは、復号ピクチャごとに対応付けられた複数のエントリを含む。なお、フレームメモリマッピングリスト１４２ａでは、各エントリは、ビュー内参照の参照ピクチャとして用いられる復号ピクチャと、ビュー間参照の参照ピクチャとして用いられる復号ピクチャと、参照ピクチャとして用いられない復号中又は復号済みピクチャとのいずれかに対応する。また、フレームメモリマッピングリスト１４２ｂでは、各エントリは、ビュー内参照の参照ピクチャとして用いられる復号ピクチャと、参照ピクチャとして用いられない復号中又は復号済みピクチャとのいずれかに対応する。
各エントリは、フレームメモリアドレス２０３と、ＤＰＢリストインデックス２０４と、ビュー間参照用シンタックス情報インデックス２０５と、画像表示ステータス２０６と、状態情報２０７とを含む。
フレームメモリアドレス２０３は、当該復号ピクチャが格納されているフレームメモリ１７０のベースアドレスを示す。
ＤＰＢリストインデックス２０４は、当該復号ピクチャに対応するＤＰＢリスト１４１ａのインデックス２０１を示す。また、ＤＰＢリストインデックス２０４は、当該復号ピクチャが視点内参照の参照ピクチャとして用いられるか否かを示す。具体的には、ＤＰＢリストインデックス２０４に、ＤＰＢリスト１４１ａのインデックス２０１が設定されている場合には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられることが示される。また、ＤＰＢリストインデックス２０４に、ＤＰＢリスト１４１ａのインデックス２０１が設定されていない場合（図７における「なし」の場合）には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられないことが示される。
ビュー間参照用シンタックス情報インデックス２０５は、当該復号ピクチャに対応するビュー間参照用シンタックス情報リスト１４３のインデックス２０１を示す。また、ビュー間参照用シンタックス情報インデックス２０５は、当該復号ピクチャが視点間参照の参照ピクチャとして用いられるか否かを示す。具体的には、ビュー間参照用シンタックス情報インデックス２０５に、ビュー間参照用シンタックス情報リスト１４３のインデックス２０１が設定されている場合には、当該復号ピクチャが視点間参照の参照ピクチャとして用いられることが示される。また、ビュー間参照用シンタックス情報インデックス２０５に、ビュー間参照用シンタックス情報リスト１４３のインデックス２０１が設定されていない場合（図７における「なし」の場合）には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられないことが示される。
画像表示ステータス２０６は、当該復号ピクチャが画像表示済み（出力画像信号１１２として出力済み）であるか画像表示されていない（未表示）かを示す。
状態情報２０７は、当該エントリが使用中であるか未使用であるかを示す。具体的には、ＤＰＢリストインデックス２０４及びビュー間参照用シンタックス情報インデックス２０５がともに「なし」であり、かつ、画像表示ステータス２０６が表示済み「０」の場合に、状態情報２０７は「未使用」であり、それ以外の場合、状態情報２０７は「使用中」となる。
また、制御部１３０は、状態情報２０７が「未使用」のベースアドレスに画像復号部１２０により新たに復号された復号ピクチャを格納するように、画像復号部１２０に通知する。
図７に示す例では、フレームメモリアドレス２０３が「０」のエントリは、復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ａに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「２」のエントリは、ビュー間参照用ピクチャが格納されており、ビュー間参照用シンタックス情報リスト１４３に付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「３」のエントリは、テンポラリバッファとして用いられている（画像表示されていないピクチャが格納されている）ため使用することができない。よって、この例では復号ピクチャバッファ（ＤＰＢ）として使用されておらず、かつテンポラリバッファとしても使用されていないフレームメモリアドレス２０３が「１」のエントリが未使用であると特定できる。
なお、Ｈ．２６４規格で定義されている参照ピクチャリスト（ＲＰＬ）については、本実施の形態では、マクロブロック層の復号の際に、符号化ビットストリーム１１０から得られる各参照ピクチャのシンタックス情報１１３と、第１制御部１３１又は第２制御部１３２から与えられるＤＰＢリスト１４１ａ又は１４１ｂの内容をもとに第１復号部１２１又は第２復号部１２２が作成し、第１復号部１２１又は第２復号部１２２の内部で保持する。
なお、ビュー間参照用フレームメモリマッピングリスト１４４の構成も図７と同様である。また、ビュー間参照用フレームメモリマッピングリスト１４４では、各エントリは、ビュー間参照の参照ピクチャとして用いられる復号ピクチャに対応する。
また、ビュー間参照用フレームメモリマッピングリスト１４４は、ビュー間参照の際にしか参照されないので、フレームメモリアドレス２０３とビュー間参照用シンタックス情報インデックス２０５とのみを含んでもよい。
また、Ｒ側復号ピクチャがビュー間参照の参照画像として用いられない場合には、フレームメモリマッピングリスト１４２ｂは、ビュー間参照用シンタックス情報インデックス２０５を含まなくてもよい。
以上のように、Ｈ．２６４規格で定義されている復号ピクチャバッファ（ＤＰＢ）及び参照ピクチャリスト（ＲＰＬ）１１４と、本実施の形態の各構成要素とを対応づけることにより、図８のように、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）から、フレームメモリ１７０のベースアドレスを特定することができる。
具体的には、第１制御部１３１は、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を取得する。次に、第１制御部１３１は、ＲＰＬ１１４を参照し、参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に対応するｐｉｃｔｕｒｅ ｎｕｍｂｅｒを特定する。次に、第１制御部１３１は、ＤＰＢリスト１４１ａを参照し、特定したｐｉｃｔｕｒｅ ｎｕｍｂｅｒに対応するシンタックス情報２０２のインデックス２０１を特定する。次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを参照して、特定したインデックス２０１に対応するベースアドレス（フレームメモリアドレス２０３）を特定する。
また、第２制御部１３２は、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を取得する。次に、第２制御部１３２は、ＲＰＬ１１４を参照し、参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に対応するｐｉｃｔｕｒｅ ｎｕｍｂｅｒを特定する。次に、第２制御部１３２は、ＤＰＢリスト１４１ｂ及びビュー間参照用シンタックス情報リスト１４３を参照し、特定したｐｉｃｔｕｒｅ ｎｕｍｂｅｒに対応するシンタックス情報２０２のインデックス２０１を特定する。次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂ及びビュー間参照用フレームメモリマッピングリスト１４４を参照して、特定したインデックス２０１に対応するベースアドレス（フレームメモリアドレス２０３）を特定する。
さて、Ｈ．２６４−ＭＶＣは、前述のような柔軟な構造を持つＨ．２６４を、多視点符号化方式として拡張したものである。つまり、Ｈ．２６４−ＭＶＣは、各視点をビューとして符号化を行い、視点間の相関性を利用したビュー間参照をすることにより高い情報圧縮を実現する技術である。
各ビューはビューＩＤ（ｖｉｅｗ＿ｉｄ）でそれぞれ識別され、他のビューを参照しないビューをベースビューと言い、他のビューを参照するビューをノンベースビューと言う。ノンベースビューの各ピクチャは、同じビュー内のピクチャに加え、同じ時間の異なるビューのピクチャを参照することができることを大きな特徴とする。
本実施の形態では、Ｌ側符号化ビットストリーム１１０がベースビューであり、Ｒ側符号化ビットストリーム１１１がノンベースビューである。つまり、Ｒ側符号化ビットストリーム１１１の復号の際は、Ｌ側符号化ビットストリーム１１０の復号ピクチャをビュー間参照することが可能である。
ビュー間参照用シンタックス情報リスト１４３は、ベースビューであるＬ側符号化ビットストリーム１１１の参照ピクチャのシンタックス情報１１３を格納している。
第２制御部１３２は、ノンベースビューであるＲ側符号化ビットストリーム１１１の復号時には、ビュー内参照用のシンタックス情報１１３を含むＤＰＢリスト１４１ｂに加えて、ビュー間参照用のシンタックス情報１１３を含むビュー間参照用シンタックス情報リスト１４３を取得する。これらをもとに、第２復号部１２２は、ビュー間参照ピクチャを含めたＲＰＬを作成する。
図９は、第１制御部１３１及び第２制御部１３２の処理を示す図である。
具体的には、第１制御部１３１は、図９の例ようにＬ側のＤＰＢリスト１４１ａのインデックス番号「１」に格納される情報を、Ｒ側から参照可能なビュー間参照用シンタックス情報リスト１４３にも格納する。
これにより、フレームメモリ管理部１５０は、フレームメモリ１７０内のフレームメモリ領域ごとに、ＤＰＢリスト１４１ａ及び１４１ｂにおいて参照ピクチャとして指定されているか否か、及び画像表示対象として指定されているか否か、といった状態を管理する。さらに、フレームメモリ管理部１５０は、ビュー間参照用シンタックス情報リスト１４３においてビュー間参照に用いられる参照ピクチャとして指定されているか否かといった状態を管理する。これにより、フレームメモリ管理部１５０は、次のピクチャの格納用として開放すべきフレームメモリ１７０の領域を特定できる。
また、ビュー間参照は同じアクセスユニット内のピクチャのみ参照することができるため、本実施の形態ではビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は少なくとも１ピクチャ分の情報が格納できればよい。ただし、本実施の形態では、第１復号部１２１及び第２復号部１２２が同時に動作するため第１復号部１２１からの書き込み用と第２復号部１２２からの読み出し用とでビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４のそれぞれに２ピクチャ分の領域を確保する。
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態１の画像復号装置１００について、その動作を説明する。
以下では１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中のピクチャの格納用に１枚必要である。
さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャとが復号完了したあとに図１０のようなタイミングで表示されるものとする。具体的には、期間Ｔ０１において、Ｌ側のピクチャＬ１の復号処理が行われる。次に、期間Ｔ０２において、Ｌ側のピクチャＬ２とＲ側のピクチャＲ１との復号処理が行われる。次に、期間Ｔ０３において、ピクチャＬ１及びピクチャＲ１が表示される。なお、ピクチャＬ１及びピクチャＲ１は同一のアクセスユニットに含まれるピクチャである。
このように、表示までの間にも次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。
したがって、フレームメモリ１７０は、合計１０枚（Ｌ側５枚、Ｒ側５枚）のピクチャが格納できる領域を備えているものとする。
また、入力される符号化ビットストリーム１１０及び１１１は、前述のようにＨ．２６４−ＭＶＣにより多視点符号化されている。また、図１１に示すようにＬ側符号化ビットストリーム１１０はＩ／Ｐ１／Ｐ２／Ｂ１／Ｐ３／Ｂ２の順に符号化されているものとする。同様にＲ側符号化ビットストリーム１１１はＩ／Ｐ１／Ｐ２／Ｂ１／Ｐ３／Ｂ２の順に符号化されているものとする。なお、図１１に示す「Ｉ」は当該ピクチャがＩピクチャであることを示す。また、「Ｐ１、Ｐ２、Ｐ３」は当該ピクチャがＰピクチャであることを示す。また、「Ｂ」は当該ピクチャがＢピクチャであることを示す。また、Ｉピクチャとは、ビュー内参照を行わない画面内符号化が行われたピクチャである。Ｐピクチャ及びＢピクチャは、ビュー内参照を行って符号化されたピクチャである。また、Ｉピクチャ及びＰピクチャは、他のピクチャからビュー内参照されるピクチャであり、本実施例においては、Ｂピクチャは他のピクチャからビュー内参照されないピクチャとする（ｎａｌ＿ｒｅｆ＿ｉｄｃ＝０）。
また、Ｌ側符号化ビットストリーム１１０はベースビューであり、Ｒ側符号化ビットストリームはノンベースビューであるとする。
まず、画像復号装置１００は、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２は次のように１ピクチャごとに同時に起動し完了待ち合わせをすることで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
まず、Ｌ側のピクチャの復号処理について説明する。
第１制御部１３１は、以下の処理ステップで、第１復号部１２１を制御することにより、Ｌ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
図１２は、画像復号装置１００によるＬ側の復号処理のフローチャートである。
まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
次に、第１制御部１３１は、上記ステップＳ１０２〜Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを第１復号部１２１に設定し、第１復号部１２１を起動する（Ｓ１０５）。
次に、第１復号部１２１は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、第１復号部１２１は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、第１復号部１２１は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を第１復号部１２１から取得する（Ｓ１０７）。
次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。具体的には、第１制御部１３１は、ステップＳ１０７で取得したシンタックス情報１１３をＤＰＢリスト１４１ａに加える。
次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。具体的には、フレームメモリ管理部１５０は、通知されたインデックス２０１に対応するＤＰＢリストインデックス２０４を「なし」に変更する。また、フレームメモリ管理部１５０は、復号処理が完了したピクチャの情報をフレームメモリマッピングリスト１４２ａに加える。
次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
次に、第１制御部１３１は、復号処理が完了したピクチャの情報をビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
次に、第１制御部１３１は、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
次に、Ｒ側のピクチャの復号処理について説明する。
第２制御部１３２は、以下の処理ステップで、第２復号部１２２を制御することにより、Ｒ側符号化ビットストリーム１１１の復号処理を行う。
図１３は、画像復号装置１００によるＲ側の復号処理のフローチャートである。
まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理で参照できるＬ側の復号ピクチャのシンタックス情報をビュー間参照用シンタックス情報リスト１４３から取得することにより、ビュー間参照用の参照ピクチャを特定する（Ｓ２０２）。
次に、第２制御部１３２は、ビュー間参照用フレームメモリマッピングリスト１４４を参照し、ステップＳ２０２で取得したシンタックス情報に対応するベースアドレスを取得する。つまり、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理で参照できるＬ側の復号ピクチャのベースアドレスを取得する（Ｓ２０３）。
次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを第２復号部１２２に設定し、第２復号部１２２を起動する（Ｓ２０７）。
第２復号部１２２は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、第２復号部１２２は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、第２復号部１２２は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を第２復号部１２２から取得する（Ｓ２０９）。
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。具体的には、第２制御部１３２は、ステップＳ２０９で取得したシンタックス情報１１３をＤＰＢリスト１４１ｂに加える。
次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。具体的には、フレームメモリ管理部１５０は、通知されたインデックス２０１に対応するＤＰＢリストインデックス２０４を「なし」に変更する。また、フレームメモリ管理部１５０は、復号処理が完了したピクチャの情報をフレームメモリマッピングリスト１４２ｂに加える。
次に、第２制御部１３２は、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
以上のように、第１制御部１３１及び第２制御部１３２を１ピクチャごとに同時に起動し完了待ち合わせをすることで、図１４のように符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
例えば、図１４に示す時刻ｔ０１において、Ｌ側の復号処理及びＲ側の復号処理が同時に開始される。つまり、上述した図１２及び図１３に示す処理が行われる。また、時刻ｔ０２においてＲ側の復号処理が終了する。時刻ｔ０２の時点では、Ｌ側の復号処理が完了していないので、第１完了フラグがセットされていない。よって、第２制御部１３２は、Ｌ側の復号処理が完了するまで、次のピクチャの復号処理を開始しない。
時刻ｔ０３において、Ｌ側の復号処理が完了する。よって、時刻ｔ０３において、Ｌ側及びＲ側の両方の復号処理が完了したので、画像復号部１２０は、次のピクチャの復号処理を同時に開始する。
また、時刻ｔ０４においてＬ側の復号処理が完了するが、Ｒ側の復号処理が完了していないので、第１制御部１３１は、Ｒ側の復号処理が完了するまで、次のピクチャの復号処理を開始しない。
時刻ｔ０５において、Ｒ側の復号処理が完了する。よって、時刻ｔ０５において、Ｌ側及びＲ側の両方の復号処理が完了したので、画像復号部１２０は、次のピクチャの復号処理を同時に開始する。
このように、制御部１３０は、第１復号部１２１及び第２復号部１２２により、符号化ビットストリーム１１０及び１１１の予め定められた復号処理単位（ピクチャ単位）の復号処理が共に完了した後、第１復号部１２１及び第２復号部１２２に次の復号処理単位の復号処理を開始させる。
具体的には、第１制御部１３１は、第１復号部１２１による符号化ビットストリーム１１０の復号処理単位の復号処理が完了し、かつ、フラグ格納部１８０に第２完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１０の復号処理を第１復号部１２１に開始させる。
また、第２制御部１３２は、第２復号部１２２による符号化ビットストリーム１１１の復号処理単位の復号処理が完了し、かつ、フラグ格納部１８０に第１完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１１の復号処理を第２復号部１２２に開始させる。
なお、ここでは、Ｒ側の復号処理が完了するまで、Ｌ側の次のピクチャの復号処理を待機させ、Ｌ側の復号処理が完了するまで、Ｒ側の次のピクチャの復号処理を待機させているが、Ｌ側の復号処理がＲ側の復号処理より先に完了した場合に、Ｒ側の復号処理の完了を待たずに、Ｌ側の次のピクチャの復号処理を行なってもよい。なぜなら、Ｒ側はＬ側の復号ピクチャを参照ピクチャとして用いるが、Ｌ側はＲ側の復号ピクチャを参照ピクチャとして用いないので、先行して復号処理を行っても参照ピクチャが復号されていない等の問題は発生しない。
ただし、Ｌ側の復号処理が大きく先行した場合、表示のためにＬ側の復号ピクチャを格納するための格納領域が多く必要となる。または、Ｒ側での使用完了を含めたフレームメモリの空き状況を管理し、できるところまでＬ側の復号処理を先行させる制御を行うことも考えられるが制御が複雑になる。よって、図１４に示すように、Ｒ側の復号処理が完了するまで、Ｌ側の次のピクチャの復号処理を待機させ、Ｌ側の復号処理が完了するまで、Ｒ側の次のピクチャの復号処理を待機させていることが好ましい。
ここで、従来の画像復号装置では、複数のビットストリームの復号処理に関する同期の課題が存在する。
具体的には、Ｈ．２６４−ＭＶＣのような視点間予測を用いた符号化方式で圧縮された画像データを復号する過程において、ノンベースビューの画像の復号には、同じ表示時刻のベースビューの復号後画像を動き補償時の参照画像とする場合がある。よって、ベースビューの復号処理タイミングとノンベースビューの復号処理タイミングとには依存関係が存在する。なお、３視点以上の場合、ノンベースビューの画像の復号には、同じ表示時刻の異なるノンベースビュー又はベースビューの復号画像を動き補償時の参照画像とする場合もある。
よって、所定の単位ごとに、各チャネルの復号処理の同期を取りながら、複数ビットストリームの復号を行う必要があるため、従来の画像復号装置のように、各チャネルの画像の復号タイミングは、お互いに他のチャネルの復号状況を考慮することなく任意とし、表示の際に各チャネルの同期を取って再生する構成の場合、復号時の各チャネル間の参照が上手く行われず、正しく復号処理が行えないという課題が発生する。
一方で、本発明の実施の形態１に係る画像復号装置１００は、第１制御部１３１と第２制御部１３２とを同時に起動するとともに、完了の待ち合わせを行うことにより、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
また、本発明の実施の形態１に係る画像復号装置１００は、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリームの参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００は、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
次に、ＤＰＢリスト１４１ａ及び１４１ｂとフレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図１５を用いて説明する。
（期間Ｔ１０）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３にＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＩピクチャ（Ｌ−Ｉ）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
ビュー間参照が発生する可能性があるため、期間Ｔ１０ではＲ側符号化ビットストリームの処理は行わずに、期間Ｔ１１から開始する。
ビュー間参照が発生する可能性があるため、期間Ｔ１０ではＲ側符号化ビットストリームの処理は行わずに、期間Ｔ１１から開始する。
（期間Ｔ１１）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＰピクチャ（Ｐｌ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ−Ｐｌ）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＰピクチャ（Ｐｌ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ−Ｐｌ）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
（期間Ｔ１２）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
（期間Ｔ１３）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録される。しかし、当該Ｂピクチャ（Ｌ−Ｂ１）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録される。しかし、当該Ｂピクチャ（Ｌ−Ｂ１）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＢピクチャ（Ｌ−Ｂ１）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ−Ｂ１）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｉ）は画像表示されるが、当該Ｉピクチャ（Ｌ−１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｌ−Ｉ）は画像表示されるが、当該Ｉピクチャ（Ｌ−１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｐピクチャ（Ｒ−Ｐ１）は画像表示されるが、当該Ｐピクチャ（Ｒ−Ｐ１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
Ｐピクチャ（Ｒ−Ｐ１）は画像表示されるが、当該Ｐピクチャ（Ｒ−Ｐ１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
（期間Ｔ１４）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ−Ｂ１）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ−Ｂ１）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｐピクチャ（Ｌ−Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
Ｐピクチャ（Ｌ−Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｐピクチャ（Ｒ−Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
Ｐピクチャ（Ｒ−Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
（期間Ｔ１５）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＢピクチャ（Ｌ−Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。また、当該Ｂピクチャ（Ｌ−Ｂ２）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＢピクチャ（Ｌ−Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。また、当該Ｂピクチャ（Ｌ−Ｂ２）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＢピクチャ（Ｌ−Ｂ２）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＢピクチャ（Ｌ−Ｂ２）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」から登録されていたベースアドレスが削除される。
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」から登録されていたベースアドレスが削除される。
（期間Ｔ１６）
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＰピクチャ（Ｌ−Ｐ４）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「１」に登録されていたＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されていたＩピクチャ（Ｌ−Ｐ１）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ４）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理)
復号されたＰピクチャ（Ｌ−Ｐ４）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「１」に登録されていたＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されていたＩピクチャ（Ｌ−Ｐ１）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ４）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理)
復号されたＢピクチャ（Ｒ−Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ−Ｂ２）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
復号されたＢピクチャ（Ｒ−Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ−Ｂ２）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｐピクチャ（Ｌ−Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「２」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
Ｐピクチャ（Ｌ−Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「２」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｐピクチャ（Ｒ−Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「２」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録されているベースアドレスは削除されない。
Ｐピクチャ（Ｒ−Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「２」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録されているベースアドレスは削除されない。
このように、本発明の実施の形態１に係る画像復号装置１００は、第１制御部１３１と第２制御部１３２とを同時に起動するとともに、完了の待ち合わせを行うことにより、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
なお、本発明の実施の形態１に係る画像復号装置１００は、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
（実施の形態２）
図１６は、本発明の実施の形態２に係る画像復号装置１００Ａの構成を示す図である。
図１６は、本発明の実施の形態２に係る画像復号装置１００Ａの構成を示す図である。
以下、本発明の実施の形態２に係る画像復号装置１００Ａの構成について説明する。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
具体的には、図１６に示す画像復号装置１００Ａは、画像復号部２２０の構成が、図２に示す画像復号部１２０の構成と異なる。
画像復号部２２０は、選択部２２１と、復号部２２２とを備える。
選択部２２１は、符号化ビットストリーム１１０及び１１１のうち一方を選択し、選択した符号化ビットストリームを復号部２２２へ出力する。
復号部２２２は、選択部２２１により出力された符号化ビットストリームを復号する。なお、復号部２２２の内部構成は、実施の形態１で説明した第１復号部１２１及び第２復号部１２２と同じ構成である。
本実施の形態の画像復号装置に入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態２の画像復号装置１００Ａについて、その動作を説明する。
本実施の形態では１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中の画像の格納用に１枚必要である。
さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャが復号完了したあとに図１７のようなタイミングで表示されるものとする。具体的には、期間Ｔ２１において、Ｌ側のピクチャＬ１の復号処理が行われる。次に、期間Ｔ２２において、Ｒ側のピクチャＲ１の復号処理が行われる。次に、期間Ｔ２３において、Ｌ側のピクチャＬ１の復号処理が行われる。また、期間Ｔ２４において、ピクチャＬ１及びピクチャＲ１が表示される。なお、ピクチャＬ１及びピクチャＲ１は同一のアクセスユニットに含まれるピクチャである。
このように、表示中に次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。
したがって、フレームメモリ１７０は、合計１０枚（Ｌ側５枚、Ｒ側５枚）のピクチャが格納できる領域を備えているものとする。
本実施の形態において、復号部２２２が符号化ビットストリーム１１０と符号化ビットストリーム１１１との復号処理を交互に行うため、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４には１ピクチャ分の領域を確保する。
また、入力される符号化ビットストリーム１１０及び１１１の構成も実施の形態１と同様である。
まず、本実施の形態の画像復号装置１００Ａは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１及び第２制御部１３２は次のように交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
まず、Ｌ側のピクチャの復号処理について説明する。
第１制御部１３１は、以下の処理ステップで、復号部２２２を制御し、Ｌ側符号化ビットストリーム１１０のピクチャ復号処理を行う。なお、第１制御部１３１による処理手順は、図１２に示す処理と同様なので、図１２を用いて説明を行う。
まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
次に、第１制御部１３１は、上記ステップＳ１０２〜Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを第１復号部１２１に設定する。また、第１制御部１３１は、Ｌ側符号化ビットストリーム１１０を選択するように選択部２２１を設定する。また、第１制御部１３１は、復号部２２２を起動する（Ｓ１０５）。
次に、復号部２２２は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部２２２は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部２２２は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を復号部２２２から取得する（Ｓ１０７）。
次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。
次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。
次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
次に、第１制御部１３１は、ステップＳ１０２で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
次に、第１制御部１３１は、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
次に、Ｒ側のピクチャの復号処理について説明する。
上記ステップＳ１０１〜Ｓ１１２で、一連のＬ側符号化ビットストリーム１１０の復号処理が完了した後、第２制御部１３２は、以下の処理ステップで、復号部２２２を制御し、Ｒ側符号化ビットストリーム１１１の復号処理を行う。
なお、第２制御部１３２による処理手順は、図１３に示す処理と同様なので、図１３を用いて説明を行う。
まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ２０２）。
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ２０３）。
次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部２２２に設定する。また、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１を選択するように選択部２２１を設定する。また、第２制御部１３２は、復号部２２２を起動する（Ｓ２０７）。
次に、復号部２２２は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部２２２は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部２２２は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を復号部２２２から取得する（Ｓ２０９）。
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。
次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。
次に、第２制御部１３２は、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
以上のように、第１制御部１３１と第２制御部１３２とを交互に動作させることで、図１８のように符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
例えば、図１８に示す時刻ｔ１１において、Ｌ側の復号処理が開始される。つまり、上述した図１２に示す処理が行われる。また、時刻ｔ１２においてＬ側の復号処理が終了し、次に、Ｒ側の復号処理が開始される。つまり、上述した図１３に示す処理が行われる。また、時刻ｔ１３においてＲ側の復号処理が終了し、次に、Ｌ側の復号処理が開始される。
このように、制御部１３０は、選択部２２１に符号化ビットストリーム１１０及び１１１のうちの一方の信号を選択させる。また、制御部１３０は、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、選択部２２１に符号化ビットストリーム１１０及び１１１のうちの他方の信号を選択させる。
具体的には、第１制御部１３１は、フラグ格納部１８０に第２完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１０の復号処理を復号部２２２に開始させる。
また、第２制御部１３２は、フラグ格納部１８０に第１完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１１の復号処理を復号部２２２に開始させる。
次に、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図１９を用いて説明する。
（期間Ｔ３０）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｉ）のベースアドレスが登録される。
（期間Ｔ３１）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
（期間Ｔ３２）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のベースアドレスが登録される。
（期間Ｔ３３）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
（期間Ｔ３４）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｌ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｒ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
（期間Ｔ３５）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
（期間Ｔ３６）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｌ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｒ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
（期間Ｔ３７）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
（期間Ｔ３８）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
（期間Ｔ３９）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
このように、本発明の実施の形態２に係る画像復号装置１００Ａは、第１制御部１３１と第２制御部１３２とを交互に動作させることで、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
また、本発明の実施の形態２に係る画像復号装置１００Ａは、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ａは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
なお、本発明の実施の形態２に係る画像復号装置１００Ａは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
（実施の形態３）
図２０は、本発明の実施の形態３に係る画像復号装置１００Ｂの構成を示す図である。
図２０は、本発明の実施の形態３に係る画像復号装置１００Ｂの構成を示す図である。
以下、本発明の実施の形態３に係る画像復号装置１００Ｂの構成について説明する。なお、図１６と同様の要素には同様の符号を付しており、重複する説明は省略する。
具体的には、図２０に示す画像復号装置１００Ｂは、管理情報格納部２４０の構成が、図１６に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図１６に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。
本実施の形態ではこのフレームメモリマッピングリスト１４２ｃを用いてフレームメモリ１７０の状態を管理する。
図２１は、フレームメモリマッピングリスト１４２ｃの構成を示す図である。例えば、フレームメモリマッピングリスト１４２ｃは、図２１に示すようなテーブル形式である。なお、図７と同様の要素には同様の符号を付している。
図２１に示すように、フレームメモリマッピングリスト１４２ａは、復号ピクチャごとに対応付けられた複数のエントリを含む。各エントリは、フレームメモリアドレス２０３と、ＤＰＢリストインデックス２０４ａ及び２０４ｂと、ビュー間参照用シンタックス情報インデックス２０５と、画像表示ステータス２０６と、状態情報２０７とを含む。
ＤＰＢリストインデックス２０４ａは、当該復号ピクチャに対応するＤＰＢリスト１４１ａのインデックス２０１を示す。
ＤＰＢリストインデックス２０４ｂは、当該復号ピクチャに対応するＤＰＢリスト１４１ｂのインデックス２０１を示す。
図２１に示す例では、フレームメモリアドレス２０３が「０」及び「３」のエントリは、Ｌ側復号処理の復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ａに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「１」及び「４」のエントリは、Ｒ側復号処理の復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ｂに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「５」のエントリは、ビュー間参照用ピクチャとして使用されており、ビュー間参照用シンタックス情報リスト１４３に付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「６」のエントリは、テンポラリバッファとして用いられている（画像表示されていないピクチャが格納されている）ため使用することができない。よって、この例では復号ピクチャバッファ（ＤＰＢ）として使用されておらず、かつテンポラリバッファとしても使用されていないフレームメモリアドレス２０３が「１」及び「６」のエントリが未使用であると特定できる。
本実施の形態の画像復号装置１００Ｂに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態３の画像復号装置１００Ｂについて、その動作を説明する。
本実施の形態では、実施の形態２と同様に、１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中のピクチャの格納用に１枚必要とする。さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャが復号完了したあとに図１７のようなタイミングで表示されるものとする。よって、表示中に次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。ただし、この格納領域を、Ｌ側符号化ビットストリームとＲ側符号化ビットストリームとで共通に管理することで、上記実施の形態２に比べ、格納領域を１枚分削減できる。よって、フレームメモリ１７０は、合計９枚のピクチャが格納できる領域を備えているものとする。
まず、本実施の形態の画像復号装置１００Ｂは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２とは実施の形態２と同様に交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
以下、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図２２を用いて説明する。
（期間Ｔ４０）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＩピクチャ（Ｌ−Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＩピクチャ（Ｌ−Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｉ）のベースアドレスが登録される。
（期間Ｔ４１）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＩピクチャ（Ｒ−Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
（期間Ｔ４２）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ１）のベースアドレスが登録される。
（期間Ｔ４３）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。
（期間Ｔ４４）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「４」に登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「４」に登録される。
また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ２）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｌ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｒ−Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
（期間Ｔ４５）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「５」に登録される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「５」に登録される。
（期間Ｔ４６）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「６」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＢピクチャ（Ｌ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「６」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
（Ｌ側符号化ビットストリーム１１０の画像表示）
Ｉピクチャ（Ｌ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｌ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｉピクチャ（Ｒ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されているベースアドレスは削除されない。
Ｉピクチャ（Ｒ−Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されているベースアドレスは削除されない。
（期間Ｔ４７）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「７」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＢピクチャ（Ｒ−Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「７」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
（期間Ｔ４８）
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「８」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１０の復号処理）
復号されたＰピクチャ（Ｌ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「８」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ−Ｐ３）のベースアドレスが登録される。
（Ｌ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「６」から登録されていたベースアドレスが削除される。
Ｂピクチャ（Ｌ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「６」から登録されていたベースアドレスが削除される。
（Ｒ側符号化ビットストリーム１１１の画像表示）
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「７」から登録されていたベースアドレスが削除される。
Ｂピクチャ（Ｒ−Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ−Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「７」から登録されていたベースアドレスが削除される。
（期間Ｔ４９）
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
（Ｒ側符号化ビットストリーム１１１の復号処理）
復号されたＰピクチャ（Ｒ−Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ−Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されていたＩピクチャ（Ｌ−Ｉ）のベースアドレスが削除される。
このように、本発明の実施の形態３に係る画像復号装置１００Ｂは、第１制御部１３１と第２制御部１３２とを交互に動作させることで、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
また、本発明の実施の形態３に係る画像復号装置１００Ｂは、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｂは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
さらに、画像復号装置１００Ｂは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリーム１１０とＲ側符号化ビットストリーム１１１で共通に管理することでフレームメモリ１７０の容量を削減することができる。よって、画像復号装置１００Ｂは、コストを下げることができる。
なお、本発明の実施の形態３に係る画像復号装置１００Ｂは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
（実施の形態４）
図２３は、本発明の実施の形態４に係る画像復号装置１００Ｃの構成を示すブロック図である。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
図２３は、本発明の実施の形態４に係る画像復号装置１００Ｃの構成を示すブロック図である。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
図２３に示す画像復号装置１００Ｃは、図２に示す画像復号装置１００の構成に加え、さらに、ストリーム結合部１９０を備える。また、画像復号装置１００Ｃは、画像復号部１２０の代わりに画像復号部３２０を備える。
ストリーム結合部１９０は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を１つの符号化ビットストリーム３１０に結合する。具体的には、ストリーム結合部１９０は、符号化ビットストリーム１１０と符号化ビットストリーム１１１とを予め定められた符号化単位ごとに交互に配置することにより１つの符号化ビットストリーム３１０を生成する。
画像復号部３２０は、復号部３２１を備える。復号部３２１は、符号化ビットストリーム３１０に含まれる符号化ビットストリーム１１０及び符号化ビットストリーム１１１を上記符号化単位ごとに交互に復号する。なお、復号部３２１の構成は、図２に示す第１復号部１２１及び第２復号部１２２の構成と同様である。
本実施の形態の画像復号装置１００Ｃに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
ここで、Ｈ．２６４−ＭＶＣのストリームの構造について補足する。
Ｈ．２６４規格において、符号化された情報をＮＡＬユニットと呼ばれるレイヤに分離することが定義されている。それぞれのＮＡＬユニットにはスタートコードと呼ばれる識別可能な符号が付与されている。また、スタートコードに後続するＮＡＬヘッダによってＮＡＬユニットの種類を判別することができるようになっている。ＮＡＬユニットの種類とは、例えば、シーケンスパラメータセット、ピクチャパラメータセット、及びスライスなどがある。
Ｈ．２６４−ＭＶＣにおいては、ＮＡＬヘッダを解析することで前述のシーケンスパラメータセット、ピクチャパラメータセット、及びスライスなどが属するビュー（ベースビュー又はノンベースビュー）を判別できるようになっている。
ストリーム結合部１９０は、符号化ビットストリーム１１０及び１１１のストリーム解析を行い、符号化ビットストリーム１１０及び１１１を所定の単位で符号化ビットストリームの状態で交互に出力することで符号化ビットストリーム３１０を生成する。本実施の形態では、ストリーム結合部１９０は、Ｌ側符号化ビットストリーム１１０を先頭に、１ピクチャ単位で符号化ビットストリーム１１０及び１１１を交互に出力することでピクチャインターリーブされた符号化ビットストリーム３１０を生成する。言い換えると、ストリーム結合部１９０は、同一アクセスユニットに含まれる１ピクチャ単位の符号化ビットストリーム１１０と符号化ビットストリーム１１１とのうち、１ピクチャ単位の符号化ビットストリーム１１０を配置した後に、１ピクチャ単位の符号化ビットストリーム１１１を配置することにより符号化ビットストリーム３１０を生成する。
以下、上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態４の画像復号装置１００Ｃについて、その動作を説明する。
本実施の形態の画像復号装置１００Ｃでは、第１制御部１３１と第２制御部１３２とは次のように動作することで符号化ビットストリーム３１０の復号処理の同期をとる。
まず、Ｌ側のピクチャの復号処理について説明する。
第１制御部１３１は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＬ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
なお、第１制御部１３１による処理手順は、図１２に示す処理と同様なので、図１２を用いて説明を行う。
まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
次に、第１制御部１３１は、上記ステップＳ１０２〜Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを設定し、復号部３２１を起動する（Ｓ１０５）。なお、ストリームは１本に結合されているため、実施の形態２のような復号対象ストリームの設定は不要となる。
次に、復号部３２１は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ１０７）。
次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。
次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。
次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
次に、第１制御部１３１は、ステップＳ１０２で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
次に、第１制御部１３１は、入力される符号化ビットストリームがＲ側符号化ビットストリームのデータであれば、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
次に、Ｒ側のピクチャの復号処理について説明する。
上記ステップＳ１０１〜Ｓ１１２の後、第２制御部１３２は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＲ側符号化ビットストリーム１１１の復号処理を行う。
なお、第２制御部１３２による処理手順は、図１３に示す処理と同様なので、図１３を用いて説明を行う。
まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ２０２）。
次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ２０３）。
次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部３２１に設定し、復号部３２１を起動する（Ｓ２０７）。なお、ストリームは１本に結合されているため、実施の形態２のような復号対象ストリームの設定は不要となる。
次に、復号部３２１は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ２０９）。
次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャにとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。
次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。
次に、第２制御部１３２は、入力される符号化ビットストリームがＬ側符号化ビットストリームのデータであれば、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係については実施の形態２と同様である。
このように、本発明の実施の形態４に係る画像復号装置１００Ｃは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
また、本発明の実施の形態４に係る画像復号装置１００Ｃは、Ｒ側符号化ビットストリーム１１１の復号処理の際に、共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｃは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
なお、本発明の実施の形態４に係る画像復号装置１００Ｃは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
（実施の形態５）
図２４は、本発明の実施の形態５に係る画像復号装置１００Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
図２４は、本発明の実施の形態５に係る画像復号装置１００Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
具体的には、図２４に示す画像復号装置１００Ｄは、管理情報格納部２４０の構成が、図２３に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図２３に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。言い換えると、管理情報格納部２４０の構成は、図２０に示す管理情報格納部２４０と同様である。
本実施の形態の画像復号装置１００Ｄに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態５の画像復号装置１００Ｄについて、その動作を説明する。
本実施の形態では、実施の形態３と同様に、フレームメモリは合計９枚のピクチャが格納できる領域を備えているものとする。
まず、本実施の形態５に係る画像復号装置１００Ｄは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２とは実施の形態４と同様に交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
また、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係は図２２と同様である。
このように、本発明の実施の形態５に係る画像復号装置１００Ｄは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
また、本発明の実施の形態５に係る画像復号装置１００Ｄは、Ｒ側符号化ビットストリーム１１１の復号処理の際に、共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｄは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
さらに、本発明の実施の形態５に係る画像復号装置１００Ｄは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリーム１１０とＲ側符号化ビットストリーム１１１とで共通に管理することでフレームメモリ容量を削減することができ、コストを下げることができる。
なお、本発明の実施の形態５に係る画像復号装置１００Ｄは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
（実施の形態６）
図２５は、本発明の実施の形態６に係る画像復号装置１００Ｅの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
図２５は、本発明の実施の形態６に係る画像復号装置１００Ｅの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
図２５に示す画像復号装置１００Ｅは、制御部２３０の構成が、図２３に示す制御部１３０の構成と異なる。また、画像復号装置１００Ｅは、フラグ格納部１８０を備えない点が図２３に示す画像復号装置１００Ｃと異なる。
制御部２３０は、第１制御部２３１を備える。
第１制御部２３１は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１が結合された符号化ビットストリーム３１０の復号処理を制御する。
第１制御部２３１は、ＤＰＢリスト１４１ａ及びビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ａと、ビュー間参照用フレームメモリマッピングリスト１４４とをもとに、符号化ビットストリーム３１０に結合された符号化ビットストリーム１１０の復号処理の制御を行う。また、第１制御部２３１は、ＤＰＢリスト１４１ｂ及びビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ｂと、ビュー間参照用フレームメモリマッピングリスト１４４とをもとに、符号化ビットストリーム３１０に結合された符号化ビットストリーム１１１の復号処理の制御を行う。
図２６は、第１制御部２３１の処理を示す図である。
図２６のように、第１制御部２３１は、ベースビューであるＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス情報１１３をビュー間参照用シンタックス情報リスト１４３に格納する。また、第１制御部２３１は、ノンベースビューであるＲ側符号化ビットストリーム１１１の復号時には、ビュー間参照用シンタックス情報リスト１４３を取得する。
本実施の形態の画像復号装置１００Ｅに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態６の画像復号装置１００Ｅについて、その動作を説明する。
本実施の形態の画像復号装置１００Ｅは、次のように動作することで符号化ビットストリーム３１０の復号処理を行う。
まず、Ｌ側のピクチャの復号処理について説明する。
第１制御部２３１は、以下の処理ステップで、復号部３２１を制御し、符号化ビットストリーム３１０に結合されたＬ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
図２７は、画像復号装置１００ＥによるＬ側の復号処理のフローチャートである。
まず、第１制御部２３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ３０１）。
次に、第１制御部２３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ３０２）。
次に、第１制御部２３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部２３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ３０３）。
次に、第１制御部２３１は、上記ステップＳ３０１〜Ｓ３０３で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを設定し、復号部３２１を起動する（Ｓ３０４）。
次に、復号部３２１は、ステップＳ３０４で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ３０４で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部２３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ３０５）。
次に、第１制御部２３１は、ステップＳ３０５で復号処理が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ３０６）。
次に、第１制御部２３１は、ステップＳ３０４で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ３０６で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ３０７）。
次に、第１制御部２３１は、ステップＳ３０７におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部２３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ３０８）。
次に、第１制御部２３１は、ステップＳ３０６で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ３０９）。
次に、第１制御部２３１は、ステップＳ３０１で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ３１０）。
また、第１制御部２３１は、入力される符号化ビットストリームがＲ側符号化ビットストリームのデータであれば、次に、Ｒ側の復号処理を開始する。
次に、Ｒ側のピクチャの復号処理について説明する。
上記ステップＳ４０１〜Ｓ４１０の後、第１制御部２３１は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＲ側符号化ビットストリーム１１１の復号処理を行う。
図２８は、画像復号装置１００ＥによるＲ側の復号処理のフローチャートである。
まず、第１制御部２３１は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ４０１）。
次に、第１制御部２３１は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ４０２）。
次に、第１制御部２３１は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ４０３）。
次に、第１制御部２３１は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ４０４）。
次に、第１制御部２３１は、フレームメモリマッピングリスト１４２ｂを取得する。また、第１制御部２３１は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ４０５）。
次に、第１制御部２３１は、ステップＳ４０２、Ｓ４０３、Ｓ４０４及びＳ４０５で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部３２１に設定し、復号部３２１を起動する（Ｓ４０６）。
次に、復号部３２１は、ステップＳ４０６で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ４０６で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部２３１に当該ピクチャの復号処理が完了したことを通知する（Ｓ４０７）。
次に、第１制御部２３１は、ステップＳ４０７で復号が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ４０８）。
次に、第１制御部２３１は、ステップＳ４０７で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ４０９）。
次に、第１制御部２３１は、ステップＳ４０９におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部２３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ４１０）。
また、第１制御部２３１は、入力される符号化ビットストリームがＬ側符号化ビットストリームのデータであれば、次に、Ｌ側の復号処理を開始する。
なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係については実施の形態２と同様である。
このように、本発明の実施の形態６に係る画像復号装置１００Ｅは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
また、本発明の実施の形態６に係る画像復号装置１００Ｅは、１つの第１制御部２３１で符号化ビットストリーム１１０及び１１１の制御を行うことでビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｅは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
なお、本発明の実施の形態６に係る画像復号装置１００Ｅは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
また、本実施の形態で述べている第１制御部２３１は、実際はプロセッサを１個搭載してもよいし、論理的な１つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
（実施の形態７）
図２９は、本発明の実施の形態７に係る画像復号装置１００Ｆの構成を示すブロック図である。なお、図２５と同様の要素には同様の符号を付しており、重複する説明は省略する。
図２９は、本発明の実施の形態７に係る画像復号装置１００Ｆの構成を示すブロック図である。なお、図２５と同様の要素には同様の符号を付しており、重複する説明は省略する。
具体的には、図２９に示す画像復号装置１００Ｆは、管理情報格納部２４０の構成が、図２５に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図２５に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。言い換えると、管理情報格納部２４０の構成は、図２０に示す管理情報格納部２４０と同様である。
本実施の形態の画像復号装置１００Ｆに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４−ＭＶＣを用いて符号化されている。また、Ｈ．２６４−ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
上記のようにＨ．２６４規格及びＨ．２６４−ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態７の画像復号装置１００Ｆについて、その動作を説明する。
本実施の形態では、実施の形態３と同様に、フレームメモリ１７０は合計９枚のピクチャが格納できる領域を備えているものとする。
まず、本実施の形態の画像復号装置１００Ｆは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。第１制御部２３１は実施の形態６と同様に動作することで符号化ビットストリーム３１０の復号処理を行う。
なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係は図２２と同様である。
このように、本発明の実施の形態７に係る画像復号装置１００Ｆは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
また、本発明の実施の形態７に係る画像復号装置１００Ｆは、１つの第１制御部２３１で符号化ビットストリーム１１０及び１１１の制御を行うことでビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリームの参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｆは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
さらに、本発明の実施の形態７に係る画像復号装置１００Ｆは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリームとＲ側符号化ビットストリームで共通に管理することでフレームメモリ１７０の容量を削減することができる。よって、画像復号装置１００Ｆは、コストを下げることができる。
なお、本発明の実施の形態７に係る画像復号装置１００Ｆは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
また、本実施の形態で述べている第１制御部２３１は、実際はプロセッサを１個搭載してもよいし、論理的な１つのスレッドであってもよい。
また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
また、上記実施の形態１〜７に係る画像復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態１〜７に係る、画像復号装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態１〜７に係る、画像復号装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
また、上記画像復号装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像復号装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る画像復号装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
同様に、上記の画像復号装置による画像復号方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像復号方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る画像復号方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は、画像復号装置に適用でき、特に、Ｈ．２６４−ＭＶＣのような視点間予測を用いた符号化方式で圧縮された複数の符号化ビットストリームを用いる立体画像システムに有用である。例えば、本発明は、光ディスク再生装置、光ディスク記録装置、デジタルテレビジョン受信装置、ムービー装置及び携帯電話に有用である。
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、５００、６００ 画像復号装置
１１０、１１１、３１０ 符号化ビットストリーム
１１２ 出力画像信号
１１３ シンタックス情報
１１４ ＲＰＬ
１２０、２２０、３２０ 画像復号部
１２１ 第１復号部
１２２ 第２復号部
１２３ ヘッダ解析部
１２４ エントロピー復号部
１２５ 逆量子化部
１２６ 逆直交変換部
１２７ イントラ予測部
１２８ 動き補償部
１２９ デブロッキングフィルタ処理部
１３０、２３０ 制御部
１３１、２３１ 第１制御部
１３２ 第２制御部
１４０、２４０ 管理情報格納部
１４１ａ、１４１ｂ ＤＰＢリスト
１４２ａ、１４２ｂ、１４２ｃ フレームメモリマッピングリスト
１４３ ビュー間参照用シンタックス情報リスト
１４４ ビュー間参照用フレームメモリマッピングリスト
１５０ フレームメモリ管理部
１６０ 画像表示部
１７０ フレームメモリ
１８０ フラグ格納部
１９０ ストリーム結合部
２０１ インデックス
２０２ シンタックス情報
２０３ フレームメモリアドレス
２０４、２０４ａ、２０４ｂ ＤＰＢリストインデックス
２０５ ビュー間参照用シンタックス情報インデックス
２０６ 画像表示ステータス
２０７ 状態情報
２２１ 選択部
２２２、３２１ 復号部
５０２ 入力部
５０３ ヘッダ解析部
５０４ 復号制御部
５０５、５０６、５０７ 算術復号部
５０８、５０９、５１０ 記憶部
５１１、５１２、５１３ 画像復号部
６０１ ＶＢＶバッファ
６０２ 可変長復号器
６０３ 逆量子化器
６０４ ＩＤＣＴ器
６０５ 加算器
６０６ 画像メモリ
６０７ 動き補償予測器
６１１ 多重分離器
６１２、６１３、６１４ 信号切替器
６２１ 復号制御器
６２２ 表示制御器
６２３ スイッチ制御器
１１０、１１１、３１０ 符号化ビットストリーム
１１２ 出力画像信号
１１３ シンタックス情報
１１４ ＲＰＬ
１２０、２２０、３２０ 画像復号部
１２１ 第１復号部
１２２ 第２復号部
１２３ ヘッダ解析部
１２４ エントロピー復号部
１２５ 逆量子化部
１２６ 逆直交変換部
１２７ イントラ予測部
１２８ 動き補償部
１２９ デブロッキングフィルタ処理部
１３０、２３０ 制御部
１３１、２３１ 第１制御部
１３２ 第２制御部
１４０、２４０ 管理情報格納部
１４１ａ、１４１ｂ ＤＰＢリスト
１４２ａ、１４２ｂ、１４２ｃ フレームメモリマッピングリスト
１４３ ビュー間参照用シンタックス情報リスト
１４４ ビュー間参照用フレームメモリマッピングリスト
１５０ フレームメモリ管理部
１６０ 画像表示部
１７０ フレームメモリ
１８０ フラグ格納部
１９０ ストリーム結合部
２０１ インデックス
２０２ シンタックス情報
２０３ フレームメモリアドレス
２０４、２０４ａ、２０４ｂ ＤＰＢリストインデックス
２０５ ビュー間参照用シンタックス情報インデックス
２０６ 画像表示ステータス
２０７ 状態情報
２２１ 選択部
２２２、３２１ 復号部
５０２ 入力部
５０３ ヘッダ解析部
５０４ 復号制御部
５０５、５０６、５０７ 算術復号部
５０８、５０９、５１０ 記憶部
５１１、５１２、５１３ 画像復号部
６０１ ＶＢＶバッファ
６０２ 可変長復号器
６０３ 逆量子化器
６０４ ＩＤＣＴ器
６０５ 加算器
６０６ 画像メモリ
６０７ 動き補償予測器
６１１ 多重分離器
６１２、６１３、６１４ 信号切替器
６２１ 復号制御器
６２２ 表示制御器
６２３ スイッチ制御器
Claims (15)
- 第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置であって、
前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部と、
前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として格納するためのフレームメモリとを備え、
前記画像復号部は、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、
前記画像復号装置は、さらに、
前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納部と、
前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御部とを備える
画像復号装置。 - 前記第１管理情報は、
前記第１復号画像信号ごとに、前記第１符号化信号に含まれ、前記第１復号画像信号を特定するための第１シンタックス情報と、当該第１シンタックス情報に対応付けられた第１識別番号とを含む第１シンタックス情報リストと、
前記第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す第１マッピングリストとを含み、
前記制御部は、前記第１シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
前記第２管理情報は、
前記第２復号画像信号ごとに、前記第２符号化信号に含まれ、前記第２復号画像信号を特定するための第２シンタックス情報と、当該第２シンタックス情報に対応付けられた第２識別番号とを含む第２シンタックス情報リストと、
前記第２復号画像信号ごとに、前記第２識別番号と前記フレームメモリの領域との対応関係を示す第２マッピングリストとを含み、
前記制御部は、前記第２シンタックス情報リストを参照することにより、前記第２復号画像信号に対応する前記第２識別番号を取得し、前記第２マッピングリストを参照することにより、前記第２識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
請求項１記載の画像復号装置。 - 前記第１シンタックス情報及び第２シンタックス情報は、Ｈ．２６４規格で定義される復号ピクチャバッファ（ＤＰＢ）を更新する際に必要なシンタックス情報である
請求項２記載の画像復号装置。 - 前記第１シンタックス情報リストは、
前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点内参照用シンタックス情報リストと、
前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点間参照用シンタックス情報リストとを含み、
前記制御部は、
前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
請求項２記載の画像復号装置。 - 前記第１マッピングリストは、
前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点内参照用マッピングリストと、
前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点間参照用マッピングリストとを含み、
前記制御部は、
前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点内参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点間参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
請求項４記載の画像復号装置。 - 前記画像復号装置は、さらに、
前記フレームメモリに格納されている前記第１復号画像信号及び前記第２復号画像信号を外部に出力する画像表示部を備え、
前記第１マッピングリストは、さらに、前記第１復号画像信号ごとに、当該第１復号画像信号が前記画像表示部により外部に出力されたか否かを示す第１画像表示情報と、当該第１復号画像信号が前記参照画像として用いられるか否かを示す第１参照情報とを含み、
前記制御部は、前記第１画像表示情報により当該第１復号画像信号が外部に出力されたことが示され、かつ、前記第１参照情報により当該第１復号画像信号が前記参照画像として用いられないことが示される場合、当該第１復号画像信号が格納されている前記フレームメモリの領域に、前記画像復号部により新たに復号された第１復号画像信号を格納する
請求項２記載の画像復号装置。 - 前記画像復号部は、
前記第１符号化信号を復号することにより第１復号画像信号を生成する第１復号部と、
前記第２符号化信号を復号することにより第２復号画像信号を生成する第２復号部とを備え、
前記制御部は、
前記第１復号部及び前記第２復号部により、前記第１符号化信号及び前記第２符号化信号の予め定められた復号処理単位の復号処理が共に完了した後、前記第１復号部及び前記第２復号部に次の復号処理単位の復号処理を開始させる
請求項１記載の画像復号装置。 - 前記画像復号装置は、さらに、
第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、
前記制御部は、
前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、
前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、
前記第１制御部は、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記第１復号部に開始させ、
前記第２制御部は、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記第２復号部に開始させる
請求項７記載の画像復号装置。 - 前記画像復号部は、
前記第１符号化信号及び前記第２符号化信号の一方を選択する選択部と、
前記選択部により選択された前記第１符号化信号又は前記第２符号化信号を復号する復号部とを備え、
前記制御部は、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの一方の信号を選択させ、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの他方の信号を選択させる
請求項１記載の画像復号装置。 - 前記画像復号装置は、さらに、
第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、
前記制御部は、
前記復号部を制御するとともに、前記復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、
前記復号部を制御するとともに、前記復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、
前記第１制御部は、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記復号部に開始させ、
前記第２制御部は、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記復号部に開始させる
請求項９記載の画像復号装置。 - 前記画像復号装置は、さらに、
前記第１符号化信号と前記第２符号化信号とを予め定められた符号化単位ごとに交互に配置することにより１つの第３符号化信号を生成する結合部を備え、
前記画像復号部は、前記第３符号化信号に含まれる前記第１符号化信号及び前記第２符号化信号を前記符号化単位ごとに交互に復号する
請求項１記載の画像復号装置。 - 前記符号化単位は、フレーム単位、フィールド単位及びスライス単位のうちのいずれかである
請求項１１記載の画像復号装置。 - 前記結合部は、前記符号化単位の対応する前記第１符号化信号と前記第２符号化信号とのうち、前記符号化単位の前記第１符号化信号を配置した後に、当該第１符号化信号に対応する、前記符号化単位の前記第２符号化信号を配置することにより前記第３符号化信号を生成する
請求項１１記載の画像復号装置。 - 前記復号処理単位は、フレーム単位、フィールド単位、ヘッダ復号処理単位、及びスライス単位のうちのいずれかである
請求項７〜１０のいずれか１項に記載の画像復号装置。 - 第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号方法であって、
前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号ステップと、
前記第１復号画像信号及び前記第２復号画像信号を前記参照画像としてフレームメモリに格納する格納ステップとを含み、
前記画像復号ステップでは、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、
前記画像復号方法は、さらに、
前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納ステップと、
前記第１管理情報を参照して、前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を特定し、前記第１管理情報及び前記第２管理情報を参照して、前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を特定する制御ステップとを含む
画像復号方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009283354A JP5524594B2 (ja) | 2009-12-14 | 2009-12-14 | 画像復号装置及び画像復号方法 |
| PCT/JP2010/004081 WO2011074153A1 (ja) | 2009-12-14 | 2010-06-18 | 画像復号装置及び画像復号方法 |
| CN2010800561256A CN102783163A (zh) | 2009-12-14 | 2010-06-18 | 图像解码装置及图像解码方法 |
| US13/494,790 US20120257838A1 (en) | 2009-12-14 | 2012-06-12 | Image decoding apparatus and image decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009283354A JP5524594B2 (ja) | 2009-12-14 | 2009-12-14 | 画像復号装置及び画像復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011124950A JP2011124950A (ja) | 2011-06-23 |
| JP5524594B2 true JP5524594B2 (ja) | 2014-06-18 |
Family
ID=44166927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009283354A Expired - Fee Related JP5524594B2 (ja) | 2009-12-14 | 2009-12-14 | 画像復号装置及び画像復号方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120257838A1 (ja) |
| JP (1) | JP5524594B2 (ja) |
| CN (1) | CN102783163A (ja) |
| WO (1) | WO2011074153A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9635355B2 (en) | 2011-07-28 | 2017-04-25 | Qualcomm Incorporated | Multiview video coding |
| US9674525B2 (en) | 2011-07-28 | 2017-06-06 | Qualcomm Incorporated | Multiview video coding |
| US9131217B2 (en) * | 2011-12-09 | 2015-09-08 | Qualcomm Incorporated | Reference picture list modification for view synthesis reference pictures |
| US9258559B2 (en) | 2011-12-20 | 2016-02-09 | Qualcomm Incorporated | Reference picture list construction for multi-view and three-dimensional video coding |
| JPWO2014010192A1 (ja) * | 2012-07-09 | 2016-06-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| US9584804B2 (en) * | 2012-07-10 | 2017-02-28 | Qualcomm Incorporated | Coding SEI NAL units for video coding |
| US9398284B2 (en) | 2012-08-16 | 2016-07-19 | Qualcomm Incorporated | Constructing reference picture lists for multi-view or 3DV video coding |
| US20140205025A1 (en) * | 2013-01-22 | 2014-07-24 | Microsoft Corporation | Adaptive filter application to video data |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3234395B2 (ja) * | 1994-03-09 | 2001-12-04 | 三洋電機株式会社 | 立体動画像符号化装置 |
| JP2001186543A (ja) * | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | データ符号化装置及び復号化装置 |
| JP3992533B2 (ja) * | 2002-04-25 | 2007-10-17 | シャープ株式会社 | 立体視を可能とする立体動画像用のデータ復号装置 |
| JP2005303480A (ja) * | 2004-04-07 | 2005-10-27 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
| US20080002773A1 (en) * | 2006-06-26 | 2008-01-03 | Texas Instruments Incorporated | Video decoded picture buffer |
| JP4793366B2 (ja) * | 2006-10-13 | 2011-10-12 | 日本ビクター株式会社 | 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム |
| ES2492923T3 (es) * | 2006-10-16 | 2014-09-10 | Nokia Corporation | Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples |
| KR20090004659A (ko) * | 2007-07-02 | 2009-01-12 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
-
2009
- 2009-12-14 JP JP2009283354A patent/JP5524594B2/ja not_active Expired - Fee Related
-
2010
- 2010-06-18 CN CN2010800561256A patent/CN102783163A/zh active Pending
- 2010-06-18 WO PCT/JP2010/004081 patent/WO2011074153A1/ja active Application Filing
-
2012
- 2012-06-12 US US13/494,790 patent/US20120257838A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN102783163A (zh) | 2012-11-14 |
| US20120257838A1 (en) | 2012-10-11 |
| WO2011074153A1 (ja) | 2011-06-23 |
| JP2011124950A (ja) | 2011-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5524594B2 (ja) | 画像復号装置及び画像復号方法 | |
| US9621871B2 (en) | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus | |
| KR101904625B1 (ko) | 비디오 코딩에서 서브-디코딩된 픽처 버퍼 (서브-dpb) 기반의 dpb 동작들을 위한 시그널링 | |
| EP2786573B1 (en) | Sequence level information for multiview video coding (mvc) compatible three-dimensional video coding (3dvc) | |
| JP4823349B2 (ja) | 三次元映像復号装置及び三次元映像復号方法 | |
| US20140133556A1 (en) | Mpeg frame compatible video coding | |
| EP2491723A1 (en) | Method and arrangement for multi-view video compression | |
| JP2014522176A (ja) | マルチビュービデオコード化 | |
| JP2014526197A (ja) | マルチビュービデオコード化 | |
| CN110062245B (zh) | 三维视频编码的摄像机参数发信的方法和装置 | |
| JPWO2012111325A1 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム | |
| WO2012169204A1 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
| US20180302607A1 (en) | Image encoding method, image decoding method, image encoding device, and image decoding device | |
| US9025941B2 (en) | Data creation device and playback device for video picture in video stream | |
| JP2011077722A (ja) | 画像復号装置、画像復号方法およびそのプログラム | |
| EP2515539A1 (en) | Method for coding the occlusion images of a 3d video signal | |
| RU2649758C2 (ru) | Устройство и способ обработки изображения | |
| JP2012028960A (ja) | 画像復号装置、画像復号方法および画像復号プログラム | |
| JP2011071903A (ja) | 画像符号化装置、画像符号化方法およびそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140410 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5524594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |