WO2010032419A1 - 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム - Google Patents

Abstract

　復号が瞬時に完了されない場合であっても、ビュー間予測を用いて符号化された複数のビューを復号することができる画像復号装置を提供する。画像復号装置は、符号化された第１ビュー、および、第１ビューを参照して符号化された第２ビューを復号する復号処理部（１００）と、復号処理部（１００）の前段に配置されたバッファメモリ（９００）とを備え、復号処理部（１００）は、第１ビューおよび第２ビューに付与された復号時刻が同一の場合において、第２ビューに付与された復号時刻に第１ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に第２ビューのピクチャを復号する。

Description

画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム

　本発明は、ビュー間予測を用いて符号化された映像を復号する画像復号装置、ビュー間予測を用いて映像を符号化する画像符号化装置に関する。

　映画作品などの動画コンテンツを頒布するには、ＤＶＤおよびＢｌｕ－ｒａｙ　Ｄｉｓｃ等の光ディスクが広く用いられている。特にＢｌｕ－ｒａｙ　Ｄｉｓｃは、これまでのＤＶＤがＳＤ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ）であるのに対して、最大１９２０ｘ１０８０であるＨＤ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）まで扱えるため、より高画質の映像を格納することができる。光ディスクには、これまで通常の２Ｄ（２次元）映像が格納されてきたが、近年では立体表示を行える３Ｄ（３次元）映像を楽しめる映画館が増加していることに伴い、３Ｄ映像を高画質のまま光ディスクに格納することが求められてきている。

　３Ｄ映像が格納された光ディスクは、２Ｄ映像が格納された光ディスクのみを再生できる再生装置（以下、「２Ｄ再生装置」と呼ぶ。）との再生互換性が求められる。３Ｄ映像が格納された光ディスクを、２Ｄ再生装置が２Ｄ映像として再生できない場合、同じコンテンツに対して「３Ｄ映像用光ディスク」と「２Ｄ映像用光ディスク」の２種類を製作する必要があり、コスト高になってしまう。よって、３Ｄ映像が格納された光ディスクは、２Ｄ再生装置では２Ｄ映像として再生し、２Ｄ映像と３Ｄ映像を再生できる再生装置（以下、「２Ｄ／３Ｄ再生装置」と呼ぶ。）では、２Ｄ映像もしくは３Ｄ映像として再生できることが求められる。

　３Ｄ映像が格納された光ディスクで、再生互換性を確保するための光ディスクと再生装置の従来例としては、図３９に示すような方法が知られている。

　光ディスク１８０１には、左目用の画面が格納された左目用映像ストリームと右目用の画面が格納された右目用映像ストリームが多重化されて格納されている。左目用映像ストリームと右目用映像ストリームのフレームレートは同じで、再生表示時刻は交互になっている。例えば、各映像ストリームが１秒間に２４フレームのフレームレートの場合は、左目用映像ストリームと右目用映像ストリームが１／４８秒ごとに交互に表示されることになる。各映像ストリームは多重化され、光ディスク１８０１には１ＧＯＰ以上の画像情報の記録単位でインターリーブ、つまり交互にディスク上に配置されている。

　図３９では、ストリーム１８０２Ａ、ストリーム１８０２Ｂおよびストリーム１８０２Ｃに左目用映像ストリームが、ストリーム１８０３Ａ、ストリーム１８０３Ｂおよびストリーム１８０３Ｃに右目用映像ストリームが光ディスク１８０１上にインターリーブ配置される。左目用映像ストリームが配置されたストリーム１８０２Ａ、ストリーム１８０２Ｂおよびストリーム１８０２Ｃは、それぞれを順次再生した場合に、再生が途切れないように光ディスク１８０１のシーク性能および読み込み速度等を元に配置されている。

　光ディスク１８０１は、２Ｄ再生装置１８０４に装填されると、左目用映像ストリームであるストリーム１８０２Ａ、ストリーム１８０２Ｂおよびストリーム１８０２Ｃが再生され２Ｄ映像を出力する。

　一方で、光ディスク１８０１が３Ｄ映像を再生できる３Ｄ再生装置１８０５に装填された場合、または、光ディスク１８０１が２Ｄ／３Ｄ再生装置に装填され、ユーザが３Ｄ再生を選択した場合は、左目用映像ストリームと右目用映像ストリームがインターリーブブロック単位で交互に読み込まれる。つまり、ストリーム１８０２Ａ、ストリーム１８０３Ａ、ストリーム１８０２Ｂ、ストリーム１８０３Ｂ、ストリーム１８０２Ｃおよびストリーム１８０３Ｃの順で、ドライブのシークが発生しないように連続的に読み込まれる。

　読み込まれた映像ストリームは、左目用映像ストリームは左目用映像デコーダに、右目用映像ストリームは右目用映像デコーダに入力され、それぞれ両方のストリームを復号して左目画面および右目画面が交互にテレビに出力される。左目用映像ストリームと右目用映像ストリームの復号は同一のデコーダで実施してもよい。この出力画像は、１／４８秒毎に右目と左目のシャッタが切り替わる立体メガネ１８０６で見ると立体映像に見える。

　このような構成にすることで、３Ｄ映像が格納されたディスクが、２Ｄ再生装置で２Ｄ映像を再生し、３Ｄ再生装置または２Ｄ／３Ｄ再生装置では３Ｄ映像を再生することができる。この３Ｄ映像が格納された光ディスクでの再生互換性を確保するための技術についての先行技術としては、以下の特許文献１に記載されたものがある。

　ＩＳＯ／ＩＥＣ　ＭＰＥＧとＩＴＵ－Ｔ　ＶＣＥＧの共同プロジェクトであるＪｏｉｎｔ　Ｖｉｄｅｏ　Ｔｅａｍ（ＪＶＴ）は、２００８年７月にＭｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＭＶＣ）と呼ばれるＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の修正規格の策定を完了した。ＭＶＣは、複数視点（ビュー）の映像をまとめて符号化する規格であり、映像の時間方向の類似性だけでなくビュー間の類似性も予測符号化に利用することで、複数ビューの独立した圧縮に比べて圧縮効率を向上している。

　図４０は、２視点の場合の予測参照の例を示す図である。ベースビュー（以下、第１ビューと呼ぶ場合がある。）と呼ばれるビューからは他のビューを参照することが禁止されており、ベースビューは単独で復号することができるため、２Ｄ再生装置との親和性が高い。また、ＭＶＣの多重化方式についても、ＭＰＥＧ－２システム規格の追補版の規格化が進行中であり、以下の非特許文献１に記載されたドラフトが発行済である。

　非特許文献１では、ＭＶＣの映像ストリームをパケット多重化する方法、および、パケット多重化されたＭＶＣのデータを読み込み、逆多重化してＭＶＣのビットストリームを取り出し、デコーダに入力するまでの一連の動作を定めたシステム・ターゲット・デコーダなどについて規定している。

　規定に基づく再生装置は、システム・ターゲット・デコーダに規定されたサイズのバッファを備える。非特許文献１に記載の通り、バッファには、デコーダに近い順に、エレメンタリ・ストリーム・バッファ（ＥＢ）、マルチプレクシング・バッファ（ＭＢ）、および、トランスポート・バッファ（ＴＢ）が含まれる。以下、これらバッファを総称してＳＴＤ（Ｓｙｓｔｅｍ　Ｔａｒｇｅｔ　Ｄｅｃｏｄｅｒ）バッファと呼ぶ。規定に基づく再生装置は、規定されたデータの読み込みタイミングと読み込みレートに従って動作すれば、ＳＴＤバッファをオーバーフローおよびアンダーフローさせることなく、所定の復号時刻において各フレームを復号できると考えられている。

国際公開第９７／０３２４３７号

Ｔｅｘｔ　ｏｆ　ＩＳＯ／ＩＥＣ　１３８１８－１：２００７／ＦＰＤＡＭ　４　－　Ｔｒａｎｓｐｏｒｔ　ｏｆ　Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　ｏｖｅｒ　ＩＴＵ－Ｔ　Ｒｅｃ　Ｈ．２２２．０　｜　ＩＳＯ／ＩＥＣ　１３８１８－１

　従来例の課題を述べる。

　図３９の従来の再生装置において、ＭＶＣのようなビュー間の予測を使用する画像符号化方法を用いて２視点画像の符号化効率の向上を図る場合、ビュー間の予測に使用する第１ビューのフレームが、他方のビュー（以下、第２ビューと呼ぶ。）から参照される前に復号されている必要がある。これは、第１ビューと第２ビューの復号を同一のデコーダで実施する場合でも同様である。

　また、光ディスク１８０１に格納された従来の多重化ストリームにおいては、第１ビューと第２ビューに対して同一の復号時刻（デコーディング・タイム・スタンプ。以下、ＤＴＳと呼ぶ。）が付与されており、第１ビューの復号を瞬時に完了することを前提としていた。なお、ＤＴＳ、および、表示時刻（プレゼンテーション・タイム・スタンプ。以下、ＰＴＳと呼ぶ。）は、ＭＰＥＧ－２システム規格のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケットのヘッダ、ＭＶＣのビットストリーム内のパラメータ、あるいは、Ｂｌｕ－ｒａｙ　Ｄｉｓｃなどの応用規格において再生時に参照されるデータベース情報から取得できる。

　しかしながら、実際の再生装置において第１ビューの復号を瞬時に完了することは不可能であり、以下の課題があった。

　従来の再生装置では、ＤＴＳに基づいて各ビューの復号時刻を決定していたが、実際には、第１ビューの復号開始時刻において第２ビューの復号を開始できないため、第２ビューの復号時刻を決定できない。すなわち、複数のビューがビュー間予測を含む方法で符号化されている場合、付与されているＤＴＳに基づく復号時刻に復号できないという本質的な第１の課題があった。

　また、従来のシステム・ターゲット・デコーダでは、第１ビューの復号が瞬時に完了することを前提にＳＴＤバッファのサイズが規定されていたため、第１ビューの復号が瞬時に完了しない場合、その間に、ＳＴＤバッファがオーバーフローしてＳＴＤバッファにデータを読み込むことができず、後続フレームのデータがＤＴＳまでに揃わないという第２の課題があった。

　以下、第２の課題について、図４１および図４２を参照して説明する。図４１は復号が瞬時に完了するケース、図４２は第１ビューの復号にＴ＿ｄｅｃの時間を要するケースにおける、エレメンタリ・ストリーム・バッファの占有量を示す。

　図４１では、ＤＴＳ１、ＤＴＳ２およびＤＴＳ３において、それぞれ、フレーム１、フレーム２およびフレーム３の第１ビューと第２ビューのストリームデータが同時に引き抜かれて、瞬時に復号される。

　一方、図４２では、ＤＴＳ１においてフレーム１の第１ビューのストリームデータが、ＤＴＳ１からＴ＿ｄｅｃ遅れた時刻においてフレーム１の第２ビューのストリームデータが引き抜かれ、フレーム２以降も同様に処理される。このとき、エレメンタリ・ストリーム・バッファは、時刻Ｔｆｕｌｌにおいてオーバーフローしてしまい、時刻Ｔｆｕｌｌから第２ビューの復号時刻（ＤＴＳ１＋Ｔ＿ｄｅｃ）までの間、データが読み込めない。結果として、ＤＴＳ３においてフレーム３の第１ビューのデータが揃わず、エレメンタリ・ストリーム・バッファがアンダーフローしてしまう。

　本発明は、上記の課題を解決するものであり、復号が瞬時に完了されない場合であっても、ビュー間予測を用いて符号化された複数のビューを復号することができる画像復号装置、または、復号することができるようにビュー間予測を用いて複数のビューを符号化する画像符号化装置を提供することを目的とする。

　上記従来の課題を解決するために、本発明の画像復号装置は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューを有するビットストリームを復号する画像復号装置であって、符号化された第１ビューのビットストリーム、および、前記第１ビューを参照して符号化された第２ビューのビットストリームを復号する復号処理部と、前記復号処理部に入力されるビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、前記復号処理部は、前記第１ビューおよび前記第２ビューに付与された復号時刻が同一の場合において、前記第２ビューに付与された復号時刻に前記第１ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第２ビューのピクチャを復号する。

　これにより、第１ビューのピクチャが復号された後に、第１ビューのピクチャを参照して第２ビューのピクチャが復号される。よって、ビュー間予測を用いて符号化された複数のビューを復号することができる。

　また、前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、前記復号処理部は、前記複数のビューに含まれる各ビューのビットストリームを復号するときに、前記バッファメモリから、復号する前記各ビューのビットストリームを引き抜き、前記バッファメモリのサイズは、前記復号処理部が前記遅延時間を加算して得られた時刻に前記第２ビューのビットストリームを引き抜いた場合において、前記復号処理部が前記各ビューのビットストリームを引き抜くときに、前記バッファメモリがアンダーフローしない最小のサイズ以上であってもよい。

　これにより、復号遅延に起因するアンダーフローを起こすことなく、符号化されたデータが読み込まれる。したがって、画像復号装置は、より確実にデータを復号できる。

　また、前記バッファメモリのサイズは、前記各ビューに付与された復号時刻に前記各ビューのビットストリームが引き抜かれることを前提に定められる規定サイズに、前記遅延時間中において前記データ読み込みレートに従って読み込まれるビットストリームのサイズを加算したサイズ以上であってもよい。

　これにより、バッファメモリのサイズを定めることができる。

　また、前記復号処理部は、前記複数のビューのビットストリームを逐次復号し、前記バッファメモリのサイズは、前記複数のビューに含まれるビューの数をｎ、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をＴ、前記データ読み込みレートをＲ、および、前記規定サイズをＤとした場合、Ｄ＋Ｒ×Ｔ×（ｎ－１）以上のサイズであってもよい。

　これにより、複数のビューのビットストリームが逐次復号される場合において、より具体的に、バッファメモリのサイズが定められる。

　また、前記復号処理部は、前記複数のビューのビットストリームを並列に復号し、前記バッファメモリのサイズは、ビュー間予測により参照されるビューの階層の最大値をｍ、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をＴ、前記データ読み込みレートをＲ、および、前記規定サイズをＤとした場合、Ｄ＋Ｒ×Ｔ×（ｍ－１）以上のサイズであってもよい。

　これにより、複数のビューのビットストリームが並列に復号される場合において、より具体的に、バッファメモリのサイズが定められる。

　また、前記復号処理部は、さらに、前記複数のビューに含まれるピクチャを記憶するための外部メモリと、前記第１ビューのビットストリームを復号し、ビュー間予測に使用されるピクチャを前記外部メモリに記憶させる第１デコーダと、前記ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して、前記外部メモリからビュー間予測に使用されるピクチャを取得することにより、前記第２ビューのビットストリームを復号する第２デコーダとを備えてもよい。

　これにより、２つのデコーダを備える画像復号装置であっても、それぞれのデコーダは、ビュー間予測に用いられる参照画像を共有できる。

　また、前記バッファメモリには、前記遅延時間により読み込まれなかったビットストリームがある場合、前記ビットストリームに付与されたデータ読み込みレートよりも高速に前記ビットストリームが読み込まれてもよい。

　これにより、復号遅延が発生している間に読み込まれなかったデータが読み込まれる。したがって、画像復号装置は、より確実にデータを復号できる。

　また、前記復号処理部は、さらに、前記複数のビューに含まれるピクチャを記憶するための外部メモリと、前記第１ビューのビットストリームを復号し、ビュー間予測に使用されるピクチャを前記外部メモリに記憶させる第１デコーダと、前記ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して、前記外部メモリからビュー間予測に使用されるピクチャを取得することにより、前記第２ビューのビットストリームを復号する第２デコーダとを備えてもよい。

　これにより、２つのデコーダを備える画像復号装置であっても、それぞれのデコーダは、ビュー間予測に用いられる参照画像を共有できる。そして、このような共有は、高速にビットストリームが読み込まれる場合にも、適用されうる。

　また、本発明の画像符号化装置は、ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化装置であって、前記複数のビューを符号化し、前記複数のビューに同一の復号時刻を付与する符号化処理部と、符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるビューの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理部に符号化させるレート制御部とを備える画像符号化装置でもよい。

　これにより、複数のビューは、画像復号装置でアンダーフローしないように符号化される。

　また、前記レート制御部は、前記画像復号装置のバッファメモリのサイズが、符号化された前記複数のビューの数をｎ、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をＴ、符号化された前記複数のビューを読み込むときのデータ読み込みレートをＲ、および、前記規定サイズをＤとした場合、Ｄ－Ｒ×Ｔ×（ｎ－１）以下のサイズであるとして、符号化処理部に符号化させてもよい。

　これにより、より具体的に、符号化における制限を設けることができる。

　また、前記符号化処理部は、さらに、前記複数のビューに含まれるピクチャを記憶するための外部メモリと、前記複数のビューに含まれる第１ビューの符号化し、ビュー間予測に使用されるピクチャを外部メモリに記憶させる第１エンコーダと、前記ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して、前記外部メモリからビュー間予測に使用される前記第１ビューのピクチャを取得することにより、ビュー間予測を使用して前記複数のビューに含まれる第２ビューを符号化する第２エンコーダとを備えてもよい。

　これにより、２つのエンコーダを備える画像符号化装置であっても、それぞれのエンコーダは、ビュー間予測に用いられる参照画像を共有できる。

　また、本発明の画像復号方法は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューを有するビットストリームを復号する画像復号方法であって、符号化された第１ビューのビットストリーム、および、前記第１ビューを参照して符号化された第２ビューのビットストリームを復号する復号処理ステップと、前記復号処理ステップの前に、復号処理ステップに入力されるビットストリームを保持するデータ保持ステップとを含み、前記復号処理ステップでは、前記第１ビューおよび前記第２ビューに付与された復号時刻が同一の場合において、前記第２ビューに付与された復号時刻に前記第１ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第２ビューのピクチャを復号する画像復号方法でもよい。

　これにより、第１ビューのピクチャが復号された後に、第１ビューのピクチャを参照して第２ビューのピクチャが復号される。よって、ビュー間予測を用いて符号化された複数のビューを復号することができる。

　また、本発明の画像符号化方法は、ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化方法であって、前記複数のビューを符号化し、前記複数のビューに同一の復号時刻を付与する符号化処理ステップと、符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるビューの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理ステップに符号化させるレート制御ステップとを含む画像符号化方法でもよい。

　これにより、複数のビューは、画像復号装置でアンダーフローしないように符号化される。

　また、前記画像復号方法に含まれるステップをコンピュータに実行させるプログラムでもよい。

　これにより、前記画像復号方法がプログラムとして実現される。

　また、前記画像符号化方法に含まれるステップをコンピュータに実行させるプログラムでもよい。

　これにより、前記画像符号化方法がプログラムとして実現される。

　本発明により、復号が瞬時に完了されない場合であっても、ビュー間予測を含む方法で符号化されたビットストリームが復号される。

図１は、本発明の実施の形態１に係る３Ｄ画像復号装置のブロック図である。 図２は、本発明の実施の形態１における各ビューの実際の復号時刻および表示時刻の例を示す図である。 図３は、本発明の実施の形態１における各ビューの実際の復号時刻の決定方法を示すフローチャートである。 図４は、図３に示す各ビューの実際の復号時刻の決定方法の変形例を示すフローチャートである。 図５は、本発明の実施の形態１に係る３Ｄ画像復号装置における補償バッファの説明図である。 図６は、本発明の実施の形態１に係る補償バッファの効果を示す図である。 図７は、図５に示す補償バッファの配置の変形例を示す図である。 図８は、図５に示す補償バッファの配置の変形例を示す図である。 図９は、２つ以上のビューを有する場合の動作を説明する図である。 図１０は、高速読み込みの場合の動作を説明する図である。 図１１は、本発明の実施の形態１に係る構成要素を示す図である。 図１２は、本発明の実施の形態１に係る３Ｄ画像復号装置の変形例のブロック図である。 図１３は、本発明の実施の形態１の変形例における各ビューの実際の復号時刻および表示時刻の例を示す図である。 図１４は、本発明の実施の形態２に係る３Ｄ画像復号装置のブロック図である。 図１５は、本発明の実施の形態２における各ビューの実際の復号時刻および表示時刻の例を示す図である。 図１６は、図１５に示す各ビューの実際の復号時刻および表示時刻の変形例を示す図である。 図１７は、複数のビューの参照関係の例を示す図である。 図１８は、本発明の実施の形態３に係る３Ｄ画像符号化装置のブロック図である。 図１９は、本発明の実施の形態３に係る３Ｄ画像符号化装置の効果を示す図である。 図２０は、本発明の実施の形態３に係る３Ｄ画像符号化装置の変形例のブロック図である。 図２１は、本発明の実施の形態４に係る３Ｄ画像復号装置のブロック図である。 図２２は、２つのデコーダを備える３Ｄ画像復号装置で再生できるＰＴＳおよびＤＴＳの一例を示す図である。 図２３は、本発明の実施の形態４に係る３Ｄ画像符号化装置のブロック図である。 図２４は、図２２に示すＰＴＳおよびＤＴＳの決定方法の一例を示すフローチャートである。 図２５は、２つのデコーダを備える３Ｄ画像復号装置で再生できるＰＴＳおよびＤＴＳの一例を示す図である。 図２６は、図２５に示すＰＴＳおよびＤＴＳの決定方法の一例を示すフローチャートである。 図２７は、本発明の実施の形態４に係る３Ｄ画像復号装置の変形例のブロック図である。 図２８は、本発明の実施の形態４に係る３Ｄ画像復号装置の変形例のブロック図である。 図２９は、本発明の実施の形態５に係る３Ｄ画像復号装置のブロック図である。 図３０は、倍性能デコーダを備える３Ｄ画像復号装置で再生できるＰＴＳおよびＤＴＳの一例を示す図である。 図３１は、本発明の実施の形態５に係る３Ｄ画像符号化装置のブロック図である。 図３２は、図３０に示すＰＴＳおよびＤＴＳの決定方法の一例を示すフローチャートである。 図３３は、倍性能デコーダを備える３Ｄ画像復号装置で再生できるＰＴＳおよびＤＴＳの一例を示す図である。 図３４は、図３３に示すＰＴＳおよびＤＴＳの決定方法の一例を示すフローチャートである。 図３５は、本発明の実施の形態６に係る３Ｄ画像復号装置における復号処理切替え判定フローチャートである。 図３６は、本発明の実施の形態６に係る３Ｄ画像復号装置のブロック図である。 図３７は、本発明の実施の形態６に係る３Ｄ画像復号装置における復号処理切替え判定フローチャートである。 図３８は、本発明の実施の形態６に係る３Ｄ画像復号装置のブロック図である。 図３９は、従来の３Ｄ映像再生装置の説明図である。 図４０は、ＭＶＣにおける２視点画像符号化の予測参照の例を示す図である。 図４１は、３Ｄ画像再生時のバッファ管理を示す図である。 図４２は、３Ｄ画像再生時のバッファ管理の課題を示す図である。

　以下、本発明の実施の形態について、図面を参照しながら説明する。

　（実施の形態１）
　まず、本発明に係る実施の形態１について、図面を参照して説明する。

　図１は、実施の形態１の３Ｄ画像復号装置００１のブロック図である。図１の３Ｄ画像復号装置００１は、３Ｄ映像の片側ビューの映像を３Ｄ映像のフレームレートの２倍の速度で復号する能力を有するデコーダ１１２ｅを備える。そして、デコーダ１１２ｅは、第１ビューおよび第２ビューの両ビューを復号する。第２ビューは、第１ビューを参照して符号化されているため、３Ｄ画像復号装置００１は、第２ビューの復号中に第１ビューの復号画像を参照できるように構成されている。

　３Ｄ画像復号装置００１は、第１ビューの復号が瞬時に完了しない場合でも、各ビューを実際に復号する時刻において、各ビューのストリームデータを復号できる点で従来の再生装置と異なる。

　３Ｄ画像復号装置００１の動作について説明する。入力された多重化ビットストリーム１０１は、ＳＴＤバッファ９０２に入力される。そして、逆多重化されることにより、ビットストリームが分離される。その後、第１ビューについてのビットストリームはＤＴＳに従い、第２ビューについてのビットストリームは第１ビューの復号に要する時間を考慮した復号時刻（以下、ＤＴＳ＿ＭＯＤと呼ぶ。）に従ってデコーダ１１２ｅへと入力される。

　ここで、多重化方式としては、ＭＰＥＧ－２システムのトランスポート・ストリームを用いる。そして、逆多重化時、図示しない逆多重化手段によって、トランスポート・パケット列からＰＥＳパケットが分離され、ＰＥＳパケットのペイロードに格納されたビットストリームが取得される。

　なお、多重化方式は、ＭＰＥＧ－２システムのトランスポート・ストリームに限定されるものではない。例えば、多重化方式は、応用規格において機能拡張したトランスポート・ストリーム、あるいは、ＭＰＥＧで規定するＭＰ４ファイルフォーマット、更には、ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋ　Ｆｏｒｃｅ）で規定するＲＴＰ（Ｒｅａｌ　Ｔｉｍｅ　ｓｔｒｅａｍｉｎｇ　Ｐｒｏｔｏｃｏｌ）など、ネットワーク経由でのストリーミング配信で使用する方式であってもよい。

　デコーダ１１２ｅは、入力された多重化ビットストリーム１０１を復号し、ＰＴＳに従って復号画像を出力する。スイッチ９０３は、出力された画像を第１ビューの復号画像１１４および第２ビューの復号画像１１５に分離する。そして、分離された画像は、ビデオ出力インターフェース１１６を介して、３Ｄディスプレイ１１７に、３Ｄ画像として表示される。

　デコーダ１１２ｅは、復号処理において、画面間予測符号化で参照される復号済みのフレームを、外部メモリ１０９上の第１フレームメモリ１１０ｃおよび第２フレームメモリ１２１へコピーし、参照されなくなるまで第１フレームメモリ１１０ｃおよび第２フレームメモリ１２１に保持する。ここで、第１フレームメモリ１１０ｃには、第１ビューのフレームが格納され、第２フレームメモリ１２１には、第２ビューのフレームが格納される。

　各フレームメモリには複数のフレームが保持される。そのため、デコーダ１１２ｅは、第１フレームメモリ管理情報１０８ｇおよび第２フレームメモリ管理情報１２０を保持することにより、どの時刻のフレームが第１フレームメモリ１１０ｃおよび第２フレームメモリ１２１上のどの位置に保持されているかを管理する。

　ここで、第２ビューの符号化には、第１ビューのフレームを用いて予測するビュー間予測符号化が用いられている。そのため、デコーダ１１２ｅは、第２ビューの復号に、第１ビューの復号画像を参照する必要がある。そこで、デコーダ１１２ｅは、第１ビューのフレームの復号が終わる度に、第１フレームメモリ管理情報１０８ｇを更新する。そして、第２ビューの復号中も、第１フレームメモリ管理情報１０８ｇを保持する。デコーダ１１２ｅは、第１フレームメモリ管理情報１０８ｇに基づいて、第１フレームメモリ１１０ｃに保持された第１ビューの所望のフレームの復号画像を参照する。そして、デコーダ１１２ｅは、ビュー間予測符号化を含む符号化方式で符号化された第２ビューのビットストリームを復号する。

　なお、第１ビューのビットストリームは、他のビューを参照しておらず単独での復号が可能である。よって、デコーダ１１２ｅが第２ビューのビットストリームを読み飛ばすことで、３Ｄ画像復号装置００１は、２Ｄ画像復号装置としても使用することが可能である。

　また、デコーダ１１２ｅにおける第２ビューの復号処理において、ビットストリームＳｙｎｔａｘ異常など何らかの異常が検出された場合、ビットストリームのランダムアクセスポイント（飛び込み再生可能ポイント）などに到達することにより正常復号を再開できるまでの間、３Ｄ画像復号装置００１は、第１ビューの復号画像のみを表示してもよい。また、上記の異常が検出された場合、３Ｄ画像復号装置００１は、第１ビューの復号画像を第２ビューの復号画像として表示してもよい。このような表示等により、３Ｄ画像復号装置００１は、視聴者の不快感を軽減させることが可能である。

　また、デコーダ１１２ｅにおける第１ビューの復号処理において、ビットストリームＳｙｎｔａｘ異常など何らかの異常が検出された場合は、第１ビューを参照する第２ビューも正常に復号できなくなる。そのため、３Ｄ画像復号装置００１は、上位システムにデコーダ１１２ｅの異常を通知して、ビットストリームのランダムアクセスポイント（飛び込み再生可能ポイント）などに到達して正常復号を再開できるまでの間、第１ビューおよび第２ビュー共に最後に正常復号できたフレームを出力し続けてもよい。このような出力等により、３Ｄ画像復号装置００１は、視聴者の不快感を軽減させることが可能である。

　図２は、３Ｄ画像復号装置００１の復号処理における、各ビューのＰＴＳおよびＤＴＳの関係の一例を示す図である。図２の例においては、各ビューのフレームは、表示順でＩ、Ｂ、ＢおよびＰタイプ（Ｐタイプは一方向の予測のみを行う。Ｂタイプは双方向の予測を含む。）、符号化順でＩ、Ｐ、ＢおよびＢタイプとして符号化されている。ビュー間予測による第２ビューからの第１ビューの参照は、直前に表示される第１ビューのフレームのみである。また第１ビューおよび第２ビューは交互に表示される。

　本例では、第１ビューの先頭フレームＩ１がまず復号される。そして、第２ビューの先頭フレームＰ１は、第１ビューの先頭フレームＩ１を参照している。そのため、第１ビューの先頭フレームＩ１の復号が完了するまで、第２ビューの先頭フレームＰ１の復号が、開始できない。３Ｄ画像復号装置００１は、表示フレームレートの倍の速度のデコーダ１１２ｅを用いているため、第１ビューの先頭フレームＩ１の復号にフレーム周期Δｔ／２（Δｔ＝１／フレームレート）を要する。

　ここで、ＰＥＳパケットのヘッダ、および、ＭＶＣストリーム内のＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ　Ｒｅｆｅｒｅｎｃｅ　Ｄｅｃｏｄｅｒ）関連のパラメータ等から得られるＤＴＳ値は、第１ビューと第２ビューで同一である。そのため、第２ビューの先頭フレームＰ１の実際の復号時刻ＤＴＳ＿ＭＯＤは、第１ビューの先頭フレームＩ１のＤＴＳからΔｔ／２後と決定される。

　また、第１ビューのフレームＰ４は、第１ビューのフレームＩ１を予測で使用するため、本来は第１ビューのフレームＩ１の復号完了後に、第１ビューのフレームＰ４の復号が開始できる。しかしながら、３Ｄ画像復号装置００１においては、第１ビューと第２ビューの復号を１つのデコーダで実施するため、第２ビューのフレームＰ１と同時に復号できない。そこで、第１ビューのフレームＰ４のＤＴＳは、第２ビューのフレームＰ１のＤＴＳ＿ＭＯＤからΔｔ／２後となる。以降、第１ビューと第２ビューのフレームの復号がΔｔ／２間隔で交互に開始される。

　次に、ＰＴＳについて説明する。表示順に対して復号順が最も遅いのは第２ビューのＢフレームである。そのため、第２ビューのＢフレームを表示できる時刻を基準に、第１ビューおよび第２ビューのフレームのＰＴＳは、決定される。具体的には、第２ビューのフレームＢ２のＰＴＳは、デコーダ１１２ｅが１フレームの復号にΔｔ／２を要するため、ＤＴＳ＿ＭＯＤのΔｔ／２後となる。この時刻を基準にして、第１ビューの先頭フレームＩ１のＰＴＳは、ＤＴＳの３Δｔ／２後となり、第２ビューの先頭フレームＰ１のＰＴＳは、ＤＴＳ＿ＭＯＤの３Δｔ／２後となる。

　ここで、３Ｄ画像の表示方式としては、第１ビューと第２ビューを同時に表示する方式と、３Ｄ画像復号装置００１のように第１ビューと第２ビューを交互に表示する方式とがある。

　前者の方式への対応を想定すると、多重化ビットストリーム１０１において、第１ビューと第２ビューのＰＴＳが、同一値に設定されることが考えられる。このような多重化ストリームが３Ｄ画像復号装置００１に入力される場合、すなわち、ＰＥＳパケットのヘッダ、および、ＭＶＣストリーム内のＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ　Ｒｅｆｅｒｅｎｃｅ　Ｄｅｃｏｄｅｒ）関連のパラメータ等から得られるＰＴＳが第１ビューと第２ビューで同一である場合には、図２の例のように、第１ビューと第２ビューが交互に表示できるように第２ビューの実際のＰＴＳを決定してもよい。

　さらに、他の例として、ＰＥＳパケットのヘッダから取得できるＰＴＳは第１ビューのＰＴＳのみとし、第２ビューのＰＴＳは第１ビューのＰＴＳに基づいて決定することとして、第２ビューのＰＴＳをＰＥＳパケットのヘッダに格納しないことが考えられる。あるいは、ＰＥＳパケットのヘッダに格納される第２ビューのＰＴＳは、所定の値に固定することが考えられる。例えば、格納されるＰＴＳは常に０に固定し、実際のＰＴＳは第１ビューのＰＴＳに基づいて決定することも考えられる。このような場合でも、図２の例のように、第１ビューと第２ビューが交互に表示できるように第２ビューの実際のＰＴＳを決定してもよい。

　図３は、３Ｄ画像復号装置００１において第１ビューと第２ビューの復号時刻を決定する動作を示すフローチャートである。

　まず、デコーダ１１２ｅは、ＰＥＳパケットヘッダにおいて示される各ビューのＤＴＳを取得する（Ｓ１０００）。ここで、ＰＥＳパケットヘッダには全フレームのビューについてのＤＴＳが必ずしも格納されない。そのため、ＰＥＳパケットヘッダにＤＴＳが示されない場合は、デコーダ１１２ｅは、別途取得したフレームレート情報等からＤＴＳを決定してもよい。また、ＰＥＳパケットに格納されたＭＶＣストリームのＨＲＤ関連情報からＤＴＳを決定してもよい。

　次に、デコーダ１１２ｅは、処理対象が第１ビューであるかどうか判定する（Ｓ１００１）。ここで、第１ビューであれば（Ｓ１００１でＹｅｓ）、デコーダ１１２ｅは、取得されたＤＴＳに基づいて復号を開始すると決定する（Ｓ１００２）。一方、第１ビューでなければ（Ｓ１００１でＮｏ）、デコーダ１１２ｅは、第１ビューの復号に要する時間を考慮して、ＤＴＳにフレーム周期Δｔの１／２の時間を加算して第２ビューの復号時刻ＤＴＳ＿ＭＯＤを決定する（Ｓ１００３）。

　図４は、図３の動作の変形例を示すフローチャートである。

　この例において、デコーダ１１２ｅは、処理対象が第１ビューであるかどうか判定する（Ｓ１００１）。ここで、第１ビューでない場合（Ｓ１００１でＮｏ）、デコーダ１１２ｅは、ＤＴＳ変更用の補助情報を参照して、ＤＴＳの加算値ＤＴＳ＿ＤＥＬＴＡを取得する（Ｓ１００４）。次に、デコーダ１１２ｅは、ＤＴＳにＤＴＳ＿ＤＥＬＴＡを加算して、第２ビューの復号時刻ＤＴＳ＿ＭＯＤを決定する（Ｓ１００５）。

　ＤＴＳ＿ＤＥＬＴＡは、例えば、ＭＶＣストリーム内の補助情報格納用のデータ格納単位を用いて、ランダムアクセス単位の先頭毎など所定の位置において伝送可能である。ここで、第１ビューと第２ビューのデータを合わせて１つのアクセスユニットが定義される場合、補助情報格納用の格納単位、および、画素データ格納用の格納単位などの格納単位の種類に応じて、アクセスユニット内での配置順が制限されることがある。

　このとき、アクセスユニットを作成する際に格納単位の並び替えが起こらないように、補助情報格納用の格納単位を配置してもよい。例えば、補助情報用の格納単位は、画素データ用の格納単位の前に配置する必要がある場合がある。このとき、補助情報を第２ビューのデータとして格納すると、第１ビューと第２ビューのデータを結合した際に、補助情報が第１ビューの画素データの後となってしまい、格納単位の並び替えが発生する。従って、予め補助情報を第１ビューのデータとして、第１ビューの画素データの前に配置しておいてもよい。

　また、ＭＰＥＧ－２システム規格におけるトランスポート・ストリーム内（例えば、デスクリプタなどを用いることができる。）、または、Ｂｌｕ－ｒａｙ　Ｄｉｓｃなどの応用規格において再生時に参照されるデータベース情報内に、ＤＴＳ＿ＤＥＬＴＡを示す補助情報を格納してもよい。また、補助情報は、ＤＴＳ＿ＤＥＬＴＡの絶対値を示すものであってもよいし、フレーム間隔またはその他の基準時間間隔の整数倍、あるいは、整数分の１倍、など、ＤＴＳ＿ＤＥＬＴＡの値を間接的に示してもよい。更には、ＤＴＳ＿ＭＯＤを補助情報として伝送してもよい。なお、第２ビューの実際のＰＴＳを決定するための補助情報も、同様にして伝送可能である。

　上記では、２つのビューから構成されるストリームの３Ｄ表示を想定したが、３つ以上のビューから２つのビューを選択して、復号および表示するような場合には、複数ビューから２つのビューを選択するステップを追加すればよい。

　また、３Ｄ表示ではなく、複数のビューを切り替えながら、あるいは、同時に画面を分割して表示するという用途も想定される。これらのケースでも、単独で復号できる第１ビューを基準として、後続ビューのＤＴＳ＿ＭＯＤを決定する。例えば、３つのビューを表示する場合、フレーム周期Δｔの１／３の時間で各ビューの復号を完了できるとすると、第２ビューのＤＴＳ＿ＭＯＤは、ＤＴＳ＋（１／３）×Δｔ、第３ビューのＤＴＳ＿ＭＯＤは、ＤＴＳ＋（２／３）×Δｔと決定できる。

　なお、ここで説明されたフレームには、フレームを構成するフィールドも含まれる。そして、本方法は、プログレッシブ映像と共に、インタレース映像にも適用できる。

　次に、３Ｄ画像復号装置００１が備えるＳＴＤバッファ９０２について説明する。従来の再生装置について、上記第２の課題で述べたように、３Ｄ画像復号装置００１が第１ビューの復号に要する時間を考慮して第２ビューの復号時刻を決定する場合、第１ビューの復号期間に第２ビューのビットストリームデータをデコーダ１１２ｅが読み込めない。したがって、ＳＴＤバッファ９０２がオーバーフローしてしまう。そして、結果として、後続フレームデータがＤＴＳまでに揃わないという課題が発生する。

　従って、３Ｄ画像復号装置００１では、第１ビューの復号期間に第２ビューのビットストリームデータの読み込みが停止することに起因するＳＴＤバッファのオーバーフローを回避するために、従来のシステム・ターゲット・デコーダで規定していたＳＴＤバッファに加えて、補償バッファを新規に備える。

　図５は、３Ｄ画像復号装置００１のＳＴＤバッファ９０２の構成を示す図である。図示しない制御部により、入力された多重化ビットストリーム１０１は、まず、トランスポート・バッファ９０２ａに入力され、トランスポート・パケットからＰＥＳパケットが分離された後、マルチプレクシング・バッファ９０２ｂに入力される。続いて、ＰＥＳパケットのペイロードから取得されたビットストリームデータは、エレメンタリ・ストリーム・バッファ９０２ｃに入力される。ＳＴＤバッファ９０２は、ビットストリームデータを格納するバッファとして、エレメンタリ・ストリーム・バッファ９０２ｃに加えて、補償バッファ９０２ｄを備える。

　図５の例では、エレメンタリ・ストリーム・バッファ９０２ｃと補償バッファ９０２ｄを分けて示したが、両者の役割は共に、ＰＥＳパケットのペイロードから分離したビットストリームデータを格納することである。したがって、ＳＴＤバッファ９０２は、これら２つのバッファのサイズを加算したサイズを持つ単一のバッファを、ビットストリームデータ格納用のバッファとして備えてもよい。

　そして、エレメンタリ・ストリーム・バッファ９０２ｃおよび補償バッファ９０２ｄのいずれかのバッファから、第１ビューと第２ビューの復号時刻に従って、それぞれのビューのビットストリームデータが、デコーダ１１２ｅへと入力される。

　図６は、図４２に例示した従来の再生装置において課題が発生するビットストリームデータを、３Ｄ画像復号装置００１では、ＳＴＤバッファ９０２のオーバーフローおよびアンダーフローを発生させることなく復号できることを示す図である。図６のグラフ内の実線と点線は、それぞれ３Ｄ画像復号装置００１と従来の再生装置におけるバッファ占有量の遷移を示す。従来の再生装置では時刻Ｔ１においてオーバーフローしていたが、ＳＴＤバッファ９０２では、補償バッファ９０２ｄを備えたことにより、オーバーフローが発生せずビットストリームデータを継続して読み込むことができる。その結果、フレーム３の第１ビューのデータは、ＤＴＳ３において揃っており、３Ｄ画像復号装置００１は、途切れることのない連続した復号を実現できる。

　図７および図８は、第１ビューと第２ビューのデータを別チャネルで処理する際の、ＳＴＤバッファ９０２の変形例を示す図である。

　まず、図７について説明する。多重化ビットストリーム１０１は、スイッチ９１３により、ＰＩＤ（Ｐａｃｋｅｔ　Ｉｎｄｉｃａｔｏｒ）などのトランスポート・ストリーム・パケットの識別情報に基づいて、第１ビューのパケット１０１ｂと第２ビューのパケット１０１ｅに分離される。第１ビューのみ再生する場合には、スイッチ９１３において、第１ビューのトランスポート・パケットのみを選択し、第２ビューのトランスポート・パケットは破棄する。

　第１ビューのパケットは、トランスポート・バッファ９０２１ａ、マルチプレクシング・バッファ９０２１ｂおよびエレメンタリ・ストリーム・バッファ９０２１ｃを通る。第２ビューのパケットは、トランスポート・バッファ９０２２ａ、マルチプレクシング・バッファ９０２２ｂ、エレメンタリ・ストリーム・バッファ９０２２ｃ、および、補償バッファ９０２２ｄを通る。第１ビューと第２ビューのビットストリームデータは、それぞれの復号時刻に従ってスイッチ９１４を介してデコーダ１１２ｅに入力される。

　図７に示されたＳＴＤバッファ９０２は、第１ビューについて、従来のＳＴＤバッファと互換性のある構成を備える。そして、第２ビューに対応する補償バッファ９０２２ｄを備える。このような構成により、２つのビューの復号に起因するＳＴＤバッファの課題が解決される。

　図８に示されたＳＴＤバッファ９０２は、補償バッファ９０２２ｄをスイッチ９１４の後段に備える。なお、ビュー数が３つ以上であっても、図７および図８に示された変形例と同様に、スイッチ９１３とスイッチ９１４がビューの選択をすることにより、ＳＴＤバッファ９０２は、各ビューを別チャネルで処理することができる。さらに、図７と同様の構成とする際には、補償バッファは、第２ビューと第３ビュー以降のビューで共用してもよい。

　次に、補償バッファ９０２２ｄのサイズについて説明する。

　まず、マルチプレクシング・バッファからエレメンタリ・ストリーム・バッファへのデータの流入レートの最大値をＲｉｎとした場合、最大流入レートＲｉｎに、第１ビューの復号時間（フレーム周期Δｔの１／２に等しい）を乗じて得られるデータ量ＤＡＴＡ＿ＩＮが、第１ビューの復号期間内にエレメンタリ・ストリーム・バッファ９０２ｃに流入されうる。このときの計算式を式１に示す。

　ＤＡＴＡ＿ＩＮ　＝　（１／２）×Δｔ×Ｒｉｎ　（式１）

　最大流入レートＲｉｎは、非特許文献１で規定されるように、多重化ビットストリーム１０１におけるＭＶＣストリームの最大ビットレート、あるいは、ＭＶＣストリームが属するレベルにおいて規定された最大レートに基づいて決定される。ここでレベルとは、ビットレート、バッファサイズ、画像サイズおよびフレームレート等のパラメータ上限値を規定する情報であり、レベル毎にパラメータ上限値が異なる。また、レベルおよびＭＶＣストリームのビットレートなどの情報は、ＭＶＣのビットストリーム内に符号化できるため、３Ｄ画像復号装置００１は、これら情報を取得して、最大流入レートＲｉｎを決定できる。但し、ＤＡＴＡ＿ＩＮの上限値は、エレメンタリ・ストリーム・バッファのサイズＥＢ＿ＳＩＺＥにより制限される。

　さらに、図４２の例などで示されたエレメンタリ・ストリーム・バッファのオーバーフローは、第１ビューの復号時刻において第２ビューのデータを引き抜けないことに起因する。従って、補償バッファのサイズは、第２ビューのデータサイズの上限値（以下、Ｖｉｅｗ２＿ＭＡＸと呼ぶ。）以上であればよい。そして、Ｖｉｅｗ２＿ＭＡＸの値はＭＶＣなどの符号化規格により規定されている。例えば、各ビュー画像において、原画像と符号化画像とのビット量の比は、ＭｉｎＣＲ（Ｍｉｎｉｍｕｍ　Ｃｏｍｐｒｅｓｓｉｏｎ　Ｒａｔｉｏ）と呼ばれるパラメータにより規定されている。そして、ＭｉｎＣＲが２であれば、符号化画像のデータサイズは、原画像のビット量の１／２以下に制限される。原画像のデータサイズは、画像サイズや色差情報のサンプリング方法などに基づいて決定できる。なお、全ビューの合計データサイズの上限値に基づいてＶｉｅｗ２＿ＭＡＸを決定してもよい。

　以上より、ＤＡＴＡ＿ＩＮ、ＥＢ＿ＳＩＺＥおよびＶｉｅｗ２＿ＭＡＸの３つのパラメータ値のうち、サイズが最小となるパラメータ値（以下、ＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥと呼ぶ。）を補償バッファのサイズとしてもよい。または、単に３つのパラメータ値のうち、いずれかを選択して、補償バッファのサイズとしてもよい。このように設定した補償バッファのサイズはワーストケースを仮定して決定したものである。実際のビットストリームにおいて必要な補償バッファのサイズは、ＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥ以下となり、その値は符号化条件に依存して変動する。

　従って、３Ｄ画像符号化装置は、ビットストリームの符号化時に、各ビューの復号に要する時間を設定し、設定した時間に基づいて実際に必要な補償バッファのサイズを決定し、決定したサイズを示す情報をビットストリーム内のパラメータ情報として符号化してもよい。３Ｄ画像復号装置では、このパラメータ情報を取得して、補償バッファのサイズを決定し、確保できる。

　なお、各ビューの復号に要する時間として設定した値も、パラメータ情報として含めてもよい。さらに、３Ｄ画像符号化装置は、各ビューの復号に要する時間として複数の候補を想定し、各々の候補に対応した補償バッファのサイズをパラメータ情報に含めることも可能である。このとき、３Ｄ画像復号装置では、自身の処理速度に対応する候補を選択し、補償バッファのサイズを決定する。

　図５に示された補償バッファ９０２ｄは、ビットストリーム格納用のバッファである。これにより、ＰＥＳパケットのオーバーヘッドを含むマルチプレクシング・バッファ、あるいは、ＰＥＳパケットに加えてトランスポート・パケットのオーバーヘッドを含むトランスポート・バッファの段階で補償バッファを設けるよりも、バッファサイズを削減できる。

　一方で、例えば、エレメンタリ・ストリーム・バッファを内蔵したデコーダを再生装置に組み込む場合において、エレメンタリ・ストリーム・バッファの段階で補償バッファを設けることができない場合がある。その場合、補償バッファをマルチプレクシング・バッファなどと同一の段階に設けても良い。このとき、マルチプレクシング・バッファではビットストリームがＰＥＳパケット化された状態で格納されるため、補償バッファのサイズは、ＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥに、ＰＥＳパケットのヘッダ、および、その他の多重化に係るオーバーヘッドを加えた値とする。オーバーヘッドのサイズは、マルチプレクシング・バッファに保持されるデータにおいて、オーバーヘッドが占める割合を規定し、その規定に基づいて決定できる。

　なお、補償バッファのサイズは、ＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥ以上の任意の値に設定してもよい。このように定められる補償バッファをＳＴＤバッファに加えることにより、課題が解決される。

　図９は、２つ以上のビューの復号する際のＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥの決定方法を説明する図である。ここで、２つ以上のビューの復号が必要なケースとは、復号したビュー全てを表示する場合だけでなく、例えば、１０個のビューから２つのビューを選択して表示する場合に、選択したビューが他の２つのビューを参照しており、結果として４つのビューの復号が必要となる場合なども含む。

　図９は、４つのビューを復号する際のエレメンタリ・ストリーム・バッファの占有量の遷移を示している。１番目のビューＶｉｅｗ１から３番目のビューＶｉｅｗ３までの符号量が小さいため、各ビューの復号中に、それぞれ、時刻Ｔｆｕｌｌ１、時刻Ｔｆｕｌｌ２、時刻Ｔｆｕｌｌ３においてバッファがオーバーフローしている。そして、ビットストリームデータが入力されなくなっている。

　各ビューの復号には、それぞれフレーム周期Δｔの１／４だけ時間がかかるとすると、１番目から３番目のビューの復号に起因してバッファへ入力できなくなるデータサイズの最大値は、（３／４）×Ｒｉｎとなる。この値がＤＡＴＡ＿ＩＮに相当する。

　なお、同様に、ビューの数をｎ、および、各ビューに含まれる各フレームの復号に要する時間の最大値をＴｍａｘとした場合、ＤＡＴＡ＿ＩＮに相当する値は、式２によって得られる。

　ＤＡＴＡ＿ＩＮ　＝　Ｒｉｎ×Ｔｍａｘ×（ｎ－１）　　　（式２）

　そして、Ｖｉｅｗ２＿ＭＡＸに相当する値は、Ｖｉｅｗ２からＶｉｅｗ４までの３つのビューのデータサイズ上限値の和とする。最後に、ＥＢ＿ＳＩＺＥを含めた３種類の値を比較してＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥを決定してもよい。または、単に３つのパラメータ値のうち、いずれかを選択して、補償バッファのサイズとしても良い。このように定められる補償バッファをＳＴＤバッファに加えることにより、課題が解決される。

　しかしながら、本方法では、復号するビューの数の増加に伴い補償バッファのサイズが増加する可能性がある。そこで、補償バッファのサイズを、例えば、ビューのデータサイズの上限値の２倍などに制限し、符号化時に、３Ｄ画像符号化装置が制限値を満たすように符号化してもよい。

　なお、最大流入レートを上げることにより、補償バッファを不要とすることもできる。第２ビューの復号期間内に、エレメンタリ・ストリーム・バッファには、ＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥ分のデータが、追加で読み込まれるようにするとよい。例えば、第２ビューの復号期間内は、データ読み込みレートをＲｉｎ＋ＣＯＭＰ＿ＢＵＦ＿ＳＩＺＥ／（Δｔ／２）として、データが読み込まれるようにする。あるいは、簡略化して、Ｒｉｎの２倍のレートで読み込まれるようにしてもよい。

　図１０は、図４２と同一のビットストリームを復号する際の動作例を示す図である。グラフ内の実線が本方法の動作を示し、点線が従来の再生装置の動作を示す。フレーム１の第２ビューの復号期間内では、Ｒｉｎよりも高速にデータが読み込まれるため、ＤＴＳ３において、フレーム３の第１ビューのデータが揃っている。図１０の動作のように、第１ビューの復号期間内において、エレメンタリ・ストリーム・バッファがオーバーフローした場合にのみ、第２ビューの復号期間内において、データが高速に読み込まれるようにしてもよい。

　図１１は、実施の形態１における３Ｄ画像復号装置の特徴的な構成要素を示す図である。実施の形態１における３Ｄ画像復号装置は、ＳＴＤバッファ９０２等により実装されるバッファメモリ９００、および、デコーダ１１２ｅ等により実装される復号処理部１００を備える。

　バッファメモリ９００は、復号処理部１００に入力されるビットストリームを保持する。そして、復号処理部１００は、第１ビューのビットストリームおよび第２ビューのビットストリームを復号する。ここで、復号処理部１００は、第１ビューのフレームを復号した後に、復号したフレームを参照して、第２ビューのフレームを復号する。これにより、ビュー間予測を用いて符号化された複数のビューが復号される。

　さらに、バッファメモリ９００のサイズを大きくすること、あるいは、高速にデータがバッファメモリ９００に読み込まれるようにすることにより、より確実に、ビュー間予測を用いて符号化された複数のビューが復号される。

　図１２は、本発明の実施の形態１に係る３Ｄ画像復号装置のブロック図であって、図１で示された３Ｄ画像復号装置００１の変形例を示す図である。

　図１で示された３Ｄ画像復号装置００１に加えて、第１ビューの復号画像の経路に、遅延バッファ９０４が設けられている。これにより、第１ビューの表示タイミングを調整することができる。

　図１３は、図１２で示された３Ｄ画像復号装置００１における各ビューの実際の復号時刻および表示時刻の例を示す図である。図２で示された復号時刻および表示時刻と比較して、第１ビューと第２ビューが同一時刻に表示されるように調整されている。図１２で示された３Ｄ画像復号装置００１は、このように、遅延バッファ９０４により、第１ビューと第２ビューを同一時刻に表示することができる。

　以上のように、実施の形態１における３Ｄ画像復号装置００１は、復号が瞬時に完了されない場合であっても、ビュー間予測を用いて符号化された複数のビューを復号することができる。また、適切なバッファメモリのサイズ、または、高速読み込みにより、より確実に、ビュー間予測を用いて符号化された複数のビューが復号される。

　（実施の形態２）
　次に、実施の形態２について説明する。実施の形態２における３Ｄ画像復号装置は、２つのデコーダを備える。そして、各デコーダは、それぞれ表示フレームレートと同じ速度で復号する。

　図１４は、本発明の実施の形態２に係る３Ｄ画像復号装置のブロック図である。図１４に示された３Ｄ画像復号装置００１は、図７に示されたＳＴＤバッファ９０２と同様のＳＴＤバッファ９０２を備える。そして、ＳＴＤバッファ９０２は、図７に示されたスイッチ９１４を介することなく、２つのデコーダに接続される。第１デコーダ１０７ａは、第１ビューを復号し、第２デコーダ１１２ａは、第２ビューを復号する。

　第１デコーダ１０７ａは、復号されたフレームを外部メモリ１０９の第１フレームメモリ１１０ａにコピーし、フレームの位置を示す第１フレームメモリ管理情報１０８ａを外部メモリ１０９の第１フレームメモリ管理情報１０８ｂにコピーする。

　第２デコーダ１１２ａは、外部メモリ１０９の第１フレームメモリ管理情報１０８ｂを第２デコーダ１１２ａの第１フレームメモリ管理情報１０８ｃにコピーする。そして、第２デコーダ１１２ａは、第１フレームメモリ管理情報１０８ｃを参照することにより、第１ビューのフレームを参照して、第２ビューを復号する。また、第２デコーダ１１２ａは、画面間予測に利用するため、復号されたフレームを外部メモリ１０９の第２フレームメモリ１１１にコピーし、フレームの位置を示す第２フレームメモリ管理情報１１３を保持する。

　復号されたフレームである第１ビューの復号画像１１４および第２ビューの復号画像１１５は、ビデオ出力インターフェース１１６を介して、３Ｄディスプレイ１１７に表示される。ここで、第１ビューの経路には、遅延バッファ９０４が配置される。これにより、第１ビューの表示タイミングが調整される。

　図１５は、図１４に示された３Ｄ画像復号装置００１における各ビューの実際の復号時刻および表示時刻の例を示す図である。

　図１４で示された３Ｄ画像復号装置００１は、２つのデコーダを備えるため、２つのビューを並列に復号できる。したがって、交互に復号する必要はない。一方、図１４で示された３Ｄ画像復号装置００１では、フレーム周期Δｔと同じ時間の復号遅延が発生する。そして、第２ビューのフレームは、第１ビューのフレームを参照しているため、第１ビューのフレームが復号された後に、復号される。結果として、第２ビューのフレームは、フレーム周期Δｔの時間分遅れて、第１ビューのフレームと同時に復号される。

　図１６は、図１４に示された３Ｄ画像復号装置００１における各ビューの実際の復号時刻および表示時刻の例を示す図であって、図１５で示された例とは異なる例を示す図である。

　図１６に示された復号時刻および表示時刻は、図１５に示された復号時刻および表示時刻と比較して、第１ビューと第２ビューが同一時刻に表示されるように調整されている。図１４で示された３Ｄ画像復号装置００１は、このように、遅延バッファ９０４により、第１ビューと第２ビューを同一時刻に表示することもできる。

　なお、実施の形態２における３Ｄ画像復号装置００１は、２つのデコーダを備えるが、３以上のデコーダを備えてもよい。また、この場合、３Ｄ画像復号装置００１では、ビュー間予測を用いて符号化された複数のビューを復号するときに、参照されるビューの階層分の遅延が発生する。

　図１７は、５つのビューにおけるビュー間予測の参照関係の例を示す図である。階層２のビューは、階層１のビューを参照し、階層３のビューは、階層２を参照する。この場合、同じＤＴＳが付与されたフレームであっても、２つ分のフレームの復号遅延が発生する。つまり、複数のビューに含まれるビューの数よりも少ない、参照されるビューの階層の数に応じた遅延期間が発生する。

　したがって、最大流入レートをＲｉｎ、各フレームの復号に要する時間の最大値をＴｍａｘ、および、ビュー間予測により参照されるビューの階層の最大値をｍとした場合に、遅延期間中に読み込まれるデータ量であるＤＡＴＡ＿ＩＮに相当する値は、式３によって得られる。

　ＤＡＴＡ＿ＩＮ　＝　Ｒｉｎ×Ｔｍａｘ×（ｍ－１）　　　（式３）

　このように定められる補償バッファをＳＴＤバッファに加えてもよい。

　以上のように、実施の形態２における３Ｄ画像復号装置００１は、複数のデコーダを備える場合であっても、ビュー間予測に用いられる参照画像を共有することにより、ビュー間予測を用いて符号化された複数のビューを復号することができる。

　（実施の形態３）
　次に、実施の形態３について説明する。実施の形態３における３Ｄ画像符号化装置は、３Ｄ画像復号装置において復号遅延が発生する場合であっても、復号できるように符号化する。

　図１８は、本発明の実施の形態３に係る３Ｄ画像符号化装置のブロック図である。第１ビューの画像６０１および第２ビューの画像６１１は、スイッチ７０１を介して、符号化処理部２００のエンコーダ６０７ｂに入力される。ここで、第２ビューの画像６１１は、フレームバッファ６２１を経由して入力されるものとしてもよい。これにより、符号化処理部２００は、第１ビューの画像６０１の符号化完了まで、第２ビューの画像６１１の符号化開始を遅らせるができる。

　エンコーダ６０７ｂは、第１ビューおよび第２ビューを符号化する。また、エンコーダ６０７ｂは、画面間予測に使用する第１ビューおよび第２ビューのフレームを局所復号して、それぞれ、外部メモリ６０４の第１フレームメモリ６０５ｂおよび第２フレームメモリ６０６にコピーする。さらに、フレームの位置を示す第１フレームメモリ管理情報６０３ｄおよび第２フレームメモリ管理情報６０８を保持する。そして、エンコーダ６０７ｂは、第１フレームメモリ管理情報６０３ｄを用いて、第１フレームメモリ６０５ｂを参照することにより、第２ビューを符号化する。

　レート制御部２０１は、符号化されたビットストリームが３Ｄ画像復号装置に所定の割合で読み込まれるように、エンコーダ６０７ｂに符号化させる。例えば、圧縮率、フレームレートおよび画素数などを調整する。これにより、３Ｄ画像復号装置におけるオーバーフローの発生が抑制される。

　そして、符号化された第１ビューおよび第２ビューは、多重化ビットストリーム１０１として、システムエンコーダ６１０を介して出力される。

　図１９は、本発明の実施の形態３に係る３Ｄ画像符号化装置の効果を示す図である。

　図１８に示された３Ｄ画像符号化装置は、図１９で示された想定サイズのエレメンタリ・ストリーム・バッファが、３Ｄ画像復号装置に備えられていると想定して符号化する。すなわち、３Ｄ画像符号化装置は、実際に３Ｄ画像復号装置に備えられているエレメンタリ・ストリーム・バッファのサイズから、復号遅延が発生している間に読み込まれるビットストリームのサイズを減算して得られた結果を制限値として、符号化する。これにより、復号遅延が発生している間も、確実にビットストリームが読み込まれる。

　なお、復号遅延が発生している間に読み込まれるビットストリームのサイズは、実施の形態１において示されたＤＡＴＡ＿ＩＮと同様であって、例えば、実施の形態１における式２により得られる。符号化するときの制限値は、復号が瞬時に完了することを想定して定められる規定サイズから、復号遅延が発生している間に読み込まれるビットストリームのサイズを減算して得られる値とすることができる。

　図２０は、本発明の実施の形態３の変形例に係る３Ｄ画像符号化装置のブロック図である。図２０に示された３Ｄ画像符号化装置は、第１エンコーダ６０２ａおよび第２エンコーダ６０７ａの２つのエンコーダを備える。また、３Ｄ画像符号化装置は、第１エンコーダ６０２ａおよび第２エンコーダ６０７ａに接続されたレート制御部２０２を備える。

　２つのエンコーダは、図１４に示された２つのデコーダと同様に、フレームを共有する。すなわち、第１エンコーダ６０２ａは、第１ビューのフレームを符号化した後、局所復号することにより、第１ビューのフレームを第１フレームメモリ６０５ａに格納する。そして、フレームの位置を示す第１フレームメモリ管理情報６０３ａを第１フレームメモリ管理情報６０３ｂにコピーする。第２エンコーダ６０７ａは、第１フレームメモリ管理情報６０３ｂを第１フレームメモリ管理情報６０３ｃにコピーする。そして、第１フレームメモリ管理情報６０３ｃを参照することにより、第１ビューのフレームを参照し、ビュー間予測を用いて、第２ビューを符号化する。

　レート制御部２０２は、図１８におけるレート制御部２０１と同様に、符号化の制御を行う。すなわち、レート制御部２０２は、符号化されたビットストリームが３Ｄ画像復号装置に所定の割合で読み込まれるように、第１エンコーダ６０２ａおよび第２エンコーダ６０７ａに符号化させる。そして、２つのエンコーダにより符号化されたビットストリームは、スイッチ６０９を介して出力される。

　このように構成することにより、２つのエンコーダを備える３Ｄ画像符号化装置であっても、３Ｄ画像復号装置に読み込まれるビットストリームのサイズを制限することができる。さらに、ビュー間予測を用いる画像を共有することにより、効率的に符号化できる。

　なお、図１８に示された３Ｄ画像符号化装置と同様に、第２ビューの画像６１１は、フレームバッファ６２１を経由して入力されるものとしてもよい。これにより、符号化処理部２００は、第１ビューの画像６０１の符号化完了まで、第２ビューの画像６１１の符号化開始を遅らせることができる。

　さらに、第１エンコーダ６０２ａにより符号化された第１ビューのビットストリーム１０３は、ストリームバッファ６２２を介して出力されるものとしてもよい。これにより、第１ビューのビットストリーム１０３は、第２ビューの同一時刻におけるフレームの符号化が完了したタイミングで重畳される。よって、同一時刻のフレームが同一のタイミングで重畳される。

　以上のように、実施の形態３における３Ｄ画像符号化装置は、ビュー間予測を用いて、画像復号装置でアンダーフローしないように、複数のビューを符号化する。また、複数のエンコーダを備える場合であっても、ビュー間予測に用いる参照画像を共有することにより、ビュー間予測を用いて、複数のビューを符号化することができる。

　（実施の形態４）
　次に、本発明に係る画像符号化方法および画像復号方法を用いる実施の形態４について、図面を参照して説明する。実施の形態４では、ＤＴＳおよびＰＴＳの値は、それぞれのビューに対して異なる値を設定することができることを前提としている。なお、規格によりＤＴＳおよびＰＴＳが、それぞれ同一の値に設定される場合であっても、実際に復号および表示される時刻として、実施の形態４で示されるＤＴＳおよびＰＴＳを用いてもよい。

　図２１は、実施の形態４の３Ｄ画像復号装置のブロック図である。図２１の３Ｄ画像復号装置は、３Ｄ映像の片側ビューの映像を３Ｄ映像のフレームレートと同じ速度で復号する能力を有する２つのデコーダとして、第１デコーダ１０７ａおよび第２デコーダ１１２ａを備える。そして、第１デコーダ１０７ａは、第１ビューを復号し、第２デコーダ１１２ａは、第２ビューを復号する。第２ビューは、第１ビューを参照して符号化されているため、第２デコーダ１１２ａは、第１ビューの復号画像を参照できるように構成されている。

　図２１の３Ｄ画像復号装置の動作について説明する。入力された多重化ビットストリーム１０１は、スイッチ１０２において、第１ビューのビットストリーム１０３と第２ビューのビットストリーム１０４に分離される。そして、分離された各ビットストリームは、それぞれ第１入力バッファ１０５または第２入力バッファ１０６に入力される。さらに、入力された各ビットストリームは、ＤＴＳに従って第１デコーダ１０７ａまたは第２デコーダ１１２ａへと入力される。

　第１デコーダ１０７ａおよび第２デコーダ１１２ａでは、それぞれ、入力された第１ビューのビットストリーム１０３および第２ビューのビットストリーム１０４を復号する。そして、各デコーダは、ＰＴＳに従って第１ビューの復号画像１１４または第２ビューの復号画像１１５を出力する。各復号画像は、ビデオ出力インターフェース１１６を介して３Ｄディスプレイ１１７にて３Ｄ画像として、表示される。

　第１デコーダ１０７ａおよび第２デコーダ１１２ａは、復号処理において、画面間予測符号化で参照される復号済みのフレームを、外部メモリ１０９上の第１フレームメモリ１１０ａまたは第２フレームメモリ１１１へコピーする。そして、コピーされたフレームは、参照されなくなるまで第１フレームメモリ１１０ａおよび第２フレームメモリ１１１に保持される。

　各フレームメモリには複数のフレームが保持されるため、第１デコーダ１０７ａおよび第２デコーダ１１２ａは、それぞれ、第１フレームメモリ管理情報１０８ａおよび第２フレームメモリ管理情報１１３を保持することにより、どの時刻のフレームが第１フレームメモリ１１０ａまたは第２フレームメモリ１１１上のどの位置に保持されているかを管理する。

　ここで、第２ビューの符号化には、第１ビューのフレームを用いて予測するビュー間予測符号化が用いられている。そのため、第２デコーダ１１２ａは、第２ビューの復号に、第１ビューの復号画像を参照する必要がある。そこで、第１デコーダ１０７ａは、フレームの復号が終わる度に、第１フレームメモリ管理情報１０８ａを外部メモリ１０９上に第１フレームメモリ管理情報１０８ｂとしてコピーする。そして、第２デコーダ１１２ａは、フレームの復号開始前に、第１フレームメモリ管理情報１０８ｂを内部にコピーし、第１フレームメモリ管理情報１０８ｃとして保持する。

　第２デコーダ１１２ａは、第１フレームメモリ管理情報１０８ｃに基づいて、第１フレームメモリ１１０ａに保持された第１ビューの所望のフレームの復号画像を参照する。そして、第２デコーダ１１２ａは、ビュー間予測符号化を含む符号化方式で符号化された第２ビューのビットストリーム１０４を復号する。

　なお、第１ビューのビットストリーム１０３は、他のビューを参照しておらず単独での復号が可能である。よって、実施の形態４における３Ｄ画像復号装置は、第１デコーダ１０７ａのみを動作させ、第２デコーダ１１２ａを動作させないことで、２Ｄ画像復号装置としても使用することが可能である。

　また、第２デコーダ１１２ａにおける第２ビューの復号処理において、ビットストリームＳｙｎｔａｘ異常など何らかの異常が検出された場合、３Ｄ画像復号装置は、上位システムに第２デコーダ１１２ａの異常を通知してもよい。そして、３Ｄ画像復号装置は、ビットストリームのランダムアクセスポイント（飛び込み再生可能ポイント）などに到達することにより正常復号を再開できるまでの間、第１ビューの復号画像のみを表示してもよい。また、第１ビューの復号画像を第２ビューの復号画像として表示してもよい。このような表示等により、視聴者の不快感を軽減させることが可能である。

　また、第１デコーダ１０７ａにおける第１ビューの復号処理において、ビットストリームＳｙｎｔａｘ異常など何らかの異常が検出された場合は、第１ビューを参照する第２ビューも正常に復号できなくなる。そのため、３Ｄ画像復号装置は、上位システムに第１デコーダ１０７ａの異常を通知してもよい。そして、３Ｄ画像復号装置は、ビットストリームのランダムアクセスポイント（飛び込み再生可能ポイント）などに到達することにより正常復号を再開できるまでの間、第１ビューおよび第２ビュー共に最後に正常復号できたフレームを出力し続けてもよい。このような出力等により、視聴者の不快感を軽減させることが可能である。

　図２２は、図２１の３Ｄ画像復号装置の復号処理における、各ビューのＰＴＳおよびＤＴＳの関係の一例を示す図である。図２２の例においては、各ビューのフレームは、表示順でＩ、Ｂ、ＢおよびＰタイプ（Ｐタイプは一方向の予測のみを行う。Ｂタイプは双方向の予測を含む。）、符号化順でＩ、Ｐ、ＢおよびＢタイプとして符号化されている。ビュー間予測による第２ビューからの第１ビューの参照は、直前に表示される第１ビューのフレームのみとしている。また第１ビューおよび第２ビューは交互に表示される。

　本例では、第１ビューの先頭フレームＩ１がまず復号される。そして、第２ビューの先頭フレームＰ１は、第１ビューの先頭フレームＩ１を参照している。そのため、第１ビューの先頭フレームＩ１の復号が完了するまで、第２ビューの先頭フレームＰ１の復号が、開始できない。

　図２１の３Ｄ画像復号装置では、表示フレームレートと同じ速度の第１デコーダ１０７ａを用いている。そのため、第１ビューの先頭フレームＩ１の復号にはフレーム周期Δｔ（＝１／フレームレート）を要する。従って、第２ビューの先頭フレームＰ１のＤＴＳは、第１ビューの先頭フレームＩ１のＤＴＳからΔｔ後となる。第１ビューのフレームＰ４は、第１ビューのフレームＩ１を予測で使用する。そのため、第１ビューのフレームＩ１の復号完了後に復号を開始できる。

　図２１の３Ｄ画像復号装置においては、第１ビューと第２ビューの復号は別々のデコーダで実施する。そのため、第１ビューのフレームＰ４は、第２ビューのフレームＰ１と同時に復号できる。よって、第１ビューのフレームＰ４のＤＴＳは、第２ビューのフレームＰ１のＤＴＳと同じとなる。以降、第１ビューと第２ビューのフレームＢ２とＰ４、Ｂ３とＢ２、Ｐ７とＢ３、そして、Ｂ５とＰ７の順に、Δｔ間隔で、２つのビューのフレームの復号が同時に開始される。

　次に、ＰＴＳについて説明する。表示順に対して復号順が最も遅いのは第２ビューのＢフレームである。そのため、第２ビューのＢフレームを表示できる時刻を基準に、第１ビューおよび第２ビューのフレームのＰＴＳは、決定される。具体的には、第２ビューのフレームＢ２のＰＴＳは、１フレームの復号にΔｔを要するため、ＤＴＳのΔｔ後となる。この時刻を基準にして、第１ビューの先頭フレームＩ１のＰＴＳは、ＤＴＳの５Δｔ／２後となり、第２ビューの先頭フレームＰ１のＰＴＳは、ＤＴＳの２Δｔ後となる。

　図２３は、図２１の３Ｄ画像復号装置で復号可能なビットストリームを作成する３Ｄ画像符号化装置の一例である。図２３の３Ｄ画像符号化装置は、３Ｄ映像の片側ビューの映像を３Ｄ映像のフレームレートと同じ速度で符号化する能力を有する２つのエンコーダとして、第１エンコーダ６０２ａおよび第２エンコーダ６０７ａを備える。第１エンコーダ６０２ａは、第１ビューを符号化し、第２エンコーダ６０７ａは、第２ビューを符号化する。第１ビューを参照して第２ビューを符号化するため、第２エンコーダ６０７ａは、第１ビューの局所復号画像を参照できるように構成されている。

　局所復号画像を参照するための構成は、図２１で示された３Ｄ画像復号装置と同様である。すなわち、第２エンコーダ６０７ａは、第１フレームメモリ管理情報６０３ｃに基づいて、第１フレームメモリ６０５ａに保持された第１ビューの所望のフレームの局所復号画像を参照する。そして、第２エンコーダ６０７ａは、ビュー間予測符号化を含む符号化方式で第２ビューの画像６１１を符号化する。

　図２４は、図２３の３Ｄ画像符号化装置のシステムエンコーダ６１０において、図２２に示す符号化順に従って、第１ビューのフレームと第２ビューのフレームとを交互に、ＤＴＳおよびＰＴＳを付与する手順を示すフローチャートである。図２３の３Ｄ画像符号化装置において、図２４のフローチャートに従ってＤＴＳおよびＰＴＳを付与することにより、図２２に示すＤＴＳおよびＰＴＳを付与することができる。これにより、図２１の３Ｄ画像復号装置において途切れることなく３Ｄ映像を再生できるビットストリームを作成することができる。作成されたビットストリームは、光ディスクやハードディスクに記録して持ち運ぶことができる。さらに、無線ＬＡＮおよび光ファイバなどの通信手段を介して遠隔地へ伝送することができる。

　図２５は、図２１の３Ｄ画像復号装置の復号処理における、各ビューのＰＴＳおよびＤＴＳの関係の一例を示す図である。図２２とは、第１ビューおよび第２ビューが同時に表示される点が異なる以外は共通である。

　図２６は、図２３の３Ｄ画像符号化装置のシステムエンコーダ６１０において、図２５に示す符号化順に従って第１ビューと第２ビューのフレームに対して交互にＤＴＳおよびＰＴＳを付与する手順を示すフローチャートである。図２３の３Ｄ画像符号化装置において、図２６のフローチャートに従ってＤＴＳおよびＰＴＳを付与することにより、図２５に示すＤＴＳおよびＰＴＳを付与することができる。これにより、図２１の３Ｄ画像復号装置において途切れることなく３Ｄ映像を再生できるビットストリームを作成することができる。

　図２７は、図２１の３Ｄ画像復号装置の第１の変形例を示す図である。第２ビューを復号する第２デコーダ１１２ｂは、第１ビューを復号する第１デコーダ１０７ｂの第１フレームメモリ管理情報１０８ｄを直接参照できるように構成されている。この構成により、外部メモリ１０９上および第２デコーダ１１２ｂ内に第１ビューのフレームメモリ管理情報を保持する領域の確保が不要となり、回路面積を削減することが可能となる。

　図２８は、図２１の３Ｄ画像復号装置の第２の変形例を示す図である。第２ビューを復号する第２デコーダ１１２ｃは、第１ビューを復号する第１デコーダ１０７ｃの第１フレームメモリ管理情報１０８ａの管理手順をエミュレートすることにより、第１フレームメモリ管理情報１０８ａと一致する第１フレームメモリ管理情報１０８ｅを保持するように構成されている。第２デコーダ１１２ｃにおいて、管理手順のエミュレートに必要な第１ビューのヘッダ情報（フレームの符号化タイプおよび時間情報など）は、多重化ビットストリーム１０１作成時に第２ビューのビットストリーム内に埋め込んでもよい。あるいは、図２８の３Ｄ画像復号装置の上位システムから第２デコーダ１１２ｃへ通知するなどの手段により、ヘッダ情報が第２デコーダ１１２ｃへ通知されるようにしてもよい。

　以上のように、実施の形態４における３Ｄ画像符号化装置は、複数のエンコーダを備える場合であっても、ビュー間予測に用いる参照画像を共有することにより、ビュー間予測を用いて、複数のビューを符号化することができる。また、実施の形態４における３Ｄ画像復号装置は、複数のデコーダを備える場合であっても、ビュー間予測に用いられる参照画像を共有することにより、ビュー間予測を用いて符号化された複数のビューを復号することができる。

　（実施の形態５）
　本発明に係る画像符号化方法および画像復号方法を用いる実施の形態５について、図面を参照して説明する。実施の形態５では、ＤＴＳおよびＰＴＳの値は、それぞれのビューに対して異なる値を設定することができることを前提としている。なお、規格によりＤＴＳおよびＰＴＳが、それぞれ同一の値に設定される場合であっても、実際に復号および表示される時刻として、実施の形態５で示されるＤＴＳおよびＰＴＳを用いてもよい。

　図２９は、実施の形態５の３Ｄ画像復号装置のブロック図である。図２９の３Ｄ画像復号装置は、３Ｄ映像の片側ビューの映像を３Ｄ映像のフレームレートの２倍の速度で復号する能力を有するデコーダ１１２ｄを備える。デコーダ１１２ｄは、第１ビューおよび第２ビューの両ビューを復号する。第２ビューは、第１ビューを参照して符号化されているため、図２９の３Ｄ画像復号装置は、第２ビューの復号中に第１ビューの復号画像を参照できるように構成されている。

　図２９の３Ｄ画像復号装置の動作について説明する。入力された多重化ビットストリーム１０１は、入力バッファ９０１に入力され、ＤＴＳに従ってデコーダ１１２ｄへと入力される。デコーダ１１２ｄでは、入力された多重化ビットストリーム１０１を復号し、ＰＴＳに従って復号画像を出力する。スイッチ９０３は、出力されたビットストリームを第１ビューの復号画像１１４および第２ビューの復号画像１１５に分離する。各復号画像は、ビデオ出力インターフェース１１６を介して３Ｄディスプレイ１１７にて３Ｄ画像として、表示される。

　デコーダ１１２ｄは、復号処理において、画面間予測符号化で参照される復号済みのフレームを、外部メモリ１０９上の第１フレームメモリ１１０ｂおよび第２フレームメモリ１１１へコピーする。そして、コピーされたフレームは、参照されなくなるまで第１フレームメモリ１１０ｂおよび第２フレームメモリ１１１に保持される。フレームメモリには複数のフレームが保持されるため、デコーダ１１２ｄは、第１フレームメモリ管理情報１０８ｆおよび第２フレームメモリ管理情報１１３を保持し、どの時刻のフレームが第１フレームメモリ１１０ｂおよび第２フレームメモリ１１１上のどの位置に保持されているかを管理する。

　ここで、第２ビューの符号化には、第１ビューのフレームを用いて予測するビュー間予測符号化が用いられている。そのため、デコーダ１１２ｄは、第２ビューの復号に、第１ビューの復号画像を参照する必要がある。そこで、デコーダ１１２ｄは、第１ビューのフレームの復号が終わる度に、第１フレームメモリ管理情報１０８ｆを更新する。そして、第２ビューの復号中も、第１フレームメモリ管理情報１０８ｆを保持する。デコーダ１１２ｄは、第１フレームメモリ管理情報１０８ｆに基づいて、第１フレームメモリ１１０ｂに保持された第１ビューの所望のフレームの復号画像を参照する。そして、デコーダ１１２ｄは、ビュー間予測符号化を含む符号化方式で符号化された第２ビューのビットストリームを復号する。

　なお、第１ビューのビットストリームは、他のビューを参照しておらず単独での復号が可能である。よって、デコーダ１１２ｄが第２ビューのビットストリームを読み飛ばすことで、３Ｄ画像復号装置は、２Ｄ画像復号装置としても使用することが可能である。

　また、デコーダ１１２ｄにおける第２ビューの復号処理において、ビットストリームＳｙｎｔａｘ異常など何らかの異常が検出された場合は、ビットストリームのランダムアクセスポイント（飛び込み再生可能ポイント）などに到達することにより正常復号を再開できるまでの間、３Ｄ画像復号装置は、第１ビューの復号画像のみを表示してもよい。また、第１ビューの復号画像を第２ビューの復号画像として表示してもよい。このような表示等により、視聴者の不快感を軽減させることが可能である。

　また、デコーダ１１２ｄにおける第１ビューの復号処理において、ビットストリームＳｙｎｔａｘ異常など何らかの異常が検出された場合は、第１ビューを参照する第２ビューも正常に復号できなくなる。そのため、３Ｄ画像復号装置は、上位システムにデコーダ１１２ｄの異常を通知して、ビットストリームのランダムアクセスポイント（飛び込み再生可能ポイント）などに到達して正常復号を再開できるまでの間、第１ビューおよび第２ビュー共に最後に正常復号できたフレームを出力し続けてもよい。このような出力等により、視聴者の不快感を軽減させることが可能である。

　図３０は、図２９の３Ｄ画像復号装置の復号処理における、各ビューのＰＴＳおよびＤＴＳの関係の一例を示す図である。図３０の例においては、各ビューのフレームは、表示順でＩ、Ｂ、ＢおよびＰタイプ（Ｐタイプは一方向の予測のみを行う。Ｂタイプは双方向の予測を含む。）、符号化順でＩ、Ｐ、ＢおよびＢタイプとして符号化されている。ビュー間予測による第２ビューからの第１ビューの参照は、直前に表示される第１ビューのフレームのみである。また第１ビューおよび第２ビューは交互に表示される。

　本例では、第１ビューの先頭フレームＩ１がまず復号される。そして、第２ビューの先頭フレームＰ１は、第１ビューの先頭フレームＩ１を参照している。そのため、第１ビューの先頭フレームＩ１の復号が完了するまで、第２ビューの先頭フレームＰ１の復号が開始できない。図２９の３Ｄ画像復号装置は、表示フレームレートの倍の速度のデコーダ１１２ｄを用いているため、第１ビューの先頭フレームＩ１の復号にはフレーム周期Δｔ／２（Δｔ＝１／フレームレート）を要する。

　従って、第２ビューの先頭フレームＰ１のＤＴＳは、第１ビューの先頭フレームＩ１のＤＴＳからΔｔ／２後となる。第１ビューのフレームＰ４は、第１ビューのフレームＩ１を予測で使用するため、本来は第１ビューのフレームＩ１の復号完了後に復号を開始できる。しかしながら、図２９の３Ｄ画像復号装置においては、第１ビューと第２ビューの復号を１つのデコーダで実施するため、第２ビューのフレームＰ１と同時に復号できない。そこで、第１ビューのフレームＰ４のＤＴＳは、第２ビューのフレームＰ１のＤＴＳからΔｔ／２後となる。以降、第１ビューと第２ビューのフレームがΔｔ／２間隔で交互に復号が開始される。

　次に、ＰＴＳについて説明する。表示順に対して復号順が最も遅いのは第２ビューのＢフレームである。そのため、第２ビューのＢフレームを表示できる時刻を基準に、第１ビューおよび第２ビューのフレームのＰＴＳは、決定される。具体的には、第２ビューのフレームＢ２のＰＴＳは、１フレームの復号にΔｔ／２を要するため、ＤＴＳのΔｔ／２後となる。この時刻を基準にして、第１ビューの先頭フレームＩ１のＰＴＳは、ＤＴＳの３Δｔ／２後となり、第２ビューの先頭フレームＰ１のＰＴＳは、ＤＴＳの２Δｔ後となる。

　図３１は、図２９の３Ｄ画像復号装置で復号可能なビットストリームを作成する３Ｄ画像符号化装置の一例である。図３１の３Ｄ画像符号化装置は、３Ｄ映像の片側ビューの映像を３Ｄ映像のフレームレートの倍の速度で符号化する能力を有するエンコーダ６０７ｂを備える。エンコーダ６０７ｂは、第１ビューおよび第２ビューを符号化する。第２ビューは、第１ビューを参照して第２ビューを符号化するため、エンコーダ６０７ｂは、第２ビューの符号化中においても第１ビューの局所復号画像を参照できるように構成されている。

　図３２は、図３１の３Ｄ画像符号化装置のシステムエンコーダ６１０において、図３０に示す符号化順に従って、第１ビューのフレームと第２ビューのフレームとを交互に、ＤＴＳおよびＰＴＳを付与する手順を示すフローチャートである。図３１の３Ｄ画像符号化装置において、図３２のフローチャートに従ってＤＴＳおよびＰＴＳを付与することにより、図３０に示すＤＴＳおよびＰＴＳを付与することができる。これにより、図２９の３Ｄ画像復号装置において途切れることなく３Ｄ映像を再生できるビットストリームを作成することができる。作成されたビットストリームは、光ディスクやハードディスクに記録して持ち運ぶことができる。さらに、無線ＬＡＮおよび光ファイバなどの通信手段を介して遠隔地へ伝送することができる。

　図３３は、図２９の３Ｄ画像復号装置の復号処理における、各ビューのＰＴＳおよびＤＴＳの関係の一例を示す図である。図３０とは、第１ビューおよび第２ビューが同時に表示される点が異なる以外は共通である。

　図３４は、図３１の３Ｄ画像符号化装置のシステムエンコーダ６１０において、図３３に示す符号化順に従って、第１ビューのフレームと第２ビューのフレームとを交互に、ＤＴＳおよびＰＴＳを付与する手順を示すフローチャートである。図３１の３Ｄ画像符号化装置において、図３４のフローチャートに従ってＤＴＳおよびＰＴＳを付与することにより、図３３に示すＤＴＳおよびＰＴＳを付与することができる。これにより、図２９の３Ｄ画像復号装置において途切れることなく３Ｄ映像を再生できるビットストリームを作成することができる。

　以上のように、実施の形態５における３Ｄ画像符号化装置は、ビュー間予測を用いて、複数のビューを符号化することができる。また、実施の形態５における３Ｄ画像復号装置は、ビュー間予測を用いて符号化された複数のビューを復号することができる。

　（実施の形態６）
　図２２および図３０に示されるように、３Ｄ画像復号装置の構成（等速性能を有する２デコーダまたは倍速性能を有する１デコーダ）によって、ＤＴＳとＰＴＳの付与方法が異なってしまうことが分かる。そこで、実施の形態６では、ビットストリーム作成時に想定した３Ｄ画像復号装置の構成と、実際の３Ｄ画像復号装置の構成の組合せに応じて、復号処理を切替える方法について説明する。

　図３５は、実際の３Ｄ画像復号装置が等速性能を有する２デコーダであった場合に、ビットストリーム作成時に３Ｄ画像符号化装置により想定された３Ｄ画像復号装置の構成に応じて、３Ｄ画像復号装置が処理を切替える手順を示すフローチャートである。図３６は、図３５に示された手順に従って、処理を切替える３Ｄ画像復号装置の例を示す図である。

　実際の構成と想定の構成が異なる場合、図３６に示される３Ｄ画像復号装置は、遅延バッファ１６０１により第２ビューのビットストリームをΔｔ／２遅らせ、遅延バッファ１６０２および遅延バッファ１６０３により、それぞれ第１ビューおよび第２ビューの表示をΔｔ遅らせる。これにより、途切れることなく３Ｄ映像を再生することができる。

　図３７は、実際の３Ｄ画像復号装置が倍速性能を有する１デコーダであった場合に、ビットストリーム作成時に３Ｄ画像符号化装置により想定された３Ｄ画像復号装置の構成に応じて、３Ｄ画像復号装置が処理を切替える手順を示すフローチャートである。図３８は、図３７に示された手順に従って、処理を切替える３Ｄ画像復号装置の例を示す図である。

　実際の構成と想定の構成が異なる場合、図３８に示される３Ｄ画像復号装置は、スイッチ１７０１により多重化ビットストリーム１０１を第１ビューと第２ビューのビットストリームに分離する。そして、第１ビューのビットストリームを遅延バッファ１７０２によりΔｔ遅らせ、第２ビューのビットストリームを遅延バッファ１７０４によりΔｔ／２遅らせる。その後、第１ビューおよび第２ビューのビットストリームは、それぞれ、第１入力バッファ１７０３および第２入力バッファ１７０５に入力され、スイッチを介して、復号処理部１００に入力される。その後の処理は、図２９に示された３Ｄ画像復号装置と同様である。

　これにより、途切れることなく３Ｄ映像を再生することができる。

　以上のように、実施の形態６における３Ｄ画像復号装置は、ビュー間予測を用いて符号化された複数のビューを復号するとき、バッファを使用することにより復号時刻および表示時刻を調整する。

　（その他の変形例）
　なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

　（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボードおよびマウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

　（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

　（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）カードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

　（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、あるいは、データ放送等を経由して伝送するものとしてもよい。

　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または、前記ネットワーク等を経由して前記プログラムまたは前記デジタル信号を移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

　（５）上記実施の形態、上記変形例、および、それらにおいて示された構成要素をそれぞれ組み合わせるとしてもよい。

　なお、複数のビューから選択される第１ビューは、ベースビューでなくてもよい。第１ビューがベースビューではない場合であっても、本発明により同様の効果が得られる。

　また、３Ｄ画像復号装置および３Ｄ画像符号化装置における例を中心に説明したが、本発明は、３Ｄ画像復号装置および３Ｄ画像符号化装置に限らず、ビュー間予測を用いる画像復号装置および画像符号化装置に適用できる。

　本発明に係る画像復号装置および画像符号化装置によれば、ＭＶＣ等のビュー間の予測を用いた高性能な画像符号化方式により、要求性能の増加を最小限に抑えて、３Ｄ映像を復号および符号化することが可能となる。よって、より高品位な３Ｄ映像の映画タイトルなどの動画コンテンツを市場に供給することができ、映画市場や民生機器市場を活性化させることができる。したがって、本発明に係る画像復号装置および画像符号化装置は、映画産業や民生機器産業において高い利用可能性をもつ。

　００１　３Ｄ画像復号装置
　１００　復号処理部
　１０１　多重化ビットストリーム
　１０１ｂ、１０１ｅ　パケット
　１０２、６０９、７０１、９０３、９１３、９１４、１７０１　スイッチ
　１０３、１０４　ビットストリーム
　１０５、１７０３　第１入力バッファ
　１０６、１７０５　第２入力バッファ
　１０７ａ、１０７ｂ、１０７ｃ　第１デコーダ
　１０８ａ、１０８ｂ、１０８ｃ、１０８ｄ、１０８ｅ、１０８ｆ、１０８ｇ、６０３ａ、６０３ｂ、６０３ｃ、６０３ｄ　第１フレームメモリ管理情報
　１０９、６０４　外部メモリ
　１１０ａ、１１０ｂ、１１０ｃ、６０５ａ、６０５ｂ　第１フレームメモリ
　１１１、１２１、６０６　第２フレームメモリ
　１１２ａ、１１２ｂ、１１２ｃ　第２デコーダ
　１１２ｄ、１１２ｅ　デコーダ
　１１３、１２０、６０８　第２フレームメモリ管理情報
　１１４、１１５　復号画像
　１１６　ビデオ出力インターフェース
　１１７　３Ｄディスプレイ
　２００　符号化処理部
　２０１、２０２　レート制御部
　６０１、６１１　画像
　６０２ａ　第１エンコーダ
　６０７ａ　第２エンコーダ
　６０７ｂ　エンコーダ
　６１０　システムエンコーダ
　６２１　フレームバッファ
　６２２　ストリームバッファ
　９００　バッファメモリ
　９０１　入力バッファ
　９０２　ＳＴＤバッファ
　９０２ａ、９０２１ａ、９０２２ａ　トランスポート・バッファ（ＴＢ）
　９０２ｂ、９０２１ｂ、９０２２ｂ　マルチプレクシング・バッファ（ＭＢ）
　９０２ｃ、９０２１ｃ、９０２２ｃ　エレメンタリ・ストリーム・バッファ（ＥＢ）
　９０２ｄ、９０２２ｄ　補償バッファ
　９０４、１６０１、１６０２、１６０３、１７０２、１７０４　遅延バッファ
　１８０１　光ディスク
　１８０２Ａ、１８０２Ｂ、１８０２Ｃ、１８０３Ａ、１８０３Ｂ、１８０３Ｃ　ストリーム
　１８０４　２Ｄ再生装置
　１８０５　３Ｄ再生装置
　１８０６　立体メガネ

Claims (15)

1. 　ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューを有するビットストリームを復号する画像復号装置であって、
   　符号化された第１ビューのビットストリーム、および、前記第１ビューを参照して符号化された第２ビューのビットストリームを復号する復号処理部と、
   　前記復号処理部に入力されるビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、
   　前記復号処理部は、前記第１ビューおよび前記第２ビューに付与された復号時刻が同一の場合において、前記第２ビューに付与された復号時刻に前記第１ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第２ビューのピクチャを復号する
   　画像復号装置。
2. 　前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、
   　前記復号処理部は、前記複数のビューに含まれる各ビューのビットストリームを復号するときに、前記バッファメモリから、復号する前記各ビューのビットストリームを引き抜き、
   　前記バッファメモリのサイズは、前記復号処理部が前記遅延時間を加算して得られた時刻に前記第２ビューのビットストリームを引き抜いた場合において、前記復号処理部が前記各ビューのビットストリームを引き抜くときに、前記バッファメモリがアンダーフローしない最小のサイズ以上である
   　請求項１に記載の画像復号装置。
3. 　前記バッファメモリのサイズは、前記各ビューに付与された復号時刻に前記各ビューのビットストリームが引き抜かれることを前提に定められる規定サイズに、前記遅延時間中において前記データ読み込みレートに従って読み込まれるビットストリームのサイズを加算したサイズ以上である
   　請求項２に記載の画像復号装置。
4. 　前記復号処理部は、前記複数のビューのビットストリームを逐次復号し、
   　前記バッファメモリのサイズは、前記複数のビューに含まれるビューの数をｎ、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をＴ、前記データ読み込みレートをＲ、および、前記規定サイズをＤとした場合、Ｄ＋Ｒ×Ｔ×（ｎ－１）以上のサイズである
   　請求項３に記載の画像復号装置。
5. 　前記復号処理部は、前記複数のビューのビットストリームを並列に復号し、
   　前記バッファメモリのサイズは、ビュー間予測により参照されるビューの階層の最大値をｍ、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をＴ、前記データ読み込みレートをＲ、および、前記規定サイズをＤとした場合、Ｄ＋Ｒ×Ｔ×（ｍ－１）以上のサイズである
   　請求項３に記載の画像復号装置。
6. 　前記復号処理部は、さらに、
   　前記複数のビューに含まれるピクチャを記憶するための外部メモリと、
   　前記第１ビューのビットストリームを復号し、ビュー間予測に使用されるピクチャを前記外部メモリに記憶させる第１デコーダと、
   　前記ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して、前記外部メモリからビュー間予測に使用されるピクチャを取得することにより、前記第２ビューのビットストリームを復号する第２デコーダとを備える
   　請求項２に記載の画像復号装置。
7. 　前記バッファメモリには、前記遅延時間により読み込まれなかったビットストリームがある場合、前記ビットストリームに付与されたデータ読み込みレートよりも高速に前記ビットストリームが読み込まれる
   　請求項１に記載の画像復号装置。
8. 　前記復号処理部は、さらに、
   　前記複数のビューに含まれるピクチャを記憶するための外部メモリと、
   　前記第１ビューのビットストリームを復号し、ビュー間予測に使用されるピクチャを前記外部メモリに記憶させる第１デコーダと、
   　前記ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して、前記外部メモリからビュー間予測に使用されるピクチャを取得することにより、前記第２ビューのビットストリームを復号する第２デコーダとを備える
   　請求項７に記載の画像復号装置。
9. 　ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化装置であって、
   　前記複数のビューを符号化し、前記複数のビューに同一の復号時刻を付与する符号化処理部と、
   　符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるビューの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理部に符号化させるレート制御部とを備える
   　画像符号化装置。
10. 　前記レート制御部は、前記画像復号装置のバッファメモリのサイズが、符号化された前記複数のビューの数をｎ、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をＴ、符号化された前記複数のビューを読み込むときのデータ読み込みレートをＲ、および、前記規定サイズをＤとした場合、Ｄ－Ｒ×Ｔ×（ｎ－１）以下のサイズであるとして、符号化処理部に符号化させる
    　請求項９に記載の画像符号化装置。
11. 　前記符号化処理部は、さらに、
    　前記複数のビューに含まれるピクチャを記憶するための外部メモリと、
    　前記複数のビューに含まれる第１ビューの符号化し、ビュー間予測に使用されるピクチャを外部メモリに記憶させる第１エンコーダと、
    　前記ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して、前記外部メモリからビュー間予測に使用される前記第１ビューのピクチャを取得することにより、ビュー間予測を使用して前記複数のビューに含まれる第２ビューを符号化する第２エンコーダとを備える
    　請求項９に記載の画像符号化装置。
12. 　ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューを有するビットストリームを復号する画像復号方法であって、
    　符号化された第１ビューのビットストリーム、および、前記第１ビューを参照して符号化された第２ビューのビットストリームを復号する復号処理ステップと、
    　前記復号処理ステップの前に、復号処理ステップに入力されるビットストリームを保持するデータ保持ステップとを含み、
    　前記復号処理ステップでは、前記第１ビューおよび前記第２ビューに付与された復号時刻が同一の場合において、前記第２ビューに付与された復号時刻に前記第１ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第２ビューのピクチャを復号する
    　画像復号方法。
13. 　ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化方法であって、
    　前記複数のビューを符号化し、前記複数のビューに同一の復号時刻を付与する符号化処理ステップと、
    　符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるビューの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理ステップに符号化させるレート制御ステップとを含む
    　画像符号化方法。
14. 　請求項１２に記載の画像復号方法に含まれるステップをコンピュータに実行させる
    　プログラム。
15. 　請求項１３に記載の画像符号化方法に含まれるステップをコンピュータに実行させる
    　プログラム。

Images