JP6295951B2 - 画像復号装置及び画像復号方法 - Google Patents

Description

本開示は、画像復号装置及び画像復号方法に関する。

現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる画像符号化方式の標準化が進められている。ＨＥＶＣ規格については、２０１２年２月に最初のドラフト版の仕様であるＣｏｍｍｉｔｔｅｅ ｄｒａｆｔが発行されている（例えば、下記非特許文献１参照）。

ＨＥＶＣの標準化作業では、画像を複数のタイル（Tiles）に分割し、タイルごとに符号化処理及び復号処理を実行することが提案されている（例えば、下記非特許文献２参照）。タイル分割（Tile Partitioning）は、処理速度を向上させるための高度な並列処理を可能とし、伝送される符号化ストリームのＭＴＵ（Maximum Transmission Unit）サイズとのマッチングを容易にし得る。

Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6"（JCTVC-H1003 ver20, 2012年2月17日） Arild Fuldseth, Michael Horowitz, Shilin Xu, Andrew Segall, Minhua Zhou, "Tiles"（JCTVC-F335, 6th Meeting: Torino, IT, 2011年7月14-22日）

ＨＥＶＣ方式が導入されれば、高解像度の画像を高い符号化効率で圧縮して、圧縮された画像を伝送し又は蓄積することが可能となる。しかし、必ずしも全ての端末が高解像度の画像を扱う能力を有するわけではない。そこで、能力の高い端末には高解像度の画像を提供し、相対的に能力の低い端末には低解像度の画像を提供するために、いわゆる部分復号を実現することが有益である。上述したタイル分割は、タイルごとに復号処理が別々に行われる点で、部分復号に適していると言える。しかし、タイル分割を活用することにより部分復号を可能とする仕組みは、未だ提案されていない。

本開示によれば、画像を複数のタイルに分割することにより符号化された符号化ストリームから、注目領域に対応する注目領域タイルを特定する第１のパラメータ、及びインター予測に際して前記注目領域外のタイルの画素を参照画素として用いることが禁止される前記注目領域タイルが前記画像に含まれることを示す第２のパラメータを取得する取得部と、前記取得部により取得される前記第１のパラメータ及び前記第２のパラメータに応じて、復号対象画像の前記注目領域タイルについて前記注目領域外のタイルの画素を参照画素として用いることなくインター予測を行うことにより、ベースレイヤの符号化ストリームを復号して、前記注目領域タイルの画像データを生成するベースレイヤ復号部と、部分復号及び全体復号のうち前記全体復号を実行すべきであると判定される場合に、インター予測に際して前記注目領域タイル及び前記注目領域外のタイルの双方の画素を参照画素として用いながら、前記注目領域タイルの画像データが省略されたエンハンスメントレイヤの符号化ストリームを復号して、前記注目領域外のタイルの画像データを生成するエンハンスメントレイヤ復号部と、を備える画像復号装置が提供される。

また、本開示によれば、画像を複数のタイルに分割することにより符号化された符号化ストリームから、注目領域に対応する注目領域タイルを特定する第１のパラメータ、及びインター予測に際して前記注目領域外のタイルの画素を参照画素として用いることが禁止される前記注目領域タイルが前記画像に含まれることを示す第２のパラメータを取得することと、取得された前記第１のパラメータ及び前記第２のパラメータに応じて、復号対象画像の前記注目領域タイルについて前記注目領域外のタイルの画素を参照画素として用いることなくインター予測を行うことにより、ベースレイヤの符号化ストリームを復号して、前記注目領域タイルの画像データを生成することと、部分復号及び全体復号のうち前記全体復号を実行すべきであると判定される場合に、インター予測に際して前記注目領域タイル及び前記注目領域外のタイルの双方の画素を参照画素として用いながら、前記注目領域タイルの画像データが省略されたエンハンスメントレイヤの符号化ストリームを復号して、前記注目領域外のタイルの画像データを生成することと、を含む画像復号方法が提供される。

本開示に係る技術によれば、タイル分割を活用することにより、部分復号を可能とする仕組みが実現される。

タイル分割の一例について説明するための説明図である。 既存の手法においてタイルに課される参照関係の制約について説明するための説明図である。 一実施形態において設定され得る注目領域（ＲＯＩ）タイルの第１の例を示す説明図である。 一実施形態において設定され得るＲＯＩタイルの第２の例を示す説明図である。 一実施形態においてタイルに課される参照関係の制約について説明するための説明図である。 画像にＲＯＩタイルを設定するための手法の一例について説明するための説明図である。 ＲＯＩタイルの第３の例を示す説明図である。 ＲＯＩタイルの第４の例を示す説明図である。 第１の実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 タイル分割部の詳細な構成の一例を示すブロック図である。 第１の実施形態において生成され得る符号化ストリームの構成の一例について説明するための説明図である。 第１の実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。 タイル分割処理の詳細な流れの一例を示すフローチャートである。 第１の実施形態に係る画像復号装置の構成の一例を示すブロック図である。 第１の実施形態に係る復号時の処理の流れの一例を示すフローチャートである。 第２の実施形態に係る画像符号化装置の概略的な構成の一例を示すブロック図である。 図１４に示した第１符号化部の構成の一例を示すブロック図である。 図１４に示した第２符号化部の構成の一例を示すブロック図である。 第２の実施形態において生成され得る多重化ストリームの構成の一例について説明するための説明図である。 第２の実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。 第２の実施形態に係る画像復号装置の概略的な構成の一例を示すブロック図である。 図１９に示した第１復号部の構成の一例を示すブロック図である。 図１９に示した第２復号部の構成の一例を示すブロック図である。 第２の実施形態に係る復号時の処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
１−１．タイル分割の仕組み
１−２．注目領域（ＲＯＩ）タイルの導入
１−３．ＲＯＩの検出に基づくタイル分割
１−４．ＲＯＩタイルのバリエーション
２．第１の実施形態
２−１．エンコーダの構成例
２−２．ストリームの構成例
２−３．符号化時の処理の流れ
２−４．デコーダの構成例
２−５．復号時の処理の流れ
３．第２の実施形態
３−１．エンコーダの構成例
３−２．ストリームの構成例
３−３．符号化時の処理の流れ
３−４．デコーダの構成例
３−５．復号時の処理の流れ
４．応用例
５．まとめ

＜１．概要＞
［１−１．タイル分割の仕組み］
上記非特許文献２において説明されているタイル分割の仕組みによれば、１つのピクチャを複数の矩形のタイルに分割することが許容される。タイルサイズは、ピクチャ内で均一であってもよく、又は不均一であってもよい。タイル分割は、タイル列の数、タイル行の数、各タイル列の幅及び各タイル行の高さによって定まる。タイルサイズが均一である場合には、ＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）内で、タイル列の数及びタイル行の数が指定される。この場合、ピクチャの幅及び高さをタイル列の数及びタイル行の数でそれぞれ除算することにより、タイル列の幅及びタイル行の高さを決定することができる。タイルサイズが不均一である場合には、タイル列の数及びタイル行の数に加えて、各タイル列の幅及び各タイル行の高さがＳＰＳ又はＰＰＳ内で指定される。タイルサイズが均一か否かを示すフラグもまた、ＳＰＳ又はＰＰＳ内で指定される。１つのスライスは、１つ以上のタイルを含み得る。

図１は、タイル分割の一例について説明するための説明図である。図１を参照すると、ピクチャＰＩＣ０が、不均一なサイズを有する９個のタイルＴ_００〜Ｔ_０８に分割されている。左上のタイルＴ_００は、４×３＝１２個のＬＣＵ（ＬＣＵ１〜ＬＣＵ１２）を含む。中央上のタイルＴ_０１は、６×３＝１８個のＬＣＵ（ＬＣＵ１３〜ＬＣＵ３０）を含む。右上のタイルＴ_０２は、３×３＝９個のＬＣＵ（ＬＣＵ３１〜ＬＣＵ３９）を含む。左中央のタイルＴ_０３は、４×４＝１６個のＬＣＵを含む。中央のタイルＴ_０４は、６×４＝２４個のＬＣＵを含む。右中央のタイルＴ_０５は、３×４＝１２個のＬＣＵを含む。左下のタイルＴ_０６は、４×３＝１２個のＬＣＵを含む。中央下のタイルＴ_０７は、６×３＝１８個のＬＣＵを含む。右下のタイルＴ_０８は、３×３＝９個のＬＣＵを含む。

各タイル内のＬＣＵ（Largest Coding Unit）は、ラスタスキャン順に処理される。例えば、タイルＴ_００内の１２個のＬＣＵは、各ＬＣＵに付された番号の若い順に処理される。また、ピクチャ内のタイルは、原則としてラスタスキャン順に処理される。但し、イントラ予測においてタイル間の参照が禁止されるため、同じピクチャ内で複数のタイルを並列的に復号することが可能である。タイルサイズは、例えば、デコーダの並列処理の性能又は伝送される符号化ストリームのＭＴＵサイズなどの条件に従って決定されてよい。

図２は、既存の手法においてタイルに課される参照関係の制約について説明するための説明図である。図２を参照すると、符号化（復号）対象画像であるピクチャＰＩＣ０、及びピクチャＰＩＣ０の参照画像であるピクチャＰＩＣ１が示されている。ピクチャＰＩＣ０は、タイルＴ_０４を含む複数のタイルに分割されている。ピクチャＰＩＣ１もまた、複数のタイルに分割されている。タイルＴ_０４内のＰＵ（予測単位）についてのイントラ予測に際して、ピクチャＰＩＣ０内の他のタイルの画素を参照画素として用いることは禁止される（矢印Ｒ_Ａ１，Ｒ_Ａ２）。同じタイル内の画素を参照画素として用いることは許容される（矢印Ｒ_Ａ３）。タイル端のＰＵについては、スライス端のＰＵに課される制約と同等の予測モードの制約が課される。但し、タイルは、スライスと比較すると、通常、正方形により近い形状を有する。そのため、スライスではなくタイルを利用することにより、予測モードの制約に起因する予測精度の低下は緩和される。インター予測に際しては、ピクチャＰＩＣ１のいずれのタイルの画素を参照画素として用いることも許容される（矢印Ｒ_Ｂ１）。

ところで、映像コンテンツの高解像度化は年々進んでいる。ＨＥＶＣ方式は、高解像度の画像を高い符号化効率で圧縮することに適した画像符号化方式である。しかし、現在利用されている端末及び将来利用される端末の全てが、高解像度の画像を扱う能力を有するわけではない。例えば、処理性能の低いプロセッサを有する端末、帯域幅の狭い通信チャネルを通じて画像を受信する端末又は解像度の低いディスプレイを有する端末などにとっては、過剰に高い解像度は却って不都合である。そこで、能力の高い端末には高解像度の画像を提供し、相対的に能力の低い端末には低解像度の画像を提供するために、いわゆる部分復号を実現することが有益である。タイル分割は、タイルごとに復号処理が別々に行われる点で、部分復号に適している。そこで、本開示に係る技術は、上述したタイル分割を活用することにより、部分復号を可能とする仕組みを提供する。

［１−２．注目領域（ＲＯＩ）タイルの導入］
本明細書において、画像全体の中の部分復号によって復号される領域を、注目領域（ＲＯＩ：Region of Interest）という。また、画像内のＲＯＩ以外の領域を、非注目領域（非ＲＯＩ）という。ＲＯＩは、通常は、画像の個々の用途において特に注目されるべき領域である。例えば、監視カメラ映像の用途において、画像内で検出される人物領域がＲＯＩとして設定されてもよい。また、テレビ会議の用途において、画像内で検出される話し手の領域がＲＯＩとして設定されてもよい。

本開示に係る技術では、画像に設定されるＲＯＩの位置に応じて、タイル分割が決定される。一例として、図３Ａを参照すると、ピクチャＰＩＣ２の中央に、斜線で網掛けされた矩形のＲＯＩが設定されている。そして、ＲＯＩのエッジに沿ってタイル境界が設けられている。結果として、ピクチャＰＩＣ２は、９個のタイルＴ_２０〜Ｔ_２８に分割されている。タイルＴ_２４はＲＯＩタイルである。タイルＴ_２０〜Ｔ_２３、Ｔ_２５〜Ｔ_２８は非ＲＯＩタイルである。他の例として、図３Ｂを参照すると、ピクチャＰＩＣ３の左下のコーナーに接するように、斜線で網掛けされた矩形のＲＯＩが設定されている。そして、ＲＯＩのエッジに沿ってタイル境界が設けられている。結果として、ピクチャＰＩＣ３は、４個のタイルＴ_３０〜Ｔ_３３に分割されている。タイルＴ_３２はＲＯＩタイルである。タイルＴ_３０、Ｔ_３１及びＴ_３３は非ＲＯＩタイルである。

さらに、本開示に係る技術では、ＲＯＩタイルのみを部分的に復号することを可能とするために、新たな参照関係の制約がタイルに課される。

図４は、一実施形態においてタイルに課される参照関係の制約について説明するための説明図である。図４を参照すると、符号化（復号）対象画像であるピクチャＰＩＣ０、及びピクチャＰＩＣ０の参照画像であるピクチャＰＩＣ４が示されている。ピクチャＰＩＣ０は、タイルＴ_０４を含む複数のタイルに分割されている。タイルＴ_０４は、ピクチャＰＩＣ０のＲＯＩタイルである。ピクチャＰＩＣ４は、タイルＴ_４３を含む複数のタイルに分割されている。タイルＴ_４３は、ピクチャＰＩＣ４のＲＯＩタイルである。ＲＯＩタイルＴ_０４内のＰＵについてのイントラ予測に際して、ピクチャＰＩＣ０内の非ＲＯＩタイルの画素を参照画素として用いることは禁止される（矢印Ｒ_Ａ１）。同じＲＯＩタイル内の画素を参照画素として用いることは許容される（矢印Ｒ_Ａ３）。ＲＯＩタイルＴ_０４内のＰＵについてのインター予測に際して、ピクチャＰＩＣ４の非ＲＯＩタイルの画素を参照画素として用いることは禁止される（矢印Ｒ_Ｂ１）。ピクチャＰＩＣ４のＲＯＩタイルＴ_４３の画素を参照画素として用いることは許容される（矢印Ｒ_Ｂ２）。

非ＲＯＩタイルに課される参照関係の制約は、図２を用いて説明した既存の手法と同様であってよい。即ち、非ＲＯＩタイル内のＰＵについてのイントラ予測に際して、他のタイルの画素を参照画素として用いることは禁止され、同じタイル内の画素を参照画素として用いることは許容される。非ＲＯＩタイル内のＰＵについてのインター予測に際しては、参照画像のＲＯＩタイル及び非ＲＯＩタイルの双方の画素を参照画素として用いることが許容される。

ＲＯＩタイルについての上述した制約が導入されることにより、デコーダは、ＲＯＩタイルを復号する際に、非ＲＯＩタイルを一切参照しないこととなる。結果として、符号化ストリームからＲＯＩタイルのみを表示する一連の部分画像を復号することが可能となる。このような部分復号を可能とするエンコーダ及びデコーダの２つの実施形態について、後に詳細に説明する。

［１−３．ＲＯＩの検出に基づくタイル分割］
図５は、画像にＲＯＩタイルを設定するための手法の一例について説明するための説明図である。図５の左上を参照すると、符号化対象画像ＰＩＣ０に人物が映っている。当該人物は、例えば、特徴量マッチング法、背景差分抽出法及び肌色領域抽出法などの公知の人物検出法を符号化対象画像ＰＩＣ０に適用することにより認識される。図５の例では、人物検出処理の結果として検出される人物領域ＲＧ１が、注目領域（ＲＯＩ）として設定される。そして、タイル分割は、設定されたＲＯＩの位置に応じて決定される。例えば、矩形のＲＯＩの上下左右のエッジがタイル境界に一致するように画像が分割されてもよい。複数の画像にわたってＲＯＩタイルのサイズが等しくなるように、タイル境界の位置は調整されてもよい。図５の右下を参照すると、人物領域ＲＧ１のエッジがタイル境界に一致するように、符号化対象画像ＰＩＣ０が９個のタイルに分割されている。

［１−４．ＲＯＩタイルのバリエーション］
なお、ここまで１つの画像に１つのＲＯＩタイルが設定される例を主に説明した。しかしながら、かかる例に限定されず、１つの画像に複数のＲＯＩタイルが設定されてもよい。

図６Ａを参照すると、ピクチャＰＩＣ５は、９個のタイルＴ_５０〜Ｔ_５８に分割されている。タイルＴ_５３及びＴ_５５はＲＯＩタイルである。タイルＴ_５０〜Ｔ_５２、Ｔ_５４、Ｔ_５６〜Ｔ_５８は非ＲＯＩタイルである。このように、１つの画像に互いに独立した２つ以上のＲＯＩタイルが設定されてもよい。あるピクチャのどのＲＯＩが後続するピクチャのどのＲＯＩと対応するかを認識するために、各ＲＯＩは複数の画像にわたってトラッキングされ得る。ＲＯＩタイル内のＰＵについてのイントラ予測に際して、同じピクチャ内の他のＲＯＩタイルの画素を参照画素として用いることは禁止され得る。ＲＯＩタイル内のＰＵについてのインター予測に際して、参照画像の対応するＲＯＩタイルの画素を参照画素として用いることは許容され、参照画像の他のＲＯＩタイル及び非ＲＯＩタイルの画素を参照画素として用いることは禁止され得る。

図６Ｂを参照すると、ピクチャＰＩＣ６は、ＲＯＩタイルＴ_６０〜Ｔ_６５を含む１５個のタイルに分割されている。ＲＯＩタイルＴ_６４は、第１レベルのＲＯＩタイルである。ＲＯＩタイルＴ_６０〜Ｔ_６３、Ｔ_６５は第２レベルのＲＯＩタイルである。第１レベルのＲＯＩタイルは、画像の個々の用途において最も注目されるべき領域に対応する。第２レベルのＲＯＩタイルは、第１レベルのＲＯＩを囲むより広い領域に対応する。このように、１つの画像に、広さの異なる複数レベルのＲＯＩに対応するＲＯＩタイルが設定されてもよい。例えば、第１レベルのＲＯＩは人物の顔領域、第２レベルのＲＯＩは人物の体全体の領域であってもよい。ＲＯＩタイル内のＰＵについてのインター予測に際して、参照画像の同等又はより上位のレベルのＲＯＩタイルの画素を参照画素として用いることは許容され、より下位のＲＯＩタイル及び非ＲＯＩタイルの画素を参照画素として用いることは禁止され得る。

次節より説明する２つの実施形態では、説明の簡明さのために、１つの画像に高々１つのＲＯＩタイルが設定されるものとする。

＜２．第１の実施形態＞
第１の実施形態では、ＲＯＩタイル及び非ＲＯＩタイルの双方が１つの符号化ストリーム内に符号化されるものとする。

［２−１．エンコーダの構成例］
（１）全体的な構成
図７は、第１の実施形態に係る画像符号化装置１の構成の一例を示すブロック図である。図７を参照すると、画像符号化装置１は、並び替えバッファ１１、タイル分割部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５、並びに予測制御部４０を備える。

並び替えバッファ１１には、デジタル形式の一連の原画像データが入力される。原画像データに含まれる各画像が、符号化対象画像である。並び替えバッファ１１は、ＧＯＰ（Group of Pictures）構造に応じて、原画像データに含まれる画像を符号化／復号順（encoding/decoding order）に並び替える。そして、並び替えバッファ１１は、並び替え後の順序で符号化対象画像が配列された原画像データを、減算部１３、イントラ予測部３０及びインター予測部３５へ出力する。

タイル分割部１２は、並び替えバッファ１１に入力される符号化対象画像を、注目領域（ＲＯＩ）タイルを含む複数のタイルに分割する。タイル分割部１２は、例えば、各画像にＲＯＩを設定し、設定したＲＯＩの位置に応じてタイル分割を決定し得る。タイル分割部１２は、画像の用途に応じて、どのようなＲＯＩを画像に設定してもよい。例えば、タイル分割部１２は、各画像について人物検出を実行し、検出される人物領域をＲＯＩとして設定してもよい。タイル分割部１２は、各画像がどのように分割されるか、及びいずれのタイルがＲＯＩタイルであるかを示すタイルパラメータを生成する。そして、タイル分割部１２は、生成したタイルパラメータを、可逆符号化部１６、イントラ予測部３０、インター予測部３５及び予測制御部４０へ出力する。タイル分割部１２のより詳細な構成の一例について、後にさらに説明する。

減算部１３には、並び替えバッファ１１から入力される原画像データ、及び後に説明する予測画像データが供給される。減算部１３は、原画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。

可逆符号化部１６には、量子化部１５から入力される量子化データ、及び、符号化ストリームのヘッダ領域に挿入されるべき様々なパラメータが供給される。可逆符号化部１６に供給されるパラメータは、タイル分割部１２により生成されるタイルパラメータ、イントラ予測部３０により生成されるイントラ予測に関する情報及びインター予測部３５により生成されるインター予測に関する情報を含み得る。可逆符号化部１６は、タイルごとに、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、タイルパラメータを含む様々なパラメータを、符号化ストリームのヘッダ領域に挿入する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１からの出力線）の帯域に応じたレートで出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとセレクタ２７から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像データともいう）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。

デブロックフィルタ２４は、画像の符号化の際に生じるブロック歪みを減少させるためのフィルタリング処理を行う。そして、デブロックフィルタ２４は、ブロック歪みの除去されたフィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。

セレクタ２７は、イントラ予測モードとインター予測モードとを切り替える。セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から入力される予測画像データを減算部１３及び加算部２３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から入力される予測画像データを減算部１３及び加算部２３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、例えば、コスト関数値の大きさに応じて、イントラ予測モードとインター予測モードとを切り替えてもよい。

イントラ予測部３０は、並び替えバッファ１１から入力される原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、イントラ予測処理を行う。例えば、イントラ予測部３０は、複数の予測モードでの予測結果を所定のコスト関数を用いて評価し、コスト関数値が最小となる予測モードを最適な予測モードとして選択する。イントラ予測部３０は、選択した最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報を生成する。そして、イントラ予測部３０は、イントラ予測に関する情報、予測画像データ及びコスト関数値を、セレクタ２７へ出力する。

インター予測部３５は、並び替えバッファ１１から入力される原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理を行う。例えば、インター予測部３５は、複数の予測モードでの予測結果を所定のコスト関数を用いて評価し、コスト関数値が最小となる予測モードを最適な予測モードとして選択する。インター予測部３５は、選択した最適な予測モードを示す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報を生成する。そして、インター予測部３５は、インター予測に関する情報、予測画像データ及びコスト関数値を、セレクタ２７へ出力する。

予測制御部４０は、イントラ予測及びインター予測に課される参照関係の制約を制御する。例えば、予測制御部４０は、各ＰＵについてイントラ予測が実行される際に、当該ＰＵが属しているタイルとは異なるタイルが参照されないように、イントラ予測部３０を制御する。予測制御部４０は、参照画像がＲＯＩタイルを含まない場合には、符号化対象画像のＲＯＩタイル内のＰＵについて、インター予測部３５にインター予測を実行させない。

また、予測制御部４０は、例えば、ＲＯＩタイル内の各ＰＵについてインター予測が実行される際に、参照画像の非ＲＯＩタイルが参照されないように、インター予測部３５を制御する。一方、予測制御部４０は、非ＲＯＩタイル内の各ＰＵについてインター予測が実行される際には、参照画像の各タイルがＲＯＩタイルであるかに関わらず、参照画像の任意のタイルをインター予測部３５に参照させてよい。

なお、インター予測部３５は、ＲＯＩタイル内のＰＵについてインター予測を実行した際に、動きベクトル情報を、参照画像のＲＯＩタイルの位置に依存してオフセットしてもよい。ここでのオフセット量は、例えば、符号化対象画像のＲＯＩタイルの左上端の位置と参照画像のＲＯＩタイルの左上端の位置との間の差分に相当し得る。動きベクトル情報をこのようにオフセットすることにより、ＲＯＩ自体の動きを動きベクトル情報から減殺し、動きベクトル情報の符号量を削減することができる。それにより、符号化効率を高めることができる。

（２）タイル分割部の詳細な構成
図８は、タイル分割部１２の詳細な構成の一例を示すブロック図である。図８を参照すると、タイル分割部１２は、ＲＯＩサイズ設定部１２２、人物検出部１２４及びタイルパラメータ生成部１２６を有する。

ＲＯＩサイズ設定部１２２は、例えば、ユーザ入力又は予め記憶されるシステム設定に基づいて、ＲＯＩタイルのタイルサイズを設定する。人物検出部１２４は、符号化対象画像に公知の人物検出法を適用することにより、人物検出を実行する。そして、人物検出部１２４は、検出した人物領域を含む注目領域（ＲＯＩ）を、符号化対象画像に設定する。タイルパラメータ生成部１２６は、人物検出部１２４により設定されたＲＯＩの位置に応じてタイル分割を決定し、決定したタイル分割及びＲＯＩタイルを特定するタイルパラメータを生成する。そして、タイルパラメータ生成部１２６は、生成したタイルパラメータを、可逆符号化部１６、イントラ予測部３０、インター予測部３５及び予測制御部４０へ出力する。

表１は、タイルパラメータ生成部１２６により生成され得るタイルパラメータの一例を示している。表１の第１列は、パラメータ名（Parameter Name）を示す。第２列は、各パラメータが挿入され得る位置（Location）を示す。第３列が“Yes”を示すパラメータは、本開示に係る技術において新たに定義されるパラメータである。

パラメータ“num_tile_columns_minus1”は、タイル列の数を表す。このパラメータがゼロであれば、タイル列の数は１個である。パラメータ“num_tile_rows_minus1”は、タイル行の数を表す。このパラメータがゼロであれば、タイル行の数は１個である。パラメータ“uniform_spacing_flag”は、画像内でタイルサイズが均一か否かを示すフラグである。パラメータ“column_width[i]”は、ｉ番目のタイル列の幅を表す。パラメータ“row_height[i]”は、ｉ番目のタイル行の高さを表す。ここまでのパラメータに関する説明は、上記非特許文献２にも記載されている。

パラメータ“roi_tile_present_flag”、“coord_roi_tile_hor_minus1”、“coord_roi_tile_ver_minus1”及び“roi_tile_indicator[i]”は、新たに定義されるパラメータである。パラメータ“roi_tile_present_flag”は、符号化対象画像にＲＯＩタイルが含まれるかを示すフラグである。なお、１つの画像に複数のＲＯＩタイルが設定可能な場合には、当該フラグの代わりに、設定されるＲＯＩタイルの数を示すパラメータが生成されてもよい。パラメータ“coord_roi_tile_hor_minus1”及び“coord_roi_tile_ver_minus1”は、ＲＯＩタイルの位置（第何行第何列のタイルがＲＯＩタイルであるか）を表す。例えば、これら２つのパラメータが共にゼロであれば、第１行第１列のタイルがＲＯＩタイルである。パラメータ“roi_tile_present_flag”がFalse（ＲＯＩタイルなし）を示す場合には、パラメータ“coord_roi_tile_hor_minus1”及び“coord_roi_tile_ver_minus1”は省略され得る。パラメータ“roi_tile_present_flag”、“coord_roi_tile_hor_minus1”及び“coord_roi_tile_ver_minus1”は、ＳＰＳ又はＰＰＳに挿入されてもよい。その代わりに、これらパラメータは、ＳＥＩ（Supplemental Enhancement Information）に挿入されてもよい。パラメータ“roi_tile_indicator[i]”は、スライスヘッダに挿入され得るパラメータである。このパラメータは、各スライス内のｉ番目のタイルがＲＯＩタイルであるか否かを示すフラグである。

なお、ここで説明したタイルパラメータは、一例に過ぎない。上述したパラメータの一部が省略されてもよく、又は追加的なパラメータが生成されてもよい。また、名称又は種類の異なる他のパラメータが、上述したパラメータの代わりに生成されてもよい。また、タイルパラメータがピクチャごとに頻繁に変化する場合には、ＳＰＳ又はＰＰＳではなくＡＰＳ（Adaptation Parameter Set）にタイルパラメータが格納されてもよい。

［２−２．ストリームの構成例］
図９は、本実施形態において生成され得る符号化ストリームの構成の一例について説明するための説明図である。図９を参照すると、一例としての符号化ストリームＳＴ１が示されている。符号化ストリームＳＴ１は、複数のピクチャＰＩＣ１１、ＰＩＣ１２、ＰＩＣ１３、…の画像データを含む。ピクチャＰＩＣ１１は、ＲＯＩタイルを含まないピクチャである。ピクチャＰＩＣ１１に関連するＰＰＳは、ＲＯＩタイルが含まれないことを示すフラグ（例えば、“roi_tile_present_flag”＝FALSE）を含み得る。ピクチャＰＩＣ１２及びＰＩＣ１３は、ＲＯＩタイルを含むピクチャである。これらピクチャに関連するＰＰＳは、ＲＯＩタイルが含まれることを示すフラグ（例えば、“roi_tile_present_flag”＝TRUE）、並びにＲＯＩタイルの位置を示すパラメータ（例えば、“coord_roi_tile_hor_minus1”及び“coord_roi_tile_ver_minus1”）を含み得る。

図９から理解されるように、本実施形態では、可逆符号化部１６は、ＲＯＩタイルの画像データ及び非ＲＯＩタイルの画像データの双方を含む１つの符号化ストリームを生成する。そして、当該符号化ストリームについて部分復号が行われる際には、非ＲＯＩタイルの画像データは無視され、ＲＯＩタイルの画像データからＲＯＩタイルのみが復号され得る。

［２−３．符号化時の処理の流れ］
（１）全体的な流れ
図１０は、本実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。図１０に示した処理は、符号化対象画像の各々について繰り返される。なお、説明の簡明さのために、既存の手法に従った処理と特に相違しない部分は、図から省略されている。

図１０を参照すると、まず、タイル分割部１２は、タイル分割処理を実行する（ステップＳ１１０）。タイル分割処理の結果として、符号化対象画像は、ＲＯＩタイルを含む複数のタイルに分割され得る。タイル分割処理の詳細な流れについて、後にさらに説明する。

次に、予測制御部４０は、符号化対象画像にＲＯＩタイルが設定されたか否かを判定する（ステップＳ１２０）。タイル分割部１２により符号化対象画像にＲＯＩタイルが設定された場合には、処理はステップＳ１２５へ進む。一方、符号化対象画像にＲＯＩタイルが設定されなかった場合には、処理はステップＳ１５０へ進む。

ステップＳ１２５において、予測制御部４０は、符号化対象画像がイントラ予測フレームであるか否かを判定する（ステップＳ１２５）。例えば、符号化対象画像がＩピクチャである場合には、当該符号化対象画像はイントラ予測フレームである。この場合、インター予測は実行されず、処理はステップＳ１４０へ進む。一方、符号化対象画像がイントラ予測フレームでない場合には、処理はステップＳ１３０へ進む。

ステップＳ１３０において、予測制御部４０は、参照画像にＲＯＩタイルが含まれるか否かを判定する（ステップＳ１３０）。ここで、参照画像にＲＯＩタイルが含まれる場合には、処理はステップＳ１３５へ進む。参照画像にＲＯＩタイルが含まれない場合には、処理はステップＳ１４０へ進む。

ステップＳ１３５において、インター予測部３５は、インター予測を実行する（ステップＳ１３５）。予測制御部４０は、ＲＯＩタイル内のＰＵについてのインター予測に際して、参照画像の非ＲＯＩタイルが参照されないように、インター予測部３５を制御する。一方、予測制御部４０は、非ＲＯＩタイル内のＰＵについてインター予測が実行される際には、参照画像の任意のタイルをインター予測部３５が参照することを許容する。

ステップＳ１４０において、イントラ予測部３０は、イントラ予測を実行する（ステップＳ１４０）。予測制御部４０は、各ＰＵについてイントラ予測が実行される際に、当該ＰＵが属しているタイルとは異なるタイルが参照されないように、イントラ予測部３０を制御する。

次に、ステップＳ１４５において、可逆符号化部１６は、タイルごとに量子化データを符号化して、符号化ストリームを生成する。また、可逆符号化部１６は、タイルパラメータ、イントラ予測に関する情報及びインター予測に関する情報を含み得る様々なパラメータを、符号化ストリームのヘッダ領域に挿入する（ステップＳ１４５）。

ステップＳ１５０では、符号化対象画像にＲＯＩタイルが設定されていないため、画像符号化装置１は、既存の手法と同様に、符号化ストリームを生成する（ステップＳ１５０）。符号化ストリームのヘッダ領域には、符号化対象画像がＲＯＩタイルを含まないことを示すタイルパラメータが挿入される。

（２）タイル分割処理
図１１は、タイル分割処理の詳細な流れの一例を示すフローチャートである。図１１を参照すると、まず、タイル分割部１２は、符号化対象画像についてＲＯＩ検出（例えば、人物検出）を実行する（ステップＳ１１１）。次に、タイル分割部１２は、ＲＯＩ検出の結果としてＲＯＩが検出されたか否かを判定する（ステップＳ１１２）。ＲＯＩが検出された場合には、タイル分割部１２は、符号化対象画像をＲＯＩタイル及び非ＲＯＩタイルを含む複数のタイルに分割する（ステップＳ１１３）。そして、タイル分割部１２は、ＲＯＩタイルの位置を示すパラメータを含むタイルパラメータを生成する（ステップＳ１１４）。一方、ＲＯＩが検出されなかった場合には、タイル分割部１２は、ＲＯＩタイルが存在しないこと（即ち、符号化対象画像がＲＯＩタイルを含まないこと）を示すパラメータを含むタイルパラメータを生成する（ステップＳ１１５）。

なお、タイル分割部１２は、人物領域又はその他のＲＯＩが検出されなかった場合に、暫定的なＲＯＩタイルを符号化対象画像に設定してもよい。例えば、タイル分割部１２は、既定の位置（画像の中央など）又は最後に設定されたＲＯＩタイルと同じ位置に、暫定的なＲＯＩタイルを設定し得る。それにより、全ての画像に少なくとも１つのＲＯＩタイルを含めることができる。その結果として、ＲＯＩタイルのみを部分復号するデコーダにおいて、ＲＯＩタイルが欠落する時間を無くすことができる。

［２−４．デコーダの構成例］
図１２は、本実施形態に係る画像復号装置６の構成の一例を示すブロック図である。図１２を参照すると、画像復号装置６は、ストリーム取得部６１、タイル識別部６２、可逆復号部６３、逆量子化部６４、逆直交変換部６５、加算部６６、デブロックフィルタ６７、並び替えバッファ６８、解像度調整部６９、フレームメモリ７０、セレクタ７１及び７２、イントラ予測部８０、インター予測部８５、並びに判定部９０を備える。

ストリーム取得部６１は、伝送路を介して入力される符号化ストリームを取得し、記憶媒体を用いて符号化ストリームをバッファリングする。また、ストリーム取得部６１は、符号化ストリームをパースし、ヘッダ領域に挿入されているタイルパラメータを取得する。ここで取得されるタイルパラメータは、各復号対象画像がＲＯＩタイルを含むか否かを示すパラメータを含み得る。復号対象画像がＲＯＩタイルを含む場合には、タイルパラメータは、いずれのタイルがＲＯＩであるかを示すパラメータをも含む。ストリーム取得部６１は、これらタイルパラメータを、符号化ストリームのＳＰＳ、ＰＰＳ又はスライスヘッダから取得してもよい。その代わりに、ストリーム取得部６１は、符号化ストリームのＳＥＩからタイルパラメータを取得してもよい。

タイル識別部６２は、上述したタイルパラメータをストリーム取得部６１から取得する。そして、タイル識別部６２は、取得したタイルパラメータに基づいて、各復号対象画像のタイル分割と、ＲＯＩタイルの位置とを識別する。タイル分割は、例えば、表１に例示したパラメータ“num_tile_columns_minus1”、“num_tile_rows_minus1”、“uniform_spacing_flag”、“column_width[i]”及び“row_height[i]”に基づいて、既存の手法と同様に識別され得る。新たに定義されるパラメータ“roi_tile_present_flag”は、ＲＯＩタイルが存在するか否かを示す。ＲＯＩタイルの位置は、新たに定義されるパラメータ“coord_roi_tile_hor_minus1”及び“coord_roi_tile_ver_minus1”、又は“roi_tile_indicator[i]”に基づいて識別され得る。

可逆復号部６３は、ストリーム取得部６１によりバッファリングされている符号化ストリームを復号する。より具体的には、可逆復号部６３は、上述したタイルパラメータに基づいて識別されるＲＯＩタイルの画像データを復号する。また、可逆復号部６３は、判定部９０により全体復号が指示されると、非ＲＯＩタイルの画像データをも復号する。可逆復号部６３は、判定部９０により部分復号が指示されると、非ＲＯＩタイルの画像データを復号しない。可逆復号部６３は、復号した画像データ（量子化データ）を逆量子化部６４へ出力する。また、可逆復号部６３は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６３は、インター予測に関する情報をインター予測部８５へ出力する。

逆量子化部６４は、可逆復号部６３による復号後の量子化データを逆量子化する。逆直交変換部６５は、符号化の際に使用された直交変換方式に従い、逆量子化部６４から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６５は、生成した予測誤差データを加算部６６へ出力する。

加算部６６は、逆直交変換部６５から入力される予測誤差データと、セレクタ７２から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像データ）を生成する。そして、加算部６６は、生成した復号画像データをデブロックフィルタ６７及びフレームメモリ７０へ出力する。

デブロックフィルタ６７は、復号された画像に現れるブロック歪みを除去するためのフィルタリング処理を行う。そして、デブロックフィルタ６７は、ブロック歪みの除去されたフィルタリング後の復号画像データを並び替えバッファ６８及びフレームメモリ７０へ出力する。

並び替えバッファ６８は、デブロックフィルタ６７から復号順（decoding order）で入力される画像を、表示順（presentation order）に並び替える。そして、並び替えバッファ６８は、並び替え後の一連の復号画像データを解像度調整部６９へ出力する。

解像度調整部６９は、並び替えバッファ６８から入力される各復号画像の解像度を調整する。例えば、解像度調整部６９は、部分復号によって生成されるＲＯＩタイルの復号画像をディスプレイの解像度に合わせて高解像度化することにより、表示画像を生成してもよい。その代わりに、解像度調整部６９は、全体復号によって生成される（ＲＯＩタイル及び非ＲＯＩタイルを含む）復号画像を低解像度化することにより、表示画像を生成してもよい。解像度調整部６９は、解像度の調整された復号画像データを、例えば、画像復号装置６と接続されるディスプレイ（図示せず）へ出力する。

フレームメモリ７０は、加算部６６から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６７から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７１は、可逆復号部６３により復号されるモード情報に応じて、フレームメモリ７０からのデータの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７１は、インター予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。

セレクタ７２は、可逆復号部６３により復号されるモード情報に応じて、加算部６６へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７２は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６６へ供給する。セレクタ７２は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６６へ供給する。

イントラ予測部８０は、可逆復号部６３から入力されるイントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測を実行し、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７２へ出力する。

インター予測部８５は、可逆復号部６３から入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測を実行し、予測画像データを生成する。そして、インター予測部８５は、生成した予測画像データをセレクタ７２へ出力する。インター予測に関する情報は、典型的には、予測モード情報、動きベクトル情報及び参照画像情報を含む。

なお、インター予測部８５は、復号対象画像のＲＯＩタイル内のＰＵについて取得される動きベクトル情報がエンコーダ側でＲＯＩタイルの位置に依存してオフセットされている場合には、参照画像と復号対象画像との間のＲＯＩタイルの位置の差分に応じて、当該動きベクトル情報のオフセットを解除し得る。そして、インター予測部８５は、オフセットの解除された動きベクトル情報を用いて、インター予測を実行し得る。

判定部９０は、画像復号装置６が部分復号及び全体復号のいずれを実行すべきかを判定する。例えば、判定部９０は、プロセッサ、メモリ又はディスプレイの性能が復号対象画像の全体を復号するために十分でない場合に、部分復号を実行すべきであると判定してもよい。また、判定部９０は、符号化ストリームを送信する装置との間の通信チャネルの帯域幅が狭い場合に、部分復号を実行すべきであると判定してもよい。この場合には、判定部９０は、符号化ストリームを送信する装置へ、ＲＯＩタイルの画像データのみを送信することを要求してもよい。また、判定部９０は、（例えば、ユーザにとって非ＲＯＩタイルの画像を閲覧する必要が無いなどの理由で）部分復号がユーザにより指定された場合に、部分復号を実行すべきであると判定してもよい。

判定部９０は、部分復号を実行すべきであると判定すると、可逆復号部６３に部分復号を指示する。また、判定部９０は、全体復号を実行すべきであると判定すると、可逆復号部６３に全体復号を指示する。可逆復号部６３は、部分復号が指示されると、復号対象画像のＲＯＩタイルのみを復号する。一方、可逆復号部６３は、全体復号が指示されると、ＲＯＩタイルに加えて非ＲＯＩタイルをも復号する。解像度調整部６９は、判定部９０により部分復号が指示されると、ＲＯＩタイルのサイズとディスプレイのサイズとに基づいて、ＲＯＩタイルの画像の解像度を調整する。一方、解像度調整部６９は、判定部９０により全体復号が指示されると、復号画像全体のサイズとディスプレイのサイズとに基づいて、復号画像の解像度を調整する。

［２−５．復号時の処理の流れ］
図１３は、本実施形態に係る復号時の処理の流れの一例を示すフローチャートである。図１３に示した処理は、復号対象画像の各々について繰り返される。なお、説明の簡明さのために、既存の手法に従った処理と特に相違しない部分は、図から省略されている。

図１３を参照すると、まず、ストリーム取得部６１は、符号化ストリームからタイルパラメータを取得する（ステップＳ１６０）。次に、タイル識別部６２は、復号対象画像がタイル分割されているか否かを判定する（ステップＳ１６５）。復号対象画像がタイル分割されている場合には、処理はステップＳ１７０へ進む。一方、復号対象画像がタイル分割されていない場合には、処理はステップＳ１９０へ進む。

ステップＳ１７０において、タイル識別部６２は、タイルパラメータに基づいて、復号対象画像のタイル分割とＲＯＩタイルの位置とを識別する（ステップＳ１７０）。

次に、判定部９０は、部分復号を実行すべきであるか否かを判定する（ステップＳ１７５）。ここで、部分復号を実行すべきであると判定された場合には、処理はステップＳ１８０へ進む。一方、部分復号を実行すべきでないと判定された場合には、処理はステップＳ１９５へ進む。

ステップＳ１８０において、可逆復号部６３は、バッファリングされている符号化ストリームから、全てのタイルのうちＲＯＩタイルの画像データのみを抽出し（ステップＳ１８０）、抽出したＲＯＩタイルの画像データを復号する（ステップＳ１８５）。

一方、ステップＳ１９０では、可逆復号部６３は、バッファリングされている符号化ストリームのＲＯＩタイル及び非ＲＯＩタイルの画像データを復号する（ステップＳ１９０）。

その後、解像度調整部６９は、並び替えバッファ６８から入力される復号画像の解像度を、ディスプレイの解像度に合わせて調整する（ステップＳ１９５）。そして、解像度の調整された画像が、ディスプレイに表示される。

＜３．第２の実施形態＞
第２の実施形態では、いわゆるスケーラブル符号化が実現される。スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化には、様々な種類が存在する。例えば、空間解像度が階層化されるケースは空間スケーラビリティ、フレームレートが階層化されるケースは時間スケーラビリティ、ＳＮ（Signal to Noise）比が階層化されるケースはＳＮＲスケーラビリティと呼ばれる。

本開示に係る技術において実現されるスケーラブル符号化は、上述した既存のスケーラビリティとは異なり、領域スケーラビリティ（Regional Scalability）と表現され得る。領域スケーラビリティにおいて、ベースレイヤの符号化ストリームは、ＲＯＩタイルのみの画像データを含む。エンハンスメントレイヤの符号化ストリームにおいて、ＲＯＩタイルの画像データは省略される。エンハンスメントレイヤの符号化ストリームは、非ＲＯＩタイルのみの画像データを含む。部分復号を実行するデコーダは、ベースレイヤの符号化ストリームを復号して、ＲＯＩタイルのみを含む復号画像データを生成する。

［３−１．エンコーダの構成例］
（１）概略的な構成
図１４は、本実施形態に係る画像符号化装置１０の概略的な構成の一例を示すブロック図である。図１４を参照すると、画像符号化装置１０は、並び替えバッファ１１、タイル分割部１２、第１符号化部１ａ、第２符号化部１ｂ、共通メモリ２及び多重化部３を備える。

並び替えバッファ１１は、一連の原画像データに含まれる符号化対象画像を、ＧＯＰ構造に応じて、符号化／復号順に並び替える。タイル分割部１２は、符号化対象画像をＲＯＩタイルを含む複数のタイルに分割する。そして、タイル分割部１２は、各画像がどのように分割されるか、及びいずれのタイルがＲＯＩタイルであるかを示すタイルパラメータを生成する。タイル分割部１２は、符号化対象画像のうちのＲＯＩタイルに対応する部分画像（以下、ＲＯＩタイル画像という）とタイルパラメータとを、第１符号化部１ａへ出力する。また、タイル分割部１２は、非ＲＯＩタイルに対応する部分画像（以下、非ＲＯＩタイル画像という）を、第２符号化部１ｂへ出力する。タイルパラメータは、共通メモリ２により記憶され得る。

第１符号化部１ａは、ＲＯＩタイル画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２符号化部１ｂは、非ＲＯＩタイル画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１符号化部１ａにより生成されるベースレイヤの符号化ストリームと、第２符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

（２）ベースレイヤの符号化
図１５は、図１４に示した第１符号化部１ａの構成の一例を示すブロック図である。図１５を参照すると、第１符号化部１ａは、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６ａ、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０ａ、インター予測部３５ａ、並びに予測制御部４０ａを備える。

減算部１３は、図１４に示したタイル分割部１２から入力されるＲＯＩタイル画像の原画像データ、及び予測画像データが供給される。減算部１３は、原画像データと予測画像データとの差分である予測誤差データを算出する。直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。量子化部１５は、直交変換部１４から入力される変換係数データを量子化し、量子化データを生成する。

可逆符号化部１６ａは、ＲＯＩタイルの量子化データについて可逆符号化処理を行うことにより、ベースレイヤの符号化ストリームを生成する。また、可逆符号化部１６ａは、タイルパラメータを含む様々なパラメータを、ベースレイヤの符号化ストリームのヘッダ領域に挿入する。蓄積バッファ１７は、可逆符号化部１６ａにより生成されるベースレイヤの符号化ストリームを一時的に蓄積し、蓄積した符号化ストリームを図１４に示した多重化部３へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視し、量子化データのビットレートを制御する。逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。加算部２３は、逆直交変換部２２から入力される予測誤差データとセレクタ２７から入力される予測画像データとを加算することにより、復号画像データを生成する。デブロックフィルタ２４は、画像の符号化の際に生じるブロック歪みを減少させるためのフィルタリング処理を行う。フレームメモリ２５は、フィルタリング前の復号画像データとフィルタリング後の復号画像データとを記憶する。

イントラ予測部３０ａは、タイル分割部１２から入力されるＲＯＩタイル画像の原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、ＲＯＩタイル画像についてのイントラ予測処理を行う。インター予測部３５ａは、タイル分割部１２から入力されるＲＯＩタイル画像の原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、ＲＯＩタイル画像についてのインター予測処理を行う。

予測制御部４０ａは、イントラ予測及びインター予測に課される参照関係の制約を制御する。例えば、予測制御部４０ａは、ＲＯＩタイル内の各ＰＵについてイントラ予測が実行される際に、他のタイルが参照されないように、イントラ予測部３０ａを制御する。予測制御部４０ａは、参照画像がＲＯＩタイルを含まない場合には、インター予測部３５ａにインター予測を実行させない。また、予測制御部４０ａは、例えば、ＲＯＩタイル内の各ＰＵについてインター予測が実行される際に、参照画像のＲＯＩタイルのみが参照されるように、インター予測部３５ａを制御する。

（３）エンハンスメントレイヤの符号化
図１６は、図１４に示した第２符号化部１ｂの構成の一例を示すブロック図である。図１６を参照すると、第２符号化部１ｂは、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６ｂ、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０ｂ、インター予測部３５ｂ、並びに予測制御部４０ｂを備える。

減算部１３は、図１４に示したタイル分割部１２から入力される非ＲＯＩタイル画像の原画像データ、及び予測画像データが供給される。減算部１３は、原画像データと予測画像データとの差分である予測誤差データを算出する。直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。量子化部１５は、直交変換部１４から入力される変換係数データを量子化し、量子化データを生成する。

可逆符号化部１６ｂは、非ＲＯＩタイルの量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。タイルパラメータはレイヤ間で再利用され得るため、可逆符号化部１６ｂはエンハンスメントレイヤの符号化ストリームのヘッダ領域にタイルパラメータを挿入しなくてよい。蓄積バッファ１７は、可逆符号化部１６ｂにより生成されるエンハンスメントレイヤの符号化ストリームを一時的に蓄積し、蓄積した符号化ストリームを図１４に示した多重化部３へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視し、量子化データのビットレートを制御する。逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。加算部２３は、逆直交変換部２２から入力される予測誤差データとセレクタ２７から入力される予測画像データとを加算することにより、復号画像データを生成する。デブロックフィルタ２４は、画像の符号化の際に生じるブロック歪みを減少させるためのフィルタリング処理を行う。エンハンスメントレイヤの符号化の際には、フレームメモリ２５は、ＲＯＩタイル及び非ＲＯＩタイルの双方を含む（フィルタリング前及びフィルタリング後の）復号画像データの全体を記憶する。

イントラ予測部３０ｂは、タイル分割部１２から入力される非ＲＯＩタイル画像の原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、非ＲＯＩタイル画像についてのイントラ予測処理を行う。インター予測部３５ｂは、タイル分割部１２から入力される非ＲＯＩタイル画像の原画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、非ＲＯＩタイル画像についてのインター予測処理を行う。

予測制御部４０ｂは、非ＲＯＩタイル内の各ＰＵについてイントラ予測が実行される際に、他のタイルが参照されないように、イントラ予測部３０ｂを制御する。予測制御部４０ｂは、非ＲＯＩタイル内の各ＰＵについてインター予測が実行される際には、参照画像の各タイルがＲＯＩタイルであるかに関わらず、参照画像の任意のタイルをインター予測部３５ｂに参照させてよい。

［３−２．ストリームの構成例］
図１７は、本実施形態において生成され得る多重化ストリームの構成の一例について説明するための説明図である。図１７を参照すると、一例としての多重化ストリームＳＴ２が示されている。多重化ストリームＳＴ２は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。ベースレイヤの符号化ストリームは、ＳＰＳ、ＰＰＳ及びスライスヘッダなどのヘッダデータに加えて、ＲＯＩタイルのみの画像データを含む。一方、エンハンスメントレイヤの符号化ストリームは、非ＲＯＩタイルのみの画像データを含む。例えば、ピクチャＰＩＣ２１のＲＯＩタイルの画像データはベースレイヤの符号化ストリームに、ピクチャＰＩＣ２１の１つ以上の非ＲＯＩタイルの画像データはエンハンスメントレイヤの符号化ストリームに含まれている。デコーダが部分復号を実行する際には、ベースレイヤの符号化ストリームのみが復号される。一方、デコーダが全体復号を実行する際には、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームの双方が復号され、別々に生成されるＲＯＩタイル画像と非ＲＯＩタイル画像とが合成される。

［３−３．符号化時の処理の流れ］
図１８は、本実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。図１８に示した処理は、符号化対象画像の各々について繰り返される。

図１８を参照すると、まず、タイル分割部１２は、図１１を用いて説明したタイル分割処理を実行する（ステップＳ２１０）。タイル分割処理の結果として、符号化対象画像は、ＲＯＩタイル画像と非ＲＯＩタイル画像とに分割される。なお、ここでは一例として、全ての符号化対象画像に１つのＲＯＩタイルが設定されるものとする。

次に、第１符号化部１ａは、ＲＯＩタイル画像を符号化して、ベースレイヤの符号化ストリームを生成する（ステップＳ２２０）。ＲＯＩタイルのリコンストラクト画像は、フレームメモリ２５に格納される（ステップＳ２２５）。

次に、第２符号化部１ｂは、非ＲＯＩタイル画像を符号化して、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ２３０）。

次に、多重化部３は、第１符号化部１ａにより生成されたベースレイヤの符号化ストリームと、第２符号化部１ｂにより生成されたエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する（ステップＳ２３５）。

なお、ここまでの説明から理解されるように、第１符号化部１ａは、自らが符号化する画像が原画像の一部に相当するＲＯＩタイル画像であることを、必ずしも認識していなくてもよい。即ち、第１符号化部１ａは、ＲＯＩタイル画像を、タイル分割されていない単一の符号化対象画像として扱うことができる。これは、第１符号化部１ａがベースレイヤの符号化処理をＨＥＶＣ方式以外の画像符号化方式に従って実行し得ることを意味する。例えば、第１符号化部１ａは、タイル分割をサポートしないＡＶＣ（Advanced Video Coding）方式又はＭＰＥＧ２方式などの画像符号化方式に従って、ベースレイヤの符号化ストリームを生成してもよい。一方、第２符号化部１ｂは、タイル分割をサポートするＨＥＶＣ方式に従って各タイルの位置を認識し、ＲＯＩタイルの画像データが省略されたエンハンスメントレイヤの符号化ストリームを生成する。

［３−４．デコーダの構成例］
（１）概略的な構成
図１９は、本実施形態に係る画像復号装置６０の概略的な構成の一例を示すブロック図である。図１９を参照すると、画像復号装置６０は、逆多重化部５、第１復号部６ａ、第２復号部６ｂ、共通メモリ７、合成部８、解像度調整部９及び判定部９０を備える。

逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する。第１復号部６ａは、ベースレイヤの符号化ストリームからＲＯＩタイル画像を復号する。第２復号部６ｂは、判定部９０により全体復号が指示された場合に、エンハンスメントレイヤの符号化ストリームから非ＲＯＩタイル画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

合成部８は、判定部９０により全体復号が指示された場合に、第１復号部６ａにより生成されるＲＯＩタイル画像と第２復号部６ｂにより生成される非ＲＯＩタイル画像とを合成して、原画像の全体を復元する。

解像度調整部９は、第１復号部６ａにより生成されるＲＯＩタイルの復号画像、又は合成部８により生成されるＲＯＩタイル及び非ＲＯＩタイルを含む全体としての復号画像の解像度を調整する。解像度調整部９は、解像度の調整された復号画像データを、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）へ出力する。

判定部９０は、画像復号装置６０が部分復号及び全体復号のいずれを実行すべきかを、例えば装置の性能若しくは種類、通信帯域幅又はユーザによる指定に従って判定する。判定部９０は、部分復号を実行すべきであると判定すると、第１復号部６ａにＲＯＩタイル画像のみを復号させる。一方、判定部９０は、全体復号を実行すべきであると判定すると、さらに第２復号部６ｂにエンハンスメントレイヤの符号化ストリームから非ＲＯＩタイル画像を復号させ、合成部８にＲＯＩタイル画像と非ＲＯＩタイル画像とを合成させる。

なお、第１復号部６ａは、タイル分割をサポートしないＡＶＣ方式又はＭＰＥＧ２方式などの画像符号化方式に従って、ベースレイヤの符号化ストリームからＲＯＩ画像を復号してもよい。

（２）ベースレイヤの復号
図２０は、図１９に示した第１復号部６ａの構成の一例を示すブロック図である。図２０を参照すると、第１復号部６ａは、可逆復号部６３ａ、逆量子化部６４、逆直交変換部６５、加算部６６、デブロックフィルタ６７、並び替えバッファ６８、フレームメモリ７０、セレクタ７１及び７２、イントラ予測部８０並びにインター予測部８５を備える。

可逆復号部６３ａは、逆多重化部５から入力されるベースレイヤの符号化ストリームから、ＲＯＩタイルの画像データを復号する。そして、可逆復号部６３ａは、復号した画像データ（量子化データ）を逆量子化部６４へ出力する。また、可逆復号部６３ａは、符号化ストリームのヘッダ領域に挿入されているタイルパラメータを取得し、取得したタイルパラメータを共通メモリ７に格納する。また、可逆復号部６３ａは、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６３ａは、インター予測に関する情報をインター予測部８５へ出力する。

逆量子化部６４は、可逆復号部６３ａによる復号後の量子化データを逆量子化する。逆直交変換部６５は、逆量子化部６４から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。加算部６６は、逆直交変換部６５から入力される予測誤差データと、セレクタ７２から入力される予測画像データとを加算することにより、ＲＯＩタイルの復号画像データを生成する。デブロックフィルタ６７は、復号された画像に現れるブロック歪みを除去するためのフィルタリング処理を行う。並び替えバッファ６８は、デブロックフィルタ６７から復号順で入力されるＲＯＩタイル画像を、表示順に並び替える。そして、並び替えバッファ６８は、並び替え後のＲＯＩタイルの一連の復号画像データを合成部８又は解像度調整部９へ出力する。

フレームメモリ７０は、ＲＯＩタイルの（フィルタリング前及びフィルタリング後の）復号画像データを記憶する。セレクタ７１は、可逆復号部６３ａにより復号されるモード情報に応じて、フレームメモリ７０からのデータの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。セレクタ７２は、可逆復号部６３ａにより復号されるモード情報に応じて、加算部６６へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。

イントラ予測部８０は、可逆復号部６３ａから入力されるイントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測を実行し、予測画像データをセレクタ７２へ出力する。インター予測部８５は、可逆復号部６３ａから入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測を実行し、予測画像データをセレクタ７２へ出力する。

（３）エンハンスメントレイヤの復号
図２１は、図１９に示した第２復号部６ｂの構成の一例を示すブロック図である。図２１を参照すると、第２復号部６ｂは、パラメータ取得部６２ｂ、可逆復号部６３ｂ、逆量子化部６４、逆直交変換部６５、加算部６６、デブロックフィルタ６７、並び替えバッファ６８、フレームメモリ７０、セレクタ７１及び７２、イントラ予測部８０並びにインター予測部８５を備える。

パラメータ取得部６２ｂは、上述したタイルパラメータを共通メモリ７から取得する。そして、パラメータ取得部６２ｂは、取得したタイルパラメータに基づいて、各復号対象画像のタイル分割と、ＲＯＩタイル及び非ＲＯＩタイルの位置とを識別する。なお、パラメータ取得部６２ｂは、共通メモリ７からタイルパラメータを取得する代わりに、ベースレイヤの符号化ストリーム又は多重化ストリームのヘッダ領域を参照することにより、タイルパラメータを取得してもよい。

可逆復号部６３ｂは、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームから、非ＲＯＩタイルの画像データを復号する。そして、可逆復号部６３ｂは、復号した画像データ（量子化データ）を逆量子化部６４へ出力する。また、可逆復号部６３ｂは、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６３ｂは、インター予測に関する情報をインター予測部８５へ出力する。

逆量子化部６４は、可逆復号部６３ｂによる復号後の量子化データを逆量子化する。逆直交変換部６５は、逆量子化部６４から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。加算部６６は、逆直交変換部６５から入力される予測誤差データと、セレクタ７２から入力される予測画像データとを加算することにより、非ＲＯＩタイルの復号画像データを生成する。デブロックフィルタ６７は、復号された画像に現れるブロック歪みを除去するためのフィルタリング処理を行う。並び替えバッファ６８は、デブロックフィルタ６７から復号順で入力される非ＲＯＩタイル画像を、表示順に並び替える。そして、並び替えバッファ６８は、並び替え後の非ＲＯＩタイルの一連の復号画像データを合成部８へ出力する。

エンハンスメントレイヤの符号化の際には、フレームメモリ７０は、ＲＯＩタイル及び非ＲＯＩタイルの双方を含む（フィルタリング前及びフィルタリング後の）復号画像データの全体を記憶する。セレクタ７１は、可逆復号部６３ｂにより復号されるモード情報に応じて、フレームメモリ７０からのデータの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。セレクタ７２は、可逆復号部６３ｂにより復号されるモード情報に応じて、加算部６６へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。

イントラ予測部８０は、可逆復号部６３ｂから入力されるイントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測を実行し、予測画像データをセレクタ７２へ出力する。インター予測部８５は、可逆復号部６３ｂから入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測を実行し、予測画像データをセレクタ７２へ出力する。

［３−５．復号時の処理の流れ］
図２２は、本実施形態に係る復号時の処理の流れの一例を示すフローチャートである。図２２に示した処理は、復号対象画像の各々について繰り返される。

図２２を参照すると、まず、第１復号部６ａは、ベースレイヤの符号化ストリームからタイルパラメータを取得する（ステップＳ２６０）。ここで取得されたタイルパラメータは、共通メモリ７を介して第２復号部６ｂへ受け渡される。

次に、第１復号部６ａは、ベースレイヤの符号化ストリームからＲＯＩタイル画像を復号する（ステップＳ２６５）。ＲＯＩタイルのリコンストラクト画像は、フレームメモリ７０に格納される（ステップＳ２７０）。

また、判定部９０は、部分復号を実行すべきであるか否かを判定する（ステップＳ２７５）。ここで、部分復号を実行すべきであると判定された場合には、処理はステップＳ２９５へ進む。一方、全体復号を実行すべきであると判定された場合には、処理はステップＳ２８０へ進む。

全体復号を実行すべきであると判定された場合、第２復号部６ｂは、エンハンスメントレイヤの符号化ストリームから非ＲＯＩタイル画像を復号する（ステップＳ２８０）。なお、第２復号部６ｂは、ステップＳ２６０において取得されたタイルパラメータに基づいてＲＯＩタイル及び非ＲＯＩタイルの位置を識別し、既に第１復号部６ａにより復号されているＲＯＩタイルについての復号処理をスキップする。次に、合成部８は、第１復号部６ａにより生成されたＲＯＩタイル画像と第２復号部６ｂにより生成された非ＲＯＩタイル画像とを合成する（ステップＳ２８５）。そして、解像度調整部９は、合成された全体としての復号画像の解像度を調整する（ステップＳ２９０）。

一方、部分復号を実行すべきであると判定された場合、第２復号部６ｂは、非ＲＯＩタイル画像を復号しない。解像度調整部９は、第１復号部６ａにより生成されたＲＯＩタイルの復号画像の解像度を調整する（ステップＳ２９５）。

そして、ステップＳ２９０又はステップＳ２９５において解像度の調整された画像が、ディスプレイに表示される。

＜４．応用例＞
本開示に係る技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［４−１．第１の応用例］
図２３は、上述した第１の実施形態又は第２の実施形態が適用され得るテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る部分復号の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ＲＯＩタイルのみを復号するか画像全体を復号するかを動的に選択することができる。

［４−２．第２の応用例］
図２４は、上述した第１の実施形態又は第２の実施形態が適用され得る携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る部分復号の機能を有する。それにより、携帯電話機９２０での画像の復号又は携帯電話機９２０と通信する装置での画像の復号に際して、ＲＯＩタイルのみを復号するか画像全体を復号するかを動的に選択することができる。

［４−３．第３の応用例］
図２５は、上述した第１の実施形態又は第２の実施形態が適用され得る記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３及びデコーダ９４７は、上述した実施形態に係る部分復号の機能を有する。それにより、記録再生装置９４０での画像の復号又は記録再生装置９４０で記録された画像の他の装置での復号に際して、ＲＯＩタイルのみを復号するか画像全体を復号するかを動的に選択することができる。

［４−４．第４の応用例］
図２６は、上述した第１の実施形態又は第２の実施形態が適用され得る撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る部分復号の機能を有する。それにより、撮像装置９６０で撮像され又は記録される画像の復号に際して、ＲＯＩタイルのみを復号するか画像全体を復号するかを動的に選択することができる。

＜５．まとめ＞
ここまで、図３Ａ〜図２６を用いて、本開示に係る技術について詳細に説明した。本開示に係る技術によれば、ＨＥＶＣ方式のタイル分割を活用することにより、画像が注目領域（ＲＯＩ）タイル及び非ＲＯＩタイルに分割され、いずれのタイルがＲＯＩタイルであるかを示すタイルパラメータが符号化ストリームに挿入される。従って、デコーダがＲＯＩタイルのみを部分復号することの可能な仕組みが実現される。それにより、個別の解像度ごとの符号化ストリームを冗長的に用意することなく、能力の高い端末には高解像度の画像を提供し、相対的に能力の低い端末には低解像度の画像を提供することが可能となる。

ＲＯＩタイルのみの部分復号を可能とする新たなタイルパラメータは、符号化ストリームのＳＰＳ若しくはＰＰＳ、ＳＥＩ、又はスライスヘッダに挿入され得る。従って、例えばＲＯＩタイルが存在するか否か及びＲＯＩタイルの位置を、部分復号の用途に合わせて柔軟に指定することができる。例えば、全ての画像が少なくとも１つのＲＯＩタイルを含むような用途では、ＲＯＩタイルが存在することをＳＰＳにおいて包括的に示すことにより、タイルパラメータの符号量を削減することができる。

上述した実施形態によれば、タイル分割は、符号化対象画像に設定されたＲＯＩの位置に応じて決定される。従って、ＲＯＩが時間的に移動するような用途においても、移動するＲＯＩを適切に追跡する動画を、部分復号によって得ることができる。例えば、画像内で検出される人物領域をＲＯＩとして扱うことにより、監視カメラの画像に映る人物画像のみを性能の低い端末で閲覧することが可能となる。また、例えばテレビ会議システムの用途では、帯域幅の異なる通信チャネルで複数のサイトが接続されている状況において、十分に広い帯域幅を有するサイトでは他のサイトからの高解像度画像の全体を復号し、狭い帯域幅のみを有するサイトでは当該高解像度画像に映る話し手の領域のみを部分的に復号することができる。

また、上述した実施形態によれば、エンコーダ側でＲＯＩタイルについてインター予測を実行する際に、参照画像の非ＲＯＩタイルを参照することが禁止される。参照画像がＲＯＩタイルを含まない場合には、インター予測が実行されず、イントラ予測のみが実行される。従って、ＲＯＩタイルの一連の画像データを、非ＲＯＩタイルを参照することなく復号することができる。

第２の実施形態によれば、スケーラブル符号化の一種としての領域スケーラビリティが実現される。この場合、ベースレイヤの符号化ストリームを、タイル分割をサポートしない画像符号化方式に従って符号化し及び復号することも可能である。従って、例えばＭＰＥＧ２方式又はＡＶＣ方式などの旧来の画像符号化方式のみをサポートする端末にはＲＯＩ画像のみを提供し、ＨＥＶＣ方式をサポートする端末にはＲＯＩ画像を含む高解像度画像の全体を提供することもできる。また、エンハンスメントレイヤの符号化ストリームにおいてはＲＯＩタイルの画像データが省略されるため、ＲＯＩタイル画像の冗長的な符号化を回避して符号量の増加を抑制しつつ、これら画像符号化方式の間の部分的な互換性を確保することができる。

なお、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付られるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding Block）、ＰＢ（Prediction Block）及びＴＢ（Transform Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding Tree Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding Tree Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。

また、本明細書では、様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像を複数のタイルに分割することにより符号化された符号化ストリームから、いずれのタイルが注目領域タイルであるかを示す第１のパラメータを取得する取得部と、
前記取得部により取得される前記第１のパラメータに基づいて、前記画像の前記注目領域タイル及び非注目領域タイルの少なくとも一方を復号する復号部と、
を備える画像復号装置。
（２）
前記取得部は、前記符号化ストリームのＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）から前記第１のパラメータを取得する、前記（１）に記載の画像復号装置。
（３）
前記取得部は、前記符号化ストリームのＳＥＩ（Supplemental Enhancement Information）から前記第１のパラメータを取得する、前記（１）に記載の画像復号装置。
（４）
前記取得部は、前記符号化ストリームのスライスヘッダから前記第１のパラメータを取得する、前記（１）に記載の画像復号装置。
（５）
前記取得部は、注目領域タイルを含むことを前記符号化ストリームから取得される第２のパラメータが示している画像について、前記第１のパラメータを取得する、前記（１）〜（４）のいずれか１項に記載の画像復号装置。
（６）
前記画像は、当該画像に設定された注目領域の位置に応じて、符号化の際に前記複数のタイルに分割される、前記（１）〜（５）のいずれか１項に記載の画像復号装置。
（７）
前記注目領域タイルは、各画像内で検出された人物領域を含むタイルである、前記（６）に記載の画像復号装置。
（８）
前記画像復号装置は、
前記符号化ストリームから取得される動きベクトル情報の、注目領域タイルの位置に依存するオフセットを解除し、オフセットの解除された当該動きベクトル情報を用いてインター予測を実行するインター予測部、
をさらに備える、前記（１）〜（７）のいずれか１項に記載の画像復号装置。
（９）
前記復号部は、部分復号が実行される場合には、前記非注目領域タイルを復号することなく前記注目領域タイルを復号する、前記（１）〜（８）のいずれか１項に記載の画像復号装置。
（１０）
前記復号部は、前記注目領域タイルの画像データが省略されたエンハンスメントレイヤのストリームである前記符号化ストリームを復号して、前記非注目領域タイルの画像データを生成し、
前記画像復号装置は、
ベースレイヤのストリームを復号して、前記注目領域タイルの画像データを生成するベースレイヤ復号部と、
前記注目領域タイルの画像データ及び前記非注目領域タイルの画像データを合成して前記画像を復元する合成部と、
をさらに備える、前記（１）〜（８）のいずれか１項に記載の画像復号装置。
（１１）
前記ベースレイヤ復号部は、タイル分割をサポートしない符号化方式に従って、前記ベースレイヤのストリームを復号する、前記（１０）に記載の画像復号装置。
（１２）
前記復号部は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って、前記エンハンスメントレイヤのストリームを復号し、
前記ベースレイヤ復号部は、ＭＰＥＧ２方式又はＡＶＣ（Advanced Video Coding）方式に従って、前記ベースレイヤのストリームを復号する、
前記（１１）に記載の画像復号装置。
（１３）
前記画像復号装置は、
装置の性能若しくは種類、通信帯域幅又はユーザによる指定に従って、部分復号を実行すべきかを判定する判定部、
をさらに備え、
前記判定部により部分復号を実行すべきであると判定された場合には、前記画像の前記注目領域タイルのみが復号される、
前記（９）〜（１２）のいずれか１項に記載の画像復号装置。
（１４）
前記画像復号装置は、
部分復号によって生成される前記注目領域タイルの復号画像を高解像度化することにより、表示画像を生成する解像度調整部、
をさらに備える、前記（１３）に記載の画像復号装置。
（１５）
前記画像復号装置は、
全体復号によって生成される前記注目領域タイル及び前記非注目領域タイルの復号画像を低解像度化することにより、表示画像を生成する解像度調整部、
をさらに備える、前記（１３）に記載の画像復号装置。
（１６）
画像を複数のタイルに分割することにより符号化された符号化ストリームから、いずれのタイルが注目領域タイルであるかを示す第１のパラメータを取得することと、
取得された前記第１のパラメータに基づいて、前記画像の前記注目領域タイル及び非注目領域タイルの少なくとも一方を復号することと、
を含む画像復号方法。
（１７）
画像を注目領域タイルを含む複数のタイルに分割する分割部と、
前記画像をタイルごとに符号化することにより生成される符号化ストリームに、いずれのタイルが前記注目領域タイルであるかを示す第１のパラメータを挿入する符号化部と、
を備える画像符号化装置。
（１８）
前記符号化部は、前記符号化ストリームのＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）に前記第１のパラメータを挿入する、前記（１７）に記載の画像符号化装置。
（１９）
前記符号化部は、前記符号化ストリームのＳＥＩ（Supplemental Enhancement Information）に前記第１のパラメータを挿入する、前記（１７）に記載の画像符号化装置。
（２０）
前記符号化部は、前記符号化ストリームのスライスヘッダに前記第１のパラメータを挿入する、前記（１７）に記載の画像符号化装置。
（２１）
前記符号化部は、各画像に注目領域タイルが含まれるかを示す第２のパラメータを前記符号化ストリームにさらに挿入する、前記（１７）〜（２０）のいずれか１項に記載の画像符号化装置。
（２２）
前記分割部は、各画像に注目領域を設定し、設定した前記注目領域の位置に応じて、タイル分割を決定する、前記（１７）〜（２１）のいずれか１項に記載の画像符号化装置。
（２３）
前記分割部は、各画像について人物検出を実行することにより、各画像に前記注目領域を設定する、前記（２２）に記載の画像符号化装置。
（２４）
前記画像符号化装置は、
符号化対象画像についてインター予測を実行するインター予測部と、
前記符号化対象画像の注目領域タイル内の予測単位について、参照画像の非注目領域タイルを参照することなく、前記インター予測部にインター予測を実行させる制御部と、
をさらに備える、前記（１７）〜（２３）のいずれか１項に記載の画像符号化装置。
（２５）
前記インター予測部は、前記符号化対象画像の注目領域タイル内の予測単位について、前記参照画像の注目領域タイルの位置に依存してオフセットされる動きベクトル情報を生成する、前記（２４）に記載の画像符号化装置。
（２６）
前記制御部は、前記符号化対象画像の非注目領域タイル内の予測単位について、前記参照画像の各タイルが注目領域タイルであるかに関わらず、前記インター予測部にインター予測を実行させる、前記（２４）又は前記（２５）に記載の画像符号化装置。
（２７）
前記制御部は、前記参照画像が注目領域タイルを含まない場合には、前記符号化対象画像の注目領域タイル内の予測単位について、前記インター予測部にインター予測を実行させない、前記（２４）〜（２６）のいずれか１項に記載の画像符号化装置。
（２８）
前記符号化部は、前記注目領域タイルの画像データ及び非注目領域タイルの画像データの双方を１つの符号化ストリームに符号化する、前記（１７）〜（２７）のいずれか１項に記載の画像符号化装置。
（２９）
前記符号化部は、前記注目領域タイルの画像データが省略されたエンハンスメントレイヤのストリームとして、前記符号化ストリームを生成し、
前記画像符号化装置は、
前記注目領域タイルの画像データを符号化することにより、ベースレイヤのストリームを生成するベースレイヤ符号化部と、
前記ベースレイヤのストリーム及び前記エンハンスメントレイヤのストリームを多重化して多重化ストリームを生成する多重化部と、
をさらに備える、前記（１７）〜（２７）のいずれか１項に記載の画像符号化装置。
（３０）
前記ベースレイヤ符号化部は、タイル分割をサポートしない符号化方式に従って、前記ベースレイヤのストリームを生成する、前記（２９）に記載の画像符号化装置。
（３１）
前記符号化部は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って、前記エンハンスメントレイヤのストリームを生成し、
前記ベースレイヤ符号化部は、ＭＰＥＧ２方式又はＡＶＣ（Advanced Video Coding）方式に従って、前記ベースレイヤのストリームを生成する、
前記（３０）に記載の画像符号化装置。
（３２）
画像を注目領域タイルを含む複数のタイルに分割することと、
前記画像をタイルごとに符号化することにより生成される符号化ストリームに、いずれのタイルが前記注目領域タイルであるかを示す第１のパラメータを挿入することと、
を含む画像符号化方法。

１，１０ 画像符号化装置
３ 多重化部
１２ タイル分割部
１６，１６ａ，１６ｂ 可逆符号化部
３０，３０ａ，３０ｂ イントラ予測部
３５，３５ａ，３５ｂ インター予測部
４０，４０ａ，４０ｂ 予測制御部
６，６０ 画像復号装置
８ 合成部
６３，６３ａ，６３ｂ 可逆復号部
６９，９ 解像度調整部
８０ イントラ予測部
８５ インター予測部
９０ 判定部

Claims (18)

1. 画像を複数のタイルに分割することにより符号化された符号化ストリームから、注目領域に対応する注目領域タイルを特定する第１のパラメータ、及びインター予測に際して前記注目領域外のタイルの画素を参照画素として用いることが禁止される前記注目領域タイルが前記画像に含まれることを示す第２のパラメータを取得する取得部と、
   前記取得部により取得される前記第１のパラメータ及び前記第２のパラメータに応じて、復号対象画像の前記注目領域タイルについて前記注目領域外のタイルの画素を参照画素として用いることなくインター予測を行うことにより、ベースレイヤの符号化ストリームを復号して、前記注目領域タイルの画像データを生成するベースレイヤ復号部と、
   部分復号及び全体復号のうち前記全体復号を実行すべきであると判定される場合に、インター予測に際して前記注目領域タイル及び前記注目領域外のタイルの双方の画素を参照画素として用いながら、前記注目領域タイルの画像データが省略されたエンハンスメントレイヤの符号化ストリームを復号して、前記注目領域外のタイルの画像データを生成するエンハンスメントレイヤ復号部と、
   を備える画像復号装置。
2. 前記取得部は、前記符号化ストリームのＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）から前記第１のパラメータ及び前記第２のパラメータを取得する、請求項１に記載の画像復号装置。
3. 前記取得部は、前記符号化ストリームのＳＥＩ（Supplemental Enhancement Information）から前記第１のパラメータ及び前記第２のパラメータを取得する、請求項１に記載の画像復号装置。
4. 前記取得部は、前記符号化ストリームからタイルの分割方法を示すタイル分割パラメータをさらに取得する、請求項１〜３のいずれか１項に記載の画像復号装置。
5. 前記取得部は、ＳＰＳ又はＰＰＳから前記タイル分割パラメータを取得する、請求項４に記載の画像復号装置。
6. 前記分割方法は、複数の画像にわたって変化しない、請求項５に記載の画像復号装置。
7. 前記タイル分割パラメータは、タイルの列又は行の数を示すパラメータを含む、請求項４〜６のいずれか１項に記載の画像復号装置。
8. 前記タイル分割パラメータは、画像内でタイルサイズが均一か否かを示すパラメータを含む、請求項４〜７のいずれか１項に記載の画像復号装置。
9. 前記画像は、当該画像に設定された注目領域の位置に応じて、符号化の際に前記複数のタイルに分割される、請求項１に記載の画像復号装置。
10. 前記注目領域タイルは、各画像内で検出された人物領域を含むタイルである、請求項９に記載の画像復号装置。
11. 前記画像復号装置は、前記部分復号が実行される場合に前記注目領域外のタイルを復号することなく前記注目領域タイルを前記ベースレイヤ復号部に復号させる、請求項１に記載の画像復号装置。
12. 前記画像復号装置は、
    前記注目領域タイルの画像データ及び前記注目領域外のタイルの画像データを合成して前記画像を復元する合成部、
    をさらに備える、請求項１に記載の画像復号装置。
13. 前記ベースレイヤ復号部は、タイル分割をサポートしない符号化方式に従って、前記ベースレイヤの符号化ストリームを復号する、請求項１２に記載の画像復号装置。
14. 前記エンハンスメントレイヤ復号部は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って、前記エンハンスメントレイヤの符号化ストリームを復号し、
    前記ベースレイヤ復号部は、ＭＰＥＧ２方式又はＡＶＣ（Advanced Video Coding）方式に従って、前記ベースレイヤの符号化ストリームを復号する、
    請求項１３に記載の画像復号装置。
15. 前記画像復号装置は、
    装置の性能若しくは種類、通信帯域幅又はユーザによる指定に従って、前記部分復号を実行すべきかを判定する判定部、
    をさらに備える、
    請求項１１に記載の画像復号装置。
16. 前記画像復号装置は、
    前記部分復号によって生成される前記注目領域タイルの復号画像を高解像度化することにより、表示画像を生成する解像度調整部、
    をさらに備える、請求項１５に記載の画像復号装置。
17. 前記画像復号装置は、
    前記全体復号によって生成される前記注目領域タイル及び前記注目領域外のタイルの復号画像を低解像度化することにより、表示画像を生成する解像度調整部、
    をさらに備える、請求項１５に記載の画像復号装置。
18. 画像を複数のタイルに分割することにより符号化された符号化ストリームから、注目領域に対応する注目領域タイルを特定する第１のパラメータ、及びインター予測に際して前記注目領域外のタイルの画素を参照画素として用いることが禁止される前記注目領域タイルが前記画像に含まれることを示す第２のパラメータを取得することと、
    取得された前記第１のパラメータ及び前記第２のパラメータに応じて、復号対象画像の前記注目領域タイルについて前記注目領域外のタイルの画素を参照画素として用いることなくインター予測を行うことにより、ベースレイヤの符号化ストリームを復号して、前記注目領域タイルの画像データを生成することと、
    部分復号及び全体復号のうち前記全体復号を実行すべきであると判定される場合に、インター予測に際して前記注目領域タイル及び前記注目領域外のタイルの双方の画素を参照画素として用いながら、前記注目領域タイルの画像データが省略されたエンハンスメントレイヤの符号化ストリームを復号して、前記注目領域外のタイルの画像データを生成することと、
    を含む画像復号方法。
    

Images