JP6881555B2 - 復号装置および復号方法 - Google Patents

Description

本開示は、復号装置および復号方法、並びに符号化装置および符号化方法に関し、特に、符号化対象の画像の色域を復号側で正確に認識することができるようにした復号装置および復号方法、並びに符号化装置および符号化方法に関する。

近年、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO/IEC 13818-2）方式は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22MBpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H．26L（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

また、近年、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。この標準化は、2003年3月にH．264及びMPEG-4 Part10（AVC（Advanced Video Coding））という名の元に国際標準化された。

更に、その拡張として、RGBやYUV422、YUV444といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8×8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、AVC方式が、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、ＢＤ（Blu-ray（登録商標） Disc ）等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の4000×2000画素程度の画像を圧縮したい、または、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続されている。

また、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team − Video Coding)により、
HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。2013年8月現在、Draftとして非特許文献１が発行されている。

ところで、AVC方式やHEVC方式では、符号化対象の画像の色域がVUI(Video Usability Information)のcolour_primariesで定義される。

Benjamin Bross,Gary J.Sullivan,Ye-Kui Wang,"Editors' proposed corrections to HEVC version 1", JCTVC-M0432_v3,2013.4.18-4.26

しかしながら、別規格で定義されている色域のいずれかを識別するインデックスにより、符号化対象の画像の色域が定義される。従って、符号化対象の画像の色域として固定の色域以外の色域を定義することができず、符号化対象の画像の色域を復号側で正確に認識することはできなかった。

本開示は、このような状況に鑑みてなされたものであり、符号化対象の画像の色域を復号側で正確に認識することができるようにするものである。

本開示の一側面の復号装置は、画像の符号化データ、前記画像の色域を表すVUI(Video Usability Information)で規定される色域情報およびSEI（Supplemental Enhancement Information）で規定される色域情報、並びに前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームを受け取る受け取り部と、前記受け取り部により受け取られた前記符号化ストリームから、前記符号化データ、前記色域情報、および前記輝度情報を抽出する抽出部と、前記抽出部により抽出された前記符号化データを復号し、前記画像を生成する復号部と、前記抽出部により抽出された前記輝度情報に基づいて、前記復号部により生成された前記画像のダイナミックレンジを調整し、前記VUIで規定される色域情報および前記SEIで規定される色域情報のいずれかに基づいて、前記復号部により生成された前記画像の色域を調整する調整部とを備える復号装置である。

本開示の一側面の復号方法は、復号装置が、画像の符号化データ、前記画像の色域を表すVUI(Video Usability Information)で規定される色域情報およびSEI（Supplemental Enhancement Information）で規定される色域情報、並びに前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームを受け取る受け取りステップと、前記受け取りステップの処理により受け取られた前記符号化ストリームから、前記符号化データ、前記色域情報、および前記輝度情報を抽出する抽出ステップと、前記抽出ステップの処理により抽出された前記符号化データを復号し、前記画像を生成する復号ステップと、前記抽出ステップの処理により抽出された前記輝度情報に基づいて、前記復号ステップの処理により生成された前記画像のダイナミックレンジを調整し、前記VUIで規定される色域情報および前記SEIで規定される色域情報のいずれかに基づいて、前記復号ステップの処理により生成された前記画像の色域を調整する調整ステップとを含む復号方法である。

本開示の一側面においては、画像の符号化データ、前記画像の色域を表すVUI(Video Usability Information)で規定される色域情報およびSEI（Supplemental Enhancement Information）で規定される色域情報、並びに前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームが受け取られ、受け取られた前記符号化ストリームから、前記符号化データ、前記色域情報、および前記輝度情報が抽出され、抽出された前記符号化データが復号され、前記画像が生成され、抽出された前記輝度情報に基づいて、生成された前記画像のダイナミックレンジが調整され、前記VUIで規定される色域情報および前記SEIで規定される色域情報のいずれかに基づいて、前記復号部により生成された前記画像の色域が調整される。

本開示を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 colour_primaries_info SEIのシンタックスの例を示す図である。 colour_primaries_info SEIの各情報の内容を説明する図である。 colour_primaries_info SEIの各情報の内容を説明する図である。 colour_primaries_info_sei_elementのシンタックスの例を示す図である。 colour_primaries_info_sei_elementの各情報の内容を説明する図である。 colour_primaries_info_sei_elementの各情報の内容を説明する図である。 ref_display_luminance_info SEIのシンタックスの例を示す図である。 ref_display_luminance_info SEIの各情報の内容を説明する図である。 符号化装置のストリーム生成処理を説明するフローチャートである。 本開示を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図１１の復号装置の画像生成処理を説明するフローチャートである。 本開示を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 colour_primaries_info SEIのシンタックスの例を示す図である。 colour_primaries_info SEIの各情報を説明する図である。 colour_primaries_info SEIの各情報を説明する図である。 colour_primaries_info SEIの各情報を説明する図である。 colour_primaries_info SEIの各情報を説明する図である。 colour_primaries_info SEIの各情報を説明する図である。 符号化装置のストリーム生成処理を説明するフローチャートである。 本開示を適用した復号装置の第２実施の形態の構成例を示すブロック図である。 図２１の復号装置の画像生成処理を説明するフローチャートである。 色域情報と輝度情報が配置されるシステムレイヤとしてのMP4のボックスを説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 多視点画像符号化方式の例を示す図である。 本開示を適用した多視点画像符号化装置の構成例を示す図である。 本開示を適用した多視点画像復号装置の構成例を示す図である。 階層画像符号化方式の例を示す図である。 スペーシャルなスケーラブル符号化の例を説明する図である。 テンポラルなスケーラブル符号化の例を説明する図である。 信号雑音比のスケーラブル符号化の例を説明する図である。 本開示を適用した階層画像符号化装置の構成例を示す図である。 本開示を適用した階層画像復号装置の構成例を示す図である。 本開示を適用したテレビジョン装置の概略構成例を示す図である。 本開示を適用した携帯電話機の概略構成例を示す図である。 本開示を適用した記録再生装置の概略構成例を示す図である。 本開示を適用した撮像装置の概略構成例を示す図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。 本開示を適用したビデオセットの概略的な構成の一例を示している。 本開示を適用したビデオプロセッサの概略的な構成の一例を示している。 本開示を適用したビデオプロセッサの概略的な構成の他の例を示している。

＜第１実施の形態＞
（符号化装置の第１実施の形態の構成例）
図１は、本開示を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。

図１の符号化装置１０は、設定部１１、符号化部１２、および伝送部１３により構成され、画像をHEVC方式に準ずる方式で符号化する。

具体的には、符号化装置１０の設定部１１は、SPS（Sequence Parameter Set）,PPS（Picture Parameter Set），VUI,SEI（Supplemental Enhancement Information）などのパラメータセットを設定する。

SEIとしては、colour_primaries_info SEI,ref_display_luminance_info SEIなどがある。colour_primaries_info SEIは、色域（の境界）を表す情報である色域情報を含むSEIである。ref_display_luminance_info SEIは、符号化対象の画像のオーサリング時に符号化対象の画像を表示したマスタのディスプレイ（表示部）の白色、灰色、および黒色の輝度レベルを表す輝度情報（マスタのディスプレイの色域情報）を含むSEIである。設定部１１は、設定されたパラメータセットを符号化部１２に供給する。

符号化部１２には、フレーム単位の符号化対象の画像が入力される。符号化部１２は、入力された符号化対象の画像をHEVC方式で符号化する。符号化部１２は、符号化の結果得られる符号化データと設定部１１から供給されるパラメータセットから符号化ストリームを生成し、伝送部１３に供給する。

伝送部１３は、符号化部１２から供給される符号化ストリームを、後述する復号装置に伝送する。

（colour_primaries_info SEIのシンタックスの例）
図２は、colour_primaries_info SEIのシンタックスの例を示す図である。

図２の２行目に示すように、colour_primaries_info SEIには、colour_primaries_info_idが記述される。図３に示すように、colour_primaries_info_idは、色域情報の目的を識別するためのＩＤである。

図２の３行目に示すように、colour_primaries_info SEIには、colour_primaries_typeが記述される。図３に示すように、colour_primaries_typeは、色空間のタイプである。例えば、図３の表に示すように、色空間のタイプがRGB表色系である場合、colour_primaries_typeは１であり、色空間のタイプがXYZ表色系である場合、colour_primaries_typeは２である。

図２の４行目に示すように、colour_primaries_info SEIには、colour_primaries_info_present_flagが記述される。図３に示すように、colour_primaries_info_present_flagは、色域情報のうちの原色の色空間内の位置を表す原色情報がcolour_primaries_info SEIに記述されるかどうかを表すフラグである。原色情報が記述される場合、colour_primaries_info_present_flagは１であり、記述されない場合、colour_primaries_info_present_flagは０である。

図２の５行目に示すように、colour_primaries_info SEIには、white_point_info_present_flagが記述される。図３に示すように、white_point_info_present_flagは、色域情報のうちの白色の色空間内の位置（white point）を表す白色情報がcolour_primaries_info SEIに記述されるかどうかを表すフラグである。白色情報が記述される場合、white_point_info_present_flagは１であり、記述されない場合、white_point_info_present_flagは０である。

図２の６行目および７行目に示すように、VUIに含まれるcolour_description_present_flagが1である場合、colour_primaries_info SEIには、limited_colour_gamut_boundaries_flagが記述される。なお、colour_description_present_flagは、VUIに別規格で定義されている色域を識別するインデックスが記述されるかどうかを表すフラグである。VUIにインデックスが記述される場合、colour_description_present_flagは１であり、VUIにインデックスが記述されない場合、colour_description_present_flagは０である。

また、limited_colour_gamut_boundaries_flagは、図４に示すように、符号化対象の画像の色域がVUIに記述されるインデックスで識別される色域内に制限されるかどうかを表すフラグである。色域が制限される場合limited_colour_gamut_boundaries_flagは０であり、色域が制限されない場合、limited_colour_gamut_boundaries_flagは１である。

図２の８および９行目に示すように、limited_colour_gamut_boundaries_flagが１である場合、colour_primaries_info SEIには、limited_colour_gamut_range_in_percentが記述される。図４に示すように、limited_colour_gamut_range_in_percentは、VUIに記述されるインデックスで識別される色域に対する符号化対象の画像の色域のカバー率を表す。即ち、limited_colour_gamut_range_in_percentは、VUIに記述されるインデックスで識別される色域における符号化対象の画像の色域の割合である。

図２の１０行目および１１行目に示すように、colour_primaries_info_present_flagが１である場合、colour_primaries_info SEIには、colour_primaries_order_typeが記述される。図４に示すように、colour_primaries_order_typeは、原色情報の記述順のタイプである。

例えば、図４の表に示すように、色空間のタイプがRGB表色系であり、原色情報が、赤色、緑色、青色の順に記述され、その後、それ以外の色の波長の長い順(例えば、黄色、シアンの順)に記述される場合、colour_primaries_order_typeは１である。また、色空間のタイプがRGB表色系であり、原色情報が波長の長い順（例えば、赤色、黄色、緑色、シアン、青色の順）に記述される場合、colour_primaries_order_typeは２である。色空間のタイプがXYZ表色系であり、原色情報がX,Y,Zの順に記述される場合、colour_primaries_order_typeは３である。

また、図２の１２行目に示すように、colour_primaries_info_present_flagが１である場合、colour_primaries_info SEIには、num_colour_primaries_minus3が記述される。図４に示すように、num_colour_primaries_minus3は、colour_primaries_info SEIに記述される原色情報の数から３を減算した値である。

図２の１３行目乃至１６行目に示すように、colour_primaries_info_present_flagが１である場合、colour_primaries_info SEIには、num_colour_primaries_minus3に３を加算した数だけ、原色情報が記述される。原色情報は、原色の色空間内のX方向の位置を表すcolour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],ColourPrimaryXManlen[i])と、Y方向の位置を表すcolour_primaries_info_sei_element(ColourPrimaryYSign[i],ColourPrimaryYExp[i],ColourPrimaryYMantissa[i],ColourPrimaryYManlen[i])により構成される。

図２の１７行目乃至１９行目に示すように、white_point_info_present_flagが１である場合、colour_primaries_info SEIには、白色情報が記述される。白色情報は、白色の色空間内のX方向の位置を表すcolour_primaries_info_sei_element(WhitePointXSign, WhitePointXExp,WhitePointXMantissa,WhitePointXManlen)と、Y方向の位置を表すcolour_primaries_info_sei_element(WhitePointYSign,WhitePointYExp,WhitePointYMantissa,WhitePointYManlen)により構成される。

（colour_primaries_info_sei_elementのシンタックスの例）
図５は、原色情報および白色情報を構成するcolour_primaries_info_sei_elementのシンタックスの例を示す図である。

図５に示すように、colour_primaries_info_sei_elementは、colour_primaries_info_sign, colour_primaries_info_exponent, colour_primaries_info_mantissa_len_minus1、およびcolour_primaries_info_mantissaにより構成される。

なお、図５では、ColourPrimaryXSign[i],ColourPrimaryYSign[i],WhitePointXSign, WhitePointYSignを総称してOutSignという。同様に、ColourPrimaryXExp[i], ColourPrimaryYExp[i],WhitePointXExp,WhitePointYExpをOutExpといい、ColourPrimaryXMantissa[i],ColourPrimaryYMantissa[i],WhitePointXMantissa,WhitePointYMantissaをOutMantissaという。また、ColourPrimaryXManlen[i], ColourPrimaryYManlen[i],WhitePointXManlen,WhitePointYManlenをOutManLenという。

colour_primaries_info_signは、図６に示すように、対応する色の色空間内の位置の座標の浮動小数点の符号を表す。符号がプラスである場合、colour_primaries_info_signが０であり、マイナスである場合、colour_primaries_info_signは１である。

colour_primaries_info_exponentは、図６に示すように、対応する色の色空間内の位置の座標の浮動小数点の指数を表す。

colour_primaries_info_mantissa_len_minus1は、図６に示すように、colour_primaries_info_mantissaのビット数から１を減算した値である。colour_primaries_info_mantissaは、図６に示すように、対応する色の色空間内の位置の座標の浮動小数点の仮数である。

以上により、colour_primaries_info_sei_elementは、対応する色の色空間内の位置の座標xを表すことができる。即ち、座標xは、図７に示すように、colour_primaries_info_sign, colour_primaries_info_exponent, colour_primaries_info_mantissa_len_minus1、およびcolour_primaries_info_mantissaを用いて、以下の式（１）により求めることができる。

なお、式（１）において、sはcolour_primaries_info_signであり、eはcolour_primaries_info_exponentである。また、nはcolour_primaries_info_mantissaであり、vはcolour_primaries_info_mantissa_len_minus1である。

例えば、colour_primaries_info_sei_elementが、原色の色空間内のｘ方向の位置の座標ColourPrimariesXを表すcolour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],ColourPrimaryXManlen[i])である場合、図７の表に示すように、式（１）のｓにcolour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],ColourPrimaryXManlen[i])のcolour_primaries_info_signであるColourPrimariesXSignが代入される。

また、式（１）のｅにcolour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],ColourPrimaryXManlen[i])のcolour_primaries_info_exponentであるColourPrimariesXExpが代入される。さらに、式（１）のｎにcolour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],ColourPrimaryXManlen[i])のcolour_primaries_info_mantissaであるColourPrimaryXMantissaが代入され、vにcolour_primaries_info_mantissa_len_minus1であるColourPrimaryXManlenが代入される。これにより、座標ｘとして原色の色空間内のｘ方向の位置の座標ColourPrimariesXが算出される。

同様に、colour_primaries_info_sei_elementが、colour_primaries_info_sei_element(ColourPrimaryYSign[i],ColourPrimaryYExp[i],ColourPrimaryYMantissa[i],ColourPrimaryYManlen[i])である場合、座標ｘとして原色の色空間内のy方向の位置の座標ColourPrimariesYが算出される。

colour_primaries_info_sei_elementが、colour_primaries_info_sei_element(WhitePointXSign, WhitePointXExp,WhitePointXMantissa,WhitePointXManlen)である場合、座標xとして白色の色空間内のx方向の位置の座標WhitePointXが算出される。

colour_primaries_info_sei_elementが、colour_primaries_info_sei_element(WhitePointYSign,WhitePointYExp,WhitePointYMantissa,WhitePointYManlen)である場合、座標ｘとして白色の色空間内のy方向の位置の座標WhitePointYが算出される。

（ref_display_luminance_info SEIのシンタックスの例）
図８は、ref_display_luminance_info SEIのシンタックスの例を示す図である。

図８の２行目に示すように、ref_display_luminance_info SEIには、ref_display_luminance_info_idが記述される。ref_display_luminance_info_idは、図９に示すように、マスタのディスプレイ（reference display）の白色、灰色、および黒色の輝度情報の目的を識別するためのＩＤである。

図８の３行目に示すように、ref_display_luminance_info SEIには、ref_display_luminance_white_present_flagが記述される。ref_display_luminance_white_present_flagは、図９に示すように、マスタのディスプレイの白色の輝度情報がref_display_luminance_info SEIに記述されるかどうかを表すフラグである。マスタのディスプレイの白色の輝度情報がref_display_luminance_info SEIに記述される場合、ref_display_luminance_white_present_flagは１であり、記述されない場合ref_display_luminance_white_present_flagは０である。

図８の４行目および５行目に示すように、ref_display_luminance_info SEIには、黒色および灰色についても同様に、ref_display_luminance_black_present_flagとref_display_luminance_gray_present_flagが記述される。

また、図８の６行目および７行目に示すように、ref_display_luminance_white_present_flagが１である場合、ref_display_luminance_info SEIには、ref_display_luminance_whiteが記述される。図９に示すように、ref_display_luminance_whiteは、白色の輝度情報である。

図８の８行目および９行目に示すように、ref_display_luminance_info SEIには、黒色についても同様に、ref_display_luminance_black_present_flagが１である場合、黒色の輝度情報であるref_display_luminance_blackが記述される。

また、図８の１０行目および１１行目に示すように、ref_display_luminance_info SEIには、灰色についても同様に、ref_display_luminance_gray_present_flagが１である場合、灰色の輝度情報であるref_display_luminance_grayが記述される。

（符号化装置の処理の説明）
図１０は、符号化装置１０のストリーム生成処理を説明するフローチャートである。

図１０のステップＳ１１において、符号化装置１０の設定部１１は、SPSを設定する。ステップＳ１２において、設定部１１は、別規格で定義されている色域を識別するインデックス（識別情報）を含むVUIを設定する。

ステップＳ１３において、設定部１１は、PPSを設定する。ステップＳ１４において、設定部１１は、符号化対象の画像の色域がVUIに含まれるインデックスにより識別される色域よりも狭いかどうかを判定する。

ステップＳ１４で符号化対象の画像の色域がVUIに含まれるインデックスにより識別される色域よりも狭いと判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、設定部１１は、符号化対象の画像の色域情報を含むcolour_primaries_info SEIを設定し、処理をステップＳ１６に進める。

一方、ステップＳ１４で符号化対象の画像の色域がVUIに含まれるインデックスにより識別される色域よりも狭くはないと判定された場合、符号化対象の画像の色域情報を含むcolour_primaries_info SEIは設定されない。例えば、limited_colour_gamut_range_in_percentを含むcolour_primaries_info SEIが設定される。そして、処理はステップＳ１６に進む。

ステップＳ１６において、設定部１１は、マスタのディスプレイの白色、灰色、および黒色の輝度情報を含むref_display_luminance_info SEIを設定する。設定部１１は、設定されたSPS,PPS，VUI,colour_primaries_info SEI,ref_display_luminance_info SEIなどのパラメータセットを符号化部１２に供給する。

ステップＳ１７において、符号化部１２は、外部から入力されたフレーム単位の符号化対象の画像をHEVC方式で符号化する。ステップＳ１８において、符号化部１２は、符号化の結果得られる符号化データと設定部１１から供給されるパラメータセットから符号化ストリームを生成し、伝送部１３に供給する。

ステップＳ１９において、伝送部１３は、符号化部１２から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。

以上のように、符号化装置１０は、色域情報を含むcolour_primaries_info SEIを設定し、伝送するので、符号化対象の画像が、別規格で定義されている色域と異なる場合であっても、符号化対象の画像の色域を復号側に正確に認識させることができる。

また、符号化装置１０は、白色、黒色、および灰色の輝度情報を含むref_display_luminance_info SEIを設定し、伝送するので、マスタのディスプレイの輝度情報を復号側に正確に認識させることができる。

なお、上述した説明では、符号化対象の画像の色域がVUIに含まれるインデックスにより識別される色域よりも狭い場合に、色域情報を含むcolour_primaries_info SEIが設定されたが、広い場合にも設定されるようにしてもよい。

（復号装置の第１実施の形態の構成例）
図１１は、図１の符号化装置１０から伝送されてくる符号化ストリームを復号する、本開示を適用した復号装置の第１実施の形態の構成例を示すブロック図である。

図１１の復号装置５０は、受け取り部５１、抽出部５２、復号部５３、調整部５４、表示制御部５５、および表示部５６により構成される。

復号装置５０の受け取り部５１は、図１の符号化装置１０から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。

抽出部５２は、受け取り部５１から供給される符号化ストリームから、パラメータセットと符号化データを抽出する。抽出部５２は、パラメータセットと符号化データを復号部５３に供給する。また、抽出部５２は、パラメータセットのうちのVUI,colour_primaries_info SEI、およびref_display_luminance_info SEIを調整部５４に供給する。

復号部５３は、抽出部５２から供給される符号化データをHEVC方式で復号する。このとき、復号部５３は、必要に応じて、抽出部５２から供給されるパラメータセットも参照する。復号部５３は、復号の結果得られる画像を調整部５４に供給する。

調整部５４は、抽出部５２から供給されるcolour_primaries_info SEIから色域情報を取得するか、VUIに含まれるインデックスから色域を認識する。調整部５４は、取得された色域情報が表す色域または認識された色域と、表示部５６の色域とに基づいて、復号部５３から供給される画像の色域を調整する。

また、調整部５４は、抽出部５２から供給されるref_display_luminance_info SEIから白色、黒色、および灰色の輝度情報を取得する。調整部５４は、その輝度情報と表示部５６の輝度情報とに基づいて、色域調整後の画像の輝度のダイナミックレンジを調整する。調整部５４は、輝度のダイナミックレンジ調整後の画像を表示制御部５５に供給する。

なお、ここでは、輝度のダイナミックレンジの調整が色域調整後に行われるものとするが、輝度のダイナミックレンジの調整後、色域が調整されるようにしてもよい。

表示制御部５５は、調整部５４から供給される画像を表示部５６に表示させる。

（復号装置の処理の説明）
図１２は、図１１の復号装置５０の画像生成処理を説明するフローチャートである。

図１２のステップＳ５１において、復号装置５０の受け取り部５１は、図１の符号化装置１０から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。

ステップＳ５２において、抽出部５２は、受け取り部５１から供給される符号化ストリームから、パラメータセットと符号化データを抽出する。抽出部５２は、パラメータセットと符号化データを復号部５３に供給する。また、抽出部５２は、パラメータセットのうちのVUI,colour_primaries_info SEI、およびref_display_luminance_info SEIを調整部５４に供給する。

ステップＳ５３において、復号部５３は、抽出部５２から供給される符号化データをHEVC方式で復号する。このとき、復号部５３は、必要に応じて、抽出部５２から供給されるパラメータセットも参照する。復号部５３は、復号の結果得られる画像を調整部５４に供給する。

ステップＳ５４において、調整部５４は、抽出部５２からcolour_primaries_info SEIが供給されたかどうかを判定する。ステップＳ５４でcolour_primaries_info SEIが供給されたと判定された場合、処理はステップＳ５５に進む。

ステップＳ５５において、調整部５４は、colour_primaries_info SEIから色域情報を取得し、その色域情報が表す色域を認識する。なお、colour_primaries_info SEIに色域情報が含まれていない場合には、例えば、limited_colour_gamut_range_in_percentに基づいて色域を認識する。そして、処理はステップＳ５７に進む。

一方、ステップＳ５４でcolour_primaries_info SEIが供給されていないと判定された場合、ステップＳ５６において、調整部５４は、抽出部５２から供給されるVUIに含まれるインデックスから、別規格で定義されている色域を認識する。そして、処理はステップＳ５７に進む。

ステップＳ５７において、調整部５４は、表示部５６の色域とステップＳ５５またはステップＳ５６で認識された色域とに基づいて、復号部５３から供給される画像の色域を調整する。

ステップＳ５８において、調整部５４は、抽出部５２から供給されるref_display_luminance_info SEIから白色、黒色、および灰色の輝度情報を取得する。

ステップＳ５９において、調整部５４は、表示部５６の輝度情報と取得された輝度情報に基づいて、色域調整後の画像の輝度のダイナミックレンジを調整する。調整部５４は、輝度のダイナミックレンジ調整後の画像を表示制御部５５に供給する。

ステップＳ６０において、表示制御部５５は、調整部５４から供給される画像を表示部５６に表示させ、処理を終了する。

以上のように、復号装置５０は、色域情報を含むcolour_primaries_info SEIを受け取るので、符号化対象の画像の色域を正確に認識することができる。その結果、復号後の画像の色域を最適化することができる。即ち、符号化対象の画像の色域が別規格で定義されている色域とは異なる場合に、復号後の画像の色域が無駄に削減または拡大されることを防止することができる。

また、復号装置５０は、白色、黒色、および灰色の輝度情報を含むref_display_luminance_info SEIを受け取るので、マスタのディスプレイの輝度情報を正確に認識することができる。その結果、復号後の画像の輝度のダイナミックレンジを最適化することができる。

なお、符号化対象の画像の色域がVUIに含まれるインデックスにより識別される色域よりも広い場合、colour_primaries_info SEIには、色域情報が記述されなくてもよい。この場合、復号装置５０は、limited_colour_gamut_range_in_percentと、VUIに含まれるインデックスにより識別される色域とに基づいて、符号化対象の画像の色域を認識し、色域を調整する。

このように、色域情報が記述されない場合であっても、復号装置５０は、limited_colour_gamut_range_in_percentに基づいて、VUIのインデックスにより符号化対象の色域が定義される場合に比べて、符号化対象の画像の色域を正確に認識することができる。

＜第２実施の形態＞
（符号化装置の第２実施の形態の構成例）
図１３は、本開示を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。

図１３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１３の符号化装置７０の構成は、設定部１１の代わりに設定部７２が設けられる点、および、新たに画像調整部７１が設けられる点が、図１の構成と異なる。

符号化装置７０の画像調整部７１には、外部から画像が入力される。画像調整部７１は、ユーザのオーサリング作業に応じて、外部から入力される画像を図示せぬマスタのディスプレイに表示させながら、その画像の編集等を行う。画像調整部７１は、編集後の画像の色域情報と、図示せぬマスタのディスプレイの白色および黒色の輝度情報とを設定部７２に供給する。また、画像調整部７１は、編集後の画像を符号化対象の画像として符号化部１２に入力する。

設定部７２は、SPS,PPS，VUIを設定する。また、設定部７２は、画像調整部７１から供給される色域情報と輝度情報を含むcolour_primaries_info SEIを設定する。設定部７２は、設定されたSPS,PPS，VUI,colour_primaries_info SEIなどのパラメータセットを符号化部１２に供給する。

（colour_primaries_info SEIのシンタックスの例）
図１４は、colour_primaries_info SEIのシンタックスの例を示す図であり、図１５乃至図１９は、colour_primaries_info SEIの各情報を説明する図である。

図１４に示すように、colour_primaries_info SEIには、colour_primaries_info_idが記述される。図１５に示すように、colour_primaries_info_idは、色域情報の目的を識別するためのＩＤである。

また、図１４に示すように、colour_primaries_info SEIには、colour_primaries_cancel_flagが記述される。図１５に示すように、colour_primaries_cancel_flagは、前のcolour_primaries_info SEIの連続性をキャンセルするかどうかを表すフラグである。colour_primaries_cancel_flagは、前のcolour_primaries_info SEIの連続性をキャンセルすることを表す場合１であり、キャンセルしないことを表す場合０である。

colour_primaries_cancel_flagが０である場合、図１４に示すように、colour_primaries_info SEIには、colour_primaries_persistence_flagが記述される。図１５に示すように、colour_primaries_persistence_flagは、colour_primaries_info SEIに含まれる色域情報および輝度情報を、連続する複数のピクチャに適用するかどうかを表すフラグである。colour_primaries_persistence_flagは、色域情報および輝度情報を連続する複数のピクチャに適用する場合１であり、１つのピクチャにのみ適用する場合０である。

また、図１４に示すように、colour_primaries_info SEIには、white_level_display_luminance_present_flagが記述される。white_level_display_luminance_present_flagは、図１６に示すように、white_level_display_luminanceがcolour_primaries_info SEIに記述されるかどうかを表すフラグである。図１９に示すように、white_level_display_luminanceは、マスタのディスプレイの白色の輝度情報である。マスタのディスプレイの白色の輝度情報がcolour_primaries_info SEIに記述される場合、white_level_display_luminance_present_flagは１であり、記述されない場合０である。

図１４および図１６に示すように、colour_primaries_info SEIには、黒色についても同様に、black_level_display_luminance_present_flagが記述される。

また、図１４に示すように、colour_primaries_info SEIには、colour_gamut_coverage_present_flagが記述される。colour_gamut_coverage_present_flagは、図１６に示すように、colour_gamut_coverageがcolour_primaries_info SEIに記述されるかどうかを表すフラグである。colour_gamut_coverageは、図１９に示すように、VUIに記述されるインデックスで識別される色域に対する符号化対象の画像の色域のカバー率を表す情報である。colour_gamut_coverageがcolour_primaries_info SEIに記述される場合、colour_gamut_coverage_present_flagは１であり、記述されない場合０である。

図１４および図１７に示すように、colour_primaries_info SEIにはまた、色域情報のうちのCIE表色系における赤色のx方向の色度を表すcolour_primary_Red_xと、ｙ方向の色度を表すcolour_primary_Red_yとが記述される。図１４および図１８に示すように、colour_primaries_info SEIには、緑色、青色、および白色についても同様に、colour_primary_Green_x，colour_primary_Green_y，colour_primary_Blue_x，colour_primary_Blue_y,white_point_x,white_point_yが色域情報として記述される。

これらの色域情報は、全て16ビット固定小数点で記述される。即ち、色域情報は、伝送可能な情報のサイズが制限されるHDMI(登録商標)（High-Definition Multimedia Interface）のEDID(Extended display identification data)等で、画像調整部７１等から伝送されてくることが考えられる。また、本出願人は、固定小数点で記述される色域に関するメタデータを、現在IEC（International Electrotechnical Commission）61966-12-2として提案している。従って、色域情報のサイズを変動させないため、または、提案中のメタデータを色域情報として用いることを可能にするため、色域情報は固定小数点で記述される。

なお、第１実施の形態における色域情報も、16ビット固定小数点で記述されるようにしてもよい。

また、図１４に示すように、white_level_display_luminance_present_flagが１である場合、colour_primaries_info SEIには、white_level_display_luminanceが記述される。black_level_display_luminance_present_flagが１である場合、blak_level_display_luminanceが記述される。blak_level_display_luminanceは、図１９に示すように、マスタのディスプレイの黒色の輝度情報である。

以上のように、colour_primaries_info SEIには、white_level_display_luminanceとblak_level_display_luminanceが記述される。即ち、本出願人は、白色と黒色の輝度情報を含む輝度に関するメタデータを、現在IEC61966-12-2として提案している。従って、提案中のメタデータを、white_level_display_luminanceとblak_level_display_luminanceとして用いることを可能にするため、white_level_display_luminanceとblak_level_display_luminanceが、colour_primaries_info SEIには記述される。

また、図１４に示すように、colour_gamut_coverage_present_flagが１である場合、colour_primaries_info SEIには、colour_gamut_coverageが記述される。

（符号化装置の処理の説明）
図２０は、符号化装置７０のストリーム生成処理を説明するフローチャートである。

図２０のステップＳ８０において、画像調整部７１は、ユーザのオーサリング作業に応じて、外部から入力される画像を図示せぬマスタのディスプレイに表示させながら、その画像を編集する。画像調整部７１は、編集後の画像の色域情報と、図示せぬマスタのディスプレイの白色および黒色の輝度情報とを設定部７２に供給する。また、画像調整部７１は、編集後の画像を符号化対象の画像として符号化部１２に入力する。

ステップＳ８１乃至Ｓ８３の処理は、図１０のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。

ステップＳ８４において、設定部７２は、画像調整部７１から供給される符号化対象の画像の色域情報とマスタのディスプレイの輝度情報を含むcolour_primaries_info SEIを設定する。

ステップＳ８５乃至Ｓ８７の処理は、図２０のステップＳ１７乃至Ｓ１９の処理と同様であるので、説明は省略する。

以上のように、符号化装置７０は、色域情報を含むcolour_primaries_info SEIを設定し、伝送するので、符号化対象の画像が、別規格で定義されている色域と異なる場合であっても、符号化対象の画像の色域を復号側に正確に認識させることができる。

また、符号化装置７０は、white_level_display_luminanceとblack_level_display_luminanceもcolour_primaries_info SEIに設定し、伝送するので、マスタのディスプレイの輝度情報を復号側に正確に認識させることができる。

（復号装置の第２実施の形態の構成例）
図２１は、図１３の符号化装置７０から伝送されてくる符号化ストリームを復号する、本開示を適用した復号装置の第２実施の形態の構成例を示すブロック図である。

図２１に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の復号装置９０の構成は、抽出部５２、調整部５４、表示制御部５５の代わりに抽出部９１、調整部９２、表示制御部９３が設けられる点が、図１１の構成と異なる。

図２１の復号装置９０の抽出部９１は、受け取り部５１から供給される符号化ストリームから、パラメータセットと符号化データを抽出する。抽出部９１は、パラメータセットと符号化データを復号部５３に供給する。また、抽出部９１は、パラメータセットのうちのVUIおよびcolour_primaries_info SEIを調整部９２に供給し、colour_primaries_info SEIを表示制御部９３に供給する。

調整部９２は、抽出部９１から供給されるcolour_primaries_info SEIから色域情報とcolour_gamut_coverageを取得する。また、調整部９２は、抽出部９１から供給されるVUIに含まれるインデックスから色域を認識する。調整部９２は、取得された色域情報が表す色域、または、認識された色域とcolour_gamut_coverageに基づく色域と、表示部５６の色域とに基づいて、復号部５３から供給される画像の色域を調整する。調整部９２は、色域調整後の画像を表示制御部９３に供給する。

表示制御部９３は、抽出部９１から供給されるcolour_primaries_info SEIから白色および黒色の輝度情報を取得する。表示制御部９３は、その輝度情報と表示部５６の輝度情報とに基づいて、調整部９２から供給される色域調整後の画像の輝度のダイナミックレンジを調整する。表示制御部９３は、輝度のダイナミックレンジ調整後の画像を表示部５６に供給し、表示させる。

（復号装置の処理の説明）
図２２は、図２１の復号装置９０の画像生成処理を説明するフローチャートである。

図２２のステップＳ１０１において、復号装置９０の受け取り部５１は、図１３の符号化装置７０から伝送されてくる符号化ストリームを受け取り、抽出部９１に供給する。

ステップＳ１０２において、抽出部９１は、受け取り部５１から供給される符号化ストリームから、パラメータセットと符号化データを抽出する。抽出部９１は、パラメータセットと符号化データを復号部５３に供給する。また、抽出部９１は、パラメータセットのうちのVUIおよびcolour_primaries_info SEIを調整部９２に供給し、colour_primaries_info SEIを表示制御部９３に供給する。

ステップＳ１０３において、復号部５３は、抽出部９１から供給される符号化データをHEVC方式で復号する。このとき、復号部５３は、必要に応じて、抽出部９１から供給されるパラメータセットも参照する。復号部５３は、復号の結果得られる画像を調整部９２に供給する。

ステップＳ１０４において、調整部９２は、抽出部９１から供給されるVUIに含まれるインデックスから、別規格で定義されている色域を認識する。

ステップＳ１０５において、調整部９２は、抽出部９１からcolour_primaries_info SEIが供給されたかどうかを判定する。ステップＳ１０５でcolour_primaries_info SEIが供給されたと判定された場合、処理はステップＳ１０６に進む。

ステップＳ１０６において、調整部９２は、colour_primaries_info SEIから色域情報を取得し、その色域情報が表す色域を認識する。なお、colour_primaries_info SEIに色域情報が含まれていない場合には、例えば、colour_gamut_coverage とステップＳ１０４で認識された色域に基づいて色域を認識する。そして、処理はステップＳ１０７に進む。

一方、ステップＳ１０５でcolour_primaries_info SEIが供給されていないと判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、調整部９２は、表示部５６の色域と、ステップＳ１０４またはステップＳ１０６で認識された色域とに基づいて、復号部５３から供給される画像の色域を調整する。

ステップＳ１０８において、表示制御部９３は、抽出部９１から供給されるcolour_primaries_info SEIから白色および黒色の輝度情報を取得する。ステップＳ１０９において、表示制御部９３は、表示部５６の輝度情報と取得された輝度情報とに基づいて、調整部９２から供給される色域調整後の画像の輝度のダイナミックレンジを調整する。

ステップＳ１１０において、表示制御部９３は、輝度のダイナミックレンジ調整後の画像を表示部５６に供給して表示させ、処理を終了する。

以上のように、復号装置９０は、色域情報を含むcolour_primaries_info SEIを受け取るので、符号化対象の画像の色域を正確に認識することができる。その結果、復号画像の色域を最適化することができる。即ち、符号化対象の画像の色域が別規格で定義されている色域とは異なる場合に、復号画像の色域が無駄に削減または拡大されることを防止することができる。

例えば、表示部５６の色域が、符号化対象の画像の色域よりも大きい場合、復号装置９０は、復号画像の色域を調整せずに表示することができる。その結果、オーサリング作業者の意図した画像を表示部５６に表示させることができる。

また、復号装置９０は、正確に認識された色域に基づいて復号画像の色域を調整することにより、高画質の復号画像を表示することができる。

さらに、colour_primaries_info SEIには、white_level_display_luminanceとblak_level_display_luminanceも含まれるので、復号装置９０は、マスタのディスプレイの輝度情報を正確に認識することができる。その結果、復号後の画像の輝度のダイナミックレンジを最適化することができる。

なお、上述した説明では、SEIに色域情報や輝度情報が配置されたが、システムレイヤに配置されるようにしてもよい。

＜色域情報と輝度情報をMP4のボックスに配置する例＞
（色域情報と輝度情報が配置されるMP4のボックスの説明）
図２３は、色域情報と輝度情報が配置されるシステムレイヤとしてのMP4のボックスを説明する図である。

図２３に示すように、色域情報と輝度情報をMP4のボックスに配置する場合、色域情報と輝度情報をColourPrimariesInfoとして格納するtinf(Colour Primaries Information Box)ボックスが新たに定義される。このtinfボックスは、trakボックス(tarck box)（に格納されるstblボックス）またはtrafボックス(track fragment box)に格納される。

ColourPrimariesInfoは、バイトアラインのためのpadding_valueが挿入されていることを除き、図２のcolour_primaries_info SEIおよび図８のref_display_luminance_info SEI、または、図１４のcolour_primaries_info SEIと同様に構成される。

本開示は、AVC方式にも適用することができる。

＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第４実施の形態＞
（多視点画像符号化・多視点画像復号への適用）
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２５は、多視点画像符号化方式の一例を示す。

図２５に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。

図２５のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した第１実施の形態の方法を適用するようにしてもよい。このようにすることにより、符号化対象の画像の色域を復号側で正確に認識することができる。

さらに、各ビューの符号化・復号において、上述した第１実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、colour_primaries_info SEIやref_display_luminance_info SEIのシンタックス要素等を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量（符号量）を低減することができる（つまり、符号化効率の低減を抑制することができる）。

（多視点画像符号化装置）
図２６は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２６に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、符号化装置１０（図１）を適用することができる。つまり、各ビューに対する符号化において、符号化対象の画像の色域を復号側に正確に認識させることができる。また、符号化部６０１および符号化部６０２は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタックス要素等）を用いて、符号化を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

（多視点画像復号装置）
図２７は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２７に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、復号装置５０（図１１）を適用することができる。つまり、各ビューに対する復号において、符号化対象の画像の色域を正確に認識することができる。また、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタックス要素等）を用いて、復号を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

＜第５実施の形態＞
（階層画像符号化・階層画像復号への適用）
上述した一連の処理は、階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）に適用することができる。図２８は、階層画像符号化方式の一例を示す。

階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラブル（scalable）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号（スケーラブル復号）は、その階層画像符号化に対応する復号である。

図２８に示されるように、画像の階層化においては、スケーラブル機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

図２８の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、上述した第１実施の形態の方法を適用するようにしてもよい。このようにすることにより、符号化対象の画像の色域を復号側で正確に認識することができる。

さらに、各レイヤの符号化・復号において、上述した第１実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、colour_primaries_info SEIやref_display_luminance_info SEIのシンタックス要素等を、各レイヤの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量（符号量）を低減することができる（つまり、符号化効率の低減を抑制することができる）。

（スケーラブルなパラメータ）
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラブル（scalable）機能を有するパラメータは、任意である。例えば、図２９に示されるような空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図２９に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

また、このようなスケーラブル性を持たせるパラメータとして、他には、例えば、図３０に示されるような、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３０に示されるように、各ピクチャが、元の動画像より低フレームレートのベースレイヤと、ベースレイヤと合成することにより元のフレームレートが得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

さらに、このようなスケーラブル性を持たせるパラメータとして、例えば、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、この場合、図３１に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤと合成することにより元のSNRが得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

スケーラブル性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、スケーラブル性を持たせるパラメータとして、ビット深度を用いることもできる（bit-depth scalability）。このビット深度スケーラビリティ（bit-depth scalability）の場合、レイヤ毎にビット深度が異なる。この場合、例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるようにすることができる。

また、スケーラブル性を持たせるパラメータとして、クロマフォーマットを用いることもできる（chroma scalability）。このクロマスケーラビリティ（chroma scalability）の場合、レイヤ毎にクロマフォーマットが異なる。この場合、例えば、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるようにすることができる。

（階層画像符号化装置）
図３２は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３２に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、符号化装置１０（図１）を適用することができる。つまり、各レイヤに対する符号化において、符号化対象の画像の色域を復号側に正確に認識させることができる。また、符号化部６２１および符号化部６２２は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタックス要素等）を用いて、イントラ予測のフィルタ処理の制御等を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

（階層画像復号装置）
図３３は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３３に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、復号装置５０（図１１）を適用することができる。つまり、各レイヤに対する復号において、符号化対象の画像の色域を正確に認識することができる。また、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタックス要素等）を用いて、復号を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

＜第６実施の形態＞
（テレビジョン装置の構成例）
図３４は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、符号化対象の画像の色域を正確に認識することができる。

＜第７実施の形態＞
（携帯電話機の構成例）
図３５は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、符号化対象の画像の色域を復号側に正確に認識させることができる。また、符号化対象の画像の色域を正確に認識することができる。

＜第８実施の形態＞
（記録再生装置の構成例）
図３６は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ(登録商標)ディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、符号化対象の画像の色域を正確に認識することができる。

＜第９実施の形態＞
（撮像装置の構成例）
図３７は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵを用いて構成されている。メモリ部９６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部９６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、符号化対象の画像の色域を復号側に正確に認識させることができる。また、符号化対象の画像の色域を正確に認識することができる。

＜スケーラブル符号化の応用例＞
（第１のシステム）
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図３８に示される例のように、伝送するデータの選択のために利用される。

図３８に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

（第２のシステム）
また、スケーラブル符号化は、例えば、図３９に示される例のように、複数の通信媒体を介する伝送のために利用される。

図３９に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

（第３のシステム）
また、スケーラブル符号化は、例えば、図４０に示される例のように、符号化データの記憶に利用される。

図４０に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

＜第１０実施の形態＞
（実施のその他の例）
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

（ビデオセットの構成例）
本技術をセットとして実施する場合の例について、図４１を参照して説明する。図４１は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図４１に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図４１に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図４１の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図４１のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図４１において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図４１に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI(登録商標)（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

（ビデオプロセッサの構成例）
図４２は、本技術を適用したビデオプロセッサ１３３２（図４１）の概略的な構成の一例を示している。

図４２の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図４２に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図４１）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図４１）等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図４１）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図４１）等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４１）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図４１）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４１）等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図４１）等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４１）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図４１）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図４１）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１（図４１）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４１）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図４１）等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４１）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図４１）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１実施の形態に係る符号化装置や復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１２を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

（ビデオプロセッサの他の構成例）
図４３は、本技術を適用したビデオプロセッサ１３３２（図４１）の概略的な構成の他の例を示している。図４３の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図４３に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図４３に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図４１）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図４１）のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図４３に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図４１）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図４１）等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４１）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４１）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図４１）等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１（図４１）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４１）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４１）等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１実施の形態に係る符号化装置や復号装置を実現する機能ブロックを有するようにすればよい。さらに、例えば、コーデックエンジン１５１６が、このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１２を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図３４）、携帯電話機９２０（図３５）、記録再生装置９４０（図３６）、撮像装置９６０（図３７）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図１２を参照して上述した効果と同様の効果を得ることができる。

また、ビデオセット１３００は、例えば、図３８のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図３９のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図４０の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等にも組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図１２を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１２を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図３４）、携帯電話機９２０（図３５）、記録再生装置９４０（図３６）、撮像装置９６０（図３７）、図３８のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図３９のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図４０の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図１２を参照して上述した効果と同様の効果を得ることができる。

なお、本明細書では、色域情報や輝度情報などの各種情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライスやブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、符号化データとは別の伝送路上で伝送されてもよい。また、情報は、符号化データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と符号化データとは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本開示は、以下のような構成もとることができる。

＜１＞ 画像の符号化データ、および前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームを受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化ストリームから、前記符号化データ、および前記輝度情報を抽出する抽出部と、
前記抽出部により抽出された前記符号化データを復号し、前記画像を生成する復号部と、
前記抽出部により抽出された前記輝度情報に基づいて、前記復号部により生成された前記画像のダイナミックレンジを調整する調整部と
を備える復号装置。
＜２＞ 前記符号化装置は、前記画像の色域を表す色域情報を更に含む符号化ストリームを伝送する
＜１＞に記載の復号装置。
＜３＞ 前記輝度情報は、前記表示部の白色および黒色のうちの少なくとも１つの色の輝度を表す
ように構成された
＜１＞または＜２＞に記載の復号装置。
＜４＞ 前記輝度情報は、前記表示部の白色および黒色の輝度を表す
ように構成された
＜３＞に記載の復号装置。
＜５＞ 復号装置が、
画像の符号化データ、および前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記符号化ストリームから、前記符号化データ、および前記輝度情報を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記符号化データを復号し、前記画像を生成する復号ステップと、
前記抽出ステップの処理により抽出された前記輝度情報に基づいて、前記復号ステップの処理により生成された前記画像のダイナミックレンジを調整する調整ステップと
を含む復号方法。
＜６＞ 前記符号化装置は、前記画像の色域を表す色域情報を更に含む符号化ストリームを伝送する
＜５＞に記載の復号方法。
＜７＞ 前記輝度情報は、前記表示部の白色および黒色のうちの少なくとも１つの色の輝度を表す
ように構成された
＜５＞または＜６＞に記載の復号方法。
＜８＞ 前記輝度情報は、前記表示部の白色および黒色の輝度を表す
ように構成された
＜７＞に記載の復号方法。

１０ 符号化装置， １１ 設定部， １２ 符号化部， １３ 伝送部， ５０ 復号装置， ５１ 受け取り部， ５２ 抽出部， ５３ 復号部， ５４ 調整部， ７０ 符号化装置， ７２ 設定部， ９０ 復号装置， ９１ 抽出部， ９２ 調整部

Claims (8)

1. 画像の符号化データ、前記画像の色域を表すVUI(Video Usability Information)で規定される色域情報およびSEI（Supplemental Enhancement Information）で規定される色域情報、並びに前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームを受け取る受け取り部と、
   前記受け取り部により受け取られた前記符号化ストリームから、前記符号化データ、前記色域情報、および前記輝度情報を抽出する抽出部と、
   前記抽出部により抽出された前記符号化データを復号し、前記画像を生成する復号部と、
   前記抽出部により抽出された前記輝度情報に基づいて、前記復号部により生成された前記画像のダイナミックレンジを調整し、前記VUIで規定される色域情報および前記SEIで規定される色域情報のいずれかに基づいて、前記復号部により生成された前記画像の色域を調整する調整部と
   を備える復号装置。
2. 前記調整部は、前記VUIで規定される色域情報よりも優先して、前記SEIで規定される色域情報に基づいて、前記復号部により生成された前記画像の色域を調整する
   請求項１に記載の復号装置。
3. 前記輝度情報は、前記表示部の白色および黒色のうちの少なくとも１つの色の輝度を表す
   ように構成された
   請求項１または２に記載の復号装置。
4. 前記輝度情報は、前記表示部の白色および黒色の輝度を表す
   ように構成された
   請求項３に記載の復号装置。
5. 復号装置が、
   画像の符号化データ、前記画像の色域を表すVUI(Video Usability Information)で規定される色域情報およびSEI（Supplemental Enhancement Information）で規定される色域情報、並びに前記画像のオーサリング時に前記画像を表示する表示部における所定の色の輝度を表す輝度情報を含む符号化ストリームを伝送する符号化装置から、前記符号化ストリームを受け取る受け取りステップと、
   前記受け取りステップの処理により受け取られた前記符号化ストリームから、前記符号化データ、前記色域情報、および前記輝度情報を抽出する抽出ステップと、
   前記抽出ステップの処理により抽出された前記符号化データを復号し、前記画像を生成する復号ステップと、
   前記抽出ステップの処理により抽出された前記輝度情報に基づいて、前記復号ステップの処理により生成された前記画像のダイナミックレンジを調整し、前記VUIで規定される色域情報および前記SEIで規定される色域情報のいずれかに基づいて、前記復号ステップの処理により生成された前記画像の色域を調整する調整ステップと
   を含む復号方法。
6. 前記調整ステップの処理は、前記VUIで規定される色域情報よりも優先して、前記SEIで規定される色域情報に基づいて、前記復号ステップの処理により生成された前記画像の色域を調整する
   請求項５に記載の復号方法。
7. 前記輝度情報は、前記表示部の白色および黒色のうちの少なくとも１つの色の輝度を表す
   ように構成された
   請求項５または６に記載の復号方法。
8. 前記輝度情報は、前記表示部の白色および黒色の輝度を表す
   ように構成された
   請求項７に記載の復号方法。

Images