JPWO2013150944A1 - 復号装置および復号方法、符号化装置および符号化方法、プログラム、並びに記録媒体 - Google Patents

復号装置および復号方法、符号化装置および符号化方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JPWO2013150944A1
JPWO2013150944A1 JP2014509125A JP2014509125A JPWO2013150944A1 JP WO2013150944 A1 JPWO2013150944 A1 JP WO2013150944A1 JP 2014509125 A JP2014509125 A JP 2014509125A JP 2014509125 A JP2014509125 A JP 2014509125A JP WO2013150944 A1 JPWO2013150944 A1 JP WO2013150944A1
Authority
JP
Japan
Prior art keywords
image
unit
information
packed
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014509125A
Other languages
English (en)
Other versions
JP6048495B2 (ja
Inventor
裕音 櫻井
裕音 櫻井
央二 中神
央二 中神
良知 高橋
良知 高橋
鈴木　輝彦
輝彦 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013150944A1 publication Critical patent/JPWO2013150944A1/ja
Application granted granted Critical
Publication of JP6048495B2 publication Critical patent/JP6048495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

本技術は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるようにする復号装置および復号方法、並びに、符号化装置および符号化方法に関する。復号部は、複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、パッキング画像を生成する。表示制御部は、パッキング画像を表示する際に優先的に用いられるパッキングSEIに基づいて、パッキング画像を構成する各画像を特定する。本技術は、例えば、復号装置に適用することができる。

Description

本技術は、復号装置および復号方法、並びに、符号化装置および符号化方法に関し、特に、複数の画像がパッキングされたパッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるようにした復号装置および復号方法、並びに、符号化装置および符号化方法に関する。
従来のAVC（Advanced Video Coding）規格では、符号化対象の画像が、複数の画像が１フレームの画像にパッキングされたパッキング画像であることを示すために、Frame packing arrangement SEI（Supplemental Enhancement Information）が用いられている。しかしながら、AVC規格において、符号化に関する付加情報であるSEIはinformativeな情報であるため、SEIを利用して処理を行うかどうかは復号装置に依存する。
例えば、２つの画像の一方を左半分に配置し、他方を右半分に配置することによりパッキングするサイドバイサイド方式でパッキングされた３Ｄ表示用のパッキング画像の符号化ストリームを復号する場合、SEIを利用する２Ｄ表示用の復号装置は、Frame packing arrangement SEIに基づいて３Ｄ表示用のパッキング画像の画面を分割する。そして、この復号装置は、画面の左半分に配置された、左目用の画像または右目用の画像を表示させることにより、２Ｄ表示を行う。
また、SEIを利用する３Ｄ表示用の復号装置は、Frame packing arrangement SEIに基づいて３Ｄ表示用のパッキング画像の画面を分割する。そして、この復号装置は、画面の左半分に配置された画像を、左目用の画像または右目用の画像のいずれか一方の画像として表示させ、画面の右半分に配置された画像を他方の画像として表示させることにより、３Ｄ表示を行う。
しかしながら、SEIを利用しない２Ｄ表示用の復号装置は、符号化されている画像がパッキング画像であるかどうかを判断することができず、３Ｄ表示用のパッキング画像をそのまま表示させる。その結果、画面の左半分に、左目用の画像または右目用の画像のいずれか一方の画像が配置され、画面の右半分に他方の画像が配置された２Ｄ画像が表示される。
そこで、SEIを利用しない２Ｄ表示用の復号装置において、パッキング画像を構成する左目用の画像または右目用の画像のうちのいずれか一方の画像のみを表示させるために、クロッピングを用いる手法が提案されている。
この手法では、例えば、パッキング画像に対してクロッピングを行うかどうかを示すframe_cropping_flagと、クロッピング位置としての左目用の画像の位置を含むクロッピング情報が、SPS（Sequence Parameter Set）等に含められて復号装置に伝送される。
この場合、SEIの利用の有無によらず、２Ｄ表示用の復号装置は、クロッピング情報に基づいて、パッキング画像から左目用の画像をクロッピングして表示させ、これにより２Ｄ表示を行うことができる。
しかしながら、クロッピング情報はSPSに含まれており、SPSは規格上mandatoryな情報であるため、SEIを利用する３Ｄ表示用の復号装置であっても、クロッピング情報に基づいて、パッキング画像から左目用の画像をクロッピングする必要がある。その結果、SEIを利用する３Ｄ表示用の復号装置でも、左目用の画像しか表示させることができず、３Ｄ表示を行うことができない。
従って、Frame packing arrangement SEIにより符号化対象の画像がパッキング画像であると認識すると、クロッピング情報を無視し、Frame packing arrangement SEIに基づいてパッキング画像を構成する各画像をクロッピングする、SEIを利用する３Ｄ画像用の復号装置が考案されている。この復号装置は、クロッピングされた各画像を、それぞれ、左目用の画像、右目用の画像として表示させることにより、３Ｄ表示を行うことができる。
しかしながら、SPSに含まれているクロッピング情報を無視する処理は、規格違反の処理であるため、３Ｄ表示は保証されない。
一方、現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team-Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、２０１２年２月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。
Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H1003 ver20,2012.2.17
上述したように、従来の規格では、規格に違反せずに、SEIを利用する２Ｄ表示用の復号装置とSEIを利用しない２Ｄ表示用の復号装置が、３Ｄ表示用のパッキング画像を用いて２Ｄ表示を行い、SEIを利用する３Ｄ表示用の復号装置が３Ｄ表示用のパッキング画像を用いて３Ｄ表示を行うことはできなかった。即ち、従来の規格では、復号装置が、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることはできなかった。
本技術は、このような状況に鑑みてなされたものであり、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるようにするものである。
本技術の第１の側面の復号装置は、複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号部と、前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号部により生成された前記パッキング画像を構成する各画像を特定する制御部とを備える復号装置である。
本技術の第１の側面の復号方法は、本技術の第１の側面の復号装置に対応する。
本技術の第１の側面においては、複数の画像がパッキングされたパッキング画像を符号化した符号化データが復号されて、前記パッキング画像が生成され、前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記パッキング画像を構成する各画像が特定される。
本技術の第２の側面の符号化装置は、複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化部と、前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定部と、前記符号化部により生成された前記符号化データと、前記設定部により設定された前記パッキング情報とを伝送する伝送部とを備える符号化装置である。
本技術の第２の側面の符号化方法は、本技術の第２の側面の符号化装置に対応する。
本技術の第２の側面においては、複数の画像がパッキングされたパッキング画像が符号化されて、符号化データが生成され、前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報が設定され、前記符号化データと前記パッキング情報とが伝送される。
なお、第１の側面の復号装置および第２の側面の符号化装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の復号装置および第２の側面の符号化装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
さらに、第１の側面の復号装置および第２の側面の符号化装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術の第１の側面によれば、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができる。
本技術の第２の側面によれば、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができる。
本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図１の符号化部の構成例を示すブロック図である。 VUIのシンタックスの例を示す図である。 フレームパッキングSEIのシンタックスの例を示す図である。 図４のモード情報を説明する図である。 図４のタイプ情報を説明する図である。 図４の位置情報を説明する図である。 クロッピング領域の位置を示す図である。 位置情報のシンタックスの他の例を示す図である。 図９の位置情報の例を説明する図である。 位置情報のシンタックスのさらに他の例を示す図である。 図１１の位置情報の例を説明する図である。 フレームパッキングSEIのシンタックスの他の例を示す図である。 SPSのシンタックスの一部の例を示す図である。 図１の符号化装置の生成処理を説明するフローチャートである。 図１５のステップＳ１の符号化処理の詳細を説明するフローチャートである。 図１５の符号化処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図１８の復号部の構成例を示すブロック図である。 図１８の復号装置による表示処理を説明するフローチャートである。 図２０の復号処理の詳細を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図２２の符号化部の構成例を示すブロック図である。 ２Ｄ互換フレームパッキングSEIのシンタックスの例を示す図である。 ２Ｄ互換フレームパッキングSEIの変更の理由を説明する図である。 図２４の位置情報を説明する図である。 図２２の符号化装置の生成処理を説明するフローチャートである。 図２７の符号化処理の詳細を説明するフローチャートである。 図２７の符号化処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。 図３０の復号部の構成例を示すブロック図である。 ２Ｄ互換フレームパッキングSEIの適用時期を説明する図である。 ２Ｄ互換フレームパッキングSEIに記述可能な情報を説明する図である。 図３０の復号装置による表示処理を説明するフローチャートである。 図３４の復号処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。
＜第１実施の形態＞
（符号化装置の第１実施の形態の構成例）
図１は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
図１の符号化装置１は、符号化部２、設定部３、および伝送部４により構成され、パッキング画像等の画像をHEVC方式で符号化する。
具体的には、符号化装置１の符号化部２には、フレーム単位のパッキング画像等の画像が入力信号として入力される。符号化部２は、入力信号をHEVC方式で符号化し、その結果得られる符号化データを設定部３に供給する。
設定部３は、SPS、PPS（Picture Parameter Set）、符号化データに対応する画像の特性（ユーザビリティ）をシーケンスごとに示すVUI(Video Usability Information)、SEIなどを設定する。設定部３は、設定されたSPS,PPS,VUI、およびSEIと、符号化部２から供給される符号化データとから、符号化ストリームを生成する。設定部３は、符号化ストリームを伝送部４に供給する。
伝送部４は、設定部３から供給される符号化ストリームを、後述する復号装置に伝送する。
（符号化部の構成例）
図２は、図１の符号化部２の構成例を示すブロック図である。
図２の符号化部２は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７により構成される。
具体的には、符号化部２のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１３、イントラ予測部２４、および動き予測・補償部２５に出力する。
演算部１３は、予測画像選択部２６から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算することにより符号化を行う。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、予測画像選択部２６から供給される予測画像を減算することにより符号化を行う。演算部１３は、その結果得られる画像を、残差情報として直交変換部１４に出力する。なお、予測画像選択部２６から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。
直交変換部１４は、演算部１３からの残差情報に対して直交変換を施し、直交変換の結果得られる係数を量子化部１５に供給する。
量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。
可逆符号化部１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部２４から取得する。また、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２５から取得する。
可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
また、可逆符号化部１６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報などを、符号化に関する符号化情報として可逆符号化する。可逆符号化部１６は、可逆符号化された符号化情報と係数を、符号化データとして蓄積バッファ１７に供給し、蓄積させる。なお、可逆符号化された符号化情報は、可逆符号化された係数のヘッダ情報とされてもよい。
蓄積バッファ１７は、可逆符号化部１６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１７は、記憶している符号化データを、図１の設定部３に供給する。
また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。
逆直交変換部１９は、逆量子化部１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
加算部２０は、逆直交変換部１９から供給される復号対象の画像としての残差情報と、予測画像選択部２６から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部２６から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給して蓄積させる。
デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２５に出力される。
イントラ予測部２４は、フレームメモリ２２からスイッチ２３を介して読み出されたデブロックフィルタ２１でフィルタリングされていない参照画像を用いて、タイルおよびスライス単位で、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
また、イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２６に供給する。イントラ予測部２４は、予測画像選択部２６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１６に供給する。
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
Figure 2013150944
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
Figure 2013150944
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。
動き予測・補償部２５は、タイルおよびスライス単位で、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２５は、タイルおよびスライス単位で、画面並べ替えバッファ１２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出されるフィルタリングされた参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２５は、タイルおよびスライス単位で、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
このとき、動き予測・補償部２５は、画面並べ替えバッファ１２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２６に供給する。また、動き予測・補償部２５は、予測画像選択部２６から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１６に出力する。
予測画像選択部２６は、イントラ予測部２４および動き予測・補償部２５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、予測画像選択部２６は、最適予測モードの予測画像の選択をイントラ予測部２４または動き予測・補償部２５に通知する。
レート制御部２７は、蓄積バッファ１７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
（VUIのシンタックスの例）
図３は、図１の設定部３により設定されるVUIのシンタックスの例を示す図である。
図３の第６行目に示すように、VUIには、パッキングに関するパッキング情報のSEIであるフレームパッキングSEIの有無を示す有無情報としてのフレームパッキングフラグ（frame_packing_arrangement_flag）が含まれている。フレームパッキングフラグは、フレームパッキングSEIが有ることを示す場合１とされ、フレームパッキングSEIが無いことを示す場合０とされる。
（フレームパッキングSEIのシンタックスの例）
図４は、図１の設定部３により設定されるフレームパッキングSEIのシンタックスの例を示す図である。
図４の第２行目に示すように、フレームパッキングSEI（frame_packing_arrangement）には、パッキング画像を表示する際にフレームパッキングSEIを優先的に用いるかを示す優先情報としてのクロッピング無視フラグ（frame_cropping_override_flag）が含まれる。クロッピング無視フラグは、パッキング画像の表示時にフレームパッキングSEIを優先的に用いることを示す場合１とされ、パッキング画像の表示時にフレームパッキングSEIを優先的に用いないことを示す場合０とされる。
なお、第１実施の形態では、クロッピング無視フラグは、常に１とされる。従って、フレームパッキングフラグ自体が、パッキング画像の表示時にフレームパッキングSEIを優先的に用いるかを示す情報（パッキング優先情報）であるともいえる。
また、図４の第３行目に示すように、フレームパッキングSEIには、パッキング画像のパッキングのモードを示すモード情報（frame_packing_arrangement_id）が含まれる。モード情報の詳細は、後述する図５を参照して説明する。
さらに、図４の第６行目に示すように、フレームパッキングSEIには、パッキング画像を構成する画像の特性を示すタイプ情報（content_interpretation_type）が含まれる。タイプ情報の詳細は、後述する図６を参照して説明する。
また、図４の第７行目に示すように、フレームパッキングSEIには、パッキング画像を構成する画像の数を示す画像数情報（num_of_picture_minus1）が含まれる。さらに、図４の第８行目乃至第１４行目に示すように、フレームパッキングSEIには、パッキング画像を構成する各画像のパッキング画像における位置を示す位置情報が含まれる。
図４の例では、位置情報は、パッキング画像を構成する画像ごとに記述される、その画像の左端の位置を示す左端情報（picture_left_offset）、右端の位置を示す右端情報（picture_right_offset）、上端の位置を示す上端情報（picture_top_offset）、下端の位置を示す下端情報（picture_bottom_offset）、およびピクチャＩＤである。
左端情報、右端情報、上端情報、および下端情報の詳細は、後述する図７を参照して説明する。ピクチャＩＤは、パッキング画像を構成する各画像に固有のＩＤである。
（モード情報の説明）
図５は、図４のモード情報を説明する図である。
図５に示すように、モード情報（frame_packing_arrangement_id）は、例えば、パッキングのモードが、サイドバイサイド方式でパッキングするサイドバイサイドモードである場合０とされる。また、モード情報は、パッキングのモードが、２つの画像の一方を上半分に配置し、他方を下半分に配置することによりパッキングするトップアンドボトム方式でパッキングするトップアンドボトムモードである場合１とされる。さらに、モード情報は、パッキングのモードがサイドバイサイドモードとトップアンドボトムモードのどちらでもない場合２とされる。
ここでは、パッキングのモードが、サイドバイサイドモード、トップアンドボトムモード、および、その他のモードであるものとするが、パッキングのモードは、これに限定されない。例えば、パッキングのモードとして、３つ以上の画像をパッキングするモードがあってもよい。また、モード情報は、フレームパッキングSEIではなく、他のSEIに含まれるようにしてもよいし、VUIなどの他のNAL(Network Abstraction Layer)ユニットに含まれるようにしてもよい。
（タイプ情報の説明）
図６は、図４のタイプ情報を説明する図である。
図６に示すように、タイプ情報（content_interpretation_type）は、例えば、パッキング画像を構成する各画像の特性として、各画像に特別な関係がないことを示す場合０とされる。また、タイプ情報は、パッキング画像を構成する各画像の特性として、ピクチャＩＤが０である画像は３Ｄ画像のうちの左目用の画像であり、ピクチャＩＤが１である画像は右目用の画像であることを示す場合１とされる。
さらに、タイプ情報は、パッキング画像を構成する各画像の特性として、ピクチャＩＤが０である画像は３Ｄ画像のうちの右目用の画像であり、ピクチャＩＤが１である画像は左目用の画像であることを示す場合１とされる。
（位置情報の説明）
図７は、図４の位置情報を説明する図である。
左端情報（picture_left_offset）は、例えば、パッキング画像を構成する画像の左端の位置を、その左端からパッキング画像の左端までの画素数で表す情報である。右端情報（picture_right_offset）、上端情報（picture_top_offset）、および下端情報（picture_bottom_offset）についても、左端情報と同様である。
図７に示すように、サイドバイサイド方式でパッキングされたパッキング画像の左半分の画像のピクチャＩＤが０であり、右半分の画像のピクチャＩＤが１である場合、パッキング画像の左上の画素単位の位置を(0,0)とすると、ピクチャＩＤが０である画像の左上の画素単位の位置は(0,0)である。また、パッキング画像の水平方向の画素数をwidthとし、垂直方向の画素数をheightとすると、ピクチャＩＤが０である画像の右上、左下、および右下の画素単位の位置は、それぞれ、(width/2,0),(0,height),(width/2,height)である。
よって、ピクチャＩＤとして０を含む位置情報の左端情報、右端情報、上端情報、および下端情報は、それぞれ、0(=0-0),width/2(=width-2/width),0(=0-0),0(=height-height)である。
一方、ピクチャＩＤが１である画像の左上、右上、左下、および右下の画素単位の位置は、それぞれ、(width/2,0),(width,0),(width/2,height),(width,height)である。従って、ピクチャＩＤとして１を含む位置情報の左端情報、右端情報、上端情報、および下端情報は、それぞれ、width/2(=width/2-0),0(=width-width),0(=0-0),0(=height-height)である。
なお、輝度成分と色差成分の画素数が異なる場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、画像数の小さい方の成分の画素数である。従って、例えば、パッキング画像がYUV420またはYUV422である場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、色差成分の画素数である。また、パッキング画像がYUV444である場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、色差成分と輝度成分において同一の画素数である。さらに、パッキング画像がYUV400である場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、輝度成分の画素数である。
よって、後述する復号装置において、左端情報、右端情報、上端情報、および下端情報に基づいてパッキング画像を構成する所望の画像がクロッピングされる場合、クロッピング領域の位置は、図８に示すようになる。
即ち、パッキング画像の左上の画素単位の位置を(0,0)とすると、図８に示すように、クロッピング領域の左上のパッキング画像上の画素単位の位置は、(CropUnitX*picture_left_offset,CropUnitY*picture_top_offset)であり、右下のパッキング画像上の画素単位の位置は、(Width-CropUnitX*picture_right_offset+1,CropUnitY*picture_bottom_offset+1)である。
ここで、CropUnitXとCropUnitYは、SPSに含まれる符号化対象の画像のフォーマット情報が表すYUV400,YUV420,YUV422,YUV444等に基づいて決定される値である。具体的には、フォーマット情報がYUV400またはYUV444を表している場合、CropUnitXとCropUnitYは、両方とも１であり、フォーマット情報がYUV420を表している場合、CropUnitXとCropUnitYは、両方とも２である。また、フォーマット情報がYUV422を表している場合、CropUnitXは２であり、CropUnitYは１である。
（位置情報の他の例）
図９は、図４のフレームパッキングSEIに含まれる位置情報のシンタックスの他の例を示す図である。
図９の例では、位置情報は、パッキング画像を構成する各画像のパッキング画像上の位置を、HEVC規格における並列符号化処理単位であるタイル単位で示す情報である。具体的には、図９の位置情報は、行ごとに、行方向（水平方向）に並ぶタイルに対応する画像のピクチャＩＤを示す情報である。
例えば、図１０に示すように、パッキング画像が、水平方向と垂直方向に２つずつタイルが並ぶように、４つのタイルに分割され、パッキング画像がサイドバイサイド方式でパッキングされた画像である場合、位置情報は、以下に示すようになる。
即ち、SPSやPPSに設定されるタイルに固有のＩＤであるタイルＩＤは、各タイルに対してラスタスキャン順に付与されるため、タイルＩＤとして０が付与されたタイルは左上のタイルである。従って、タイルＩＤが０であるタイルに対応する画像のピクチャＩＤは、パッキング画像の左半分の画像のピクチャＩＤ（図１０の例では０）となる。また、タイルＩＤとして１が付与されたタイルは右上のタイルであるため、タイルＩＤが１であるタイルに対応する画像のピクチャＩＤは、パッキング画像の右半分の画像のピクチャＩＤ（図１０の例では１）となる。
さらに、タイルＩＤとして２が付与されたタイルは左下のタイルであるため、タイルＩＤが２であるタイルに対応する画像のピクチャＩＤは、パッキング画像の左半分の画像のピクチャＩＤ（図１０の例では０）となる。また、タイルＩＤとして３が付与されたタイルは右下のタイルであるため、タイルＩＤが３であるタイルに対応する画像のピクチャＩＤは、パッキング画像の右半分の画像のピクチャＩＤ（図１０の例では１）となる。
従って、位置情報は、タイルＩＤが０と２であるタイルに対応する画像のピクチャＩＤとして、パッキング画像の左半分の画像のピクチャＩＤを示し、タイルＩＤが１と３であるタイルに対応する画像のピクチャＩＤとして、パッキング画像の右半分の画像のピクチャＩＤを示す情報になる。
（位置情報のさらに他の例）
図１１は、図４のフレームパッキングSEIに含まれる位置情報のシンタックスのさらに他の例を示す図である。
図１１の例では、位置情報は、パッキング画像を構成する各画像のパッキング画像上の位置を、スライス単位で示す情報である。具体的には、図１１の位置情報は、スライスごとに、そのスライスの画像のピクチャＩＤを示す情報である。
例えば、図１２に示すように、パッキング画像が４つのスライスに分割され、パッキング画像がトップアンドボトム方式でパッキングされた画像である場合、位置情報は、以下に示すようになる。
即ち、上から１番目および２番目のスライスの画像のピクチャＩＤは、パッキング画像の上半分の画像のピクチャＩＤ（図１２の例では０）となる。また、上から３番目および４番目のスライスの画像のピクチャＩＤは、パッキング画像の下半分の画像のピクチャＩＤ（図１２の例では１）となる。
従って、位置情報は、上から１番目および２番目のスライスの画像のピクチャＩＤとして、パッキング画像の上半分の画像のピクチャＩＤを示し、上から３番目および４番目のスライスの画像のピクチャＩＤとして、パッキング画像の下半分の画像のピクチャＩＤを示す情報になる。
（フレームパッキングSEIのシンタックスの他の例）
図１３は、図１の設定部３により設定されるフレームパッキングSEIのシンタックスの他の例を示す図である。
図１３の例では、フレームパッキングSEIは、AVC規格のフレームパッキングSEI（frame_packing_arrangement）に、第２行目のクロッピング無視フラグ（frame_cropping_override_flag）が追加されたものとなっている。
（SPSのシンタックスの例）
図１４は、図１の設定部３により設定されるSPSのシンタックスの一部の例を示す図である。
図１４の第１３行目乃至第１８行目に示すように、SPSには、対応する画像の表示時にクロッピングされるクロッピング領域を示すクロッピング情報を含むことができる。クロッピング情報は、クロッピング領域の左端の位置を示すクロッピング左端情報（pic_crop_left_offset）、右端の位置を示すクロッピング右端情報（pic_crop_right_offset）、上端の位置を示すクロッピング上端情報（pic_crop_top_offset）、および下端の位置を示すクロッピング下端情報（pic_crop_bottom_offset）である。
（符号化装置の処理の説明）
図１５は、図１の符号化装置１の生成処理を説明するフローチャートである。
図１５のステップＳ１において、符号化装置１の符号化部２は、外部から入力信号として入力されるフレーム単位のパッキング画像等の画像をHEVC方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図１６および図１７を参照して説明する。
ステップＳ２において、設定部３は、クロッピング情報を含むSPSを設定する。ステップＳ３において、設定部３は、PPSを設定する。ステップＳ４において、設定部３は、ユーザによる図示せぬ入力部の操作等に基づいて、符号化対象の画像がパッキング画像であるかどうかを判定する。
ステップＳ４で符号化対象の画像がパッキング画像であると判定された場合、ステップＳ５において、設定部３は、フレームパッキングフラグとして１を含むVUIを設定する。ステップＳ６において、設定部３は、フレームパッキングSEIなどのSEIを設定し、処理をステップＳ８に進める。
一方、ステップＳ４で符号化対象の画像がパッキング画像ではないと判定された場合、ステップＳ７において、設定部３は、フレームパッキングフラグとして０を含むVUIを設定する。また、設定部３は、必要に応じて、フレームパッキングSEI以外のSEIを設定し、処理をステップＳ８に進める。
ステップＳ８において、設定部３は、設定されたSPS,PPS,VUI、およびSEIと、符号化部２から供給される符号化データとから、符号化ストリームを生成する。設定部３は、符号化ストリームを伝送部４に供給する。
ステップＳ９において、伝送部４は、設定部３から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。
図１６および図１７は、図１５のステップＳ１の符号化処理の詳細を説明するフローチャートである。
図１６のステップＳ１１において、符号化部２のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。
ステップＳ１２において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、演算部１３、イントラ予測部２４、および動き予測・補償部２５に供給する。なお、以下のステップＳ１３乃至Ｓ２８の処理は、例えばCU（Coding Unit）単位で行われる。
ステップＳ１３において、イントラ予測部２４は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２６に供給する。
また、動き予測・補償部２５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部２５は、画面並べ替えバッファ１２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２６に供給する。
ステップＳ１４において、予測画像選択部２６は、ステップＳ１３の処理によりイントラ予測部２４および動き予測・補償部２５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部２６は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。
ステップＳ１５において、予測画像選択部２６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２６は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２５に通知する。これにより、動き予測・補償部２５は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１６に出力する。
そして、ステップＳ１６において、可逆符号化部１６は、動き予測・補償部２５から供給されるインター予測モード情報、動きベクトル、および参照画像を特定するための情報を、符号化情報として可逆符号化する。そして、処理はステップＳ１８に進む。
一方、ステップＳ１５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。これにより、イントラ予測部２４は、イントラ予測モード情報を可逆符号化部１６に供給する。
そして、ステップＳ１７において、可逆符号化部１６は、イントラ予測部２４から供給されるイントラ予測モード情報を符号化情報として可逆符号化する。そして、処理はステップＳ１８に進む。
ステップＳ１８において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、予測画像選択部２６から供給される予測画像を減算することにより符号化を行う。演算部１３は、その結果得られる画像を、残差情報として直交変換部１４に出力する。
ステップＳ１９において、直交変換部１４は、演算部１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１５に供給する。
ステップＳ２０において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。
ステップＳ２１において、可逆符号化部１６は、量子化部１５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部１６は、ステップＳ１６またはＳ１７の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成する。
図１７のステップＳ２２において、可逆符号化部１６は、符号化データを蓄積バッファ１７に供給し、蓄積させる。
ステップＳ２３において、蓄積バッファ１７は、蓄積されている符号化データを、図１の設定部３に出力する。
ステップＳ２４において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。
ステップＳ２５において、逆直交変換部１９は、逆量子化部１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。
ステップＳ２６において、加算部２０は、逆直交変換部１９から供給される残差情報と、予測画像選択部２６から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給する。
ステップＳ２７において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去し、フレームメモリ２２に供給する。
ステップＳ２８において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像とデブロックフィルタ２１から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２５に出力される。そして、処理は図１５のステップＳ１に戻り、ステップＳ２に進む。
なお、図１６および図１７の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。
以上のように、符号化装置１は、フレームパッキングSEIとフレームパッキングフラグを設定し、パッキング画像を符号化した符号化データとともに伝送する。従って、パッキング画像の符号化ストリームを復号して表示させる復号装置は、フレームパッキングフラグが１である場合、即ちクロッピング無視フラグが１である場合、フレームパッキングSEIを優先的に用いて、パッキング画像を構成する所望の画像を確実に表示させることができる。よって、符号化装置１は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができるといえる。
（復号装置の第１実施の形態の構成例）
図１８は、図１の符号化装置１から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
図１８の復号装置５０は、受け取り部５１、抽出部５２、復号部５３、制御部５４、表示制御部５５、および表示部５６により構成される。
復号装置５０の受け取り部５１は、図１の符号化装置１から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS,PPS,VUI,SEI、符号化データ等を抽出する。抽出部５２は、符号化データを復号部５３に供給する。また、抽出部５２は、SPS,PPS,VUI,SEI等も、必要に応じて復号部５３と制御部５４に供給する。
復号部５３は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する。復号部５３は、復号の結果得られるパッキング画像等の画像を、出力信号として制御部５４に供給する。
制御部５４は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等に基づいて、復号部５３から出力信号として供給されるパッキング画像を構成する各画像を特定する。そして、制御部５４は、出力信号としてのパッキング画像と、パッキング画像を構成する各画像を特定する情報を表示制御部５５に供給する。また、制御部５４は、出力信号としてのパッキング画像ではない画像とSPSに含まれるクロッピング情報とを表示制御部５５に供給する。
表示制御部５５は、制御部５４から供給されるパッキング画像を構成する各画像を特定する情報と、表示部５６から通知される表示方法とに基づいて、制御部５４から出力信号として供給されるパッキング画像に対してクロッピング、拡大や縮小等を行い、表示画像を生成する。また、表示制御部５５は、制御部５４から供給されるクロッピング情報に基づいて、制御部５４から出力信号として供給されるパッキングされていない画像に対してクロッピング、拡大や縮小等を行い、表示画像を生成する。表示制御部５５は、生成された表示画像を表示部５６に供給することにより、表示させる。
表示部５６は、表示制御部５５から供給される表示画像を表示する。また、表示部５６は、予め設定された表示方法、または、予めされた表示方法のうちのユーザにより指定された表示方法を表示制御部５５に通知する。
（復号部の構成例）
図１９は、図１８の復号部５３の構成例を示すブロック図である。
図１９の復号部５３は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、動き補償部１１２、およびスイッチ１１３により構成される。
復号部５３の蓄積バッファ１０１は、図１８の抽出部５２から符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。
可逆復号部１０２は、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。
逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、および、動き補償部１１２は、図２の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、および、動き予測・補償部２５とそれぞれ同様の処理を行い、これにより、画像が復号される。
具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１３から供給される予測画像を加算することにより、復号を行う。加算部１０５は、復号の結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、スイッチ１１３から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給して蓄積させる。
デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して読み出され、動き補償部１１２またはイントラ予測部１１１に供給される。
画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として図１８の制御部５４に出力する。
イントラ予測部１１１は、タイルおよびスライス単位で、フレームメモリ１０９からスイッチ１１０を介して読み出されたデブロックフィルタ１０６でフィルタリングされていない参照画像を用いて、可逆復号部１０２から供給されるイントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１１１は、その結果生成される予測画像をスイッチ１１３に供給する。
動き補償部１１２は、タイルおよびスライス単位で、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１０９からスイッチ１１０を介して、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出す。動き補償部１１２は、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１１２は、その結果生成される予測画像をスイッチ１１３に供給する。
スイッチ１１３は、可逆復号部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１１１から供給される予測画像を加算部１０５に供給する。一方、可逆復号部１０２からインター予測モード情報が供給された場合、スイッチ１１３は、動き補償部１１２から供給される予測画像を加算部１０５に供給する。
（復号装置の処理の説明）
図２０は、図１８の復号装置５０による表示処理を説明するフローチャートである。
図２０のステップＳ５０において、復号装置５０の受け取り部５１は、図１の符号化装置１から伝送されてくる符号化ストリームを受け取り、抽出部５２に供給する。
ステップＳ５１において、抽出部５２は、受け取り部５１から供給される符号化ストリームから、SPS,PPS,VUI,SEI、符号化データ等を抽出する。抽出部５２は、符号化データを復号部５３に供給する。また、抽出部５２は、SPS,PPS,VUI,SEI等も、必要に応じて復号部５３と制御部５４に供給する。
ステップＳ５２において、復号部５３は、必要に応じて抽出部５２から供給されるSPS,PPS,VUI,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する復号処理を行う。この復号処理の詳細は、後述する図２１を参照して説明する。
ステップＳ５３において、制御部５４は、抽出部５２から供給されるVUIに含まれるフレームパッキングフラグが１であるかどうかを判定する。ステップＳ５３でフレームパッキングフラグが１であると判定された場合、制御部５４は、復号部５３から供給される出力信号がパッキング画像であると判定する。
そして、ステップＳ５４において、制御部５４は、抽出部５２から供給されるフレームパッキングSEIに含まれるクロッピング無視フラグが１であるかどうかを判定する。ステップＳ５４でクロッピング無視フラグが１であると判定された場合、ステップＳ５５において、制御部５４は、フレームパッキングSEIに含まれるタイプ情報と位置情報などに基づいて、パッキング画像を構成する各画像を特定する。そして、制御部５４は、パッキング画像を構成する各画像を特定する情報と出力信号を表示制御部５５に供給する。
ステップＳ５６において、表示制御部５５は、表示部５６から通知される表示方法を取得する。ステップＳ５７において、表示制御部５５は、表示方法とパッキング画像を構成する各画像を特定する情報とに基づいて、パッキング画像を構成する画像のうちの所望の画像をクロッピングし、必要に応じて拡大や縮小等を行い、表示画像とする。
例えば、出力信号が３Ｄ表示用のパッキング画像である場合、制御部５４は、フレームパッキングSEIに含まれるタイプ情報と位置情報などに基づいて、パッキング画像を構成する左目用の画像と右目用の画像を特定する。そして、表示方法が２Ｄ表示である場合、表示制御部５５は、パッキング画像から、例えば左目用の画像をクロッピングし、表示画像とする。一方、表示方法が３Ｄ表示である場合、表示制御部５５は、パッキング画像から左目用の画像と右目用の画像をクロッピングし、表示画像とする。そして、処理はステップＳ５９に進む。
一方、ステップＳ５３でフレームパッキングフラグが１ではないと判定された場合、または、ステップＳ５４でクロッピング無視フラグが１ではないと判定された場合、制御部５４は、出力信号がパッキング画像ではないと判定する。そして、制御部５４は、出力信号とSPSに含まれるクロッピング情報を表示制御部５５に供給し、ステップＳ５８において、表示制御部５５は、そのクロッピング情報に基づいて、出力信号としての画像をクロッピングし、必要に応じて拡大や縮小等を行い、表示画像とする。そして、処理はステップＳ５９に進む。
ステップＳ５９において、表示制御部５５は、生成された表示画像を表示部５６に供給することにより、表示部５６に表示画像を表示させ、処理を終了する。
図２１は、図２０のステップＳ５２の復号処理の詳細を説明するフローチャートである。
図２１のステップＳ１０１において、復号部５３の蓄積バッファ１０１は、図１８の抽出部５２からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。なお、以下のステップＳ１０２乃至Ｓ１１０の処理は、例えばCU単位で行われる。
ステップＳ１０２において、可逆復号部１０２は、蓄積バッファ１０１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き補償部１１２に供給する。さらに、可逆復号部１０２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。
ステップＳ１０３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
ステップＳ１０４において、動き補償部１１２は、可逆復号部１０２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１０４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１０５に進む。
ステップＳ１０５において、動き補償部１１２は、可逆復号部１０２から供給される動きベクトル、インター予測モード情報、および参照画像を特定するための情報に基づいて、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出し、動き補償処理を行う。動き補償部１１２は、その結果生成される予測画像を、スイッチ１１３を介して加算部１０５に供給し、処理をステップＳ１０７に進める。
一方、ステップＳ１０４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１１１に供給された場合、処理はステップＳ１０６に進む。
ステップＳ１０６において、イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出された、デブロックフィルタ１０６でフィルタリングされていない参照画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１１１は、イントラ予測処理の結果生成される予測画像を、スイッチ１１３を介して加算部１０５に供給し、処理をステップＳ１０７に進める。
ステップＳ１０７において、逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。
ステップＳ１０８において、加算部１０５は、逆直交変換部１０４から供給される残差情報と、スイッチ１１３から供給される予測画像を加算する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。
ステップＳ１０９において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給する。
ステップＳ１１０において、フレームメモリ１０９は、加算部１０５から供給されるフィルタリング前の画像と、デブロックフィルタ１０６から供給されるフィルタリング後の画像を蓄積する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して動き補償部１１２またはイントラ予測部１１１に供給される。
ステップＳ１１１において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
ステップＳ１１２において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として図１８の制御部５４に供給する。そして、処理は、図２０のステップＳ５２に戻り、ステップＳ５３に進む。
以上のように、復号装置５０は、符号化データを復号してパッキング画像を生成し、フレームパッキングフラグが１である場合、即ちクロッピング無視フラグが１である場合、フレームパッキングSEIに基づいてパッキング画像を構成する各画像を特定する。従って、復号装置５０は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
また、復号装置５０が、パッキング画像を構成する各画像を特定することができるので、復号装置５０側で、表示方法などにしたがって、表示する所望の画像を決定することができる。
なお、フレームパッキングSEIにクロッピング無視フラグが含まれないようにしてもよい。この場合、復号装置は、フレームパッキングフラグが１である場合、クロッピング情報を無視し、フレームパッキングSEIに基づいてパッキング画像を構成する各画像を特定する。
また、SEIを利用しない復号装置は、フレームパッキングフラグが１である場合であっても、クロッピング情報に基づいてクロッピングを行う。なお、SEIを利用しない復号装置は、フレームパッキングフラグが１である場合、フレームパッキングSEIを参照するようにしてもよい。この場合、SPSにクロッピング情報を含める必要がない。
フレームパッキングフラグは、VUIではなく、SPS等の他のNALユニットに含まれるようにしてもよい。また、パッキング画像を構成する画像の数は、３以上であってもよい。例えば、パッキング画像は、テレビ会議システムにおける会議の各参加者の画像がパッキングされた画像などであってもよい。
さらに、フレームパッキングSEIに含まれる位置情報が、図９や図１１に示した位置情報である場合、画像数情報は設定されなくてもよい。
＜第２実施の形態＞
（符号化装置の第２実施の形態の構成例）
図２２は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
図２２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２２の符号化装置１２０の構成は、符号化部２の代わりに符号化部１２１が設けられ、設定部３の代わりに設定部１２２が設けられる点が図１の構成と異なる。符号化装置１２０は、パッキング画像の符号化ストリームが２Ｄ画像の符号化ストリームとの互換性を有するためのフレームパッキングSEIである２Ｄ互換フレームパッキングSEIを含めるように、パッキング画像の符号化ストリームを生成する。
この２Ｄ互換フレームパッキングSEIは、復号装置において、パッキング画像を表示する際にクロッピング情報の前に適用されるSEIであり、クロッピング情報を無視することを示すSEIである。即ち、２Ｄ互換フレームパッキングSEIは、パッキング画像を表示する際にクロッピング情報に比べて優先的に用いられるSEIである。
符号化装置１２０の符号化部１２１には、フレーム単位のパッキング画像等の画像が入力信号として入力される。符号化部１２１は、入力信号をHEVC方式で符号化し、その結果得られる符号化データを設定部１２２に供給する。なお、詳細は後述するが、符号化部２と符号化部１２１は、局部的に復号された画像に対して行われるフィルタリングの種類が異なっている。
設定部１２２は、図１４に示したSPS、PPS、２Ｄ互換フレームパッキングSEI等のSEIなどを設定する。設定部１２２は、設定されたSPS,PPS,SEIなどと、符号化部１２１から供給される符号化データとから、符号化ストリームを生成する。設定部１２２は、符号化ストリームを伝送部４に供給する。
（符号化部の構成例）
図２３は、図２２の符号化部１２１の構成例を示すブロック図である。
図２３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２３の符号化部１２１の構成は、適応オフセットフィルタ１４１と適応ループフィルタ１４２が新たに設けられる点、および可逆符号化部１６の代わりに可逆符号化部１４３が設けられる点が図２の構成と異なる。
符号化部１２１は、局部的に復号された画像に対して、デブロックフィルタ２１によるフィルタリング（以下、適応デブロックフィルタ処理という）だけでなく、適応オフセットフィルタ１４１と適応ループフィルタ１４２によるフィルタリングを行う。
具体的には、適応オフセットフィルタ１４１は、デブロックフィルタ２１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
より詳細には、適応オフセットフィルタ１４１は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ１４１は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ１４１は、適応オフセットフィルタ処理後の画像を適応ループフィルタ１４２に供給する。
また、適応オフセットフィルタ１４１は、オフセットを格納するバッファを有している。適応オフセットフィルタ１４１は、LCUごとに、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。
適応オフセットフィルタ１４１は、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。
そして、適応オフセットフィルタ１４１は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を可逆符号化部１４３に供給する。
一方、適応オフセットフィルタ１４１は、適応デブロックフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットを順にバッファに格納する。また、適応オフセットフィルタ１４１は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ１４１は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を可逆符号化部１４３に供給する。
適応ループフィルタ１４２は、適応オフセットフィルタ１４１から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF:Adaptive Loop Filter)処理を行う。適応ループフィルタ処理としては、例えば、２次元のウィナーフィルタ（Wiener Filter）による処理が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。
具体的には、適応ループフィルタ１４２は、LCUごとに、画面並べ替えバッファ１２から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ１４２は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。
適応ループフィルタ１４２は、適応ループフィルタ処理後の画像をフレームメモリ２２に供給する。また、適応ループフィルタ１４２は、フィルタ係数を可逆符号化部１４３に供給する。
なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ１４１と適応ループフィルタ１４２の処理単位を合わせることにより、処理を効率的に行うことができる。
可逆符号化部１４３は、図２の可逆符号化部１６と同様に、イントラ予測モード情報をイントラ予測部２４から取得し、インター予測モード情報、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２５から取得する。また、可逆符号化部１４３は、適応オフセットフィルタ１４１から格納フラグ、インデックスまたはオフセット、および種類情報をオフセットフィルタ情報として取得し、適応ループフィルタ１４２からフィルタ係数を取得する。
可逆符号化部１４３は、可逆符号化部１６と同様に、量子化部１５から供給される量子化された係数に対して、可逆符号化を行う。また、可逆符号化部１４３は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報など、オフセットフィルタ情報、およびフィルタ係数を、符号化情報として可逆符号化する。可逆符号化部１４３は、可逆符号化された符号化情報と係数を、符号化データとして蓄積バッファ１７に供給し、蓄積させる。なお、可逆符号化された符号化情報は、可逆符号化された係数のヘッダ情報とされてもよい。
（２Ｄ互換フレームパッキングSEIのシンタックスの例）
図２４は、図２２の設定部１２２により設定される２Ｄ互換フレームパッキングSEIのシンタックスの例を示す図である。
図２４の第２行目乃至第４行目の記述は、AVC規格のフレームパッキングSEI、即ち、図１３のフレームパッキングSEIにおいて第２行目の記述がないもの、における図１３の第３行目乃至第５行目の記述に対応するものである。
また、図２４の第５行目の２Ｄcomp_FPA_typeは、AVC規格のフレームパッキングSEIにおけるframe_packing_arrangement_type（図１３の第６行目）に対応するものであり、モード情報である。但し、後述するように、２Ｄcomp_FPA_typeとして記述可能なモード情報は、frame_packing_arrangement_typeとして記述可能なモード情報の一部である。
図２４の第６行目乃至第１１行目の記述は、AVC規格のフレームパッキングSEIにおける図１３の第８、第９、第１３乃至第２０行目の記述に対応するものである。図２４の第１２行目乃至第１５行目には、位置情報が記述される。
図２４の例では、位置情報は、パッキング画像を構成する画像ごとに記述される、その画像の上端情報（top_position_frame）、左端情報（left_position_frame）、下端情報（bottom_position_frame）、および右端情報（right_position_frame）により構成される。
図２４の第１７行目乃至第２１行目の記述は、図１３の第２１行目乃至第２５行目に対応するものである。
以上のように、図２４の２Ｄ互換フレームパッキングSEIは、frame_packing_arrangement_typeが２Ｄcomp_FPA_typeに代わる点と、quincunx_sampling_flag（図１３の第７行目）,field_pictures_flag(field_view_flag)（図１３の第１１行目）、およびcurrent_frame_is_frame0_flag（図１３の第１２行目）が記述されない点とが、AVC方式におけるフレームパッキングSEIと異なっている。
（２Ｄ互換フレームパッキングSEIの変更の理由の説明）
図２５は、AVC方式におけるフレームパッキングSEIに対する２Ｄ互換フレームパッキングSEIの変更の理由を説明する図である。
なお、図２５において、バツ印が付された正方形は左目用の画像の画素を表し、丸印が付された正方形は右目用の画像の画素を表す。また、図２５の例では、パッキング画像および表示画像は、１２×８画素からなるものとする。
ここで、AVC方式におけるモード情報としては、サイドバイサイドモード、トップアンドボトムモードの他に、チェッカーボートモード、インターリーブモード、フレームシーケンシャルモードなどがある。
チェッカーボードモードとは、左目用の画素と右目用の画素を行方向および列方向に交互に配置することによりパッキングするチェッカーボード方式でパッキングするモードである。インターリーブモードとは、左目用の画素と右目用の画素を１行おき、または、１列おきに配置することによりパッキングするインターリーブ方式でパッキングするモードである。フレームシーケンシャルモードとは、左目用の画像と右目用の画像を時分割で交互にパッキングするフレームシーケンシャル方式でパッキングするモードである。
図２５のＡに示すように、パッキングのモードがサイドバイサイドモードである場合、復号装置において、パッキング画像のうちの左半分に位置する左目用の画像をクロッピングし、高解像度化（拡大）することにより、左目用の画像を２Ｄの表示画像として表示することができる。
また、図示は省略するが、パッキングのモードがトップアンドボトムモードである場合も、サイドバイサイドモードである場合と同様に、クロッピングと高解像度化により２Ｄの表示画像を表示することができる。
しかしながら、図２５のＢに示すように、パッキングのモードがチェッカーボードモードである場合、復号装置は、クロッピングと高解像度化により２Ｄの表示画像を表示することができない。また、図示は省略するが、パッキングのモードが、インターリーブモードやフレームシーケンシャルモードである場合も、チェッカーボードモードと同様に、クロッピングと高解像度化により２Ｄの表示画像を表示することができない。
従って、符号化装置１２０は、トップアンドボトムモードまたはサイドバイサイドモードでパッキングされたパッキング画像のみを扱い、復号装置は、クロッピングと高解像度化により２Ｄの表示画像を表示する。よって、モード情報は、サイドバイサイドモードまたはトップアンドボトムモードを示す情報である。
また、パッキングのモードがトップアンドボトムモードまたはサイドバイサイドモードであるので、チェッカーボードモード用の記述であるquincunx_sampling_flagは、２Ｄ互換フレームパッキングSEIに含まれない。同様に、インターリーブモード用の記述であるfield_pictures_flag(field_view_flag)、フレームシーケンシャル用の記述であるcurrent_frame_is_frame0_flagも２Ｄ互換フレームパッキングSEIに含まれない。
（位置情報の説明）
図２６は、図２４の位置情報を説明する図である。
図２６の例では、パッキング画像１５０が、サイドバイサイド方式でパッキングされている。パッキング画像１５０の左半分の画像１５１のピクチャＩＤが０であり、右半分の画像１５２のピクチャＩＤが１であるものとする。
この場合、図２６に示すように、画像１５１の上端情報（top_position_frame[0]）、左端情報（left_position_frame[0]）、下端情報（bottom_position_frame[0]）、および右端情報（right_position_frame[0]）が位置情報として記述される。
また、画像１５２の上端情報（top_position_frame[1]）、左端情報（left_position_frame[1]）、下端情報（bottom_position_frame[1]）、および右端情報（right_position_frame[1]）が位置情報として記述される。
ここで、上端情報（top_position_frame）は、例えば、パッキング画像１５０を構成する画像１５１（１５２）の上端の位置を、その上端からパッキング画像１５０の上端までの画素数で表す情報である。左端情報（left_position_frame）、下端情報（bottom_position_frame）、および右端情報（right_position_frame）についても、上端情報と同様である。
なお、第１実施の形態と同様に、輝度成分と色差成分の画素数が異なる場合、左端情報、右端情報、上端情報、および下端情報が表す画素数は、例えば、画像数の小さい方の成分の画素数である。
このような位置情報に基づいて、パッキング画像１５０のうちの、画像１５１と画像１５２を特定することができる。パッキング画像１５０のサイズは、LCUの整数倍のサイズとなっているが、パッキング画像１５０を構成する画像１５１（１５２）のサイズは、必ずしもLCUの整数倍のサイズとならない。従って、図２６に示すように、パッキング画像１５０内には、パッキング画像１５０を構成する画像１５１と画像１５２以外の余白領域１５３が存在することがある。
なお、位置情報は、各画像１５１（１５２）のパッキング画像１５０上の位置を、図９の場合と同様にタイル単位で示す情報であってもよいし、図１１の場合と同様にスライス単位で示す情報であってもよい。
また、ここでは、位置情報が、各画像１５１（１５２）の上端情報、左端情報、下端情報、および右端情報により構成されるものとするが、位置情報は、各画像１５１（１５２）のパッキング画像１５０上の位置を示す情報であれば、これに限定されない。
例えば、各画像１５１（１５２）の水平方向の画素数と垂直方向の画素数が同一である場合、位置情報は、各画像１５１(１５２)の上端情報および左端情報、並びに、各画像１５１（１５２）に共通の水平方向の画素数および垂直方向の画素数により構成することができる。
この場合、位置情報を構成する情報の数は６になり、情報の数が少なくて済む。これに対して、位置情報が各画像１５１（１５２）の上端情報、左端情報、下端情報、および右端情報により構成される場合、位置情報を構成する情報の数は８になる。
また、２Ｄ互換フレームパッキングSEIには、パッキング画像１５０を構成する全ての画像１５１と画像１５２の位置情報が含まれなくてもよい。例えば、画像１５１と画像１５２のうちの、SPSに含まれるクロッピング情報で示すクロッピング領域に対応する画像１５１（１５２）以外の画像１５２(１５１)の上端情報、左端情報、下端情報、および右端情報が、位置情報として含まれるようにしてもよい。この場合、復号装置は、位置情報に対応する画像１５２（１５１）以外の画像１５１(１５２)をクロッピング情報に基づいて特定する。また、この場合、位置情報を構成する情報の数は４になり、情報の数が少なくて済む。
また、各画像１５１（１５２）の水平方向の画素数と垂直方向の画素数が同一である場合、画像１５１と画像１５２のうちの、クロッピング情報で示すクロッピング領域に対応する画像１５１（１５２）以外の画像１５２（１５１）の上端情報および左端情報が、位置情報として含まれるようにしてもよい。この場合、復号装置は、位置情報に対応する画像１５２（１５１）以外の画像１５１(１５２)をクロッピング情報に基づいて特定する。そして、復号装置は、その画像１５１（１５２）の水平方向の画素数および垂直方向の画素数、並びに、上端情報および左端情報に基づいて、位置情報に対応する画像１５２（１５１）を特定する。この場合、位置情報を構成する情報の数は２になり、情報の数が少なくて済む。
（符号化装置の処理の説明）
図２７は、図２２の符号化装置１２０の生成処理を説明するフローチャートである。
図２７のステップＳ１３１において、符号化装置１２０の符号化部１２１は、外部から入力信号として入力されるフレーム単位のパッキング画像等の画像をHEVC方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図２８および図２９を参照して説明する。
ステップＳ１３２において、設定部１２２は、クロッピング情報を含むSPS（図１４）を設定する。ステップＳ１３３において、設定部１２２は、PPSを設定する。ステップＳ１３４において、設定部１２２は、ユーザによる図示せぬ入力部の操作等に基づいて、符号化対象の画像がパッキング画像であるかどうかを判定する。
ステップＳ１３４で符号化対象の画像がパッキング画像であると判定された場合、ステップＳ１３５において、設定部１２２は、図２４の２Ｄ互換フレームパッキングSEIなどのSEIを設定し、処理をステップＳ１３６に進める。
一方、ステップＳ１３４で符号化対象の画像がパッキング画像ではないと判定された場合、設定部１２２は、必要に応じて、２Ｄ互換フレームパッキングSEI以外のSEIを設定し、処理をステップＳ１３６に進める。
ステップＳ１３６において、設定部１２２は、設定されたSPS,PPS、およびSEIと、符号化部１２１から供給される符号化データとから、符号化ストリームを生成する。設定部１２２は、符号化ストリームを伝送部４に供給する。
ステップＳ１３７において、伝送部４は、設定部１２２から供給される符号化ストリームを、後述する復号装置に伝送し、処理を終了する。
図２８および図２９は、図２７のステップＳ１３１の符号化処理の詳細を説明するフローチャートである。
図２８のステップＳ１５１乃至Ｓ１５５の処理は、図１６のステップＳ１１乃至Ｓ１５の処理と同様であるので説明は省略する。
ステップＳ１５５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２６は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２５に通知する。
そして、ステップＳ１５６において、動き予測・補償部２５は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１４３に供給する。そして、処理はステップＳ１５８に進む。
一方、ステップＳ１５５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２６は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。
そして、ステップＳ１５７において、イントラ予測部２４は、イントラ予測モード情報を可逆符号化部１４３に供給する。そして、処理はステップＳ１５８に進む。
ステップＳ１５８乃至Ｓ１６３の処理は、図１６のステップＳ１８乃至Ｓ２０および図１７のステップＳ２４乃至Ｓ２６の処理と同様であるので、説明は省略する。
ステップＳ１６４において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ２１は、その結果得られる画像を適応オフセットフィルタ１４１に供給する。
ステップＳ１６５において、適応オフセットフィルタ１４１は、デブロックフィルタ２１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１４１は、その結果得られる画像を適応ループフィルタ１４２に供給する。また、適応オフセットフィルタ１４１は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部１４３に供給する。
ステップＳ１６６において、適応ループフィルタ１４２は、適応オフセットフィルタ１４１から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１４２は、その結果得られる画像をフレームメモリ２２に供給する。また、適応ループフィルタ１４２は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部１４３に供給する。
ステップＳ１６７において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像と適応ループフィルタ１４２から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２５に出力される。
ステップＳ１６８において、可逆符号化部１４３は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報など、オフセットフィルタ情報、およびフィルタ係数を、符号化情報として可逆符号化する。
ステップＳ１６９において、可逆符号化部１４３は、量子化部１５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部１４３は、ステップＳ１６８の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成する。
ステップＳ１７０およびＳ１７１の処理は、図１７のステップＳ２２およびＳ２３の処理と同様であるので、説明は省略する。ステップＳ１７１の処理後、処理は図２７のステップＳ１３１に戻り、ステップＳ１３２に進む。
以上のように、符号化装置１２０は、クロッピング情報の前に適用し、クロッピング情報を無視することを示す２Ｄ互換フレームパッキングSEIを設定し、パッキング画像を符号化した符号化データとともに伝送する。
従って、パッキング画像の符号化ストリームを復号して表示させる復号装置は、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれる場合、２Ｄ互換フレームパッキングSEIを優先的に用いて、パッキング画像を構成する各画像を特定することができる。従って、復号装置は、パッキング画像を構成する所望の画像を確実に表示させることができる。
よって、符号化装置１２０は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができるといえる。
（復号装置の第２実施の形態の構成例）
図３０は、図２２の符号化装置１２０から伝送される符号化ストリームを復号する、本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
図３０に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３０の復号装置１６０の構成は、復号部５３、制御部５４、表示制御部１６３の代わりに復号部１６１、制御部１６２、表示制御部１６３が設けられる点が図１８の構成と異なる。復号装置１６０は、符号化ストリームが２Ｄ互換フレームパッキングSEIを含む場合、２Ｄ互換フレームパッキングSEIを優先的に用いて表示画像を生成する。
具体的には、復号装置１６０の復号部１６１は、必要に応じて抽出部５２から供給されるSPS,PPS,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する。復号部１６１は、復号の結果得られるパッキング画像等の画像を、出力信号として制御部１６２に供給する。なお、詳細は後述するが、復号部５３と復号部１６１は、局部的に復号された画像に対して行われるフィルタリングの種類が異なっている。
制御部１６２は、抽出部５２から２Ｄ互換フレームパッキングSEIが供給される場合、即ち出力信号がパッキング画像である場合、２Ｄ互換フレームパッキングSEIに含まれる位置情報に基づいて、そのパッキング画像を構成する各画像を特定する。そして、制御部１６２は、クロッピング情報を無視し、出力信号としてのパッキング画像と、パッキング画像を構成する各画像を特定する情報とを表示制御部１６３に供給する。
一方、制御部１６２は、抽出部５２から２Ｄ互換フレームパッキングSEIが供給されない場合、即ち出力信号がパッキング画像ではない画像である場合、制御部１６２は、出力信号としてのパッキング画像ではない画像と、SPSに含まれるクロッピング情報とを表示制御部１６３に供給する。
表示制御部１６３は、制御部１６２から供給されるパッキング画像を構成する各画像を特定する情報と、表示部５６から通知される表示方法とに基づいて、制御部１６２から出力信号として供給されるパッキング画像に対してクロッピング、高解像度化（拡大）等を行い、表示画像を生成する。また、表示制御部１６３は、制御部１６２から供給されるクロッピング情報に基づいて、制御部１６２から出力信号として供給されるパッキングされていない画像に対してクロッピング、高解像度化（拡大）等を行い、表示画像を生成する。表示制御部１６３は、生成された表示画像を表示部５６に供給することにより、表示させる。
（復号部の構成例）
図３１は、図３０の復号部１６１の構成例を示すブロック図である。
図３１に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３１の復号部１６１の構成は、可逆復号部１０２の代わりに可逆復号部１８１が設けられる点、および、適応オフセットフィルタ１８２と適応ループフィルタ１８３が新たに設けられる点が図１９の構成と異なる。復号部１６１は、局部的に復号された画像に対して、適応デブロックフィルタ処理だけでなく、適応オフセットフィルタ１８２と適応ループフィルタ１８３によるフィルタリングを行う。
具体的には、可逆復号部１８１は、図１９の可逆復号部１０２と同様に、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１８１は、可逆復号部１０２と同様に、量子化された係数を逆量子化部１０３に供給する。
また、可逆復号部１８１は、可逆復号部１０２と同様に、符号化情報としてのイントラ予測モード情報などをイントラ予測部１１１に供給する。可逆復号部１８１は、可逆復号部１０２と同様に、符号化情報としての動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き補償部１１２に供給する。
さらに、可逆復号部１８１は、可逆復号部１０２と同様に、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１１３に供給する。可逆復号部１８１は、符号化情報としてのオフセットフィルタ情報を適応オフセットフィルタ１８２に供給し、フィルタ係数を適応ループフィルタ１８３に供給する。
適応オフセットフィルタ１８２は、可逆復号部１８１から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ１８２は、LCUごとに、可逆復号部１８１から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１０６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。
具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ１８２は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。
一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ１８２は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。そして、適応オフセットフィルタ１８２は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ１８２は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１８３に供給する。
適応ループフィルタ１８３は、適応オフセットフィルタ１８２から供給される画像に対して、可逆復号部１８１から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１８３は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。
（２Ｄ互換フレームパッキングSEIの適用時期の説明）
図３２は、２Ｄ互換フレームパッキングSEIの適用時期を説明する図である。
図３２に示すように、復号装置１６０は、最初に、受信された符号化ストリームに、２Ｄ互換フレームパッキングSEIが含まれているかどうかを判定する。そして、２Ｄ互換フレームパッキングSEIが含まれている場合、復号装置１６０は、２Ｄ互換フレームパッキングSEIを適用し、クロッピング情報は無視する。
このように、２Ｄ互換フレームパッキングSEIは、クロッピング情報の前に適用され、クロッピング情報を無視することを示すため、２Ｄ互換フレームパッキングSEIが符号化ストリームに含まれる場合、復号装置１６０は、２Ｄ互換フレームパッキングSEIのみを適用する。
一方、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれない場合、復号装置１６０は、SPSに含まれるクロッピング情報を適用する。
これに対して、従来のAVC方式におけるフレームパッキングSEIは、クロッピング情報の後に適用され、クロッピング情報を無視することを示すSEIではない。従って、符号化ストリームに従来のAVC方式におけるフレームパッキングSEIが含まれる場合、クロッピング情報が適用された後、フレームパッキングSEIが適用される。
従って、クロッピング情報が、左目用の画像と右目用の画像のいずれか一方の画像の領域をクロッピング領域として示す場合、SEIを利用する３Ｄ表示用の復号装置は、他方の画像を表示することができない。
また、従来のAVC方式におけるフレームパッキングSEIが符号化ストリームに含まれる場合、SEIを利用する３Ｄ表示用の復号装置が、クロッピング情報を無視することにより、フレームパッキングSEIに基づいて３Ｄ画像を表示させることもできる。しかしながら、従来のAVC方式におけるフレームパッキングSEIは、クロッピング情報を無視することを示すSEIではないため、規格上mandatoryな情報であるSPSに含まれるクロッピング情報を無視することは、規格違反である。
（２Ｄ互換フレームパッキングSEIに記述可能な情報の説明）
図３３は、２Ｄ互換フレームパッキングSEIに記述可能な情報を説明する図である。
図３３の例では、パッキング画像が、サイドバイサイド方式でパッキングされ、パッキング画像の左半分の画像が、３Ｄ画像を構成する左目用の画像（Left view）であり、右半分の画像が、右目用の画像(Right view)である。
この場合、２Ｄ互換フレームパッキングSEIは、クロッピング情報の前に適用されるので、パッキング画像を構成する左目用の画像と右目用の画像について記述することができる。
これに対して、従来のAVC方式におけるフレームパッキングSEIは、クロッピング情報の後に適用されるので、クロッピング情報が、左目用の画像と右目用の画像のいずれか一方（図３３の例では、左目用の画像）の領域を示す場合、その一方の画像（図３３の例では、左目用の画像）についてしか記述することができない。
（復号装置の処理の説明）
図３４は、図３０の復号装置１６０による表示処理を説明するフローチャートである。
図３４のステップＳ１９０およびＳ１９１の処理は、図２０のステップＳ５０およびＳ５１の処理と同様であるので、説明は省略する。
ステップＳ１９２において、復号部１６１は、必要に応じて抽出部５２から供給されるSPS,PPS,SEI等を参照し、抽出部５２から供給される符号化データをHEVC方式で復号する復号処理を行う。この復号処理の詳細は、後述する図３５を参照して説明する。
ステップＳ１９３において、制御部１６２は、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれているかどうか、即ち抽出部５２から２Ｄ互換フレームパッキングSEIが供給されたかどうかを判定する。ステップＳ１９３で、２Ｄ互換フレームパッキングSEIが含まれていると判定された場合、制御部１６２は、復号部１６１から供給される出力信号がパッキング画像であると判定する。
そして、ステップＳ１９４において、制御部１６２は、２Ｄ互換フレームパッキングSEIに含まれる位置情報などに基づいて、パッキング画像を構成する各画像を特定する。そして、制御部１６２は、パッキング画像を構成する各画像を特定する情報と出力信号を表示制御部１６３に供給する。
ステップＳ１９５において、表示制御部１６３は、表示部５６から通知される表示方法を取得する。ステップＳ１９６において、表示制御部１６３は、表示方法とパッキング画像を構成する各画像を特定する情報とに基づいて、パッキング画像を構成する画像のうちの所望の画像をクロッピングする。
例えば、出力信号が３Ｄ表示用のパッキング画像である場合、制御部１６２は、２Ｄ互換フレームパッキングSEIに含まれる位置情報などに基づいて、パッキング画像を構成する左目用の画像と右目用の画像を特定する。そして、表示方法が２Ｄ表示である場合、表示制御部１６３は、パッキング画像から、例えば左目用の画像をクロッピングする。一方、表示方法が３Ｄ表示である場合、表示制御部１６３は、パッキング画像から左目用の画像と右目用の画像をクロッピングする。そして、処理はステップＳ１９８に進む。
一方、ステップＳ１９３で２Ｄ互換フレームパッキングSEIが含まれていないと判定された場合、制御部１６２は、出力信号がパッキング画像ではないと判定する。そして、制御部１６２は、出力信号と、抽出部５２から供給されるSPSに含まれるクロッピング情報とを表示制御部１６３に供給する。
そして、ステップＳ１９７において、表示制御部１６３は、制御部１６２から供給されるクロッピング情報に基づいて、出力信号としての画像をクロッピングし、処理をステップＳ１９８に進む。
ステップＳ１９８において、表示制御部１６３は、ステップＳ１９６またはステップＳ１９７でクロッピングされた画像を高解像度化（拡大）し、表示画像とする。ステップＳ１９９において、表示制御部１６３は、表示画像を表示部５６に供給することにより、表示部５６に表示画像を表示させ、処理を終了する。
図３５は、図３４のステップＳ１９２の復号処理の詳細を説明するフローチャートである。
図３５のステップＳ２１１乃至Ｓ２１８の処理は、図２１のステップＳ１０１乃至Ｓ１０８の処理と同様である。
ステップＳ２１９において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してデブロッキングフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像を適応オフセットフィルタ１８２に供給する。
ステップＳ２２０において、適応オフセットフィルタ１８２は、可逆復号部１８１から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ１０６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１８２は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１８３に供給する。
ステップＳ２２１において、適応ループフィルタ１８３は、適応オフセットフィルタ１８２から供給される画像に対して、可逆復号部１８１から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１８３は、その結果得られる画像をフレームメモリ１０９および画面並べ替えバッファ１０７に供給する。
ステップＳ２２２乃至Ｓ２２４の処理は、図２１のステップＳ１１０乃至Ｓ１１２の処理と同様であるので、説明は省略する。
以上のように、復号装置１６０は、符号化データを復号してパッキング画像を生成し、符号化ストリームに２Ｄ互換フレームパッキングSEIが含まれる場合、２Ｄ互換フレームパッキングSEIを適用し、クロッピング情報を無視する。具体的には、復号装置１６０は、２Ｄ互換フレームパッキングSEIに基づいてパッキング画像を構成する各画像を特定する。従って、復号装置１６０は、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
また、復号装置１６０が、パッキング画像を構成する各画像を特定することができるので、復号装置１６０側で、表示方法などにしたがって、表示する所望の画像を決定することができる。
なお、SEIを利用しない復号装置は、クロッピング情報に基づいてクロッピングを行う。これにより、クロッピング情報が、パッキング画像を構成する左目用の画像と右目用の画像のうちのいずれか一方の画像の領域をクロッピング領域として示す場合、SEIを利用しない復号装置は、その一方の画像を２Ｄ画像として表示することができる。
また、第２実施の形態では、２Ｄ互換フレームパッキングSEIを新しく設定したが、従来のAVC方式におけるフレームパッキングSEIを、２Ｄ互換フレームパッキングSEIの機能を有するように拡張してもよい。
この場合、例えば、従来のAVC方式におけるフレームパッキングSEIのframe_packing_arrangement_extension_flagを、クロッピング情報を適用するかしないかを示すフラグとして用いる。そして、拡張後のフレームパッキングSEIには、frame_packing_arrangement_extension_flagが、クロッピング情報を適用しないことを示す場合、quincunx_sampling_flag,field_pictures_flag(field_view_flag)、およびcurrent_frame_is_frame0_flagをdisableに設定するための情報と、位置情報とが記述される。
そして、SEIを利用する復号装置は、クロッピング情報を適用する前に拡張後のフレームパッキングSEIを読み出す。frame_packing_arrangement_extension_flagがクロッピング情報を適用しないことを示す場合、SEIを利用する復号装置は、拡張後のフレームパッキングSEIの位置情報に基づいて画像を特定し、クロッピング情報を無視する。一方、frame_packing_arrangement_extension_flagがクロッピング情報を適用することを示す場合、SEIを利用する復号装置は、クロッピング情報に基づいてクロッピングを行う。
このように、SEIを利用する復号装置は、frame_packing_arrangement_extension_flagに基づいて、クロッピング情報に比べて拡張後のフレームパッキングSEIを優先的に用いて画像を特定したり、拡張後のフレームパッキングSEIを優先的に用いずにクロッピング情報に基づいてクロッピングを行ったりする。従って、frame_packing_arrangement_extension_flagは、パッキング画像の表示時に拡張後のフレームパッキングSEIを優先的に用いるかを示す情報（パッキング優先情報）であるといえる。
＜第３実施の形態＞
（本技術を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜第４実施の形態＞
（テレビジョン装置の構成例）
図３７は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
＜第５実施の形態＞
（携帯電話機の構成例）
図３８は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができる。また、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
＜第６実施の形態＞
（記録再生装置の構成例）
図３９は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
＜第７実施の形態＞
（撮像装置の構成例）
図４０は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができるように、パッキング画像の符号化ストリームを生成することができる。また、パッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する所望の画像を確実に表示させることができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、図１８の表示制御部５５と表示部５６は、復号装置５０の外部に設けられるようにしてもよい。
また、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、以下のような構成もとることができる。
（１）
複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号部と、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号部により生成された前記パッキング画像を構成する各画像を特定する制御部と
を備える復号装置。
（２）
前記パッキング情報をSEI（Supplemental Enhancement Information）として受け取る受け取り部
をさらに備える
前記（１）に記載の復号装置。
（３）
前記パッキングされた一部の画像に関する画像情報を受け取る受け取り部
をさらに備える
前記（１）に記載の復号装置。
（４）
前記画像情報は、前記パッキングされた一部の画像の位置を示す位置情報を含む
前記（３）に記載の復号装置。
（５）
前記パッキング情報は、前記パッキング画像を表示する際に前記画像情報より優先的に用いられる
前記（４）に記載の復号装置。
（６）
前記パッキング情報は、前記パッキング画像を構成する各画像の前記パッキング画像における位置を示す位置情報を含む
前記（１）乃至（５）のいずれかに記載の復号装置。
（７）
前記パッキング情報は、前記パッキングのモードを含む
前記（１）乃至（６）のいずれかに記載の復号装置。
（８）
前記制御部は、特定した前記画像を、画像を表示する表示部に表示させる
前記（１）乃至（７）のいずれかに記載の復号装置。
（９）
前記復号部は、CU（Coding Unit）単位で、前記符号化データを復号する
前記（１）乃至（８）のいずれかに記載の復号装置。
（１０）
復号装置が、
複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号ステップと、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号ステップの処理により生成された前記パッキング画像を構成する各画像を特定する制御ステップと
を含む復号方法。
（１１）
複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化部と、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定部と、
前記符号化部により生成された前記符号化データと、前記設定部により設定された前記パッキング情報とを伝送する伝送部と
を備える符号化装置。
（１２）
前記伝送部は、前記パッキング情報をSEI（Supplemental Enhancement Information）として伝送する
前記（１１）に記載の符号化装置。
（１３）
前記伝送部は、前記パッキングされた一部の画像に関する画像情報を伝送する
前記（１１）または（１２）に記載の符号化装置。
（１４）
前記画像情報は、前記パッキングされた一部の画像の位置を示す位置情報を含む
前記（１３）に記載の符号化装置。
（１５）
前記パッキング情報は、前記パッキング画像を表示する際に前記画像情報より優先的に用いられる
前記（１４）に記載の符号化装置。
（１６）
前記パッキング情報は、前記パッキング画像を構成する各画像の前記パッキング画像における位置を示す位置情報を含む
前記（１１）乃至（１５）のいずれかに記載の符号化装置。
（１７）
前記パッキング情報は、前記パッキングのモードを含む
前記（１１）乃至（１６）のいずれかに記載の符号化装置。
（１８）
前記符号化部は、CU（Coding Unit）単位で、前記パッキング画像を符号化する
前記（１１）乃至（１７）のいずれかに記載の符号化装置。
（１９）
符号化装置が、
複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化ステップと、
前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定ステップと、
前記符号化ステップの処理により生成された前記符号化データと、前記設定ステップの処理により設定された前記パッキング情報とを伝送する伝送ステップと
を含む符号化方法。
１ 符号化装置， ２ 符号化部， ３ 設定部， ４ 伝送部， ５０ 復号装置， ５１ 受け取り部， ５３ 復号部， ５４ 制御部， ５５ 表示制御部， ５６ 表示部， １２０ 符号化装置， １２１ 符号化部， １２２ 設定部， １６０ 復号装置， １６１ 復号部， １６２ 制御部， １６３ 表示制御部
本技術は、復号装置および復号方法、符号化装置および符号化方法、プログラム、並びに記録媒体に関し、特に、複数の画像がパッキングされたパッキング画像の符号化ストリームを復号して表示させる場合に、パッキング画像を構成する画像を確実に表示させることができるようにした復号装置および復号方法、符号化装置および符号化方法、プログラム、並びに記録媒体に関する。
本技術の第１の側面の復号方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第１の側面の復号装置に対応する。
本技術の第２の側面の符号化方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第２の側面の符号化装置に対応する。
なお、第１の側面の復号装置および第２の側面の符号化装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

Claims (19)

  1. 複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号部と、
    前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号部により生成された前記パッキング画像を構成する各画像を特定する制御部と
    を備える復号装置。
  2. 前記パッキング情報をSEI（Supplemental Enhancement Information）として受け取る受け取り部
    をさらに備える
    請求項１に記載の復号装置。
  3. 前記パッキングされた一部の画像に関する画像情報を受け取る受け取り部
    をさらに備える
    請求項１に記載の復号装置。
  4. 前記画像情報は、前記パッキングされた一部の画像の位置を示す位置情報を含む
    請求項３に記載の復号装置。
  5. 前記パッキング情報は、前記パッキング画像を表示する際に前記画像情報より優先的に用いられる
    請求項４に記載の復号装置。
  6. 前記パッキング情報は、前記パッキング画像を構成する各画像の前記パッキング画像における位置を示す位置情報を含む
    請求項１に記載の復号装置。
  7. 前記パッキング情報は、前記パッキングのモードを含む
    請求項１に記載の復号装置。
  8. 前記制御部は、特定した前記画像を、画像を表示する表示部に表示させる
    請求項１に記載の復号装置。
  9. 前記復号部は、CU（Coding Unit）単位で、前記符号化データを復号する
    請求項１に記載の復号装置。
  10. 復号装置が、
    複数の画像がパッキングされたパッキング画像を符号化した符号化データを復号し、前記パッキング画像を生成する復号ステップと、
    前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報に基づいて、前記復号ステップの処理により生成された前記パッキング画像を構成する各画像を特定する制御ステップと
    を含む復号方法。
  11. 複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化部と、
    前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定部と、
    前記符号化部により生成された前記符号化データと、前記設定部により設定された前記パッキング情報とを伝送する伝送部と
    を備える符号化装置。
  12. 前記伝送部は、前記パッキング情報をSEI（Supplemental Enhancement Information）として伝送する
    請求項１１に記載の符号化装置。
  13. 前記伝送部は、前記パッキングされた一部の画像に関する画像情報を伝送する
    請求項１１に記載の符号化装置。
  14. 前記画像情報は、前記パッキングされた一部の画像の位置を示す位置情報を含む
    請求項１３に記載の符号化装置。
  15. 前記パッキング情報は、前記パッキング画像を表示する際に前記画像情報より優先的に用いられる
    請求項１４に記載の符号化装置。
  16. 前記パッキング情報は、前記パッキング画像を構成する各画像の前記パッキング画像における位置を示す位置情報を含む
    請求項１１に記載の符号化装置。
  17. 前記パッキング情報は、前記パッキングのモードを含む
    請求項１１に記載の符号化装置。
  18. 前記符号化部は、CU（Coding Unit）単位で、前記パッキング画像を符号化する
    請求項１１に記載の符号化装置。
  19. 符号化装置が、
    複数の画像がパッキングされたパッキング画像を符号化し、符号化データを生成する符号化ステップと、
    前記パッキング画像を表示する際に優先的に用いられる、前記パッキングに関するパッキング情報を設定する設定ステップと、
    前記符号化ステップの処理により生成された前記符号化データと、前記設定ステップの処理により設定された前記パッキング情報とを伝送する伝送ステップと
    を含む符号化方法。
JP2014509125A 2012-04-06 2013-03-27 復号装置、復号方法、プログラム、および記録媒体 Active JP6048495B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012087870 2012-04-06
JP2012087870 2012-04-06
JP2012135222 2012-06-14
JP2012135222 2012-06-14
PCT/JP2013/059134 WO2013150944A1 (ja) 2012-04-06 2013-03-27 復号装置および復号方法、並びに、符号化装置および符号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016220617A Division JP6268555B2 (ja) 2012-04-06 2016-11-11 復号装置および復号方法

Publications (2)

Publication Number Publication Date
JPWO2013150944A1 true JPWO2013150944A1 (ja) 2015-12-17
JP6048495B2 JP6048495B2 (ja) 2016-12-21

Family

ID=49300434

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014509125A Active JP6048495B2 (ja) 2012-04-06 2013-03-27 復号装置、復号方法、プログラム、および記録媒体
JP2017245731A Pending JP2018078620A (ja) 2012-04-06 2017-12-22 符号化装置および符号化方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017245731A Pending JP2018078620A (ja) 2012-04-06 2017-12-22 符号化装置および符号化方法

Country Status (5)

Country Link
US (3) US20150063466A1 (ja)
EP (1) EP2835969A4 (ja)
JP (2) JP6048495B2 (ja)
CN (2) CN104247433B (ja)
WO (1) WO2013150944A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
EP3261347A1 (en) * 2016-06-22 2017-12-27 Thomson Licensing A method and a device for encoding a signal representative of a light-field content
KR20240027873A (ko) 2018-07-02 2024-03-04 노키아 테크놀로지스 오와이 비디오 코딩에서 타일 관련 어드레싱을 위한 방법 및 장치
KR20200011305A (ko) * 2018-07-24 2020-02-03 삼성전자주식회사 영상을 전송하는 방법 및 장치, 영상을 수신하는 방법 및 장치
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
KR102648032B1 (ko) 2019-01-09 2024-03-14 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩의 서브 픽처 레벨 지표 시그널링

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
JP2010268433A (ja) * 2010-03-19 2010-11-25 Sony Corp 立体視画像処理装置、及び立体視画像生成方法
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JP2011526770A (ja) * 2008-07-02 2011-10-13 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及び装置、並びにその復号化方法及び装置
WO2012017643A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 符号化方法、表示装置、及び復号方法
WO2012070364A1 (ja) * 2010-11-22 2012-05-31 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
KR20040106414A (ko) * 2002-04-29 2004-12-17 소니 일렉트로닉스 인코포레이티드 미디어 파일에서 진보된 코딩 포맷의 지원
HUE061663T2 (hu) * 2007-04-12 2023-08-28 Dolby Int Ab Csempézés videó kódolásnál és dekódolásnál
US8502857B2 (en) * 2008-11-21 2013-08-06 Polycom, Inc. System and method for combining a plurality of video stream generated in a videoconference
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
IT1401731B1 (it) * 2010-06-28 2013-08-02 Sisvel Technology Srl Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
EP2887663B1 (en) * 2012-09-29 2017-02-22 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2019065587A1 (en) * 2017-09-29 2019-04-04 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING INFORMATION ASSOCIATED WITH A CONSTITUTIVE IMAGE
US11665284B2 (en) * 2020-06-20 2023-05-30 Science House LLC Systems, methods, and apparatus for virtual meetings
GB2604402B (en) * 2021-03-05 2023-08-23 Envisics Ltd Head-up display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011526770A (ja) * 2008-07-02 2011-10-13 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及び装置、並びにその復号化方法及び装置
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JP2010268433A (ja) * 2010-03-19 2010-11-25 Sony Corp 立体視画像処理装置、及び立体視画像生成方法
WO2012017643A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 符号化方法、表示装置、及び復号方法
WO2012070364A1 (ja) * 2010-11-22 2012-05-31 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MARCO ARENA, PAOLA SUNNA: "Usage of cropping rectangle and sample aspect ratio to support 2D-compatible services in "Frame comp", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-I0072, JPN6016041013, 7 May 2012 (2012-05-07), ISSN: 0003426700 *
OHJI NAKAGAMI, TERUHIKO SUZUKI: "2D compatible frame packing arrangement SEI", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0070, JPN6016009087, 29 June 2012 (2012-06-29), ISSN: 0003426699 *
OHJI NAKAGAMI, TERUHIKO SUZUKI: "Frame packing arrangement SEI extension for HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-I0057, JPN6016009086, 28 April 2012 (2012-04-28), ISSN: 0003426698 *
OHJI NAKAGAMI, TERUHIKO SUZUKI: "On stereo 3D coding using frame packing arrangement SEI", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-I0058, JPN6016011469, 2 May 2012 (2012-05-02), ISSN: 0003426697 *

Also Published As

Publication number Publication date
US11025939B2 (en) 2021-06-01
US20210258597A1 (en) 2021-08-19
CN104247433B (zh) 2018-02-06
US20150063466A1 (en) 2015-03-05
CN107920243B (zh) 2020-12-08
JP2017060181A (ja) 2017-03-23
CN104247433A (zh) 2014-12-24
JP6048495B2 (ja) 2016-12-21
US11601664B2 (en) 2023-03-07
JP2018078620A (ja) 2018-05-17
EP2835969A4 (en) 2015-09-09
WO2013150944A1 (ja) 2013-10-10
US20190238877A1 (en) 2019-08-01
EP2835969A1 (en) 2015-02-11
CN107920243A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
JP6580648B2 (ja) 画像処理装置および記録媒体
US20230388525A1 (en) Image decoding device and method
JP6295951B2 (ja) 画像復号装置及び画像復号方法
US20130329008A1 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
US11601664B2 (en) Decoding device and decoding method, and encoding device and encoding method
US10412418B2 (en) Image processing apparatus and method
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
US20140086501A1 (en) Image processing device and image processing method
WO2014105903A1 (en) High-frequency-pass sample adaptive offset in video coding
JP2015005899A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2015064402A1 (ja) 画像処理装置および方法
WO2015064403A1 (ja) 画像処理装置および方法
JP2013150164A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
KR102338766B1 (ko) 화상 부호화 장치 및 방법, 및 기록 매체
JP6268555B2 (ja) 復号装置および復号方法
WO2014050732A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JPWO2014002900A1 (ja) 画像処理装置および画像処理方法
WO2014103765A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2013154029A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014156705A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2015050738A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R151 Written notification of patent or utility model registration

Ref document number: 6048495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250