JPWO2016111199A1 - 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体 - Google Patents

Abstract

本開示は、トリックプレイの粒度の制御を容易に可能にする情報を設定することができるようにする画像処理装置、画像処理方法、およびプログラム、並びに記録媒体に関する。設定部は、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含むピクチャの符号化データのSEI（Supplemental Enhancement Information）を設定する。本開示は、例えば、ＢＤ（Blu-ray（登録商標） Disc）規格のHEVC（High Efficiency Video Coding）方式で映像データを符号化する記録装置等に適用することができる。

Description

本開示は、画像処理装置、画像処理方法、およびプログラム、並びに記録媒体に関し、特に、トリックプレイの粒度を容易に制御することができるようにした画像処理装置、画像処理方法、およびプログラム、並びに記録媒体に関する。

現在のBD（Blu-ray（登録商標） Disc）規格では、映像の符号化方式としてAVC（Advanced Video Coding）方式が採用されている(例えば、特許文献１参照)。BD規格のAVC方式では、GOP（Group of Picture）を構成する全てのピクチャの情報をまとめて記述するGOP structure mapを、ES（Elementary Stream）のuser unregistered SEI（Supplemental Enhancement Information）として格納することができる。

ESのSEIとしてGOP structure mapが格納される場合、再生装置は、GOP structure mapを用いて、早送り再生、巻き戻し再生などのトリックプレイを容易に行うことができる。例えば、再生装置は、GOP structure mapに記述される、GOPを構成する各ピクチャのタイプに基づいて、GOP内のIピクチャを認識し、Iピクチャのみをパースすることにより、容易に早送り再生や巻き戻し再生を行うことができる。

一方、現在、BDA（Blu-ray（登録商標） Disc Association)において次世代BD規格策定議論が行われている。次世代BD規格では、映像の符号化方式としてHEVC（High Efficiency Video Coding）方式が新規に採用される予定である。

特開２０１３−１５８００３号公報

しかしながら、トリックプレイの粒度の制御を容易に可能にする情報をESに設定することは考えられていない。従って、トリックプレイの粒度を容易に制御することはできない。

本開示は、このような状況に鑑みてなされたものであり、トリックプレイの粒度を容易に制御することができるようにするものである。

本開示の第１の側面の画像処理装置は、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部を備える画像処理装置である。

本開示の第１の側面の画像処理方法およびプログラムは、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報が設定される。

本開示の第２の側面の画像処理装置は、ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部を備える画像処理装置である。

本開示の第２の側面の画像処理方法およびプログラムは、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャが選択される。

本開示の第３の側面の記録媒体は、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される記録媒体であって、前記符号化ストリームを取得した情報処理装置に、前記付加情報に含まれる前記参照レイヤ情報に基づいて、再生対象のピクチャを選択させる記録媒体である。

本開示の第３の側面においては、ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される。

本開示の第１の側面によれば、トリックプレイの粒度の制御を容易に可能にする情報を設定することができる。

本開示の第２の側面によれば、トリックプレイの粒度を容易に制御することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。 光ディスクに記録されるファイルのディレクトリ構造の例を示す図である。 ファイル生成部の構成例を示すブロック図である。 先頭ピクチャのAUの構成例を示す。 GOP structure mapのシンタックスの例を示す図である。 参照レイヤ情報を説明する図である。 図３の映像符号化部の構成例を示すブロック図である。 図３のファイル生成部のストリームファイル生成処理を説明するフローチャートである。 図８の符号化処理の詳細を説明するフローチャートである。 図８の符号化処理の詳細を説明するフローチャートである。 早送り再生部の構成例を示すブロック図である。 図１１の復号部の構成例を示すブロック図である。 図１１の早送り再生部の早送り再生処理を説明するフローチャートである。 図１３の復号処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：記録再生システム（図１乃至図１４）
２．第２実施の形態：コンピュータ（図１５）

＜第１実施の形態＞
（記録再生システムの一実施の形態の構成例）
図１は、本開示を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。

図１の記録再生システムは、記録装置１、再生装置２、および表示装置３から構成される。再生装置２と表示装置３はHDMI（登録商標）(High Definition Multimedia Interface)ケーブル４を介して接続される。再生装置２と表示装置３が他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。

記録装置１は、映像、音声などのコンテンツを記録し、再生装置２は、コンテンツを再生する。記録装置１から再生装置２に対するコンテンツの提供は、記録装置１および再生装置２（情報処理装置）に装着される光ディスク１１（記録媒体）を用いて行われる。ここでは、光ディスク１１は、BD-ROM（Read Only Memory）フォーマットに準ずるフォーマットで、コンテンツが記録されたディスクである。従って、記録装置１は、例えばコンテンツのオーサが使う装置となる。

光ディスク１１は、BD-R,-REなどの他のフォーマットに準ずるフォーマットで、コンテンツが記録されたディスクであってもよい。また、記録装置１から再生装置２に対するコンテンツの提供は、フラッシュメモリを搭載したメモリカードなどの、光ディスク以外のリムーバブルメディアを用いて行われるようにしてもよい。

以下、適宜、記録装置１によってコンテンツが記録された光ディスク１１が再生装置２に提供されるものとして説明するが、実際には、記録装置１によりコンテンツが記録されたマスター盤に基づいて光ディスクが複製され、その１つである光ディスク１１が再生装置２に提供される。

記録装置１（画像処理装置）に対しては、映像データ、音声データ等が入力される。記録装置１は、これらのデータを符号化してESを生成し、多重化して、１本のTS（Transport Stream）であるＡＶストリームを生成する。記録装置１は、生成されたＡＶストリーム等を光ディスク１１に記録する。

再生装置２（画像処理装置）は、ドライブを駆動し、光ディスク１１に記録されたＡＶストリームを読み出す。再生装置２は、ＡＶストリームを、映像データのESである映像ストリームと音声データのESである音声ストリームに分離し、復号する。再生装置２は、復号して得られた映像データと音声データを表示装置３に出力する。

表示装置３は、再生装置２から送信された映像データを受信し、その映像データに基づいて、内蔵するモニタに映像を表示する。また、表示装置３は、再生装置２から送信されてきた音声データを受信し、その音声データに基づいて、内蔵するスピーカから音声を出力する。

(光ディスクのディレクトリ構造)
図２は、図１の光ディスク１１に記録されるファイルのディレクトリ構造の例を示す図である。

光ディスク１１に記録される各ファイルはディレクトリ構造により階層的に管理される。光ディスク１１上には１つのrootディレクトリが作成される。

rootディレクトリの下にはBDMVディレクトリが置かれる。

BDMVディレクトリの下には、「Index.bdmv」の名前が設定されたファイルであるIndexファイルと、「MovieObject.bdmv」の名前が設定されたファイルであるMovie Objectファイルが格納される。

Indexファイルには、例えば、光ディスク１１に記録されているタイトルの番号の一覧と、そのタイトルの番号に対応して実行されるオブジェクトの種類および番号が記述される。オブジェクトの種類としては、ムービーオブジェクト（Movie Object）とBD-Jオブジェクト（BD-J Object）の２種類がある。

ムービーオブジェクトは、PlayListの再生等に用いられるコマンドであるナビゲーションコマンドが記述されるオブジェクトである。BD-Jオブジェクトは、BD-Jアプリケーションが記述されるオブジェクトである。Movie Objectファイルには、ムービーオブジェクトが記述される。

BDMVディレクトリの下にはまた、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ等が設けられる。

PLAYLISTディレクトリには、ＡＶストリームの再生を管理するための再生管理情報として用いられるPlayListを記述したPlayListファイルが格納される。各PlayListファイルには、５桁の数字と拡張子「.mpls」を組み合わせた名前が設定される。図２の３つのPlayListファイルには、それぞれ、「00000.mpls」、「00002.mpls」、「00003.mpls」のファイル名が設定されている。

CLIPINFディレクトリには、所定の単位のＡＶストリームに関する情報がClip Informationファイルとして格納される。各Clip Informationファイルには、５桁の数字と拡張子「.clpi」を組み合わせた名前が設定される。図２の３つのClip Informationファイルには、それぞれ、「01000.clpi」、「02000.clpi」、「03000.clpi」のファイル名が設定されている。

STREAMディレクトリには、所定の単位のＡＶストリームがストリームファイルとして格納される。各ストリームファイルには、５桁の数字と拡張子「.m2ts」を組み合わせた名前が設定される。図２の３つのストリームファイルには、それぞれ、「01000.m2ts」、「02000.m2ts」、「03000.m2ts」のファイル名が設定されている。

同じ５桁の数字がファイル名に設定されているClip Informationファイルとストリームファイルが１つのClipを構成するファイルとなる。「01000.m2ts」のストリームファイルの再生時には「01000.clpi」のClip Informationファイルが用いられ、「02000.m2ts」のストリームファイルの再生時には「02000.clpi」のClip Informationファイルが用いられる。

（ファイル生成部の構成例）
図３は、図１の記録装置１のうちの、ストリームファイルを生成するファイル生成部の構成例を示すブロック図である。

図３のファイル生成部５０は、設定部５１、映像符号化部５２、NAL(Network Abstraction Layer)化部５３、多重化部５４、音声符号化部５５、およびファイル化部５６により構成される。

ファイル生成部５０の設定部５１は、SPS（Sequence Parameter Set）,PPS（Picture Parameter Set），SEI（付加情報）などのパラメータセットを設定する。GOPの先頭のピクチャ（以下、先頭ピクチャという）のSEIの１つには、その先頭ピクチャを含むGOPを構成する全てのピクチャの参照関係のレイヤ（sub-layer）を表す番号である参照レイヤ情報を含むGOP structure mapが格納されている。設定部５１は、設定されたパラメータセットを映像符号化部５２とNAL化部５３に供給する。

映像符号化部５２には、映像データがピクチャ単位で入力される。映像符号化部５２は、入力された映像データの各ピクチャを、HEVC方式にしたがってCU（Coding Unit）単位で符号化する。このとき、必要に応じて、設定部５１から供給されるパラメータセットが用いられる。映像符号化部５２は、符号化の結果得られる各ピクチャのスライス単位の符号化データを、NAL化部５３に供給する。

NAL化部５３は、設定部５１から供給されるパラメータセットと映像符号化部５２から供給される符号化データをNAL化し、NALヘッダとデータ部とからなるNALユニットを生成する。NAL化部５３は、生成されたNALユニットを多重化部５４に供給する。

多重化部５４は、NAL化部５３から供給されるNALユニットを、ピクチャ単位でまとめてAU（Access Unit）を生成する。多重化部５４は、１以上のAUからなる映像ストリームを、ファイル化部５６に供給する。

音声符号化部５５には、音声データが入力される。音声符号化部５５は、音声データを符号化し、その結果得られる音声ストリームをファイル化部５６に供給する。

ファイル化部５６は、多重化部５４から供給される映像ストリーム（符号化ストリーム）と音声符号化部５５から供給される音声ストリームを多重化して、ＡＶストリームを生成する。ファイル化部５６は、生成されたＡＶストリームをファイル化してストリームファイルを生成し、出力する。このストリームファイルは、光ディスク１１に記録される。

（先頭ピクチャのAUの構成例）
図４は、先頭ピクチャのAUの構成例を示す。

図４に示すように、先頭ピクチャのAUの先頭には、AUの境界を示すAU delimiterが１つ配置される。続いて、１つのSPSのNALユニット、１以上のPPSのNALユニット、１以上のSEIのNALユニット、１以上のスライス単位の符号化データのNALユニットが順に配置される。その後、必要に応じてフィラーデータが配置される。そして、先頭ピクチャがシーケンス内の最後のピクチャである場合、シーケンスの終端を示すEnd of sequenceが配置され、先頭ピクチャが映像ストリームの最後のピクチャである場合、映像ストリームの終端を示すEnd of streamが配置される。

また、SEIのNALユニットには、参照レイヤ情報を含むGOP structure mapが格納される。

（GOP structure mapのシンタックスの例）
図５は、GOP structure mapのシンタックスの例を示す図である。

図５に示すように、GOP structure mapには、対応するGOPのピクチャ数であるnumber_of_pictures_in_GOPが記述される。また、GOP structure mapには、対応するGOPを構成するピクチャごとに、１が設定される５ビットのshifting_bits（stuffing_bits）、並びに、そのピクチャのpicture_structure、temporal_id、およびpicture_typeが記述される。

picture_structureは、ピクチャの表示時のフレーム構造を表す３ビットの値である。picture_structureは、例えば、表示時のフレームレートが、映像ストリームのフレームレートと同一であるか、もしくは、映像ストリームのフレームレートの２倍または３倍であるかを表す。

temporal_idは、ピクチャの符号化データのNALヘッダに含まれる、そのピクチャの参照レイヤ情報を表すnuh_temporal_id_plus1から１を減算した３ビットの値である。参照レイヤ情報は、BD規格のAVC方式では採用されておらず、SVC(Scalable Video Coding Extension)方式やHEVC方式で採用されている情報である。

picture_type（ピクチャタイプ情報）は、ピクチャのタイプを表す４ビットの値である。例えば、ピクチャタイプがＩピクチャである場合、1000bであり、リファレンスＢピクチャである場合、1010bであり、ノンリファレンスＢピクチャである場合、0010bであり、Ｐピクチャである場合1001bである。

（参照レイヤ情報の説明）
図６は、参照レイヤ情報を説明する図である。

なお、図６の例では、参照関係のレイヤの数が３である。また、図６において、横軸は、表示順（Display order）を表し、縦軸は、参照レイヤ情報を表す。正方形はピクチャを表し、正方形の中のアルファベットは、ピクチャタイプを表し、数字は、参照レイヤ情報を表す。矢印は、矢印の先の正方形が表すピクチャが矢印の元のピクチャを参照する参照関係を表す。

図６に示すように、ピクチャは、自分の参照レイヤ情報より大きい参照レイヤ情報のピクチャを参照することはできない。

具体的には、図６の例では、GOPを構成する９つのピクチャのうちの、１つのＩピクチャと２つのＰピクチャの参照レイヤ情報が０である。また、２つのＢピクチャの参照レイヤ情報が１であり、４つのＢピクチャの参照レイヤ情報が２である。

従って、参照レイヤ情報が０である１つのＩピクチャと２つのＰピクチャは、参照レイヤ情報が１または２であるＢピクチャを参照することはできない。また、参照レイヤ情報が１である２つのＢピクチャは、参照レイヤ情報が２である４つのＢピクチャを参照することはできない。

よって、再生装置２は、参照レイヤ情報が閾値以下であるピクチャを選択して復号することにより、参照レイヤ情報が閾値より大きいピクチャを間引いて復号することができる。例えば、再生装置２は、参照レイヤ情報が０以下であるピクチャを選択して復号することにより、参照レイヤ情報が０より大きい６つのＢピクチャを間引いて復号することができる。また、再生装置２は、参照レイヤ情報が１以下であるピクチャを選択して復号することにより、参照レイヤ情報が１より大きい４つのＢピクチャを間引いて復号することができる。その結果、トリックプレイを行うことができる。

また、再生装置２は、閾値を変更することにより、トリックプレイの粒度を容易に制御することができる。これに対して、picture_typeに基づいてトリックプレイを行う場合、再生装置は、参照関係がわからないため、他のピクチャを参照しないＩピクチャのみを選択して再生することしかできない。

さらに、図１の記録再生システムでは、図４および図５に示したように、参照レイヤ情報が、先頭ピクチャのSEIに格納されるGOP structure mapに、その先頭ピクチャを含む１GOP分まとめて記述される。

従って、再生装置２は、GOP structure mapをパースするだけで、GOPを構成する全てのピクチャの参照レイヤ情報を取得することができる。よって、再生装置２は、取得された参照レイヤ情報に基づいて、GOP内の先頭ピクチャ以外のピクチャのうちの、参照レイヤ情報が閾値以下であるピクチャのAUのみをパースし、復号することにより、トリックプレイを容易に行うことができる。

これに対して、１GOP分の参照レイヤ情報が記述されるGOP structure mapが先頭ピクチャのSEIに格納されない場合、GOPを構成する全てのピクチャのAU内の符号化データのNALヘッダをパースしてnuh_temporal_id_plus1を取得し、各ピクチャを復号するかどうかを判定する必要がある。従って、復号対象ではないピクチャのAUも無駄にパースされる。

（映像符号化部の構成例）
図７は、図３の映像符号化部５２の構成例を示すブロック図である。

図７の映像符号化部５２は、A/D変換部７１、画面並べ替えバッファ７２、演算部７３、直交変換部７４、量子化部７５、可逆符号化部７６、蓄積バッファ７７、逆量子化部７９、逆直交変換部８０、および加算部８１を有する。また、映像符号化部５２は、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８９、予測画像選択部９２、およびレート制御部９３を有する。

映像符号化部５２のA/D変換部７１は、入力された各ピクチャのアナログ信号をA/D変換し、変換後の各ピクチャのデジタル信号を画面並べ替えバッファ７２に出力して記憶させる。

画面並べ替えバッファ７２は、記憶した表示の順番のピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のピクチャを、カレントピクチャとして、演算部７３、イントラ予測部８７、および動き予測・補償部８９に出力する。

演算部７３は、画面並べ替えバッファ７２から供給されるカレントピクチャから、予測画像選択部９２から供給される予測画像を減算することにより、CU単位で符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。なお、予測画像選択部９２から予測画像が供給されない場合、演算部７３は、画面並べ替えバッファ７２から読み出されたカレントピクチャをそのまま残差情報として直交変換部７４に出力する。

直交変換部７４は、演算部７３からの残差情報をTU（Transform Unit）単位で直交変換する。直交変換部７４は、直交変換の結果得られる直交変換係数を量子化部７５に供給する。

量子化部７５は、直交変換部７４から供給される直交変換係数に対して量子化を行う。量子化部７５は、量子化された直交変換係数を可逆符号化部７６に供給する。

可逆符号化部７６は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部８７から取得する。また、可逆符号化部７６は、最適インター予測モードを示すインター予測モード情報、参照ピクチャを特定する参照ピクチャ特定情報、動きベクトル情報などを動き予測・補償部８９から取得する。さらに、可逆符号化部７６は、フィルタ８２から適応オフセットフィルタ処理に関するオフセットフィルタ情報を取得する。

可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報、並びにオフセットフィルタ情報等を、符号化に関する符号化情報として可逆符号化する。可逆符号化部７６は、可逆符号化された符号化情報などを、スライス単位でスライスヘッダ等に配置する。可逆符号化部７６は、可逆符号化されたスライス単位の直交変換係数にスライスヘッダを付加し、スライス単位の符号化データとして蓄積バッファ７７に供給する。

蓄積バッファ７７は、可逆符号化部７６から供給されるスライス単位の符号化データを、一時的に記憶する。また、蓄積バッファ７７は、記憶しているスライス単位の符号化データを図３のNAL化部５３に供給する。

また、量子化部７５より出力された、量子化された直交変換係数は、逆量子化部７９にも入力される。逆量子化部７９は、量子化部７５により量子化された直交変換係数に対して、量子化部７５における量子化方法に対応する方法で逆量子化を行う。逆量子化部７９は、逆量子化の結果得られる直交変換係数を逆直交変換部８０に供給する。

逆直交変換部８０は、TU単位で、逆量子化部７９から供給される直交変換係数に対して、直交変換部７４における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部８０は、その結果得られる残差情報を加算部８１に供給する。

加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算することにより、カレントピクチャをCU単位で局所的に復号する。なお、予測画像選択部９２から予測画像が供給されない場合、加算部８１は、逆直交変換部８０から供給される残差情報を復号結果とする。加算部８１は、局所的に復号されたカレントピクチャをフレームメモリ８５に供給する。また、加算部８１は、全ての領域が復号されたカレントピクチャを、符号化済みのピクチャとしてフィルタ８２に供給する。

フィルタ８２は、加算部８１から供給される符号化済みのピクチャに対して、フィルタ処理を行う。具体的には、フィルタ８２は、デブロックフィルタ処理と適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を順に行う。フィルタ８２は、フィルタ処理後の符号化済みのピクチャをフレームメモリ８５に供給する。また、フィルタ８２は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部７６に供給する。

フレームメモリ８５は、加算部８１から供給されるカレントピクチャと、フィルタ８２から供給される符号化済みのピクチャを記憶する。カレントピクチャのうちの処理対象のPU（Prediction Unit）であるカレントブロックに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。また、符号化済みのピクチャは、参照ピクチャの候補としてスイッチ８６を介して動き予測・補償部８９に出力される。

イントラ予測部８７は、カレントブロックに対して、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

また、イントラ予測部８７は、画面並べ替えバッファ７２から読み出されたカレントピクチャと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部９２に供給する。イントラ予測部８７は、予測画像選択部９２から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部７６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。なお、H．264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。

Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式（２）で表わされるコスト関数Cost(Mode)が各予測モードに対して算出される。

Dは、原画像と予測画像の差分（歪）、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。

動き予測・補償部８９は、カレントブロックに対して、参照ピクチャの候補を用いて、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと、フレームメモリ８５からスイッチ８６を介して読み出された参照ピクチャの候補とに基づいて、候補となる全てのインター予測モードのカレントブロックの動きベクトルを検出する。なお、インター予測モードとは、カレントブロックのサイズ等を表すモードである。動き予測・補償部８９は、検出された動きベクトルに基づいて参照ピクチャの候補に補償処理を施し、予測画像を生成する。

また、動き予測・補償部８９は、画面並べ替えバッファ７２から読み出されたカレントピクチャと予測画像とに基づいて、候補となる全てのインター予測モードおよび参照ピクチャに対してコスト関数値を算出する。動き予測・補償部８９は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定し、参照ピクチャの候補を参照ピクチャに決定する。そして、動き予測・補償部８９は、コスト関数値の最小値と、対応する予測画像を予測画像選択部９２に供給する。

動き予測・補償部８９は、予測画像選択部９２から最適インター予測モードで生成された予測画像の選択が通知された場合、その予測画像に対応する動きベクトルを表す動きベクトル情報を生成する。そして、動き予測・補償部８９は、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報を、可逆符号化部７６に供給する。

予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。また、予測画像選択部９２は、最適予測モードの予測画像の選択をイントラ予測部８７または動き予測・補償部８９に通知する。

レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。

（ファイル生成部の処理の説明）
図８は、図３のファイル生成部５０のストリームファイル生成処理を説明するフローチャートである。

図８のステップＳ１１において、ファイル生成部５０の設定部５１は、GOP structure mapが格納された先頭ピクチャのSEIを含むパラメータセットを設定する。設定部５１は、設定されたパラメータセットを映像符号化部５２とNAL化部５３に供給する。

ステップＳ１２において、映像符号化部５２は、外部から入力された映像データの各ピクチャをHEVC方式にしたがってCU単位で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図９および図１０を参照して説明する。

ステップＳ１３において、NAL化部５３は、設定部５１から供給されるパラメータセットと映像符号化部５２から供給される符号化データをNAL化し、NALユニットを生成する。NAL化部５３は、生成されたNALユニットを多重化部５４に供給する。

ステップＳ１４において、多重化部５４は、NAL化部５３から供給されるNALユニットを、ピクチャ単位でまとめてAUを生成し、１以上のAUからなる映像ストリームを生成する。多重化部５４は、映像ストリームをファイル化部５６に供給する。

ステップＳ１５において、音声符号化部５５は、入力された音声データを符号化し、その結果得られる音声ストリームをファイル化部５６に供給する。

ステップＳ１６において、ファイル化部５６は、多重化部５４から供給される映像ストリームと音声符号化部５５から供給される音声ストリームを多重化して、ＡＶストリームを生成する。

ステップＳ１７において、ファイル化部５６は、ＡＶストリームをファイル化してストリームファイルを生成し、出力する。このストリームファイルは、光ディスク１１に記録される。

図９および図１０は、図８のステップＳ１２の符号化処理の詳細を説明するフローチャートである。

図９のステップＳ３１において、映像符号化部５２のA/D変換部７１（図７）は、入力された各ピクチャのアナログ信号をA/D変換し、変換後の各ピクチャのデジタル信号を画面並べ替えバッファ７２に出力して記憶させる。

ステップＳ３２において、画面並べ替えバッファ７２は、記憶した表示の順番のピクチャを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ７２は、並べ替え後のピクチャを、カレントピクチャとして、演算部７３、イントラ予測部８７、および動き予測・補償部８９に出力する。

ステップＳ３３において、イントラ予測部８７は、カレントブロックに対して、フレームメモリ８５からスイッチ８６を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部８７は、画面並べ替えバッファ７２からのカレントピクチャと、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部８７は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部８７は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部９２に供給する。

また、動き予測・補償部８９は、カレントブロックに対して、参照ピクチャの候補を用いて、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部８９は、画面並べ替えバッファ７２からのカレントピクチャと動き予測・補償処理の結果生成される予測画像とに基づいて、候補となる全てのインター予測モードおよび参照ピクチャに対してコスト関数値を算出する。動き予測・補償部８９は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定し、参照ピクチャの候補を参照ピクチャに決定する。そして、動き予測・補償部８９は、コスト関数値の最小値と、対応する予測画像を予測画像選択部９２に供給する。

ステップＳ３４において、予測画像選択部９２は、イントラ予測部８７および動き予測・補償部８９から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部９２は、最適予測モードの予測画像を、演算部７３および加算部８１に供給する。

ステップＳ３５において、予測画像選択部９２は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部９２は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部８９に通知する。

動き予測・補償部８９は、この通知に応じて、予測画像に対応するカレントブロックの動きベクトルを表す動きベクトル情報を生成する。そして、ステップＳ３６において、動き予測・補償部８９は、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報を可逆符号化部７６に供給し、処理をステップＳ３８に進める。

一方、ステップＳ３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部９２は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部８７に通知する。そして、ステップＳ３７において、イントラ予測部８７は、イントラ予測モード情報を可逆符号化部７６に供給し、処理をステップＳ３８に進める。

ステップＳ３８において、演算部７３は、画面並べ替えバッファ７２から供給されるカレントピクチャから、予測画像選択部９２から供給される予測画像を減算することにより符号化を行う。演算部７３は、その結果得られるピクチャを、残差情報として直交変換部７４に出力する。

ステップＳ３９において、直交変換部７４は、演算部７３からの残差情報に対してＴＵ単位で直交変換を施し、その結果得られる直交変換係数を量子化部７５に供給する。

ステップＳ４０において、量子化部７５は、直交変換部７４から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部７６と逆量子化部７９に供給する。

図１０のステップＳ４１において、逆量子化部７９は、量子化部７５から供給される量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部８０に供給する。

ステップＳ４２において、逆直交変換部８０は、逆量子化部７９から供給される直交変換係数に対してＴＵ単位で逆直交変換を施し、その結果得られる残差情報を加算部８１に供給する。

ステップＳ４３において、加算部８１は、逆直交変換部８０から供給される残差情報と、予測画像選択部９２から供給される予測画像を加算し、カレントピクチャを局所的に復号する。加算部８１は、局所的に復号されたカレントピクチャをフレームメモリ８５に供給する。また、加算部８１は、全ての領域が復号されたカレントピクチャを符号化済みのピクチャとしてフィルタ８２に供給する。

ステップＳ４４において、フィルタ８２は、加算部８１から供給される符号化済みのピクチャに対して、デブロックフィルタ処理を行う。

ステップＳ４５において、フィルタ８２は、デブロックフィルタ処理後の符号化済みのピクチャに対して、LCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理を行う。フィルタ８２は、その結果得られる符号化済みのピクチャをフレームメモリ８５に供給する。また、フィルタ８２は、LCUごとに、オフセットフィルタ情報を可逆符号化部７６に供給する。

ステップＳ４６において、フレームメモリ８５は、加算部８１から供給されるカレントピクチャと、フィルタ８２から供給される符号化済みのピクチャを記憶する。カレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ８６を介してイントラ予測部８７に供給される。また、符号化済みのピクチャは、参照ピクチャの候補としてスイッチ８６を介して動き予測・補償部８９に出力される。

ステップＳ４７において、可逆符号化部７６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、および参照ピクチャ特定情報、並びにオフセットフィルタ情報を、符号化情報として可逆符号化する。

ステップＳ４８において、可逆符号化部７６は、量子化部７５から供給される量子化された直交変換係数を可逆符号化する。そして、可逆符号化部７６は、ステップＳ４７の処理で可逆符号化された符号化情報をスライス単位でスライスヘッダに配置し、可逆符号化されたスライス単位の直交変換係数に付加することにより、スライス単位の符号化データを生成する。可逆符号化部７６は、スライス単位の符号化データを蓄積バッファ７７に供給する。

ステップＳ４９において、蓄積バッファ７７は、可逆符号化部７６から供給されるスライス単位の符号化データを、一時的に蓄積する。

ステップＳ５０において、レート制御部９３は、蓄積バッファ７７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部７５の量子化動作のレートを制御する。

ステップＳ５１において、蓄積バッファ７７は、記憶しているスライス単位の符号化データを、図３のNAL化部５３に出力する。そして、処理は、図８のステップＳ１２に戻り、ステップＳ１３に進む。

なお、図９および図１０の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

以上のように、ファイル生成部５０は、参照レイヤ情報を含むSEIを設定する。従って、再生装置２は、SEIに含まれる参照レイヤ情報に基づいて、参照レイヤ情報が閾値以下であるピクチャの符号化データ以外の符号化データをパースすることなく、容易にトリックプレイを行うことができる。

また、再生装置２は、この閾値を変更することにより、SEIに含まれる参照レイヤ情報に基づいて、トリックプレイの粒度を容易に制御することができる。よって、ファイル生成部５０は、トリックプレイの粒度の制御を容易に可能にする情報を設定することができるといえる。

（早送り再生部の構成例）
図１１は、図１の再生装置２のうちの、光ディスク１１に記録されているストリームファイルの映像ストリームを早送り再生する早送り再生部の構成例を示すブロック図である。

図１１の早送り再生部１１０は、読み出し部１１１、分離部１１２、抽出部１１３、選択部１１４、および復号部１１５により構成される。

早送り再生部１１０の読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、先頭ピクチャのAUを読み出す。また、読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、選択部１１４から供給される選択ピクチャ情報が表すピクチャのAUを読み出す。読み出し部１１１は、読み出されたAUを分離部１１２に供給する。

分離部１１２は、読み出し部１１１から供給されるAUを受け取る。分離部１１２は、AUを構成する各NALユニットを分離し、抽出部１１３に供給する。

抽出部１１３は、分離部１１２から供給されるNALユニットから、パラメータセットとスライス単位の符号化データを抽出し、復号部１１５に供給する。また、抽出部１１３は、パラメータセットのうちの先頭ピクチャのSEIに格納されるGOP structure mapを、選択部１１４に供給する。

選択部１１４は、抽出部１１３から供給されるGOP structure mapに基づいて、早送り再生の対象とする先頭ピクチャ以外のピクチャを選択する。具体的には、選択部１１４は、GOP structure mapに記述されるGOPを構成する各ピクチャの参照レイヤ情報に基づいて、参照レイヤ情報が閾値以下である先頭ピクチャ以外のピクチャを選択する。この閾値は、例えば、ユーザにより指定された早送り再生の粒度に基づいて決定される。選択部１１４は、選択されたピクチャを表す選択ピクチャ情報を読み出し部１１１に供給する。

復号部１１５は、抽出部１１３から供給されるスライス単位の符号化データを、HEVC方式にしたがってCU単位で復号する。このとき、復号部１１５は、必要に応じて、抽出部１１３から供給されるパラメータセットも参照する。復号部１１５は、復号の結果得られるピクチャを、図１の表示装置３に出力する。

（復号部の構成例）
図１２は、図１１の復号部１１５の構成例を示すブロック図である。

図１２の復号部１１５は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、および画面並べ替えバッファ１３９を有する。また、復号部１１５は、D/A変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４７、およびスイッチ１４８を有する。

復号部１１５の蓄積バッファ１３１は、図１１の抽出部１１３からスライス単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されているピクチャ単位の符号化データを、カレントピクチャの符号化データとして可逆復号部１３２に供給する。

可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、図７の可逆符号化部７６の可逆符号化に対応する、可変長復号や算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給する。可逆復号部１３２は、参照ピクチャ特定情報、動きベクトル情報、およびインター予測モード情報を動き補償部１４７に供給する。

さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。

逆量子化部１３３、逆直交変換部１３４、加算部１３５、フィルタ１３６、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４７は、図７の逆量子化部７９、逆直交変換部８０、加算部８１、フィルタ８２、フレームメモリ８５、スイッチ８６、イントラ予測部８７、動き予測・補償部８９とそれぞれ同様の処理を行い、これにより、ピクチャがCU単位で復号される。

具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。

加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントピクチャをCU単位で局所的に復号する。なお、スイッチ１４８から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報を復号結果とする。加算部１３５は、復号の結果得られる局所的に復号されたカレントピクチャをフレームメモリ１４１に供給する。また、加算部１３５は、全ての領域が復号されたカレントピクチャを復号済みのピクチャとしてフィルタ１３６に供給する。

フィルタ１３６は、加算部１３５から供給される復号済みのピクチャに対してフィルタ処理を行う。具体的には、フィルタ１３６は、まず、復号済みのピクチャに対してデブロックフィルタ処理を行う。次に、フィルタ１３６は、LCUごとに、可逆復号部１３２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の復号済みのピクチャに対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ１３６は、適応オフセットフィルタ処理後の復号済みのピクチャをフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

画面並べ替えバッファ１３９は、フィルタ１３６から供給される復号済みのピクチャを記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番の復号済みのピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。

D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の復号済みのピクチャをD/A変換し、図１の表示装置３に出力する。

フレームメモリ１４１は、加算部１３５から供給されるカレントピクチャと、フィルタ１３６から供給される復号済みのピクチャを記憶する。カレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。また、復号済みのピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。

イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４８に供給する。

動き補償部１４７は、可逆復号部１３２からのインター予測モード情報、参照ピクチャ特定情報、および動きベクトル情報に基づいて、カレントブロックに対して動き補償処理を行う。

具体的には、動き補償部１４７は、参照ピクチャ特定情報で特定される参照ピクチャを、フレームメモリ１４１からスイッチ１４２を介して読み出す。動き補償部１４７は、参照ピクチャと動きベクトル情報が表す動きベクトルとを用いて、インター予測モード情報が示す最適インター予測モードのカレントブロックの動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像をスイッチ１４８に供給する。

スイッチ１４８は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４８は、動き補償部１４７から供給される予測画像を加算部１３５に供給する。

（早送り再生部の処理の説明）
図１３は、図１１の早送り再生部１１０の早送り再生処理を説明するフローチャートである。この早送り再生処理は、GOP単位で行われる。

図１３のステップＳ１１１において、早送り再生部１１０の読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、先頭ピクチャのAUを読み出し、分離部１１２に供給する。

ステップＳ１１２において、分離部１１２は、読み出し部１１１から供給されるAUを構成する各NALユニットを分離し、抽出部１１３に供給する。

ステップＳ１１３において、抽出部１１３は、分離部１１２から供給されるNALユニットから、パラメータセットとスライス単位の符号化データを抽出し、復号部１１５に供給する。

ステップＳ１１４において、早送り再生部１１０は、読み出し部１１１により読み出されたAUが、先頭ピクチャのAUであるかどうかを判定する。ステップＳ１１４で、読み出されたAUが先頭ピクチャのAUであると判定された場合、処理はステップＳ１１５に進む。

ステップＳ１１５において、抽出部１１３は、ステップＳ１１３で抽出されたパラメータセットのうちの先頭ピクチャのSEIに格納されるGOP structure mapを、選択部１１４に供給する。

ステップＳ１１６において、選択部１１４は、抽出部１１３から供給されるGOP structure mapに基づいて、早送り再生の対象とする先頭ピクチャ以外のピクチャを選択する。選択部１１４は、選択されたピクチャを表す選択ピクチャ情報を読み出し部１１１に供給し、処理をステップＳ１１７に進める。

一方、ステップＳ１１４で、読み出されたAUが先頭ピクチャのAUではないと判定された場合、即ち、読み出されたAUが、GOP structure mapを含まない先頭ピクチャ以外のピクチャのAUである場合、ステップＳ１１５およびＳ１１６の処理は行われない。そして、処理はステップＳ１１７に進む。

ステップＳ１１７において、復号部１１５は、必要に応じて抽出部１１３から供給されるパラメータセットを用いて、抽出部１１３から供給されるスライス単位の符号化データをHEVC方式にしたがってCU単位で復号する復号処理を行う。この復号処理の詳細は、後述する図１４を参照して説明する。

ステップＳ１１８において、読み出し部１１１は、選択ピクチャ情報が表す全てのピクチャのAUを読み出したかどうかを判定する。ステップＳ１１８で、まだ選択ピクチャ情報が表す全てのピクチャのAUを読み出していないと判定された場合、処理はステップＳ１１９に進む。

ステップＳ１１９において、読み出し部１１１は、光ディスク１１にストリームファイルとして格納されているＡＶストリームのうちの、選択ピクチャ情報が表すピクチャのAUのうちの、まだ読み出されていないAUを読み出す。そして、処理はステップＳ１１２に戻り、選択ピクチャ情報が表す全てのピクチャのAUが読み出されるまで、ステップＳ１１２乃至Ｓ１１９の処理が繰り返される。

一方、ステップＳ１１８で、選択ピクチャ情報が表す全てのピクチャのAUを読み出したと判定された場合、処理は終了する。

図１４は、図１３のステップＳ１１７の復号処理の詳細を説明するフローチャートである。

図１４のステップＳ１３１において、復号部１１５の蓄積バッファ１３１（図１２）は、図１１の抽出部１１３からスライス単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されているピクチャ単位の符号化データを、カレントピクチャの符号化データとして可逆復号部１３２に供給する。

ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された直交変換係数と符号化情報を得る。可逆復号部１３２は、量子化された直交変換係数を逆量子化部１３３に供給する。

また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給する。可逆復号部１３２は、参照ピクチャ特定情報、動きベクトル情報、およびインター予測モード情報を動き補償部１４７に供給する。

さらに、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４８に供給する。可逆復号部１３２は、符号化情報としてのオフセットフィルタ情報をフィルタ１３６に供給する。

ステップＳ１３３において、逆量子化部１３３は、可逆復号部１３２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

ステップＳ１３４において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。

ステップＳ１３５において、動き補償部１４７は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３５でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、動き補償部１４７は、可逆復号部１３２からのインター予測モード情報、参照ピクチャ特定情報、および動きベクトル情報に基づいて、カレントブロックに対して動き補償処理を行う。動き補償部１４７は、その結果生成される予測画像を、スイッチ１４８を介して加算部１３５に供給し、処理をステップＳ１３８に進める。

一方、ステップＳ１３５でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１３７に進む。

ステップＳ１３７において、イントラ予測部１４３は、カレントブロックに対して、フレームメモリ１４１からスイッチ１４２を介して読み出された周辺画素を用いて、イントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４８を介して加算部１３５に供給し、処理をステップＳ１３８に進める。

ステップＳ１３８において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４８から供給される予測画像を加算することにより、カレントピクチャを局所的に復号する。加算部１３５は、復号の結果得られる局所的に復号されたカレントピクチャをフレームメモリ１４１に供給する。また、加算部１３５は、全ての領域が復号されたカレントピクチャを復号済みのピクチャとしてフィルタ１３６に供給する。

ステップＳ１３９において、フィルタ１３６は、加算部１３５から供給される復号済みのピクチャに対してデブロックフィルタ処理を行い、ブロック歪を除去する。

ステップＳ１４０において、フィルタ１３６は、可逆復号部１３２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ処理後の復号済みのピクチャに対して、LCUごとに適応オフセットフィルタ処理を行う。フィルタ１３６は、適応オフセットフィルタ処理後の画像を、画面並べ替えバッファ１３９とフレームメモリ１４１に供給する。

ステップＳ１４１において、フレームメモリ１４１は、加算部８１から供給されるカレントピクチャと、フィルタ１３６から供給される復号済みのピクチャとを記憶する。カレントピクチャのうちのカレントブロックに隣接する画素は、周辺画素としてスイッチ１４２を介してイントラ予測部１４３に供給される。また、復号済みのピクチャは、参照ピクチャとしてスイッチ１４２を介して動き補償部１４７に出力される。

ステップＳ１４２において、画面並べ替えバッファ１３９は、フィルタ１３６から供給される復号済みのピクチャを記憶し、記憶した符号化のための順番のピクチャを、元の表示の順番に並び替え、D/A変換部１４０に供給する。

ステップＳ１４３において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるピクチャをD/A変換し、図１の表示装置３に出力する。そして、処理は、図１３のステップＳ１１７に戻り、ステップＳ１１８に進む。

以上のように、早送り再生部１１０は、SEIに含まれる参照レイヤ情報に基づいて、早送り再生の対象とするピクチャを選択する。従って、早送り再生部１１０は、選択されたピクチャの符号化データ以外の符号化データをパースすることなく、容易に早送り再生を行うことができる。また、早送り再生部１１０は、選択するピクチャに対応する参照レイヤ情報の閾値を変更することにより、SEIに含まれる参照レイヤ情報に基づいて、早送り再生の粒度を容易に制御することができる。

ここでは、再生装置２の早送り再生部１１０についてのみ説明したが、再生装置２のうちの、映像ストリームに対して巻き戻し再生などの他のトリックプレイを行う部も、表示装置３へのピクチャの出力順序が異なる点などを除いて、早送り再生部１１０と同様である。

例えば、巻き戻し再生を行う巻き戻し再生部は、早送り再生部１１０と同様に、参照レイヤ情報に基づいて巻き戻し再生の対象とするピクチャを選択して復号し、復号の結果得られる表示の順番のピクチャを逆順に出力する。

また、第１実施の形態では、再生装置２が、参照レイヤ情報に基づいてトリックプレイを行うようにしたが、光ディスク１１に記録されている映像ストリームのフレームレートより低いフレームレートでの再生を行うようにしてもよい。この場合、再生装置２は、参照レイヤ情報に基づいて選択されたピクチャを、全てのピクチャを復号するときと同一の時間で復号すればよい。従って、再生装置２の処理負荷が軽減し、再生装置２の処理能力が低い場合であっても復号を行うことができる。

さらに、第１実施の形態では、先頭ピクチャが必ず再生されるようにしたが、先頭ピクチャの参照レイヤ情報が閾値より大きい場合、先頭ピクチャは再生されないようにしてもよい。

＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書では、参照レイヤ情報が、符号化データに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、参照レイヤ情報を伝送する手法はかかる例に限定されない。例えば、参照レイヤ情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、映像ストリームに含まれるピクチャ（スライスやブロックなど、ピクチャの一部であってもよい）と当該ピクチャに対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、参照レイヤ情報は、符号化データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、参照レイヤ情報と符号化データとは、例えば、複数ピクチャ、１ピクチャ、又はピクチャ内の一部分などの任意の単位で互いに関連付けられてよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、コンテンツの提供は、放送波やネットワークを介して行われるようにすることもできる。この場合、本開示は、放送波を受信するセットトップボックスやテレビジョン受像機、ネットワークを介してデータを送受信するパーソナルコンピュータなどに適用することができる。

また、例えば、参照レイヤ情報は、GOP structure map以外のSEIに格納される情報に含まれるようにしてもよい。参照レイヤ情報は、先頭ピクチャ以外のピクチャのSEIや、SEI以外のパラメータセットに格納されるようにしてもよい。

さらに、例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本開示は、以下のような構成もとることができる。

（１）
ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
を備える画像処理装置。
（２）
前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
ように構成された
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
前記付加情報は、SEI（Supplemental Enhancement Information）である
ように構成された
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定ステップ
を含む画像処理方法。
（７）
コンピュータを、
ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
として機能させるためのプログラム。
（８）
ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
を備える画像処理装置。
（９）
前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
ように構成された
前記（８）に記載の画像処理装置。
（１０）
前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
ように構成された
前記（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
前記付加情報は、SEI（Supplemental Enhancement Information）である
ように構成された
前記（８）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記選択部により選択された前記再生対象のピクチャの符号化データを復号する復号部
をさらに備える
前記（８）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
画像処理装置が、
ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択ステップ
を含む画像処理方法。
（１５）
コンピュータを、
ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
として機能させるためのプログラム。
（１６）
ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される記録媒体であって、
前記符号化ストリームを取得した情報処理装置に、前記付加情報に含まれる前記参照レイヤ情報に基づいて、再生対象のピクチャを選択させる
記録媒体。

１ 記録装置, ２ 再生装置, １１ 光ディスク, ５１ 設定部, １１４ 選択部, １１５ 復号部

Claims (16)

1. ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
   を備える画像処理装置。
2. 前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
   ように構成された
   請求項２に記載の画像処理装置。
4. 前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
   ように構成された
   請求項１に記載の画像処理装置。
5. 前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
   前記付加情報は、SEI（Supplemental Enhancement Information）である
   ように構成された
   請求項１に記載の画像処理装置。
6. 画像処理装置が、
   ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定ステップ
   を含む画像処理方法。
7. コンピュータを、
   ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報を設定する設定部
   として機能させるためのプログラム。
8. ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
   を備える画像処理装置。
9. 前記付加情報は、前記ピクチャを含むGOP（Group of Picture）を構成する全てのピクチャの参照レイヤ情報を含む
   ように構成された
   請求項８に記載の画像処理装置。
10. 前記付加情報は、前記GOPの先頭のピクチャの符号化データの付加情報である
    ように構成された
    請求項９に記載の画像処理装置。
11. 前記付加情報は、前記ピクチャのタイプを表すピクチャタイプ情報を含む
    ように構成された
    請求項８に記載の画像処理装置。
12. 前記ピクチャの符号化方式はHEVC方式（High Efficiency Video Coding）であり、
    前記付加情報は、SEI（Supplemental Enhancement Information）である
    ように構成された
    請求項８に記載の画像処理装置。
13. 前記選択部により選択された前記再生対象のピクチャの符号化データを復号する復号部
    をさらに備える
    請求項８に記載の画像処理装置。
14. 画像処理装置が、
    ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択ステップ
    を含む画像処理方法。
15. コンピュータを、
    ピクチャの符号化データの付加情報に含まれる、前記ピクチャの参照関係のレイヤを表す参照レイヤ情報に基づいて、再生対象のピクチャを選択する選択部
    として機能させるためのプログラム。
16. ピクチャの参照関係のレイヤを表す参照レイヤ情報を含む前記ピクチャの符号化データの付加情報と、前記符号化データとを含む符号化ストリームが記録され、情報処理装置に装着され、再生される記録媒体であって、
    前記符号化ストリームを取得した情報処理装置に、前記付加情報に含まれる前記参照レイヤ情報に基づいて、再生対象のピクチャを選択させる
    記録媒体。

Images