JP6641344B2 - 符号化装置 - Google Patents

Description

この発明は、映像信号や音声信号を符号化してビットストリームを生成する符号化装置及び符号化方法と、ビットストリームに多重化されている符号化データを復号する復号装置及び復号方法とに関するものである。

日本のディジタル放送では、以下の非特許文献１に記載されているように、映像信号や音声信号の符号化データである映像ストリームと音声ストリームは、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ−２）のシステム規格であるトランスポートストリーム（ＴＳ）形式で多重化されて伝送される。このとき、符号化装置は、映像ストリーム及び音声ストリームに関連するメタデータの符号化データについても、映像ストリーム及び音声ストリームと一緒に多重化して伝送する。

ＭＰＥＧ−２でのトランスポートストリーム（ＴＳ）の他に、ＭＰＥＧで標準化が進められている新しいトランスポート方式として、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）があり、ＭＭＴは、１つのプログラムを構成する１以上の映像コンポーネント（映像ストリーム）と音声コンポーネント（音声ストリーム）を伝送する際、コンポーネント毎に、異なる伝送形態（例えば、放送、通信など）での伝送を可能にしている。

ここで、ＨＥＶＣ／Ｈ．２６５（以下、「ＨＥＶＣ」と称する）は、ＭＰＥＧ及びＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）で標準化された新しい映像符号化方式である。
ＨＥＶＣでは、時間階層符号化（時間方向にスケーラブルな符号化）が導入されており、アクセスユニット（１ピクチャを復号するために必要な符号化データを含む単位）を構成する符号化単位のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット毎に階層レベルを指定することができる。

図８はＨＥＶＣでの時間階層符号化例を示す説明図である。
図８において、ＴｅｍｐｏｒａｌＩＤは各アクセスユニット（ＡＵ）の階層レベルを示す識別情報である。
ＴｅｍｐｏｒａｌＩＤ＝Ｌ_０の場合、０の階層だけであるため、時間階層符号化は行われていない。
ＴｅｍｐｏｒａｌＩＤ＝Ｌ_１の場合、最大階層が１の階層であり、時間階層符号化が行われている。
同様に、ＴｅｍｐｏｒａｌＩＤ＝Ｌ_２，Ｌ_３の場合、最大階層がそれぞれ２，３の階層であり、時間階層符号化が行われている。

時間階層符号化の内容は公知であるため詳細な説明を省略するが、時間階層符号化の制約として、符号化対象のアクセスユニット（ＡＵ）が有する階層レベルより大きい階層レベルを有するアクセスユニット（ＡＵ）は参照することができないというものがある。
なお、ＨＥＶＣでは、最大階層が６までの参照構造による時間階層符号化が可能である。

図９はピクチャ構造の一例を示す説明図である。
図９において、ＩＲＡＰは、ＨＥＶＣで規定されているＩＲＡＰ（Ｉｎｔｒａ ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ）ピクチャのことであり、ビットストリームの途中から復号を開始するときに、表示順でＩＲＡＰピクチャ以降のピクチャについては正常に復号されることが保証される。
ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）は、１以上のアクセスユニット（ＡＵ）の映像信号がフレーム間予測符号化方式で符号化された場合に、前記１以上のアクセスユニットの映像信号の全てを復号することが可能な複数のアクセスユニット（ＡＵ）の集合である。即ち、符号化順で先頭のアクセスユニット（ＡＵ）であるＩＲＡＰピクチャと、そのＩＲＡＰピクチャに続くアクセスユニット（ＡＵ）（ＩＲＡＰピクチャ以外のピクチャ）との集合である。
また、ＳＯＰは、階層レベル０を有し、符号化順で先頭のピクチャと、そのピクチャに続く階層レベル１以上のピクチャの集合である。
１つのシーケンスのビットストリームは、１以上のＧＯＰから構成され、１つのＧＯＰは１以上のＳＯＰから構成される。図９の例では、Ｌ_３のＳＯＰとＬ_２のＳＯＰからＧＯＰが構成されている。

図１０は図９のピクチャ構造で符号化される各ピクチャの符号化順及び表示順を示す説明図である。
先頭のＳＯＰにおいて、符号化順で先頭のアクセスユニット（ＡＵ）であるＩＲＡＰピクチャに続く各ピクチャは、１つ前のＳＯＰのピクチャを参照画像として符号化されているものである。
このため、ＩＲＡＰピクチャに続く各ピクチャを正常に復号するには、１つ前のＳＯＰのピクチャを参照する必要があるため、１つ前のＳＯＰのピクチャが既に復号されている必要がある。
よって、先頭のＳＯＰのＩＲＡＰピクチャから復号を開始する場合には、１つ前のＳＯＰのピクチャを参照することができない（１つ前のＳＯＰのピクチャが復号されていない）ので、そのＩＲＡＰピクチャに続く各ピクチャは、正常に復号を行うことができない。
ＨＥＶＣでは、符号化順でＩＲＡＰピクチャに続くピクチャであって、ＩＲＡＰピクチャより表示順が早いピクチャはＬＰ（Ｌｅａｄｉｎｇ Ｐｉｃｕｔｒｅ）と呼ばれ、ＩＲＡＰピクチャから復号を開始した場合、ＬＰは正常に復号を行うことができない。
なお、ＩＲＡＰピクチャは、フレーム内符号化方式で符号化されているため、１つ前のＳＯＰのピクチャが復号されていなくても、正常に復号を行うことができる。

例えば、ディジタル放送では、複数のビットストリームが同時に配信され、ユーザによるチャンネル切替によって、表示対象のビットストリームが切り替えられる。
複数のビットストリームには、ＩＲＡＰピクチャが周期的に挿入されているため、ユーザのチャンネル切替時には、いずれかのＩＲＡＰピクチャから復号を開始することで、表示映像を切り替えることができる。

ＳＴＤ−Ｂ３２（ＡＲＩＢ（一般社団法人 電波産業会）で策定されたディジタル放送に関する標準規格）

従来の符号化装置は以上のように構成されているので、時間階層符号化を行う場合、最大階層が大きくなるほど、ＳＯＰを構成するピクチャの数が多くなる。このため、復号装置がＩＲＡＰピクチャから復号を開始する場合、正常に復号を行うことができないＬＰの数が増加するので、ユーザによるチャンネル切替によって、表示対象のビットストリームが切り替えられる場合、切替後のビットストリームによるピクチャが表示されるまでに多くの時間を要し、何のピクチャも表示されない時間が長くなってしまう課題があった。
即ち、ユーザによるチャンネル切替によって、表示対象のビットストリームが切り替えられた場合、先頭のＬＰ（図１０の例では、Ｂ２５のピクチャ）の表示時刻からＩＲＡＰピクチャの表示時刻になるまでの間、何のピクチャも表示されなくなるので、ＳＯＰを構成するピクチャの数が多くなるほど、何のピクチャも表示されない時間が長くなってしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、ユーザによりチャンネルが切り替えられたときに何のピクチャも表示されない時間を無くして、シームレスなチャンネル切替を実現することができる符号化装置、復号装置、符号化方法及び復号方法を得ることを目的とする。

この発明に係る符号化装置は、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）が規定する伝送方式で伝送される映像信号の符号化データを出力する映像符号化手段と、映像符号化手段によりフレーム間予測符号化方式で符号化された複数のアクセスユニットの集合であるＧＯＰにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報から符号化順で先頭のアクセスユニットの提示時刻を算出するための情報とを含む制御情報を符号化する制御情報符号化手段と、映像信号の符号化データと制御情報符号化手段から出力された制御情報の符号化データを多重化し、多重化後の符号化データであるビットストリームを出力する多重化手段とを備えたものである。

この発明によれば、映像信号の符号化データを出力する映像符号化手段と、映像符号化手段によりフレーム間予測符号化方式で符号化された複数のアクセスユニットの集合であるＧＯＰにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と符号化順で先頭のアクセスユニットの提示時刻を示す情報とを含む制御情報を符号化する制御情報符号化手段と、映像信号の符号化データと制御情報符号化手段から出力された制御情報の符号化データを多重化し、多重化後の符号化データであるビットストリームを出力する多重化手段とを備えるように構成したので、ユーザによりチャンネルが切り替えられたときに何のピクチャも表示されない時間を無くして、シームレスなチャンネル切替を実現することができる効果がある。

この発明の実施の形態１による符号化装置を示す構成図である。 この発明の実施の形態１による符号化装置の処理内容（符号化方法）を示すフローチャートである。 この発明の実施の形態１による復号装置を示す構成図である。 この発明の実施の形態１による復号装置の処理内容（復号方法）を示すフローチャートである。 ＭＭＴでビットストリームを伝送する場合の符号化データの概要を示す説明図である。 ＭＰＵの構成例を示す説明図である。 ＨＥＶＣピクチャ構造記述子を示す説明図である。 ＨＥＶＣでの時間階層符号化例を示す説明図である。 ピクチャ構造の一例を示す説明図である。 図９のピクチャ構造で符号化される各ピクチャの符号化順及び提示順を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による符号化装置を示す構成図である。
図１において、音声符号化部１はディジタルの音声信号が与えられると、音声のアクセスユニット（ＡＵ）単位に、例えば、ＭＰＥＧ−４オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する処理を実施する。
音声ＭＭＴＰペイロード生成部２は音声符号化部１により符号化されたメタデータとアクセスユニット（ＡＵ）単位の音声信号の符号化データからなる音声ＭＭＴＰペイロードを生成する処理を実施する。

ＨＥＶＣ符号化部３はディジタルの映像信号が与えられると、映像のアクセスユニット（ＡＵ）単位に、ＨＥＶＣ方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する処理を実施する。
映像ＭＭＴＰペイロード生成部４はＨＥＶＣ符号化部３により符号化されたメタデータとアクセスユニット（ＡＵ）単位の映像信号の符号化データからなる映像ＭＭＴＰペイロードを生成する処理を実施する。なお、ＨＥＶＣ符号化部３及び映像ＭＭＴＰペイロード生成部４から映像符号化手段が構成されている。
ここで、音声ストリームや映像ストリームに関するメタデータとして、例えば、各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）などを示す時刻情報を記述することができる。

制御情報符号化部５は音声符号化部１により生成された音声ストリーム及びＨＥＶＣ符号化部３により生成された映像ストリームに関する制御情報として、ＭＭＴで規定されているＰＡメッセージと呼ばれる制御情報を符号化する処理を実施する。
ＰＡメッセージには、１つのプログラム（ＭＭＴでは、パッケージと称する）を構成する１以上の映像コンポーネント（映像ストリーム）や音声コンポーネント（音声ストリーム）に関する情報が記述されている。ＭＭＴでは、映像コンポーネント及び音声コンポーネントがアセットと呼ばれる。
具体的には、アセットを識別するアセットＩＤ、アセットの種類（ＨＥＶＣ形式の映像ストリームやＭＰＥＧ−４ オーディオ形式の音声ストリームなどの種類）を識別するアセットタイプ、各アセットのＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を構成しているアクセスユニット（ＡＵ）の中で、提示順（表示順）で先頭のアクセスユニット（ＡＵ）の提示時刻（表示時刻）を示すＭＰＵタイムスタンプ記述子（提示時刻情報）、ＨＥＶＣピクチャ構造記述子、各アセットの符号化データやメタデータを格納しているＭＭＴＰパケットを示すパケットＩＤなどが、パッケージを構成するアセットの数分だけＰＡメッセージに含まれている。
なお、ＭＰＵは、１以上のアクセスユニット（ＡＵ）から構成されており、ＭＰＵ単体で映像や音声の復号処理を行うことができる単位となる。また、ＭＰＵは、１以上のアクセスユニット（ＡＵ）の映像信号がフレーム間予測符号化方式で符号化される場合には、前記１以上のアクセスユニット（ＡＵ）の映像信号の全てを復号することが可能な複数のアクセスユニット（ＡＵ）の集合であるＧＯＰと同じ単位になる。

ＨＥＶＣピクチャ構造記述子には、ＭＰＵを構成しているアクセスユニット（ＡＵ）の中で、符号化順で先頭のアクセスユニット（ＡＵ）より提示順が早いアクセスユニット（ＡＵ）の個数（ＬＰの枚数）を示す個数情報（ｎｕｍ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）、符号化順で先頭のアクセスユニット（ＡＵ）を構成しているＮＡＬユニット（ナルユニット）の符号化方式を示すピクチャタイプ情報（ｒａｐ＿ｔｙｐｅ）、ＬＰを構成しているＮＡＬユニットの符号化方式を示すピクチャタイプ情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）などが記述されている。

制御ＭＭＴＰペイロード生成部６は制御情報符号化部５により符号化された制御情報の符号化データからなる制御ＭＭＴＰペイロードを生成する処理を実施する。
なお、制御情報符号化部５及び制御ＭＭＴＰペイロード生成部６から制御情報符号化手段が構成されている。

ＭＭＴＰパケット生成部７は音声ＭＭＴＰペイロード生成部２により生成された音声ＭＭＴＰペイロードと、映像ＭＭＴＰペイロード生成部４により生成された映像ＭＭＴＰペイロードと、制御ＭＭＴＰペイロード生成部６により生成された制御ＭＭＴＰペイロードとを多重化して、ビットストリームを構成するＭＭＴＰパケットを生成する処理を実施する。このＭＭＴＰパケットを生成する際、所定のＭＭＴＰヘッダを付与するが、このＭＭＴＰヘッダには、ＭＭＴＰペイロードに含まれている符号化データの種別に応じて割り当てられるパケットＩＤが含まれる。なお、ＭＭＴＰパケット生成部７は多重化手段を構成している。

図１の例では、符号化装置の構成要素である音声符号化部１、音声ＭＭＴＰペイロード生成部２、ＨＥＶＣ符号化部３、映像ＭＭＴＰペイロード生成部４、制御情報符号化部５、制御ＭＭＴＰペイロード生成部６及びＭＭＴＰパケット生成部７のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、符号化装置がコンピュータで構成されていてもよい。
符号化装置をコンピュータで構成する場合、音声符号化部１、音声ＭＭＴＰペイロード生成部２、ＨＥＶＣ符号化部３、映像ＭＭＴＰペイロード生成部４、制御情報符号化部５、制御ＭＭＴＰペイロード生成部６及びＭＭＴＰパケット生成部７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による符号化装置の処理内容（符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による復号装置を示す構成図である。
図３において、ストリーム選択部１１は複数の符号化装置（図１の符号化装置、あるいは、図１の符号化装置に相当する符号化装置）から出力されたビットストリーム（ＭＭＴＰパケットからなるビットストリーム）の中から、提示対象のビットストリームを選択して、そのビットストリームをＭＭＴＰパケット解析部１２に出力する処理を実施する。
また、ストリーム選択部１１は提示対象のビットストリームを切り替える指令が与えられた場合、複数の符号化装置から出力されたビットストリームの中から、切替後のビットストリームを選択して、当該ビットストリームをＭＭＴＰパケット解析部１２に出力するとともに、制御ＭＭＴＰペイロード処理部１３により算出された提示時刻になるまでの間、切替前のビットストリームも引き続きＭＭＴＰパケット解析部１２に出力する処理を実施する。なお、ストリーム選択部１１はビットストリーム選択手段を構成している。

ＭＭＴＰパケット解析部１２はストリーム選択部１１から出力されたビットストリームを構成しているＭＭＴＰパケットのＭＭＴＰヘッダを解析して、そのＭＭＴＰヘッダに含まれているパケットＩＤを取得し、そのパケットＩＤがＭＭＴＰペイロードに含まれている符号化データが制御情報（ＰＡメッセージ、ＨＥＶＣピクチャ構造記述子）である旨を示していれば、そのＭＭＴＰパケットに含まれているＭＭＴＰペイロードである制御ＭＭＴＰペイロードを制御ＭＭＴＰペイロード処理部１３に出力する。一方、そのパケットＩＤがＭＭＴＰペイロードに含まれている符号化データが音声信号又は映像信号である旨を示していれば、そのＭＭＴＰパケットをアセット分離部１４に出力する処理を実施する。

制御ＭＭＴＰペイロード処理部１３はＭＭＴＰパケット解析部１２から出力された制御ＭＭＴＰペイロードに含まれている符号化データの復号処理を実施して、制御情報であるＰＡメッセージ及びＰＡメッセージに含まれているＨＥＶＣピクチャ構造記述子を復号する。
また、制御ＭＭＴＰペイロード処理部１３はＰＡメッセージに記述されているＭＰＵタイムスタンプ記述子が示す提示順で先頭のアクセスユニット（ＡＵ）の提示時刻と、ＨＥＶＣピクチャ構造記述子に記述されている個数情報（ｎｕｍ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）が示す符号化順で先頭のアクセスユニット（ＡＵ）より提示順が早いアクセスユニット（ＡＵ）の個数（ＬＰの枚数）とから、符号化順で先頭のアクセスユニット（ＡＵ）の提示時刻を算出する処理を実施する。符号化順で先頭のアクセスユニット（ＡＵ）は、先頭のＳＯＰのＩＲＡＰピクチャである。なお、制御ＭＭＴＰペイロード処理部１３は提示時刻算出手段を構成している。

アセット分離部１４は制御ＭＭＴＰペイロード処理部１３により復号されたＰＡメッセージに記述されているアセットＩＤ、アセットタイプ及びパケットＩＤを参照して、ＭＭＴＰパケット解析部１２から出力されたＭＭＴＰパケットに含まれているＭＭＴＰペイロードが音声ＭＭＴＰペイロードであるのか、映像ＭＭＴＰペイロードであるのかを特定し、音声ＭＭＴＰペイロードであれば、そのＭＭＴＰパケットに含まれている音声ＭＭＴＰペイロードを抽出して、その音声ＭＭＴＰペイロードを音声ＭＭＴＰペイロード処理部１５に出力し、映像ＭＭＴＰペイロードであれば、そのＭＭＴＰパケットに含まれている映像ＭＭＴＰペイロードを抽出して、その映像ＭＭＴＰペイロードを映像ＭＭＴＰペイロード処理部１９に出力する処理を実施する。

音声ＭＭＴＰペイロード処理部１５はアセット分離部１４から出力された音声ＭＭＴＰペイロードから音声ストリームのＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）又はＭＰＵを再構成することで、後段の音声ストリーム復号部１７で復号可能な形式の音声エレメンタリーストリーム（音声ＥＳ）を生成し、その音声ＥＳを音声ＥＳバッファ１６に格納する処理を実施する。ＭＦＵは、ＭＰＵよりも小さな単位であり、１アクセスユニット（ＡＵ）または１ＮＡＬユニットを１ＭＦＵと定義することができる。
また、音声ＭＭＴＰペイロード処理部１５はアセット分離部１４から出力された音声ＭＭＴＰペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ＥＳバッファ１６に格納する処理を実施する。
音声ＥＳバッファ１６は音声ＥＳ及びメタデータを一時的に格納するメモリである。

音声ストリーム復号部１７は音声ＥＳバッファ１６からメタデータを取り出して、そのメタデータに記述されている時刻情報（各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す情報）を復号する処理を実施する。
また、音声ストリーム復号部１７は各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）になると、音声ＥＳバッファ１６から音声ＥＳを取り出して、当該アクセスユニット（ＡＵ）の音声信号を復号し、その復号した音声信号とＰＴＳ（提示時刻）を音声データバッファ１８に格納する処理を実施する。
音声データバッファ１８は音声ストリーム復号部１７により復号された音声信号とＰＴＳ（提示時刻）を一時的に格納するメモリである。

映像ＭＭＴＰペイロード処理部１９はアセット分離部１４から出力された映像ＭＭＴＰペイロードから映像ストリームのＭＦＵ又はＭＰＵを再構成することで、後段のＨＥＶＣＥＳ復号部２１で復号可能な形式のＨＥＶＣエレメンタリーストリーム（ＨＥＶＣ ＥＳ）を生成し、そのＨＥＶＣエレメンタリーストリームをＨＥＶＣＥＳバッファ２０に格納する処理を実施する。
また、映像ＭＭＴＰペイロード処理部１９はアセット分離部１４から出力された映像ＭＭＴＰペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをＨＥＶＣＥＳバッファ２０に格納する処理を実施する。
ＨＥＶＣＥＳバッファ２０はＨＥＶＣエレメンタリーストリーム及びメタデータを一時的に格納するメモリである。

ＨＥＶＣＥＳ復号部２１はＨＥＶＣＥＳバッファ２０からメタデータを取り出して、そのメタデータに記述されている時刻情報（各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す情報）を復号する処理を実施する。
また、ＨＥＶＣＥＳ復号部２１は各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）になると、ＨＥＶＣＥＳバッファ２０からＨＥＶＣエレメンタリーストリームを取り出して、当該アクセスユニット（ＡＵ）の映像信号を復号し、その復号した映像信号である復号画像とＰＴＳ（提示時刻）を復号画像バッファ２２に格納する処理を実施する。
復号画像バッファ２２はＨＥＶＣＥＳ復号部２１により復号された各アクセスユニット（ＡＵ）の復号画像とＰＴＳ（提示時刻）を一時的に格納するメモリである。
なお、映像ＭＭＴＰペイロード処理部１９、ＨＥＶＣＥＳバッファ２０、ＨＥＶＣＥＳ復号部２１及び復号画像バッファ２２から映像復号手段が構成されている。

図３の例では、復号装置の構成要素であるストリーム選択部１１、ＭＭＴＰパケット解析部１２、制御ＭＭＴＰペイロード処理部１３、アセット分離部１４、音声ＭＭＴＰペイロード処理部１５、音声ＥＳバッファ１６、音声ストリーム復号部１７、音声データバッファ１８、映像ＭＭＴＰペイロード処理部１９、ＨＥＶＣＥＳバッファ２０、ＨＥＶＣＥＳ復号部２１及び復号画像バッファ２２のそれぞれが専用のハードウェア（バッファ以外は、例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、復号装置がコンピュータで構成されていてもよい。
復号装置をコンピュータで構成する場合、音声ＥＳバッファ１６、音声データバッファ１８、ＨＥＶＣＥＳバッファ２０及び復号画像バッファ２２をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、ストリーム選択部１１、ＭＭＴＰパケット解析部１２、制御ＭＭＴＰペイロード処理部１３、アセット分離部１４、音声ＭＭＴＰペイロード処理部１５、音声ストリーム復号部１７、映像ＭＭＴＰペイロード処理部１９及びＨＥＶＣＥＳ復号部２１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図４はこの発明の実施の形態１による復号装置の処理内容（復号方法）を示すフローチャートである。

次に動作について説明する。
最初の符号化装置の処理内容を説明する。
音声符号化部１は、ディジタルの音声信号が与えられると、音声のアクセスユニット（ＡＵ）単位に、例えば、ＭＰＥＧ−４オーディオなどの方式によって当該音声信号を符号化して、その音声信号の符号化データである音声ストリームを生成するとともに、その音声ストリームに関するメタデータを符号化する（図２のステップＳＴ１）。
ＨＥＶＣ符号化部３は、ディジタルの映像信号が与えられると、映像のアクセスユニット（ＡＵ）単位に、ＨＥＶＣ方式によって当該映像信号を符号化して、その映像信号の符号化データである映像ストリームを生成するとともに、その映像ストリームに関するメタデータを符号化する（ステップＳＴ２）。

ここで、図５はＭＭＴでビットストリームを伝送する場合の符号化データの概要を示す説明図である。
図５において、アクセスユニット（ＡＵ）は、映像であれば、１ピクチャを復号するために必要な符号化データを含む単位であり、音声であれば、符号化単位となる１以上のサンプルから構成されるフレームである。
ＮＡＬユニットはＨＥＶＣの符号化単位であり、１アクセスユニット（ＡＵ）は、１以上のＮＡＬユニットから構成される。
ＭＰＵは、１以上のアクセスユニットから構成され、ＭＰＵ単体で映像や音声の復号処理を行うことができる単位となる。また、ＭＰＵは、１以上のアクセスユニット（ＡＵ）の映像信号がフレーム間予測符号化方式で符号化される場合には、前記１以上のアクセスユニット（ＡＵ）の映像信号の全てを復号することが可能な複数のアクセスユニット（ＡＵ）の集合であるＧＯＰと同じ単位になる。
ＭＦＵは、ＭＰＵよりも小さな単位であり、１アクセスユニット（ＡＵ）又は１ＮＡＬユニットを１ＭＦＵと定義することができる。

図６はＭＰＵの構成例を示す説明図である。
図６において、ＭＰＵメタデータは、ＭＰＵに関連するメタデータが記述されるものであり、ＭＰＵに含まれる各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す時刻情報などを記述することができる。
ムービーフラグメントメタデータ（ＭＦメタ）は、１アクセスユニット（ＡＵ）の符号化データ（サンプルデータ）に付随するメタデータが記述されるものである。例えば、アクセスユニット（ＡＵ）の符号化データがファイル形式で格納される場合、アクセスユニット（ＡＵ）毎に、符号化データが格納されているアドレスや符号化データのデータ長、当該アクセスユニット（ＡＵ）の提示時刻に関する情報が含まれる。
ＭＰＵメタデータ、ムービーフラグメントメタデータ、ＭＦＵ及びＭＭＴの制御情報は、ＭＭＴＰパケット化されて伝送される。ＭＭＴＰパケットはＭＭＴＰヘッダとＭＭＴＰペイロードから構成される。

音声ＭＭＴＰペイロード生成部２は、音声符号化部１からメタデータ（ＭＰＵメタデータ、ＭＦメタなど）の符号化データと、アクセスユニット（ＡＵ）単位の音声信号の符号化データとを受けると、ＭＰＵ単位のＭＰＵメタデータの符号化データと、アクセスユニット（ＡＵ）単位のＭＦメタの符号化データ及び音声信号の符号化データ（サンプルデータ）からなる音声ＭＭＴＰペイロードを生成する（ステップＳＴ３）。
映像ＭＭＴＰペイロード生成部４は、ＨＥＶＣ符号化部３からメタデータ（ＭＰＵメタデータ、ＭＦメタなど）の符号化データと、アクセスユニット（ＡＵ）単位の映像信号の符号化データとを受けると、ＭＰＵ単位のＭＰＵメタデータの符号化データと、アクセスユニット（ＡＵ）単位のＭＦメタの符号化データ及び映像信号の符号化データ（サンプルデータ）からなる映像ＭＭＴＰペイロードを生成する（ステップＳＴ４）。

制御情報符号化部５は、音声符号化部１により生成された音声ストリーム及びＨＥＶＣ符号化部３により生成された映像ストリームに関する制御情報を符号化する（ステップＳＴ５）。
音声ストリーム及び映像ストリームに関する制御情報として、例えば、ＭＭＴで規定されているＰＡメッセージやＨＥＶＣピクチャ構造記述子などを符号化する。
ＰＡメッセージには、上述したように、１つのプログラム（ＭＭＴでは、パッケージと称する）を構成する１以上の映像コンポーネント（映像ストリーム）や音声コンポーネント（音声ストリーム）に関する情報が記述されている。
即ち、ＰＡメッセージには、音声符号化部１及びＨＥＶＣ符号化部３により生成されたアセット（映像ストリーム、音声ストリーム）を識別するアセットＩＤ、アセットの種類を識別するアセットタイプ、各アセットのＭＰＵを構成しているアクセスユニット（ＡＵ）の中で、提示順で先頭のアクセスユニット（ＡＵ）の提示時刻を示すＭＰＵタイムスタンプ記述子、各アセットの符号化データやメタデータを格納しているＭＭＴＰパケットを示すパケットＩＤなどが記述されている。

図７はＨＥＶＣピクチャ構造記述子を示す説明図である。
ＨＥＶＣピクチャ構造記述子には、図７に示すように、ＭＰＵを構成しているアクセスユニット（ＡＵ）の中で、符号化順で先頭のアクセスユニット（ＡＵ）より提示順が早いアクセスユニット（ＡＵ）の個数（ＬＰの枚数）を示す個数情報（ｎｕｍ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）が記述されている。
また、符号化順で先頭のアクセスユニット（ＡＵ）を構成しているＮＡＬユニットの符号化方式を示すピクチャタイプ情報（ｒａｐ＿ｔｙｐｅ）や、ＬＰを構成しているＮＡＬユニットの符号化方式を示すピクチャタイプ情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）などが記述されている。

制御ＭＭＴＰペイロード生成部６は、制御情報符号化部５から制御情報の符号化データを受けると、その制御情報の符号化データからなる制御ＭＭＴＰペイロードを生成する（ステップＳＴ６）。
ＭＭＴＰパケット生成部７は、音声ＭＭＴＰペイロード生成部２により生成された音声ＭＭＴＰペイロードと、映像ＭＭＴＰペイロード生成部４により生成された映像ＭＭＴＰペイロードと、制御ＭＭＴＰペイロード生成部６により生成された制御ＭＭＴＰペイロードとを多重化して、ビットストリームを構成するＭＭＴＰパケットを生成する（ステップＳＴ７）。
このＭＭＴＰパケットを生成する際、所定のＭＭＴＰヘッダを付与するが、このＭＭＴＰヘッダには、ＭＭＴＰペイロードに含まれている符号化データの種別に応じて割り当てられるパケットＩＤが含まれる。

次に復号装置の処理内容を説明する。
ストリーム選択部１１は、複数の符号化装置（図１の符号化装置、あるいは、図１の符号化装置に相当する符号化装置）から出力されたビットストリーム（ＭＭＴＰパケットからなるビットストリーム）が与えられる。
ストリーム選択部１１は、複数のビットストリームの中から、ユーザにより指定されたチャンネルのビットストリーム（提示対象のビットストリーム）を選択して、そのビットストリームをＭＭＴＰパケット解析部１２に出力する。

ＭＭＴＰパケット解析部１２は、ストリーム選択部１１からビットストリームを受けると、そのビットストリームを構成しているＭＭＴＰパケットのＭＭＴＰヘッダを解析して、そのＭＭＴＰヘッダに含まれているパケットＩＤを取得する。
ＭＭＴＰパケット解析部１２は、そのパケットＩＤがＭＭＴＰペイロードに含まれている符号化データが制御情報（ＰＡメッセージ）である旨を示していれば、そのＭＭＴＰパケットに含まれているＭＭＴＰペイロードである制御ＭＭＴＰペイロードを制御ＭＭＴＰペイロード処理部１３に出力する。
一方、そのパケットＩＤがＭＭＴＰペイロードに含まれている符号化データが音声信号又は映像信号である旨を示していれば、そのＭＭＴＰパケットをアセット分離部１４に出力する。

制御ＭＭＴＰペイロード処理部１３は、ＭＭＴＰパケット解析部１２から制御ＭＭＴＰペイロードを受けると、その制御ＭＭＴＰペイロードに含まれている符号化データの復号処理を実施して、制御情報であるＰＡメッセージ及びＰＡメッセージに含まれるＨＥＶＣピクチャ構造記述子を復号する。

アセット分離部１４は、制御ＭＭＴＰペイロード処理部１３がＰＡメッセージを復号すると、そのＰＡメッセージに記述されているアセットＩＤ、アセットタイプ及びパケットＩＤを参照して、ＭＭＴＰパケット解析部１２から出力されたＭＭＴＰパケットに含まれているＭＭＴＰペイロードが音声ＭＭＴＰペイロードであるのか、映像ＭＭＴＰペイロードであるのかを特定する。
アセット分離部１４は、ＭＭＴＰパケット解析部１２から出力されたＭＭＴＰパケットに含まれているＭＭＴＰペイロードが音声ＭＭＴＰペイロードであれば、そのＭＭＴＰパケットに含まれている音声ＭＭＴＰペイロードを抽出して、その音声ＭＭＴＰペイロードを音声ＭＭＴＰペイロード処理部１５に出力する。
アセット分離部１４は、ＭＭＴＰパケット解析部１２から出力されたＭＭＴＰパケットに含まれているＭＭＴＰペイロードが映像ＭＭＴＰペイロードであれば、そのＭＭＴＰパケットに含まれている映像ＭＭＴＰペイロードを抽出して、その映像ＭＭＴＰペイロードを映像ＭＭＴＰペイロード処理部１９に出力する。

音声ＭＭＴＰペイロード処理部１５は、アセット分離部１４から音声ＭＭＴＰペイロードを受けると、その音声ＭＭＴＰペイロードから音声ストリームのＭＦＵ又はＭＰＵを再構成することで、後段の音声ストリーム復号部１７で復号可能な形式の音声エレメンタリーストリーム（音声ＥＳ）を生成し、その音声ＥＳを音声ＥＳバッファ１６に格納する。
音声ＭＭＴＰペイロードから音声ＥＳを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、音声ＭＭＴＰペイロード処理部１５は、アセット分離部１４から出力された音声ＭＭＴＰペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ＥＳバッファ１６に格納する。

音声ストリーム復号部１７は、音声ＥＳバッファ１６からメタデータを取り出して、そのメタデータに記述されている時刻情報（各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す情報）を復号する。
音声ストリーム復号部１７は、復号したＤＴＳを参照して、各アクセスユニット（ＡＵ）の復号時刻を把握し、各アクセスユニット（ＡＵ）の復号時刻になると、音声ＥＳバッファ１６から音声ＥＳを取り出して、当該アクセスユニット（ＡＵ）の音声信号を復号し、その復号した音声信号とＰＴＳ（提示時刻）を音声データバッファ１８に格納する。
これにより、外部の再生装置（図示せず）は、音声データバッファ１８に格納されている音声信号とＰＴＳ（提示時刻）を取り出せば、その提示時刻に音声信号を再生することができる。

映像ＭＭＴＰペイロード処理部１９は、アセット分離部１４から映像ＭＭＴＰペイロードを受けると、その映像ＭＭＴＰペイロードから映像ストリームのＭＦＵ又はＭＰＵを再構成することで、後段のＨＥＶＣＥＳ復号部２１で復号可能な形式のＨＥＶＣエレメンタリーストリーム（ＨＥＶＣ ＥＳ）を生成し、そのＨＥＶＣエレメンタリーストリームをＨＥＶＣＥＳバッファ２０に格納する。
映像ＭＭＴＰペイロードからＨＥＶＣエレメンタリーストリームを生成する処理自体は公知の技術であるため詳細な説明を省略する。
また、映像ＭＭＴＰペイロード処理部１９は、アセット分離部１４から出力された映像ＭＭＴＰペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをＨＥＶＣＥＳバッファ２０に格納する。

ＨＥＶＣＥＳ復号部２１は、ＨＥＶＣＥＳバッファ２０からメタデータを取り出して、そのメタデータに記述されている時刻情報（各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す情報）を復号する。
ＨＥＶＣＥＳ復号部２１は、復号したＤＴＳを参照して、各アクセスユニット（ＡＵ）の復号時刻を把握し、各アクセスユニット（ＡＵ）の復号時刻になると、ＨＥＶＣＥＳバッファ２０からＨＥＶＣエレメンタリーストリームを取り出して、当該アクセスユニット（ＡＵ）の映像信号を復号し、その復号した映像信号である復号画像とＰＴＳ（提示時刻）を復号画像バッファ２２に格納する。
これにより、外部の再生装置（図示せず）は、復号画像バッファ２２に格納されている復号画像とＰＴＳ（提示時刻）を取り出せば、その提示時刻に復号画像を再生することができる。

外部の再生装置（図示せず）が復号画像と音声信号を再生しているとき、ユーザがリモコン等を用いて、チャンネルを切り替える操作を行うと、提示対象の映像ストリームを切り替える指令（この切替指令には、切替後のチャンネルを示す情報が含まれている）がストリーム選択部１１に与えられる。
ストリーム選択部１１は、外部からチャンネルの切替指令を受けると（図４のステップＳＴ１１：Ｙｅｓの場合）、複数のビットストリームの中から、その切替指令が示す切替後のチャンネルのビットストリームを選択して、そのビットストリームをＭＭＴＰパケット解析部１２に出力する（ステップＳＴ１２）。
また、ストリーム選択部１１は、ユーザによりチャンネルが切り替えられたときに何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現するために、制御ＭＭＴＰペイロード処理部１３からビットストリームの出力停止指令を受けるまでの間（ステップＳＴ１３：Ｎｏの場合）、切替前のチャンネルのビットストリームも引き続きＭＭＴＰパケット解析部１２に出力する（ステップＳＴ１４）。ビットストリームの出力停止指令は、後述するように、現在時刻が符号化順で先頭のアクセスユニット（ＡＵ）の提示時刻になると出力される。
ストリーム選択部１１は、制御ＭＭＴＰペイロード処理部１３からビットストリームの出力停止指令を受けると、切替前のチャンネルのビットストリームの出力を停止して、切替後のチャンネルのビットストリームだけをＭＭＴＰパケット解析部１２に出力する。

ＭＭＴＰパケット解析部１２は、ストリーム選択部１１から切替後のチャンネルのビットストリームを受けると、チャンネルの切替前と同様に、そのビットストリームを構成しているＭＭＴＰパケットに含まれている制御ＭＭＴＰペイロードを制御ＭＭＴＰペイロード処理部１３に出力し、そのビットストリームを構成しているＭＭＴＰパケットに含まれている音声ＭＭＴＰペイロード又は映像ＭＭＴＰペイロードをアセット分離部１４に出力する。
また、ＭＭＴＰパケット解析部１２は、ストリーム選択部１１から切替前のチャンネルのビットストリームを受けると、切替後のチャンネルのビットストリームに対する処理と並列の処理で、切替前のチャンネルのビットストリームを構成しているＭＭＴＰパケットに含まれている制御ＭＭＴＰペイロードを制御ＭＭＴＰペイロード処理部１３に出力し、そのビットストリームを構成しているＭＭＴＰパケットに含まれている音声ＭＭＴＰペイロード又は映像ＭＭＴＰペイロードをアセット分離部１４に出力する。

制御ＭＭＴＰペイロード処理部１３は、ＭＭＴＰパケット解析部１２から切替後のチャンネルのビットストリームに係る制御ＭＭＴＰペイロードを受けると、チャンネルの切替前と同様に、その制御ＭＭＴＰペイロードに含まれている符号化データの復号処理を実施して、制御情報であるＰＡメッセージ及びＰＡメッセージに含まれるＨＥＶＣピクチャ構造記述子を復号する（ステップＳＴ１５）。
制御ＭＭＴＰペイロード処理部１３は、ＰＡメッセージ及びＰＡメッセージに含まれるＨＥＶＣピクチャ構造記述子を復号すると、そのＰＡメッセージに記述されているＭＰＵタイムスタンプ記述子が示す提示順で先頭のアクセスユニット（ＡＵ）の提示時刻と、ＨＥＶＣピクチャ構造記述子に記述されている個数情報（ｎｕｍ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）が示す符号化順で先頭のアクセスユニット（ＡＵ）より提示順が早いアクセスユニット（ＡＵ）の個数（ＬＰの枚数）とから、符号化順で先頭のアクセスユニット（ＡＵ）の提示時刻を算出する（ステップＳＴ１６）。

図１０の例では、符号化順で先頭のアクセスユニット（ＡＵ）はＩＲＡＰ３２であり、提示順で先頭のアクセスユニット（ＡＵ）はＢ２５である。また、ＩＲＡＰ３２より提示順が早いアクセスユニット（ＡＵ）の個数（ＬＰの枚数）は７個である。
したがって、提示順で先頭のアクセスユニット（ＡＵ）であるＢ２５の提示時刻が、例えば、１８時００分００秒であり、フレームレートが１２０枚／１秒であれば、ＩＲＡＰ３２の提示時刻は、Ｂ２５の提示時刻（１８時００分００秒）の５８ｍｓｅｃ（＝７／１２０）後になる。
制御ＭＭＴＰペイロード処理部１３は、現在時刻が符号化順で先頭のアクセスユニット（ＡＵ）の提示時刻になると（ステップＳＴ１７：Ｙｅｓの場合）、切替前のチャンネルのビットストリームの出力停止指令をストリーム選択部１１に出力する（ステップＳＴ１８）。

アセット分離部１４は、ＭＭＴＰパケット解析部１２から切替後のチャンネルに係るＭＭＴＰパケットを受けると、チャンネルの切替前と同様に、そのＭＭＴＰパケットに含まれている音声ＭＭＴＰペイロードを音声ＭＭＴＰペイロード処理部１５に出力し、そのＭＭＴＰパケットに含まれている映像ＭＭＴＰペイロードを映像ＭＭＴＰペイロード処理部１９に出力する。
また、アセット分離部１４は、ＭＭＴＰパケット解析部１２から切替前のチャンネルに係るＭＭＴＰパケットを受けると、切替後のチャンネルのビットストリームに対する処理と並列の処理で、切替前のチャンネルに係るＭＭＴＰパケットに含まれている音声ＭＭＴＰペイロードを音声ＭＭＴＰペイロード処理部１５に出力し、そのＭＭＴＰパケットに含まれている映像ＭＭＴＰペイロードを映像ＭＭＴＰペイロード処理部１９に出力する。

映像ＭＭＴＰペイロード処理部１９は、アセット分離部１４から切替前のチャンネルに係る映像ＭＭＴＰペイロードを受けると（現在時刻が提示順で先頭のアクセスユニット（ＡＵ）の提示時刻になる前）、チャンネルの切替前と同様に、その映像ＭＭＴＰペイロードからＨＥＶＣエレメンタリーストリームを生成して、そのＨＥＶＣエレメンタリーストリームをＨＥＶＣＥＳバッファ２０に格納するとともに、その映像ＭＭＴＰペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをＨＥＶＣＥＳバッファ２０に格納する（ステップＳＴ１９）。
また、映像ＭＭＴＰペイロード処理部１９は、アセット分離部１４から切替後のチャンネルに係る映像ＭＭＴＰペイロードを受けると、切替前のチャンネルのビットストリームに対する処理と並列の処理で、切替後のチャンネルに係る映像ＭＭＴＰペイロードからＨＥＶＣエレメンタリーストリームを生成して、そのＨＥＶＣエレメンタリーストリームをＨＥＶＣＥＳバッファ２０に格納するとともに、その映像ＭＭＴＰペイロードに含まれている映像ストリームに関するメタデータを抽出し、そのメタデータをＨＥＶＣＥＳバッファ２０に格納する（ステップＳＴ２０）。

ＨＥＶＣＥＳ復号部２１は、チャンネルの切替前と同様に、ＨＥＶＣＥＳバッファ２０からメタデータを取り出して、そのメタデータに記述されている時刻情報（各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す情報）を復号する。
これにより、ＨＥＶＣＥＳ復号部２１は、復号したＤＴＳを参照して、各アクセスユニット（ＡＵ）の復号時刻を把握するが、切替後のチャンネルについては、ＩＲＡＰが最初に復号することが可能なアクセスユニット（ＡＵ）であり（図１０のＧＯＰ構成では、ＩＲＡＰ３２のアクセスユニット（ＡＵ））、ＩＲＡＰより提示順が早いＬＰのアクセスユニット（ＡＵ）の映像信号を復号することができない。このため、切替後のチャンネルについては、ＩＲＡＰの提示時刻になるまでの間、どのアクセスユニット（ＡＵ）の映像信号も復号して表示することができない。

そこで、ＨＥＶＣＥＳ復号部２１は、切替後のチャンネルに係るＩＲＡＰの提示時刻になるまでの間、切替前のチャンネルに係るアクセスユニット（ＡＵ）の映像信号を復号して、その復号した映像信号である復号画像とＰＴＳ（提示時刻）を復号画像バッファ２２に格納する。
これにより、外部の再生装置（図示せず）は、切替後のチャンネルに係るＩＲＡＰの提示時刻になるまでの間、切替前のチャンネルに係る復号画像を再生することができる。
したがって、ユーザによりチャンネルが切り替えられたときに何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現することができる。

音声ＭＭＴＰペイロード処理部１５は、アセット分離部１４から切替前のチャンネルに係る音声ＭＭＴＰペイロードを受けると（現在時刻が提示順で先頭のアクセスユニット（ＡＵ）の提示時刻になる前）、チャンネルの切替前と同様に、その音声ＭＭＴＰペイロードから音声ＥＳを生成して、その音声ＥＳを音声ＥＳバッファ１６に格納するとともに、その音声ＭＭＴＰペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ＥＳバッファ１６に格納する。
また、音声ＭＭＴＰペイロード処理部１５は、アセット分離部１４から切替後のチャンネルに係る音声ＭＭＴＰペイロードを受けると、切替前のチャンネルのビットストリームに対する処理と並列の処理で、切替後のチャンネルに係る音声ＭＭＴＰペイロードから音声ＥＳを生成して、その音声ＥＳを音声ＥＳバッファ１６に格納するとともに、その音声ＭＭＴＰペイロードに含まれている音声ストリームに関するメタデータを抽出し、そのメタデータを音声ＥＳバッファ１６に格納する。

音声ストリーム復号部１７は、チャンネルの切替前と同様に、音声ＥＳバッファ１６からメタデータを取り出して、そのメタデータに記述されている時刻情報（各アクセスユニット（ＡＵ）のＤＴＳ（復号時刻）やＰＴＳ（提示時刻）を示す情報）を復号する。
音声ストリーム復号部１７は、復号したＤＴＳを参照して、各アクセスユニット（ＡＵ）の復号時刻を把握し、各アクセスユニット（ＡＵ）の復号時刻になると、音声ＥＳバッファ１６から音声ＥＳを取り出して、当該アクセスユニット（ＡＵ）の音声信号を復号し、その復号した音声信号とＰＴＳ（提示時刻）を音声データバッファ１８に格納する。
これにより、外部の再生装置（図示せず）は、音声データバッファ１８に格納されている音声信号とＰＴＳ（提示時刻）を取り出せば、その提示時刻に音声信号を再生することができる。

ここでは、音声ストリーム復号部１７が、ＨＥＶＣＥＳ復号部２１と同様に、切替後のチャンネルに係るＩＲＡＰの提示時刻になるまでの間は、切替前のチャンネルに係るアクセスユニット（ＡＵ）の音声信号を復号して、その復号した音声信号とＰＴＳ（提示時刻）を音声データバッファ１８に格納することを想定しているが、音声信号については、映像信号のようにフレーム間予測符号化方式で符号化されないため、ＩＲＡＰより提示順が早いＬＰのアクセスユニット（ＡＵ）の音声信号も復号することができる。このため、切替後のチャンネルに係るＩＲＡＰの提示時刻になるまでの間であっても、切替前のチャンネルに係るアクセスユニット（ＡＵ）の音声信号を復号せずに、切替後のチャンネルに係るアクセスユニット（ＡＵ）の音声信号を復号するようにしてもよい。

復号装置では、復号処理を終了するまで、ステップＳＴ１１〜ＳＴ２０の処理を繰り返し実施する（ステップＳＴ２１）。

以上で明らかなように、この実施の形態１によれば、１以上のアクセスユニット（ＡＵ）の映像信号がフレーム間予測符号化方式で符号化された場合に、１以上のアクセスユニット（ＡＵ）の映像信号の全てを復号することが可能な複数のアクセスユニット（ＡＵ）の集合であるＧＯＰ毎に、提示順で先頭のアクセスユニット（ＡＵ）の提示時刻を示す提示時刻情報と、符号化順で先頭のアクセスユニット（ＡＵ）より提示順が早いアクセスユニット（ＡＵ）の個数を示す個数情報とを含む制御情報を符号化するように構成したので、復号側において、ユーザによりチャンネルが切り替えられたときに、何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現することができる可能な符号化装置が得られる効果がある。

また、この実施の形態１によれば、提示対象のビットストリームを切り替える指令が与えられた場合、ストリーム選択部１１が、複数の符号化装置から出力されたビットストリームの中から、切替後のビットストリームを選択して、当該ビットストリームをＭＭＴＰパケット解析部１２に出力するとともに、制御ＭＭＴＰペイロード処理部１３により算出された提示時刻になるまで（ビットストリームの出力停止指令を受けるまで）、切替前のビットストリームも引き続きＭＭＴＰパケット解析部１２に出力し、ＨＥＶＣＥＳ復号部２１が、切替後のビットストリームに多重化されている映像信号の符号化データからアクセスユニット単位の映像信号を復号するとともに、制御ＭＭＴＰペイロード処理部１３により算出された提示時刻になるまでの間、切替前のビットストリームに多重化されている映像信号の符号化データからアクセスユニット単位の映像信号を復号するように構成したので、ユーザによりチャンネルが切り替えられたときに、何の復号画像も表示されない時間を無くして、シームレスなチャンネル切替を実現することができる復号装置が得られる効果がある。

実施の形態２．
上記実施の形態１では、ＨＥＶＣＥＳ復号部２１が、切替後のチャンネルに係るＩＲＡＰの提示時刻になるまでの間、切替前のチャンネルに係るアクセスユニット（ＡＵ）の映像信号を復号して、その復号した映像信号である復号画像とＰＴＳ（提示時刻）を復号画像バッファ２２に格納するものを示したが、切替後のチャンネルに係るＬＰのアクセスユニット（ＡＵ）であっても、そのアクセスユニット（ＡＵ）を構成しているＮＡＬユニットの符号化方式によっては、ＩＲＡＰの復号前であっても、復号することが可能な場合がある。
ＩＲＡＰの復号前であっても、ＬＰのアクセスユニット（ＡＵ）が復号可能であるか否かは、ＨＥＶＣピクチャ構造記述子に記述されているピクチャタイプ情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＿ｏｆ＿ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ）を参照すれば、ＬＰを構成しているＮＡＬユニットの符号化方式が分かるため判断することができる。例えば、ＬＰを構成しているＮＡＬユニットの符号化方式がフレーム内符号化方式であれば、１つ前のＳＯＰのアクセスユニット（ＡＵ）の映像信号が復号されていなくても、復号することが可能である。

ＨＥＶＣＥＳ復号部２１は、ＩＲＡＰの復号前であっても、切替後のチャンネルに係るＬＰのアクセスユニット（ＡＵ）を復号することが可能であれば、そのアクセスユニット（ＡＵ）の映像信号を復号して、その復号した映像信号である復号画像とＰＴＳ（提示時刻）を復号画像バッファ２２に格納する。
例えば、図１０のＧＯＰ構成において、ＬＰであるＢ２５，Ｂ２５，Ｂ２７，Ｂ２８は復号できないが、Ｂ２９，Ｂ３０，Ｂ３１の復号可能であれば、Ｂ２９，Ｂ３０，Ｂ３１の映像信号を復号して、その復号した映像信号である復号画像とＰＴＳ（提示時刻）を復号画像バッファ２２に格納する。
これにより、外部の再生装置（図示せず）は、切替後のチャンネルに係るＩＲＡＰの提示時刻になるまでの間において、Ｂ２５，Ｂ２５，Ｂ２７，Ｂ２８の提示時刻では、切替前のチャンネルに係る復号画像を再生し、Ｂ２９，Ｂ３０，Ｂ３１の提示時刻では、切替後のチャンネルに係る復号画像を再生することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 音声符号化部、２ 音声ＭＭＴＰペイロード生成部、３ ＨＥＶＣ符号化部（映像符号化手段）、４ 映像ＭＭＴＰペイロード生成部（映像符号化手段）、５ 制御情報符号化部（制御情報符号化手段）、６ 制御ＭＭＴＰペイロード生成部（制御情報符号化手段）、７ ＭＭＴＰパケット生成部（多重化手段）、１１ ストリーム選択部（ビットストリーム選択手段）、１２ ＭＭＴＰパケット解析部、１３ 制御ＭＭＴＰペイロード処理部（提示時刻算出手段）、１４ アセット分離部、１５ 音声ＭＭＴＰペイロード処理部、１６ 音声ＥＳバッファ、１７ 音声ストリーム復号部、１８ 音声データバッファ、１９ 映像ＭＭＴＰペイロード処理部（映像復号手段）、２０ ＨＥＶＣＥＳバッファ（映像復号手段）、２１ ＨＥＶＣＥＳ復号部（映像復号手段）、２２ 復号画像バッファ（映像復号手段）。

Claims (1)

1. ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）が規定する伝送方式で伝送される映像信号の符号化データを出力する映像符号化手段と、
   前記映像符号化手段によりフレーム間予測符号化方式で符号化された複数のアクセスユニットの集合であるＧＯＰにおける、提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報と、前記提示順で先頭のアクセスユニットの提示時刻を示す提示時刻情報から符号化順で先頭のアクセスユニットの提示時刻を算出するための情報とを含む制御情報を符号化する制御情報符号化手段と、
   前記映像信号の符号化データと前記制御情報符号化手段から出力された制御情報の符号化データを多重化し、多重化後の符号化データであるビットストリームを出力する多重化手段と
   を備えた符号化装置。

Images