JPWO2017179592A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Abstract

受信側で複数の画像データを同期した状態で取得可能とする。複数の画像データをそれぞれエンコーダで符号化して複数のストリームを得る。複数のストリームを含む所定フォーマットのコンテナを送信する。複数のエンコーダは、複数の画像データの対応するピクチャの表示タイミングが一致するように符号化する。あるいは、複数のエンコーダは、それぞれ、複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報を挿入する。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、複数の画像データをそれぞれエンコードして送信する送信装置等に関する。

従来、低品質フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、低品質フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディアエンコードをスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、ハイダイナミックレンジ、ＵＨＤ解像度などがある。

特表２００８−５４３１４２号公報

本技術の目的は、受信側で複数の画像データを同期した状態で取得可能とすることにある。

本技術の概念は、
複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコーダと、
上記複数のストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記複数のエンコーダは、上記複数の画像データの対応するピクチャの表示タイミングが一致するように符号化する
送信装置にある。

本技術において、複数のエンコーダにより、複数の画像データがそれぞれ符号化されて複数のストリームが得られる。送信部により、複数のストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、ＭＰＥＧ−２ ＴＳ（MPEG-2 Transport Stream）、ＩＳＯＢＭＦＦ（ISO base media file format）、ＭＭＴ（MPEG Media Transport）などである。

ここで、複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化される。例えば、複数のエンコーダのいずれかから他のエンコーダにＨＲＤパラメータあるいはイントラピクチャでリセットされるピクチャエンコードカウント値が供給されるか、または複数のエンコーダに外部から共通のＨＲＤパラメータが供給される、ようにされてもよい。

このように本技術においては、複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化される。そのため、受信側で複数の画像データを同期した状態で取得することが可能となる。

なお、本技術において、例えば、複数のエンコーダとして、第１の画像データを符号化して第１のストリームを得る第１のエンコーダと、第１の画像データとこの第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して第２のストリームを得る第２のエンコーダを有し、送信部は、第１のストリームおよび第２のストリームを含む所定フォーマットのコンテナを送信する、ようにされてもよい。この場合、例えば、第２の画像データを処理して第１の画像データを得、この第１の画像データと第２の画像データに基づいて第３の画像データを得、第１の画像データおよび第３の画像データを出力する処理部をさらに備える、ようにされてもよい。

また、この場合、例えば、第２の画像データは高品質フォーマットの画像データであり、第１の画像データは第２の画像データを処理して得られた低品質フォーマットの画像データであり、第３の画像データは、上記第２の画像データと上記第１の画像データとの間の差分の画像データである、ようにされてもよい。そして、この場合、第２の画像データはハイダイナミックレンジの画像データであって第１の画像データは通常ダイナミックレンジの画像データであるか、第２の画像データはＵＨＤ解像度の画像データであって第１の画像データはＨＤ解像度の画像データである、ようにされてもよい。

また、本技術の他の概念は、
複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化されており、
上記複数のストリームをデコードして上記複数の画像データを得るデコード処理と、該複数の画像データを用いた処理を制御する制御部をさらに備える
受信装置にある。

本技術において、受信部により、複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナが受信される。ここで、複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化されている。制御部により、複数のストリームを復号化して複数の画像データを得るデコード処理と、この複数の画像データを用いた処理が制御される。

このように本技術においては、複数の画像データが対応するピクチャの表示タイミングが一致するように符号化されていることから、デコード処理で得られる複数の画像データは同期した状態となる。そのため、複数の画像データを用いた処理（合成処理、表示処理など）を良好に行うことが可能となる。

なお、本技術においては、例えば、コンテナは、第１の画像データを符号化して得られた第１のストリームと、この第１の画像データとこの第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して得られた第２のストリームを含み、デコード処理では、第１のストリームを復号化して第１の画像データを得ると共に、第２のストリームを復号化して第３の画像データを得、複数の画像データを用いた処理では、第１の画像データと第３の画像データに基づいて第２の画像データを得る、ようにされてもよい。

また、本技術の他概念は、
複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコーダと、
上記複数のストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記複数のエンコーダは、それぞれ、上記複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報を挿入する
送信装置にある。

本技術において、複数のエンコーダにより、複数の画像データがそれぞれ符号化されて複数のストリームが得られる。送信部により、複数のストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、ＭＰＥＧ−２ ＴＳ（MPEG-2 Transport Stream）、ＩＳＯＢＭＦＦ（ISO base media file format）、ＭＭＴ（MPEG Media Transport）などである。

ここで、複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報が挿入される。例えば、互いのピクチャを関連付けするための情報は、ピクチャ毎に更新されるカウントアップ値である、ようにされてもよい。

このように本技術においては、複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報が挿入される。そのため、受信側で互いのピクチャを関連付けするための情報に基づいて複数の画像データを同期した状態で取得することが容易に可能となる。

なお、本技術において、例えば、複数のエンコーダとして、第１の画像データを符号化して第１のストリームを得る第１のエンコーダと、上記第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して第２のストリームを得る第２のエンコーダを有し、送信部は、第１のストリームおよび第２のストリームを含む所定フォーマットのコンテナを送信する、ようにされてもよい。この場合、例えば、第２の画像データを処理して第１の画像データを得、この第１の画像データと第２の画像データに基づいて第３の画像データを得、第１の画像データおよび第３の画像データを出力する処理部をさらに備える、ようにされてもよい。

また、この場合、例えば、第２の画像データは高品質フォーマットの画像データであり、第１の画像データは第２の画像データを処理して得られた低品質フォーマットの画像データであり、第３の画像データは、上記第２の画像データと上記第１の画像データとの間の差分の画像データである、ようにされてもよい。そして、この場合、第２の画像データはハイダイナミックレンジの画像データであって第１の画像データは通常ダイナミックレンジの画像データであるか、第２の画像データはＵＨＤ解像度の画像データであって第１の画像データはＨＤ解像度の画像データである、ようにされてもよい。

また、本技術の他の概念は、
複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報が挿入されており、
上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた画像データ処理を制御すると共に、上記互いのピクチャを関連付けするための情報に基づいて、上記画像データ処理で用いられる上記複数の画像データが同期した状態となるように制御する制御部をさらに備える
受信装置にある。

本技術において、受信部により、複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナが受信される。ここで、複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報が挿入されている。制御部により、複数のストリームを復号化して複数の画像データを得るデコード処理と、この複数の画像データを用いた画像データ処理が制御されと共に、互いのピクチャを関連付けするための情報に基づいて、画像データ処理で用いられる複数の画像データが同期した状態となるように制御される。

このように本技術においては、互いのピクチャを関連付けするための情報に基づいて、画像データ処理で用いられる複数の画像データは同期した状態とされる。そのため、複数の画像データを用いた処理（合成処理、表示処理など）を良好に行うことが可能となる。

なお、本技術において、例えば、コンテナは、第１の画像データを符号化して得られた第１のストリームと、この第１の画像データとこの第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して得られた第２のストリームを含み、デコード処理では、第１のストリームを復号化して第１の画像データを得ると共に、第２のストリームを復号化して第３の画像データを得、複数の画像データを用いた処理では、第１の画像データと第３の画像データに基づいて第２の画像データを得る、ようにされてもよい。

本技術によれば、受信側で複数の画像データを同期した状態で取得し得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態としての送受信システムの構成例を示すブロック図である。 送受信システムを構成する送信装置の構成例を示すブロック図である。 プリプロセッサおよびエンコーダの詳細構成を説明するための図である。 プリプロセッサおよびエンコーダの詳細構成を説明するための図である。 カウンタ・インフォメーション・ＳＥＩメッセージの構造例を示す図である。 カウンタ・インフォメーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 マルチプル・ストリーム・デスクリプタの構造例を示す図である。 マルチプル・ストリーム・デスクリプタの構造例における主要な情報の内容を示す図である。 ディスプレイポジションを説明するための図である。 トランスポートストリームＴＳの構成例を示す図である。 送受信システムを構成する受信装置（低品質フォーマットのみに対応）の構成例を示すブロック図である。 送受信システムを構成する受信装置（高品質フォーマットに対応）の構成例を示すブロック図である。 デコーダおよびポストプロセッサの詳細構成を説明するための図である。 デコーダおよびポストプロセッサの詳細構成を説明するための図である。 インバース処理部の構成例を示すブロック図である。 送信装置のプリプロセッサにおける処理の詳細を説明するための図である。 送信装置のプリプロセッサにおける処理の詳細を説明するための図である。 受信装置のポストプロセッサにおけるインバース処理の詳細を説明するための図である。 ＧＤＩ検出部からポストバッファに送られる制御コマンドのタイプとその内容などを示す図である。 カウントアップ値の比較で起こり得る各ケースにおける同期合わせ処理を説明するための図である。 ＧＤＩ検出部における制御例を示す図である。 各ポストバッファのキューからＧＤＩ検出部の制御による画像データの読み出しを行う場合の状態遷移を概略的に示す図である。 第２の実施の形態としての送受信システムの構成例を示すブロック図である。 送受信システムを構成する送信装置の構成例を示すブロック図である。 送受信システムを構成する受信装置の構成例を示すブロック図である。 ８個のスクリーンデバイスで構成されるスクリーン例を示す図である。 ５個のスクリーンデバイスで構成されるスクリーン例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［送受信システムの構成例］
図１は、第１の実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００および受信装置２００により構成されている。

送信装置１００は、コンテナストリーム（多重化ストリーム）としてのＭＰＥＧ−２ トランスポートストリーム（以下、単に、「トランスポートストリームＴＳ」と称する）を、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、第１のストリームおよび第２のストリームの２つのビデオストリームが含まれる。

第１のストリームは、第１の画像データをＨＥＶＣ、ＡＶＣ等で符号化して得られたビデオストリームである。第２のストリームは、第１の画像データとこの第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データをＨＥＶＣ、ＡＶＣ等で符号化して得られたビデオストリームである。

この実施の形態において、第２の画像データは、高品質フォーマットの画像データ（ハイダイナミックレンジ（ＨＤＲ）の画像データ、あるいはＵＨＤ解像度の画像データ）であり、第１の画像データは低品質フォーマットの画像データ（通常ダイナミックレンジ（ＳＤＲ）の画像データ、あるいはＨＤ解像度の画像データ）、第３の画像データは、第２の画像データと第１の画像データとの間の差分の画像データとされる。

送信装置１００は、第１の画像データおよび第３の画像データを符号化する際に、受信側でこれら第１の画像データおよび第３の画像データの対応するピクチャを同一タイミングで取得可能とするめに、第１の方法または第２の方法を採る。

第１の方法を採る場合、第１の画像データおよび第３の画像データを、対応するピクチャの表示タイミングが一致するように符号化する。例えば、第１の画像データおよび第３の画像データをそれぞれ符号化するエンコーダを第１のエンコーダおよび第２のエンコーダとするとき、これらの一方から他方にＨＲＤ（Hypothetical Reference Decoder）パラメータが供給される。あるいは、これら第１のエンコーダおよび第２のエンコーダに外部から共通のＨＲＤパラメータが供給される。

このようにＨＲＤパラメータが供給されることで、第１のエンコーダおよび第２のエンコーダにおけるバッファ遅延制御が同じく行われ、第１の画像データおよび第３の画像データを、対応するピクチャの表示タイミングが一致するように符号化することが可能となる。なお、第１のエンコーダおよび第２のエンコーダの一方から他方にＨＲＤパラメータの代わりに、イントラピクチャでリセットされるピクチャエンコードカウント値が供給され、ピクチャエンコードカウント値が双方のエンコーダで共有されてもよい。

また、第２の方法を採る場合、第１の画像データおよび第３の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報を挿入する。この実施の形態においては、互いのピクチャを関連付けるための情報は、ピクチャ毎に更新されるカウントアップ値とされる。

受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように第１のストリームおよび第２のストリームが含まれている。

受信装置２００は、低品質フォーマットのみに対応している場合、トランスポートストリームＴＳから第１のストリームを抽出し、復号化して、低品質フォーマットの第１の画像データを得、この第１の画像データ（通常ダイナミックレンジの画像データあるいはＨＤ解像度の画像データ）による処理、例えば表示処理などをする。

また、受信装置２００は、高品質フォーマット対応の場合、トランスポートストリームＴＳから第１のストリームおよび第２のストリームの双方を抽出し、それぞれ、デコーダで復号化して、第１の画像データおよび第３の画像データを得る。ここで、送信側で第１の方法が採られる場合、第１の画像データおよび第３の画像データは同期した状態、つまり対応するピクチャが同一タイミングで得られる。一方、送信側で第２の方法が採られる場合、第１の画像データおよび第３の画像データの対応するピクチャは同期した状態にない可能性もある。そのため、互いのピクチャを関連付けるための情報に基づいて、第１の画像データおよび第３の画像データを同期した状態とする。

受信装置２００は、同期した状態にある第１の画像データおよび第３の画像データに基づいて、高品質フォーマットの第２の画像データを得、この第２の画像データ（ハイダイナミックレンジの画像データあるいはＵＨＤ解像度の画像データ）による処理、例えば表示処理などをする。

「送信装置の構成例」
図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、プリプロセッサ１０２と、エンコーダ１０３と、エンコーダ１０４と、マルチプレクサ１０５と、送信部１０６を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。

プリプロセッサ１０２は、高品質フォーマットの画像データ（第２の画像データ）Ｖ２を処理して低品質フォーマットの画像データ（第１の画像データ）Ｖ１を得、この画像データＶ１と画像データＶ２に基づいて差分の画像データ（第３の画像データ）Ｖ３を得、画像データＶ１，Ｖ３を出力する。例えば、画像データＶ２がハイダイナミックレンジの画像データであって画像データＶ１が通常ダイナミックレンジの画像データであるか、あるいは画像データＶ２がＵＨＤ解像度の画像データであって画像データＶ１がＨＤ解像度の画像データであるが、これに限定されない。

プリプロセッサ１０２は、図３、図４に示すように、処理部（process 1）１０２ａおよび処理部（process 2）１０２ｂからなっている。高品質フォーマットの画像データＶ２は処理部１０２ａに供給される。この処理部１０２ａでは、画像データＶ２が低品質フォーマットの画像データＶ１に変換され、この画像データＶ１が出力される。

また、高品質フォーマットの画像データＶ２は処理部１０２ｂに供給されると共に、この処理部１０２ｂに、処理部１０２ａで得られた低品質フォーマットの画像データＶ１が供給される。処理部１０２ｂでは、画像データＶ２と画像データＶ１との間の差分の画像データＶ３が得られ、この画像データＶ３が出力される。

図２に戻って、エンコーダ１０３は、プリプロセッサ１０２から出力される画像データＶ１を符号化（エンコード）してビデオストリーム（第１のストリーム）ＶＳ１を得る。エンコーダ１０３は、図３、図４に示すように、エンコード部（encoder 1）１０３ａ、ローカル・デコーデッド・バッファ（Local Decoded buf 1）１０３ｂおよびエレメンタリストリーム・バッファ（ES_buf 1）１０３ｃなどからなっている。

プリプロセッサ１０２で得られた画像データＶ１はエンコード部１０３ａに供給される。エンコード部１０３ａでは、画像データＶ１をＨＥＶＣ，ＡＶＣ等で符号化してビデオストリームＶＳ１を得る。ローカル・デコーデッド・バッファ１０３ｂは、エンコード部１０３ａで符号化されて得られた各ピクチャの符号化画像データのデコード結果を一時的に蓄積し、エンコード部１０３ａで参照可能としている。また、エレメンタリストリーム・バッファ１０３ｃは、エンコード部１０３ａで得られたビデオストリームＶＳ１を構成する各ピクチャの符号化画像データを一時的に蓄積して出力する。

また、図２に戻って、エンコーダ１０４は、プリプロセッサ１０２から出力される画像データＶ３を符号化（エンコード）してビデオストリーム（第２のストリーム）ＶＳ２を得る。エンコーダ１０４は、図３、図４に示すように、エンコード部（encoder 2）１０４ａ、ローカル・デコーデッド・バッファ（Local Decoded buf 2）１０４ｂおよびエレメンタリストリーム・バッファ（ES_buf 2）１０４ｃなどからなっている。

プリプロセッサ１０２で得られた画像データＶ３はエンコード部１０４ａに供給される。エンコード部１０４ａでは、画像データＶ３をＨＥＶＣ，ＡＶＣ等で符号化してビデオストリームＶＳ２を得る。ローカル・デコーデッド・バッファ１０４ｂは、エンコード部１０４ａで符号化されて得られた各ピクチャの符号化画像データのデコード結果を一時的に蓄積し、エンコード部１０４ａで参照可能としている。また、エレメンタリストリーム・バッファ１０４ｃは、エンコード部１０４ａで得られたビデオストリームＶＳ２を構成する各ピクチャの符号化画像データを一時的に蓄積して出力する。

図２に戻って、エンコーダ１０３およびエンコーダ１０４は、エンコーダ間の依存性は考慮せず、符号化ピクチャタイプの決定は各々独立して決めることができるものとする。画像データＶ１はエンコーダ１０３で符号化され、画像データＶ３はエンコーダ１０４で符号化されるが、受信側でこれら２つの画像データＶ１，Ｖ３を同期した状態で取得可能とするめに、上述したように第１の方法または第２の方法を採る。

第１の方法を採る場合、エンコーダ１０３およびエンコーダ１０４は、それぞれ、画像データＶ１および画像データＶ３を、対応するピクチャの表示タイミングが一致するように符号化する。例えば、図３に（２）で示す経路で、マスターとしてのエンコード部１０３ａからスレーブとしてのエンコード部１０４ａに、ＨＲＤ（Hypothetical Reference Decoder）パラメータが供給される。これにより、エンコーダ１０３（エンコード部１０３ａ）およびエンコーダ１０４（エンコード部１０４ａ）でＨＲＤパラメータが共有される。

なお、マスターとスレーブの関係が逆であれば、エンコード部１０４ａからエンコード部１０３ａにＨＲＤパラメータが供給されてもよい。また、一方のエンコーダから他方のエンコーダに直接ＨＲＤパラメータを供給するのではなく、制御部１０１を介して供給されてもよい。

また、例えば、図３に（１）で示す経路で、制御部１０１からエンコード部１０３ａおよびエンコード部１０４ａに共通のＨＲＤパラメータが供給される。これにより、エンコーダ１０３（エンコード部１０３ａ）およびエンコーダ１０４（エンコード部１０４ａ）でＨＲＤパラメータが共有される。この場合、例えば、図３に（０）で示す経路で、エンコード部１０３ａから制御部１０１にシーン検出情報が供給される。例えば、このように制御部１０１から各エンコーダに供給されるＨＲＤパラメータは、符号化起動時、グループピクチャ開始時、シーン検出時などにリセットされる。

このように、エンコーダ１０３およびエンコーダ１０４でＨＲＤパラメータが共有されることで、これら２つのエンコーダのバッファ遅延制御が同じく行われる。そのため、エンコーダ１０３およびエンコーダ１０４では、画像データＶ１および画像データＶ３が、対応するピクチャの表示タイミングが一致するように符号化される。

ここで、バッファ遅延制御について説明する。エンコーダのバッファ管理は、ＨＲＤ(Hypothetical Reference Decoder) モデルで行うことができる。その際、エンコード部（encoder 1）１０３ａ、エンコード部（encoder 2）１０４ａの符号化遅延を等しくするために、ＨＲＤパラメータである、「initial_cpb_removal_delay」、「cpb_removal_delay」、「dpb_output_delay」の値を同じにするよう指定する。

「initial_cpb_removal_delay」は、デコーダにおいてシーケンスの最初の符号化ピクチャが、エレメンタリストリーム・バッファ（ES_buf）に溜まり始めてからデコーダによって引き抜かれる、つまりデコードされるまでの遅延時間を示す。「cpb_removal_delay」は、デコーダにおいてエレメンタリストリーム・バッファ（ES_buf）にピクチャの最初の符号化されたバイトが入ってから、そのピクチャがデコーダから抜き出されるまでの遅延時間を示す。「dpb_output_delay」は、ピクチャがデコードされてデコーデッド・バッファ（Decoded_buf）に入ってから表示用に引き出されるまでの遅延時間を示す。

ＨＲＤパラメータ（「initial_cpb_removal_delay」、「cpb_removal_delay」、「dpb_output_delay」）がエンコーダ間で同じであれば、デコーダからの表示出力もまた同じになる。マルチプレクサ１０５においてＰＥＳパケットに付加されるＰＴＳ，ＤＴＳのタイムスタンプは、ＨＲＤパラメータを参照して生成されるので、システムのタイミング管理も同様に行われることになる。

なお、一方のエンコーダから他方のエンコーダにＨＲＤパラメータを供給する代わりに、イントラピクチャでリセットされるピクチャエンコードカウント値を供給し、２つのエンコーダでピクチャエンコードカウント値が共有されてもよい。このピクチャエンコードカウント値は、ＡＶＣ、ＨＥＶＣでは、“frame_num”に相当する。

このようにエンコーダ１０３およびエンコーダ１０４でピクチャエンコードカウント値が共有される場合にあっても、これら２つのエンコーダのバッファ遅延制御が同じく行われる。そのため、エンコーダ１０３およびエンコーダ１０４では、画像データＶ１および画像データＶ３が、対応するピクチャの表示タイミングが一致するように符号化される。

一方、第２の方法を採る場合、エンコーダ１０３およびエンコーダ１０４は、画像データＶ１および画像データＶ３の対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報を挿入する。例えば、図４に（３）で示す経路で、制御部１０１からエンコード部１０３ａおよびエンコード部１０４ａに、ピクチャ毎に更新されるカウントアップ値「Graphical_Data_Increment」が共通に供給され、画像データＶ１および画像データＶ３の対応するピクチャの符号化画像データに同一のカウントアップ値「Graphical_Data_Increment」が挿入される。

具体的には、エンコーダ１０３（エンコード部１０３ａ）およびエンコーダ１０４（エンコード部１０４ａ）は、それぞれ、アクセスユニット（ＡＵ）の、例えば“Suffix_SEIs”の部分に、「Graphical_Data_Increment」の情報を持つ、新規定義するカウンタ・インフォメーション・ＳＥＩメッセージ（Counter_Information SEI message）を挿入する。

図５は、カウンタ・インフォメーション・ＳＥＩメッセージの構造例(Syntax)を示している。図６は、その構造例における主要な情報の内容（Semantics）を示している。「profile」の８ビットフィールドは、符号化ツールの範囲を限定するプロファイル情報を示す。「Level」の８ビットフィールドは、符号化の規模を示すレベル情報を示す。「layer_id」の６ビットフィールドは、レイヤ識別情報を示し、コーデックのスケーラブルなプロファイルを採用する場合は“０”以外の値が定義される。

「max_temporal_id」の３ビットフィールドは、階層符号化の場合のテンポラルＩＤ（temporal_id）の最大値を示す。「stream_group_id」の４ビットフィールドは、ストリームのグループを識別するためのグループ識別情報を示す。例えば、ストリームのグループは、同期表示をするストリームを束ねたものである。「stream_id」の４ビットフィールドは、個々のストリームを識別するためのストリーム識別情報を示す。

「dependency_type」の４ビットフィールドは、デコード出力に関する伝送ストリーム間の依存関係であるデペンデンシー・タイプを示す。“０ｘ０”は、デコード出力は独立表示されるものであることを示す。“０ｘ１”は、デコード出力はこの値以下のデコード出力に依存し、“０ｘ０”の出力との合成表示が必要であることを示す。“０ｘ２”は、デコード出力はこの値以下のデコード出力に依存し、“０ｘ０”、“０ｘ１”のデコード出力との合成表示が必要であることを示す。

「Graphical_Data_Increment」の８ビットフィールドは、ピクチャ毎に更新されるカウントアップ値を示す。このカウントアップ値は、上述したように、複数の画像データの対応するピクチャを関連付けするための情報を構成する。

図２に戻って、マルチプレクサ１０５は、エンコーダ１０３，１０４で生成されたビデオストリームＶＳ１，ＶＳ２をＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。また、マルチプレクサ１０５は、トランスポートストリームＴＳのレイヤに、ビデオストリームＶＳ１，ＶＳ２のそれぞれに対応してストリーム情報を挿入する。

マルチプレクサ１０５は、このストリーム情報を、プログラムマップテーブルの配下に各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中に、新規定義するマルチプル・ストリーム・デスクリプタ（Multiple_stream_descriptor）として挿入する。

図７は、マルチプル・ストリーム・デスクリプタの構造例（Syntax）を示している。また、図８は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、マルチプル・ストリーム・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「stream_group_id」の４ビットフィールドは、ストリームのグループを識別するためのグループ識別情報を示す。例えば、ストリームのグループは、同期表示をするストリームを束ねたものである。「stream_id」の４ビットフィールドは、本ＥＳループで関連付けられるストリーム識別情報を示す。

「stream_content」の４ビットフィールドは、符号化対象のメディア（ビデオ、オーディオ、字幕など）の種類を示すもので、コンポーネント・デスクリプタ（component descriptor）の定義と一致する。「component_type」の８ビットフィールドは、メディア種類ごとに決められる、符号化方式の識別情報を示す。ビデオの場合は、ＭＰＥＧ２ｖｉｄｅｏ，ＡＶＣ，ＨＥＶＣなどである。

「profile」の８ビットフィールドは、符号化ツールの範囲を限定するプロファイル情報を示す。「Level」の８ビットフィールドは、符号化の規模を示すレベル情報を示す。「layer_id」の６ビットフィールドは、レイヤ識別情報を示し、コーデックのスケーラブルなプロファイルを採用する場合は“０”以外の値が定義される。「max_temporal_id」の３ビットフィールドは、ビデオの時間階層符号化の場合のテンポラルＩＤ（temporal_id）の最大値を示す。

「dependency_type」の４ビットフィールドは、デコード出力に関する伝送ストリーム間の依存関係であるデペンデンシー・タイプを示す。“０ｘ０”は、デコード出力は独立表示されるものであることを示す。“０ｘ１”は、デコード出力はこの値以下のデコード出力に依存し、“０ｘ０”の出力との合成表示が必要であることを示す。“０ｘ２”は、デコード出力はこの値以下のデコード出力に依存し、“０ｘ０”、“０ｘ１”のデコード出力との合成表示が必要であることを示す。

「num_of_corresponding_streams」の８ビットフィールドは、自身のＥＳループ以外で関連付けられるストリームの数を示す。この数だけ、「stream_group_id」の４ビットフィールドおよび「corresponding_stream_id」の４ビットフィールド、「display_position」の４ビットフィールド、「position_offset」の４ビットフィールドが繰り返し存在する。「stream_group_id」のフィールドは、ストリームのグループを識別するためのグループ識別情報を示す。「corresponding_stream_id」のフィールドは、本ＥＳループ以外で関連付けられるストリームの識別情報を示す。

「display_position」のフィールドは、独立表示に対する合成画の表示位置関係を示す。例えば、“０ｘ０”は独立表示画と同じ位置（独立表示の代わりに合成画を表示する意味）を示す。“０ｘ１”はＥ位置、“０ｘ２”はＷ位置、“０ｘ３”はＮ位置、“０ｘ４”はＳ位置、“０ｘ５”はＮＥ位置、“０ｘ６”はＳＷ位置、“０ｘ７”はＮＷ位置、“０ｘ８”はＳＥ位置を示す。図９は、予め設定された各位置の一例を示している。「position_offset」のフィールドは、独立位置に対するオフセットの段階を示す。例えば、“０ｘ１”は１段のオフセット、“０ｘ２”は２段のオフセットを示す。

なお、上述では、「num_of_corresponding_streams」のフィールドは、自身のＥＳループ以外で関連付けられるストリームの数を示すものとした。しかし、「num_of_corresponding_streams」のフィールドは、自身のＥＳループを含めて関連付けられるストリームの数を示すものとしてもよい。その場合、「num_of_corresponding_streams」以降に、自身のＥＳループに関連付けられるストリームに関する情報も含まれ、その場合「corresponding_stream_id」は「stream_group_id」に一致した値になる。

図２に戻って、送信部１０６は、マルチプレクサ１０５で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。

図２に示す送信装置１００の動作を簡単に説明する。高品質フォーマットの画像データ（ハイダイナミックレンジの画像データまたはＵＨＤ解像度の画像データ）Ｖ２は、プリプロセッサ１０２に供給される。このプリプロセッサ１０２では、画像データＶ２に変換処理が施されて低品質フォーマットの画像データ（通常ダイナミックレンジの画像データまたはＨＤ解像度の画像データ）Ｖ１が得られる。また、プリプロセッサ１０２では、画像データＶ２と画像データＶ１との間の差分の画像データＶ３が得られる。プリプロセッサ１０２の出力段階では、画像データＶ１と画像データＶ３の対応するピクチャは同期した状態にある。

プリプロセッサ１０２から出力される画像データＶ１は、エンコーダ１０３に供給される。エンコーダ１０３では、画像データＶ１がＨＥＶＣ，ＡＶＣ等で符号化されてビデオストリームＶＳ１が得られる。また、プリプロセッサ１０２から出力される画像データＶ３は、エンコーダ１０４に供給される。エンコーダ１０４では、画像データＶ３がＨＥＶＣ，ＡＶＣ等で符号化されてビデオストリームＶＳ２が得られる。

この場合、受信側で画像データＶ１，Ｖ３の対応するピクチャを同期した状態で取得可能とするめに、第１の方法または第２の方法が採られる。第１の方法が採られる場合は、エンコーダ１０３およびエンコーダ１０４では、それぞれ、画像データＶ１および画像データＶ３が、対応するピクチャの表示タイミングが一致するように符号化される。この場合、エンコーダ１０３およびエンコーダ１０４では、ＨＲＤパラメータやピクチャエンコードカウント値が共有される。

また、第２の方法が採られる場合は、エンコーダ１０３およびエンコーダ１０４では、画像データＶ１および画像データＶ３の対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報が挿入として、ピクチャ毎に更新されるカウントアップ値「Graphical_Data_Increment」が挿入される。この場合、符号化画像データに、カウントアップ値「Graphical_Data_Increment」を持つカウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）が挿入される。

エンコーダ１０３，１０４で得られたビデオストリームＶＳ１，ＶＳ２は、マルチプレクサ１０５に供給される。マルチプレクサ１０５では、ビデオストリームＶＳ１，ＶＳ２がＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

また、マルチプレクサ１０５では、トランスポートストリームＴＳのレイヤに、ビデオストリームＶＳ１，ＶＳ２のそれぞれに対応してストリーム情報が挿入される。この場合、プログラムマップテーブルの配下に各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中に、ストリーム情報を持つマルチプル・ストリーム・デスクリプタ（図７参照）が挿入される。

マルチプレクサ１０５で得られたトランスポートストリームＴＳは、送信部１０６に供給さされる。トランスポートストリームＴＳは、送信部１０６により、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。

[トランスポートストリームＴＳの構成]
図１０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、ビデオストリームＶＳ１のＰＥＳパケット「video PES1」が存在すると共に、ビデオストリームＶＳ２のＰＥＳパケット「video PES2」が存在する。なお、図示の例は、ビデオストリームＶＳ１，ＶＳ２のいずれもＨＥＶＣの符号化ストリームである場合を示している。ビデオストリームＶＳ１のパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされ、ビデオストリームＶＳ２のパケット識別子（ＰＩＤ）は例えばＰＩＤ２とされている。

ＰＥＳパケットは、ＰＥＳヘッダ（PES header）とＰＥＳペイロード（PES payload）からなっている。ＰＥＳヘッダにはＤＴＳ/ＰＴＳのタイムスタンプが挿入されており、ＰＥＳペイロードにはビデオストリームＶＳ１，ＶＳ２のアクセスユニットが挿入されている。このアクセスユニットには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。

第２の方法が採られる場合は、図示のように、ピクチャごとにＳＥＩメッセージとして、上述したカウントアップ値「Graphical_Data_Increment」を持つカウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）が挿入される。その場合、ビデオストリームＶＳ１のＰＥＳパケットにおいては、「dependency_type」は“０”とされ、デコード出力は独立表示されるものであることが示される。一方、ビデオストリームＶＳ２のＰＥＳパケットにおいては、「dependency_type」は“１”とされ、デコード出力はＰＥＳパケットのデコード出力と合成表示されることが示される。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオストリームＶＳ１とビデオストリームＶＳ２のそれぞれに対応したビデオエレメンタリストリームループ（video ES loop）が存在する。

ビデオストリームＶＳ１に対応したビデオエレメンタリストリームループには、ストリームタイプ（ValueA）、パケット識別子（PID1）等の情報が配置されていると共に、このビデオストリームＶＳ１に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したマルチプル・ストリーム・デスクリプタ（図７参照）が挿入される。このデスクリプタにおいて、「dependency_type」は“０”とされ、デコード出力は独立表示されるものであることが示される。

また、ビデオストリームＶＳ２に対応したビデオエレメンタリストリームループには、ストリームタイプ（ValueB）、パケット識別子（PID2）等の情報が配置されていると共に、このビデオストリームＶＳ２に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したマルチプル・ストリーム・デスクリプタ（図７参照）が挿入される。このデスクリプタにおいて、「dependency_type」は“１”とされ、デコード出力はＰＥＳパケットのデコード出力と合成表示されることが示される。

「受信装置（低品質フォーマットのみに対応）の構成例」
図１１は、受信装置２００Ａの構成例を示している。この受信装置２００Ａは、低品質フォーマットのみに対応している場合の例である。この受信装置２００Ａは、制御部２０１Ａと、受信部２０２Ａと、デマルチプレクサ２０３Ａと、デコーダ２０４Ａと、モニタ２０５Ａを有している。制御部２０１Ａは、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００Ａの各部の動作を制御する。

受信部２０２Ａは、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、ビデオストリームＶＳ１とビデオストリームＶＳ２が含まれている。デマルチプレクサ２０３Ａは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ビデオストリームＶＳ１を抽出する。このビデオストリームＶＳ１は、低品質フォーマットの画像データＶ１が符号化されて得られたものである。

また、デマルチプレクサ２０３Ａは、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、制御部（ＣＰＵ）２０１Ａに送る。このセクション情報には、マルチプル・ストリーム・デスクリプタ（図７参照）も含まれるが、低品質フォーマットのみに対応する受信装置２００Ａにおいては無視される。

デコーダ２０４Ａは、デマルチプレクサ２０３Ａで抽出されたビデオストリームＶＳ１を復号化し、低品質フォーマットの画像データＶ１を得る。また、デコーダ２０４Ａは、ビデオストリームＶＳ１を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報を抽出し、制御部（ＣＰＵ）２０１Ａに送る。第２の方法が採られる場合、各アクセスユニットにカウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）が挿入されているが、低品質フォーマットのみに対応する受信装置２００Ａにおいては無視される。モニタ２０５Ａは、デコーダ２０４Ａで得られた画像データＶ１による低品質フォーマットの画像、すなわち通常ダイナミックレンジの画像あるいはＨＤ解像度の画像を表示する。

図１１に示す受信装置２００Ａの動作を簡単に説明する。受信部２０２Ａでは、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ａに供給される。デマルチプレクサ２０３Ａでは、トランスポートストリームＴＳからＰＩＤのフィルタリングによってビデオストリームＶＳ１が抽出される。

デマルチプレクサ２０３Ａで抽出されたビデオストリームＶＳ１は、デコーダ２０４Ａに供給される。デコーダ２０４Ａでは、ビデオストリームＶＳ１が復号化され、低品質フォーマットの画像データＶ１が得られる。この画像データＶ１は、モニタ２０５Ａに供給される。モニタ２０５Ａには、画像データＶ１による低品質フォーマットの画像が表示される。

「受信装置（高品質フォーマットに対応）の構成例」
図１２は、受信装置２００Ｂの構成例を示している。この受信装置２００Ｂは、高品質フォーマットに対応している場合の例である。この受信装置２００Ｂは、制御部２０１Ｂと、受信部２０２Ｂと、デマルチプレクサ２０３Ｂと、デコーダ２０４Ｂ，２０５Ｂと、ポストプロセッサ２０６Ｂと、モニタ２０７Ｂを有している。制御部２０１Ｂは、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００Ｂの各部の動作を制御する。

受信部２０２Ｂは、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、ビデオストリームＶＳ１とビデオストリームＶＳ２が含まれている。ビデオストリームＶＳ１は、低品質フォーマットの画像データＶ１が符号化されて得られたものである。ビデオストリームＶＳ２は、高品質フォーマットの画像データＶ２と低品質フォーマットの画像データＶ１との間の差分の画像データＶ３が符号化されて得られたものである。

デマルチプレクサ２０３Ｂは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ビデオストリームＶＳ１およびビデオストリームＶＳ２を抽出する。また、デマルチプレクサ２０３Ｂは、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、制御部（ＣＰＵ）２０１Ｂに送る。このセクション情報には、マルチプル・ストリーム・デスクリプタ（図７参照）も含まれる。

デコーダ２０４Ｂは、デマルチプレクサ２０３Ｂで抽出されたビデオストリームＶＳ１を復号化し、低品質フォーマットの画像データＶ１を得る。また、デコーダ２０４Ｂは、ビデオストリームＶＳ１を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報を抽出し、制御部（ＣＰＵ）２０１Ｂに送る。送信側で第２の方法が採られる場合、この情報には、カウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）も含まれる。

デコーダ２０４Ｂは、図１３、図１４に示すように、デコード部（decoder 1）２０４ａ、エレメンタリストリーム・バッファ（ES_buf 1）２０４ｂおよびデコーデッド・バッファ（Decoded buf 1）２０４ｃなどからなっている。エレメンタリストリーム・バッファ２０４ｂは、デマルチプレクサ２０３Ｂで得られたビデオストリームＶＳ１を一時的に蓄積する。デコード部２０４ａは、エレメンタリストリーム・バッファ２０４ｂに蓄積された各ピクチャの符号化画像データをＤＴＳで示されるタイミングで読み出して復号化する。

デコーデッド・バッファ２０４ｃは、デコード部２０４ａで復号化されて得られた各ピクチャの画像データを一時的に蓄積する。デコーデッド・バッファ２０４ｃに蓄積された画像データＶ１の各ピクチャの画像データ（Decoded Picture 1）は、ＰＴＳあるいは「dpb_output_delay」で示されるタイミングで読み出されて出力される。第２の方法が採られる場合、出力される各ピクチャの画像データ（Decoded Picture 1）には、図１４に示すように、ピクチャ毎に更新されるカウントアップ値「Graphical_Data_Increment 1」が付加される。

デコーダ２０５Ｂは、デマルチプレクサ２０３Ｂで抽出されたビデオストリームＶＳ２を復号化し、画像データＶ３を得る。また、デコーダ２０５Ｂは、ビデオストリームＶＳ２を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報を抽出し、制御部（ＣＰＵ）２０１Ｂに送る。第２の方法が採られる場合、この情報には、カウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）も含まれる。

デコーダ２０５Ｂは、図１３、図１４に示すように、デコード部（decoder 2）２０５ａ、エレメンタリストリーム・バッファ（ES_buf 2）２０５ｂおよびデコーデッド・バッファ（Decoded buf 2）２０５ｃなどからなっている。エレメンタリストリーム・バッファ２０５ｂは、デマルチプレクサ２０３Ｂで得られたビデオストリームＶＳ２を一時的に蓄積する。デコード部２０５ａは、エレメンタリストリーム・バッファ２０５ｂに蓄積された各ピクチャの符号化画像データをＤＴＳで示されるタイミングで読み出して復号化する。

デコーデッド・バッファ２０５ｃは、デコード部２０５ａで復号化されて得られた各ピクチャの画像データを一時的に蓄積する。デコーデッド・バッファ２０５ｃに蓄積された画像データＶ３の各ピクチャの画像データ（Decoded Picture 2）は、ＰＴＳあるいは「dpb_output_delay」で示されるタイミングで読み出されて出力される。第２の方法が採られる場合、出力される各ピクチャの画像データ（Decoded Picture 2）には、図１４に示すように、ピクチャ毎に更新されるカウントアップ値「Graphical_Data_Increment 2」が付加される。

図１２に戻って、ポストプロセッサ２０６Ｂは、デコーダ２０４Ｂで得られた画像データＶ１およびデコーダ２０５Ｂで得られた画像データＶ３に基づいて、高品質フォーマットの画像データＶ２を得る。送信側で第１の方法が採られる場合、デコーダ２０４Ｂから出力される画像データＶ１とデコーダ２０５Ｂから出力される画像データＶ３とは同期した状態にある。つまり、画像データＶ１および画像データＶ３の対応するピクチャは同一のタイミングで出力される。そのため、ポストプロセッサ２０６Ｂは、デコーダ２０４Ｂ，２０５Ｂからの画像データＶ１，Ｖ３を同期合わせの処理をせずに用いる。

この場合、ポストプロセッサ２０６Ｂは、図１３に示すように、インバース処理部（Inv_process）２０６ａからなっている。インバース処理部２０６ａでは、デコーダ２０４Ｂ，２０５Ｂから出力された画像データＶ１，Ｖ３の各ピクチャの画像データに対して、図３、図４のプリプロセッサ１０２の処理部１０２ｂにおける処理とは逆の処理が行われて、高品質フォーマットの画像データＶ２が得られる。

一方、送信側で第２の方法が採られる場合、デコーダ２０４Ｂから出力される画像データＶ１とデコーダ２０５Ｂから出力される画像データＶ３とは同期した状態にない可能性もある。つまり、画像データＶ１および画像データＶ３の対応するピクチャは同一のタイミングで出力されない可能性もある。そのため、ポストプロセッサ２０６Ｂは、デコーダ２０４Ｂ，２０５Ｂからの画像データＶ１，Ｖ３を、同期合わせの処理を行った後に用いる。

この場合、ポストプロセッサ２０６Ｂは、図１４に示すように、インバース処理部（Inv_process）２０６ａ、ポストバッファ（Post_buf1）２０６ｂ、ポストバッファ（Post_buf2）２０６ｃおよびＧＤＩ検出部（GDI Detector）２０６ｄからなっている。ポストバッファ２０６ｂ，２０６ｃおよびＧＤＩ検出部２０６ｄにより画像データＶ１，Ｖ３の同期合わせの処理が行われ、ポストバッファ２０６ｂから出力される画像データＶ１とポストバッファ２０６ｃから出力される画像データＶ３とが確実に同期した状態とされる。

インバース処理部２０６ａでは、ポストバッファ２０６ｂ，２０６ｃから出力された画像データＶ１，Ｖ３の各ピクチャの画像データに対して、図３、図４のプリプロセッサ１０２の処理部１０２ｂにおける処理とは逆の処理が行われて、高品質フォーマットの画像データＶ２が得られる（図１５（ａ），（ｂ）参照）。

図１５（ａ）は、画像データＶ１がＨＤ解像度の画像データであって画像データＶ２がＵＨＤ解像度の画像データであるときのインバース処理部２０６ａの構成例を示している。このインバース処理部２０６ａは、リサイジング部（Resizing）２６１および算術処理部（Arithmetic operation）２６２からなっている。

リサイジング部２６１では、ＨＤ解像度の画像データＶ１の解像度がＵＨＤ解像度となるようにリサイジングされる。算術処理部２６２では、リサイジングされた画像データＶ１と画像データＶ３が加算され、ＵＨＤ解像度の画像データＶ２が得られる。

図１５（ｂ）は、画像データＶ１が通常ダイナミックレンジ（ＳＤＲ）の画像データであって画像データＶ２がハイダイナミックレンジ（ＨＤＲ）の画像データであるときのインバース処理部２０６ａの構成例を示している。このインバース処理部２０６ａは、ピクセルレベル変換部（Pixel Level Conv）２６３および算術処理部（Arithmetic operation）２６４からなっている。

ピクセルレベル変換部２６３では、通常ダイナミックレンジの画像データＶ１の輝度レベルがハイダイナミックレンジの輝度と同レベルになるように符号化サンプルデータの値が変換される。算術処理部２６４では、輝度レベル変換された画像データＶ１と画像データＶ３が加算され、ハイダイナミックレンジの画像データＶ２が得られる。

画像データＶ１がＳＤＲ７０９の画像データであって画像データＶ２がＨＤＲ２０２０の画像データである場合のインバース処理部２０６ａの構成例をさらに説明する。このインバース処理部２０６ａの処理は、送信装置１００のプリプロセッサ１０２における処理部１０２ａ，１０２ｂ（図３、図４参照）の処理に依存する。

図１６は、処理部１０２ａの詳細な構成例を示している。この処理部１０２ａは、ＨＤＲ ＥＯＴＦの変換処理をする処理部１２１と、ＳＤＲ ＯＥＴＦの変換処理および色域２０２０から色域７０９へのマトリクス変換処理をする処理部１２２を有している。

ＨＤＲ（Ｐ−Ｓ特性）で制作されたＨＤＲ２０２０の画像データＶ２は、処理部１２１に供給され、ＨＤＲ ＥＯＴＦ（Ｓ−Ｐ特性）により、リニア空間輝度（cd/m2）(Ｐ，Ｔ）に変換される。この処理部１２１の出力画像データは、処理部１２２に供給され、(Ｐ，Ｔ）平面のＳＤＲ輝度に相当する部分領域（Ｒ，Ｖ）に対して、ＳＤＲ ＯＥＴＦ（Ｒ−Ｗ特性）によりガンマ特性とされ、さらにマトリクス処理により色域２０２０から色域７０９への変換が行われ、ＳＤＲ７０９の画像データＶ１が生成される。

図１７は、処理部１０２ｂの詳細な構成例を示している。この処理部１０２ｂは、ＳＤＲ ＥＯＴＦの変換処理および色域７０９から色域２０２０へのマトリクス処理をする処理部１３１と、ピクセルレベルの変換処理をする処理部１３２と、ＨＤＲ ＥＯＴＦの変換処理をする処理部１３３と、減算処理をする処理部１３４と、ＨＤＲ ＯＥＴＦの変換処理をする処理部１３５を有している。

ＨＤＲ２０２０の画像データＶ２は、処理部１３３に供給され、ＨＤＲ ＥＯＴＦ（Ｓ−Ｐ特性）により、リニア空間輝度（cd/m2）(Ｐ，Ｔ）に変換される。処理部１０２ａからのＳＤＲ７０９の画像データＶ１は、処理部１３１に供給され、ＳＤＲ ＥＯＴＦ（Ｗ−Ｒ特性）により、リニア空間輝度（cd/m2）(Ｒ，Ｖ）に変換され、さらにマトリクス処理により色域７０９から色域２０２０への変換が行われる。

この処理部１３１の出力画像データは、処理部１３２に供給され、(Ｐ，Ｔ）空間にマッピングされる。処理部１３３の出力画像データおよび処理部１３２の出力画像データは、処理部１３４に供給され、減算処理される。そして、この処理部１３４の出力画像データは処理部１３５に供給され、ＨＤＲ ＯＥＴＦの変換処理がされ、エンコーダ（Encoder 2）１０４への出力画像データＶ３となる。

図１８は、インバース処理部２０６ａの詳細な構成例を示している。このインバース処理部２０６ａは、ＳＤＲ ＥＯＴＦの変換処理および色域７０９から色域２０２０へのマトリクス処理をする処理部２６１と、ピクセルレベルの変換処理をする処理部２６２と、ＨＤＲ ＥＯＴＦの変換処理をする処理部２６３と、加算処理をする処理部２６４を有している。

ＨＤＲ２０２０の画像データＶ３は、処理部２６３に供給され、ＨＤＲ ＥＯＴＦ（Ｓ−Ｐ特性）により、リニア空間輝度（cd/m2）(Ｐ，Ｔ）に変換される。ＳＤＲ７０９の画像データＶ１は、処理部２６１に供給され、ＳＤＲ ＥＯＴＦ（Ｗ−Ｒ特性）により、リニア空間輝度（cd/m2）(Ｒ，Ｖ）に変換され、さらにマトリクス処理により色域７０９から色域２０２０への変換が行われる。

この処理部２６１の出力画像データは、処理部２６２に供給され、(Ｐ，Ｔ）空間にマッピングされる。処理部２６３の出力画像データおよび処理部２６２の出力画像データは、処理部２６４に供給されて加算処理され、ＨＤＲ２０２０の画像データＶ２が得られる。

「同期合わせの処理」
ポストバッファ２０６ｂ，２０６ｃおよびＧＤＩ検出部２０６ｄによる画像データＶ１，Ｖ３の同期合わせの処理について説明する。デコーダ２０４Ｂから出力された画像データＶ１の各ピクチャの画像データ（Decoded Picture 1）は、ポストバッファ２０６ｂのキュー（queue）に一時的に蓄えられる。この場合、各ピクチャの画像データに付加されているカウントアップ値「Graphical_Data_Increment 1」も画像データと共に蓄えられる。

一方、デコーダ２０５Ｂから出力された画像データＶ３の各ピクチャの画像データ（Decoded Picture 2）は、ポストバッファ２０６ｃのキュー（queue）に一時的に蓄えられる。この場合、各ピクチャの画像データに付加されているカウントアップ値「Graphical_Data_Increment 2」も画像データと共に蓄えられる。

ＧＤＩ検出部２０６ｄでは、ポストバッファ２０６ｂ，２０６ｃのそれぞれのキューからカウントアップ値（「Graphical_Data_Increment 1」、「Graphical_Data_Increment 2」）を読み出し、比較することが行われる。そして、ＧＤＩ検出部２０６ｄからポストバッファ２０６ｂ，２０６ｃのそれぞれに制御コマンド（「Command 1」、「Command 2」が送られて画像データの読み出しが制御される。

ここで、カウントアップ値が一致した場合、ポストバッファ２０６ｂ，２０６ｃのそれぞれから同じタイミングで画像データが読み出される。一方、それぞれのカウントアップ値が一致しない場合、値の大きい方のポストバッファからの画像データの読み出しはバッファリングで行われず、値の小さい方の値が等しくなった時点で、ポストバッファ２０６ｂ，２０６ｃのそれぞれから画像データが読み出される。

図１９（ａ）は、ＧＤＩ検出部２０６ｄからポストバッファに送られる制御コマンドのタイプ（Command_type）とその内容（Semantics）を示している。「Read」の制御コマンドは、“新たなピクチャをバッファから読み出す”ことを指示する。「Buffered」の制御コマンドは、“バッファリングして、読み出しを待機する”ことを指示する。「Skip&Read」の制御コマンドは、“バッファからピクチャをスキップして読み出す”ことを指示する。「Buffer Clear」の制御コマンドは、“バッファを空にする（起動時あるいはＲＡＰ再生時で用いる）”ことを指示する。「Wait」の制御コマンドは、“バッファ読み出しを待機する”ことを指示する。

図１９（ｂ）は、ポストバッファ２０６ｂ，２０６ｃのそれぞれのキューから読み出されたカウントアップ値（「Graphical_Data_Increment 1」、「Graphical_Data_Increment 2」）の比較で起こり得るケースと、その場合にＧＤＩ検出部２０６ｄがポストバッファ２０６ｂ，２０６ｃに送る制御コマンドを示している。この図において、“ＧＤＩ１”は「Graphical_Data_Increment 1」を示し、“ＧＤＩ２”は「Graphical_Data_Increment 2」を示している。

図２０は、例えば、図１９（ｂ）のケース０（Case=0）、ケース１（Case=1）、ケース２（Case=2）、ケース３（Case=3）における、ポストバッファ（Post_buf1）２０６ｂおよびポストバッファ（Post_buf2）２０６ｃからの読み出し手順を概略的に示している。ここで、ポストバッファ（Post_buf1）２０６ｂは「dependency_type」により独立表示する画像データのバッファリングを行うものであり、ポストバッファ（Post_buf1）２０６ｂ以外は「dependency_type」により、少なくとも独立表示する画像データとの合成を前提とするデータのバッファリングを行うことが認識される。

図１９（ｂ）のケース０（Case=0）の場合、ＧＤＩ１＝ＧＤＩ２であり、ポストバッファ（Post_buf1）２０６ｂおよびポストバッファ（Post_buf2）２０６ｃの双方に「Read」の制御コマンドを送る。この場合、図２０の“Ｃａｓｅ ０”に示すように、双方のポストバッファのキュー読出しのＧＤＩ値（カウントアップ値）が一致するので、キューの順序でポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しを行う。

図１９（ｂ）のケース１（Case=1）の場合、ＧＤＩ１＞ＧＤＩ２であり、ポストバッファ（Post_buf1）２０６ｂに「Read」の制御コマンドを送り、ポストバッファ（Post_buf2）２０６ｃに「Skip&Read」の制御コマンドを送る。この場合、図２０の“Ｃａｓｅ １”に示すように、ポストバッファ２０６ｂの蓄積がポストバッファ２０６ｃの蓄積よりも先んじている場合に相当する。ポストバッファ２０６ｃのキューのデータ蓄積状態がエンプティ（empty）でなければ、「Skip&Read」の制御コマンドでポストバッファ２０６ｃのキューを早読みさせて、ポストバッファ２０６ｂのキュー読み出しとＧＤＩ値を合わせ、ポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しを行う。

図１９（ｂ）のケース２（Case=2）の場合、ＧＤＩ１＞ＧＤＩ２であり、ポストバッファ（Post_buf1）２０６ｂに「Buffered」の制御コマンドを送り、ポストバッファ（Post_buf2）２０６ｃには「Wait」の制御コマンドを送る。この場合、図２０の“Ｃａｓｅ ２”に示すように、ポストバッファ２０６ｂの蓄積がポストバッファ２０６ｃの蓄積よりも先んじている場合に相当する。ポストバッファ２０６ｃのキューのデータ蓄積状態がエンプティ（empty）であれば、ポストバッファ２０６ｃのキューを早読みさせず、ポストバッファ２０６ｂのキュー読み出しをバッファリングで待機し、ポストバッファ２０６ｃのＧＤＩ値と一致するまで待つ。この場合、一定量のデータがポストバッファ２０６ｃに溜まった段階で、ケース１（Case=1）の処理、つまりポストバッファ２０６ｃの早読みをさせることで、早期にポストバッファ２０６ｂとの相互読出しを行うようにしてもよい。

図１９（ｂ）のケース３（Case=3）の場合、ＧＤＩ１＜ＧＤＩ２であり、ポストバッファ（Post_buf1）２０６ｂに「Read」の制御コマンドを送り、ポストバッファ（Post_buf2）２０６ｃに「Buffered」の制御コマンドを送る。この場合、図２０の“Ｃａｓｅ ３”に示すように、ポストバッファ２０６ｃの蓄積がポストバッファ２０６ｂの蓄積よりも先んじている場合に相当する。ポストバッファ２０６ｃのキュー読出しをバッファリングして待機し、ポストバッファ２０６ｂとのＧＤＩ値を合わせてから、ポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しを行う。

図１９（ｂ）のケース４（Case=4）の場合、ＧＤＩ１＜ＧＤＩ２であり、ポストバッファ（Post_buf1）２０６ｂに「Wait」の制御コマンドを送り、ポストバッファ（Post_buf2）２０６ｃに「Buffered」の制御コマンドを送る。この場合は、ポストバッファ２０６ｂとポストバッファ２０６ｃの状態が逆であることを除けば、上述のケース２（Case=2）と同様である。

図２１は、ＧＤＩ検出部（GDI_Detecter）２０６ｄにおける制御例を示している。この例は、キューの深さが４段の場合の例である。（１）は、“Ｃａｓｅ １”の場合の例である。Ｔ１のタイムスロットでは、ＧＤＩ１は「１」であり、ＧＤＩ２は値が無い。このタイムスロットでは、ＧＤＩ１＞ＧＤＩ２の関係であり、しかもポストバッファ２０６ｃのキューはエンプティ状態ではない。

そのため、ポストバッファ（Post_buf1）２０６ｂへの制御コマンド（command 1）は「Read」とされ、ポストバッファ（Post_buf2）２０６ｃへの制御コマンド（command 2）は「Skip&Read」とされる。これにより、ポストバッファ（Post_buf2）２０６ｃのキューが早読みされ、ＧＤＩ２”が「１」となることから、ポストバッファ２０６ｂのキュー読み出しとＧＤＩ値が合った状態となり、ポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しが行われる。

次に、Ｔ２のタイムスロットでは、ＧＤＩ１は「２」であり、ＧＤＩ２”は「２」であり、双方のＧＤＩ値が合った状態にある。これにより、ポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しが行われる。以下のＴ３，Ｔ４のタイムスロットでも同様である。

（２）は、“Ｃａｓｅ ２”の場合の例である。Ｔ１のタイムスロットでは、ＧＤＩ１は「１」であり、ＧＤＩ２は値が無い。このタイムスロットでは、ＧＤＩ１＞ＧＤＩ２の関係にあり、しかもポストバッファ（Post_buf2）２０６ｃのキューはエンプティ状態にある。そのため、ポストバッファ（Post_buf1）２０６ｂへの制御コマンド（command 1）は「buffered」とされ、ポストバッファ（Post_buf2）２０６ｃへは制御コマンド（command 2）は「wait」とされる。これにより、ポストバッファ（Post_buf1）２０６ｂのキュー読み出しは待機される。以下のＴ２，Ｔ３のタイムスロットでも同様となる。

次に、Ｔ４のタイムスロットでは、ＧＤＩ１、つまりＧＤＩ１’は「１」にあり、ＧＤＩ２は「１」であり、双方のＧＤＩ値が合った状態にある。これにより、ポストバッファ（Post_buf1）２０６ｂへの制御コマンド（command 1）は「Read」とされ、ポストバッファ（Post_buf2）２０６ｃへの制御コマンド（command 2）も「Read」とされ、ポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しが行われる。

（３）は、“Ｃａｓｅ ３”の場合の例である。Ｔ１のタイムスロットでは、ＧＤＩ２は「１」であり、ＧＤＩ１は値が無い。このタイムスロットでは、ＧＤＩ２＞ＧＤＩ１の関係にある。そのため、ポストバッファ（Post_buf1）２０６ｂへは制御コマンド（command 1）は送られず、ポストバッファ（Post_buf2）２０６ｃへの制御コマンド（command 2）は「buffered」とされる。これにより、ポストバッファ（Post_buf2）２０６ｃのキュー読み出しは待機される。

次に、Ｔ２のタイムスロットでは、ＧＤＩ２、つまりＧＤＩ２’は「１」にあり、ＧＤＩ１は「１」であり、双方のＧＤＩ値が合った状態にある。これにより、ポストバッファ（Post_buf1）２０６ｂへの制御コマンド（command 1）は「Read」とされ、ポストバッファ（Post_buf2）２０６ｃへの制御コマンド（command 2）も「Read」とされ、ポストバッファ２０６ｂ，２０６ｃのそれぞれから読出しが行われる。以下のＴ３，Ｔ４のタイムスロットでも同様となる。

図２２は、上述したポストバッファ（Post_buf1）２０６ｂおよびポストバッファ（Post_buf2）２０６ｃのキューからＧＤＩ検出部２０６ｄの制御による画像データの読み出しを行う場合の状態遷移を概略的に示している。

図１２に戻って、モニタ２０７Ｂは、ポストプロセッサ２０６Ｂで得られた画像データＶ２による高品質フォーマットの画像、すなわちハイダイナミックレンジ（ＨＤＲ）の画像あるいはＵＨＤ解像度の画像を表示する。

図１２に示す受信装置２００Ｂの動作を簡単に説明する。受信部２０２Ｂでは、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ｂに供給される。デマルチプレクサ２０３Ｂでは、トランスポートストリームＴＳからＰＩＤのフィルタリングによって、ビデオストリームＶＳ１およびビデオストリームＶＳ２が抽出される。

また、デマルチプレクサ２０３Ｂでは、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、制御部（ＣＰＵ）２０１Ｂに送られる。このセクション情報には、マルチプル・ストリーム・デスクリプタ（図７参照）も含まれる。

デマルチプレクサ２０３Ｂで抽出されたビデオストリームＶＳ１は、デコーダ２０４Ｂに供給される。デコーダ２０４Ｂでは、ビデオストリームＶＳ１が復号化され、低品質フォーマットの画像データＶ１が得られる。また、デコーダ２０４Ｂでは、ビデオストリームＶＳ１を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報が抽出され、制御部（ＣＰＵ）２０１Ｂに送られる。第２の方法が採られる場合、この情報には、カウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）も含まれる。

デマルチプレクサ２０３Ｂで抽出されたビデオストリームＶＳ２は、デコーダ２０５Ｂに供給される。デコーダ２０５Ｂでは、ビデオストリームＶＳ２が復号化され、画像データＶ３が得られる。また、デコーダ２０５Ｂでは、ビデオストリームＶＳ２を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報が抽出され、制御部（ＣＰＵ）２０１Ｂに送られる。送信側で第２の方法が採られる場合、この情報には、カウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）も含まれる。

デコーダ２０４Ｂ，２０５Ｂで得られた画像データＶ１，Ｖ３は、ポストプロセッサ２０６Ｂに供給される。ポストプロセッサ２０６Ｂでは、画像データＶ１および画像データＶ３に基づいて、高品質フォーマットの画像データＶ２が得られる。

この場合、送信側で第１の方法が採られる場合、デコーダ２０４Ｂから出力される画像データＶ１とデコーダ２０５Ｂから出力される画像データＶ３とは同期した状態にある。そのため、この場合、ポストプロセッサ２０６Ｂでは、デコーダ２０４Ｂ，２０５Ｂからの画像データＶ１，Ｖ３が同期合わせの処理がされることなく、そのまま用いられる。

一方、送信側で第２の方法が採られる場合、デコーダ２０４Ｂから出力される画像データＶ１とデコーダ２０５Ｂから出力される画像データＶ３とは同期した状態にない可能性もある。そのため、この場合、ポストプロセッサ２０６Ｂでは、デコーダ２０４Ｂ，２０５Ｂからの画像データＶ１，Ｖ３が、ＧＤＩ値（カウントアップ値「Graphical_Data_Increment」）に基づく同期合わせ処理がされて、用いられる。

ポストプロセッサ２０６Ｂで得られた画像データＶ２は、モニタ２０７Ｂに供給される。モニタ２０７Ｂには、画像データＶ２（ハイダイナミックレンジの画像データあるいはＵＨＤ解像度の画像データ）による高品質フォーマットの画像が表示される。

上述したように、図１に示す送受信システム１０において、送信装置１００は、画像データＶ１，Ｖ３をそれぞれエンコーダ１０３，１０４で符号化する際に、受信側でこれら画像データＶ１，Ｖ３を同期した状態で取得可能とするめの処理をする。例えば、第１の方法を採る場合、画像データＶ１，Ｖ３を、対応するピクチャの表示タイミングが一致するように符号化する。また、例えば、第２の方法を採る場合、画像データＶ１，Ｖ３の対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報を挿入する。そのため、受信側で画像データＶ１，Ｖ３を同期した状態で取得することが可能となり、画像データＶ１，Ｖ３に基づいて、高品質フォーマットの画像データＶ２を良好に得ることができる。

＜２．第２の実施の形態＞
［送受信システムの構成例］
図２３は、第２の実施の形態としての送受信システム２０の構成例を示している。この送受信システム２０は、送信装置３００および受信装置４００により構成されている。

送信装置３００は、コンテナストリーム（多重化ストリーム）としてのＭＰＥＧ−２ トランスポートストリーム（以下、単に、「トランスポートストリームＴＳ」と称する）を、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、第１から第Ｎ（Ｎは２以上の整数）のビデオストリームが含まれる。第１から第Ｎのビデオストリームは、それぞれ、同期表示をすべきＮ個の画像に係る第１から第Ｎの画像データをＨＥＶＣ、ＡＶＣ等で符号化して得られたビデオストリームである。

送信装置３００は、第１から第Ｎの画像データを符号化する際に、受信側でこれら第１から第Ｎの画像データを同期した状態で取得可能とするめに、上述した第１の実施の形態と同様に、第１の方法または第２の方法を採る。詳細説明は省略するが、第１の方法を採る場合には、第１から第Ｎの画像データを、対応するピクチャの表示タイミングが一致するように符号化し、第２の方法を採る場合には、第１から第Ｎの画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報を挿入する。

受信装置４００は、送信装置３００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように第１から第Ｎのビデオストリームが含まれている。受信装置４００は、トランスポートストリームＴＳから第１から第Ｎのストリームを抽出し、復号化して、第１から第Ｎの画像データを得る。

ここで、送信側で第１の方法が採られる場合、第１から第Ｎの画像データは同期した状態、つまり対応するピクチャが同一タイミングで得られる。一方、送信側で第２の方法が採られる場合、第１から第Ｎの画像データの対応するピクチャは同期した状態にない可能性もある。そのため、互いのピクチャを関連付けるための情報に基づいて、第１から第Ｎの画像データを同期した状態とする。

受信装置４００は、同期した状態にある第１から第Ｎの画像データをそれぞれ第１から第Ｎのモニタ（スクリーンデバイス）に供給し、これら第１から第Ｎのモニタにそれぞれ第１から第Ｎの画像を同期表示する。

「送信装置の構成例」
図２４は、送信装置３００の構成例を示している。この送信装置３００は、制御部３０１と、エンコーダ３０２-1〜３０２-Nと、マルチプレクサ３０３と、送信部３０４を有している。制御部３０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置３００の各部の動作を制御する。

エンコーダ３０２-1〜３０２-Nは、それぞれ、同期表示をすべきＮ個の画像に係る画像データＶ１〜ＶＮをＨＥＶＣ、ＡＶＣ等で符号化して、ビデオストリームＶＳ１〜ＶＳＮを得る。ここで、エンコーダ３０２-1〜３０２-Nは、エンコーダ間の依存性は考慮せず、符号化ピクチャタイプの決定は各々独立して決めることができるものとする。エンコーダ３０２-1〜３０２-Nは、符号化をするに当たって、受信側で画像データＶ１〜ＶＮを同期した状態で取得可能とするめに、第１の方法または第２の方法を採る。

第１の方法を採る場合、エンコーダ３０２-1〜３０２-Nは、それぞれ、画像データＶ１〜ＶＮを、対応するピクチャの表示タイミングが一致するように符号化する。この場合、エンコーダ３０２-1〜３０２-Nのいずれかから他のエンコーダにＨＲＤパラメータあるいはイントラピクチャでリセットされるピクチャエンコードカウント値が供給されるか、または制御部（ＣＰＵ）３０１からエンコーダ３０２-1〜３０２-Nに共通のＨＲＤパラメータが供給される。

一方、第２の方法を採る場合、エンコーダ３０２-1〜３０２-Nは、対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報を挿入する。具体的には、エンコーダ３０２-1〜３０２-Nは、それぞれ、アクセスユニット（ＡＵ）の、例えば“Suffix_SEIs”の部分に、「Graphical_Data_Increment」の情報を持つ、上述したカウンタ・インフォメーション・ＳＥＩメッセージ（Counter_Information SEI message）（図５参照）を挿入する。

マルチプレクサ３０３は、エンコーダ３０２-1〜３０２-Nで生成されたビデオストリームＶＳ１〜ＶＳＮをＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。また、マルチプレクサ３０３は、トランスポートストリームＴＳのレイヤに、ビデオストリームＶＳ１〜ＶＳＮのそれぞれに対応してストリーム情報を挿入する。

マルチプレクサ３０３は、プログラムマップテーブルの配下に各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中に、ストリーム情報を持つ、上述したマルチプル・ストリーム・デスクリプタ（Multiple_stream_descriptor）（図７参照）を挿入する。

送信部３０４は、マルチプレクサ３０３で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置４００に送信する。

図２４に示す送信装置３００の動作を簡単に説明する。同期表示をすべきＮ個の画像に係る画像データＶ１〜ＶＮはそれぞれエンコーダ３０２-1〜３０２-Nに供給される。エンコーダ３０２-1〜３０２-Nでは、それぞれ、画像データＶ１〜ＶＮがＨＥＶＣ、ＡＶＣ等で符号化されて、ビデオストリームＶＳ１〜ＶＳＮが得られる。

この場合、受信側で画像データＶ１〜ＶＮを同期した状態で取得可能とするめに、第１の方法または第２の方法が採られる。第１の方法が採られる場合は、エンコーダ３０２-1〜３０２-Nでは、それぞれ、画像データＶ１〜ＶＮが、対応するピクチャの表示タイミングが一致するように符号化される。この場合、エンコーダ３０２-1〜３０２-Nでは、ＨＲＤパラメータやピクチャエンコードカウント値が共有される。

また、第２の方法が採られる場合は、エンコーダ３０２-1〜３０２-Nでは、対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報が挿入される。この場合、符号化画像データに、カウントアップ値「Graphical_Data_Increment」を持つカウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）が挿入される。

エンコーダ３０２-1〜３０２-Nで得られたビデオストリームＶＳ１〜ＶＳＮは、マルチプレクサ３０３に供給される。マルチプレクサ３０３では、ビデオストリームＶＳ１〜ＶＳＮがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

また、マルチプレクサ３０３では、トランスポートストリームＴＳのレイヤに、ビデオストリームＶＳ１〜ＶＳＮのそれぞれに対応してストリーム情報が挿入される。この場合、プログラムマップテーブルの配下に各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中に、ストリーム情報を持つマルチプル・ストリーム・デスクリプタ（図７参照）が挿入される。

マルチプレクサ３０３で得られたトランスポートストリームＴＳは、送信部３０４に供給さされる。トランスポートストリームＴＳは、送信部３０４により、放送波あるいはネットのパケットに載せて、受信装置４００に送信される。

「受信装置の構成例」
図２５は、受信装置４００の構成例を示している。この受信装置４００は、制御部４０１と、受信部４０２と、デマルチプレクサ４０３と、デコーダ４０４-1〜４０４-Nと、同期処理部４０５と、モニタ４０６-1〜４０６-Nを有している。制御部４０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置４００の各部の動作を制御する。

受信部４０２は、送信装置３００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、ビデオストリームＶＳ１〜ＶＳＮが含まれている。ビデオストリームＶＳ１〜ＶＳＮは、それぞれ、同期表示をすべきＮ個の画像に係る画像データＶ１〜ＶＮがＨＥＶＣ、ＡＶＣ等で符号化されて得られたものである。

デマルチプレクサ４０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ビデオストリームＶＳ１〜ＶＳＮを抽出する。また、デマルチプレクサ４０３は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、制御部（ＣＰＵ）４０１に送る。このセクション情報には、マルチプル・ストリーム・デスクリプタ（図７参照）も含まれる。

デコーダ４０４-1〜４０４-Nは、それぞれ、デマルチプレクサ４０３で抽出されたビデオストリームＶＳ１〜ＶＳＮを復号化し、画像データＶ１〜ＶＮを得る。また、デコーダ４０４-1〜４０４-Nは、ビデオストリームＶＳ１〜ＶＳＮを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報を抽出し、制御部（ＣＰＵ）４０１に送る。送信側で第２の方法が採られる場合、この情報には、カウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）も含まれる。

送信側で第１の方法が採られる場合、デコーダ４０４-1〜４０４-Nから出力される画像データＶ１〜ＶＮは同期した状態にある。つまり、画像データＶ１〜ＶＮの対応するピクチャは同一のタイミングで出力される。一方、送信側で第２の方法が採られる場合、デコーダ４０４-1〜４０４-Nから出力される画像データＶ１〜ＶＮは同期した状態にない可能性もある。

同期処理部４０５は、送信側で第１の方法が採られる場合には、デコーダ４０４-1〜４０４-Nから出力される画像データＶ１〜ＶＮをそのまま出力する。一方、同期処理部４０５は、送信側で第２の方法が採られる場合には、デコーダ４０４-1〜４０４-Nから出力される画像データＶ１〜ＶＮに、同期合わせ処理を行って、出力する。詳細説明は省略するが、この同期合わせ処理は、上述の第１の実施の形態における受信装置２００Ｂのポストプロセッサ２０６Ｂと同様に、画像データＶ１〜ＶＮの互いのピクチャを関連付けるための情報としてのカウントアップ値「Graphical_Data_Increment」に基づいて行われる。

モニタ４０６-1〜４０６-Nは、それぞれ、同期処理部４０５から出力された画像データＶ１〜ＶＮによる画像を表示する。例えば、モニタ４０６-1〜４０６-Nは、それぞれ、スクリーンの一部として機能するスクリーンデバイスを構成する。

図２６は、８個のスクリーンデバイスで構成されるスクリーン例を示している。“center”位置への表示である「Stream_id = 1」のＥＳループのデスクリプタでは、“Center”位置以外への表示をするストリームの識別情報は、各々「Corresponding_stream_id = 2」(Stream_id = 2)、「Corresponding_stream_id = 3」(Stream_id = 3)、・・・となる。

また、図２７は、５個のスクリーンデバイスで構成されるスクリーン例を示している。“center”位置への表示である「Stream_id = 1」のＥＳループのデスクリプタでは、“Center”位置以外への表示をするストリームの識別情報は、各々「Corresponding_stream_id = 2」(Stream_id = 2)、「Corresponding_stream_id = 3」(Stream_id = 3)、・・・となる。なお、曲面への表示は表示時の補正処理に依る。

図２５に示す受信装置４００の動作を簡単に説明する。受信部４０２では、送信装置３００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ４０３に供給される。デマルチプレクサ４０３では、トランスポートストリームＴＳからＰＩＤのフィルタリングによって、ビデオストリームＶＳ１〜ＶＳＮが抽出される。また、デマルチプレクサ４０３では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、制御部（ＣＰＵ）４０１に送られる。このセクション情報には、マルチプル・ストリーム・デスクリプタ（図７参照）も含まれる。

デマルチプレクサ４０３で抽出されたビデオストリームＶＳ１〜ＶＳＮは、それぞれ、デコーダ４０４-1〜４０４-Nに供給される。デコーダ４０４-1〜４０４-Nでは、それぞれ、ビデオストリームＶＳ１〜ＶＳＮが復号化され、画像データＶ１〜ＶＮが得られる。また、デコーダ４０４-1〜４０４-Nでは、ビデオストリームＶＳ１〜ＶＳＮを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどの情報が抽出され、制御部（ＣＰＵ）４０１に送られる。送信側で第２の方法が採られる場合、この情報には、カウンタ・インフォメーション・ＳＥＩメッセージ（図５参照）も含まれる。

デコーダ４０４-1〜４０４-Nで得られた画像データＶ１〜ＶＮは、それぞれ、同期処理部４０５を介して、モニタ４０６-1〜４０６-Nに供給される。送信側で第１の方法が採られる場合、デコーダ４０４-1〜４０４-Nから出力される画像データＶ１〜ＶＮは同期した状態にある。そのため、この場合は、デコーダ４０４-1〜４０４-Nで得られた画像データＶ１〜ＶＮに対して同期処理部４０５では何も行われず、そのまま出力される。一方、送信側で第２の方法が採られる場合、同期処理部４０５では、デコーダ４０４-1〜４０４-Nから出力される画像データＶ１〜ＶＮに対して、カウントアップ値「Graphical_Data_Increment」に基づき、同期合わせ処理が行われる。

モニタ４０６-1〜４０６-Nには、それぞれ、同期した状態にある画像データＶ１〜ＶＮが供給される。そして、モニタ４０６-1〜４０６-Nには、それぞれ、画像データＶ１〜ＶＮによるＮ個の画像が同期して表示される。

上述したように、図２３に示す送受信システム２０において、送信装置３００は、画像データＶ１〜ＶＮをそれぞれエンコーダ３０２-1〜３０２-Nで符号化する際に、受信側でこれら画像データＶ１〜ＶＮを同期した状態で取得可能とするめの処理をする。例えば、第１の方法を採る場合、画像データＶ１〜ＶＮを、対応するピクチャの表示タイミングが一致するように符号化する。また、例えば、第２の方法を採る場合、画像データＶ１〜ＶＮの対応するピクチャの符号化画像データに、互いのピクチャを関連付けるための情報を挿入する。そのため、受信側で画像データＶ１〜ＶＮを同期した状態で取得することが可能となり、Ｎ個の画像の同期表示を良好に行うことができる。

＜３．変形例＞
なお、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、トランスポートがＴＳと限定されるものではなく、他のパケット、例えばＩＳＯＢＭＦＦ（ISO base media file format）やＭＭＴ（MPEG Media Transport）などの場合でも、ビデオのレイヤは同一の方法で実現できる。

また、本技術は、以下のような構成を取ることもできる。
（１）複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコーダと、
上記複数のストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記複数のエンコーダは、上記複数の画像データを、対応するピクチャの表示タイミングが一致するように符号化する
送信装置。
（２）上記複数のエンコーダのいずれかから他のエンコーダにＨＲＤパラメータあるいはイントラピクチャでリセットされるピクチャエンコードカウント値が供給されるか、または上記複数のエンコーダに外部から共通のＨＲＤパラメータが供給される
前記（１）に記載の送信装置。
（３）上記複数のエンコーダとして、第１の画像データを符号化して第１のストリームを得る第１のエンコーダと、上記第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して第２のストリームを得る第２のエンコーダを有し、
上記送信部は、上記第１のストリームおよび上記第２のストリームを含む上記所定フォーマットのコンテナを送信する
前記（１）または（２）に記載の送信装置。
（４）上記第２の画像データは高品質フォーマットの画像データであり、上記第１の画像データは上記第２の画像データを処理して得られた低品質フォーマットの画像データであり、
上記第３の画像データは、上記第２の画像データと上記第１の画像データとの間の差分の画像データである
前記（３）に記載の送信装置。
（５）上記第２の画像データはハイダイナミックレンジの画像データであって上記第１の画像データは通常ダイナミックレンジの画像データであるか、上記第２の画像データはＵＨＤ解像度の画像データであって上記第１の画像データはＨＤ解像度の画像データである
前記（４）に記載の送信装置。
（６）上記第２の画像データを処理して上記第１の画像データを得、該第１の画像データと上記第２の画像データに基づいて上記第３の画像データを得、上記第１の画像データおよび上記第３の画像データを出力する処理部をさらに備える
前記（３）から（５）のいずれかに記載の送信装置。
（７）複数の画像データをそれぞれ符号化して複数のストリームを得るエンコードステップと、
送信部により、上記複数のストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記エンコードステップでは、上記複数の画像データを、対応するピクチャの表示タイミングが一致するように符号化する
送信方法。
（８）複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化されており、
上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた処理を制御する制御部をさらに備える
受信装置。
（９）上記コンテナは、第１の画像データを符号化して得られた第１のストリームと、該第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して得られた第２のストリームを含み、
上記デコード処理では、上記第１のストリームを復号化して上記第１の画像データを得ると共に、上記第２のストリームを復号化して上記第３の画像データを得、
上記複数の画像データを用いた処理では、上記第１の画像データと上記第３の画像データに基づいて上記第２の画像データを得る
前記（８）に記載の受信装置。
（１０）受信部により、複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化されており、
上記複数のストリームを復号化して上記複数の画像データを得る処理と、該複数の画像データを用いた処理を制御する制御ステップをさらに有する
受信方法。
（１１）複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコーダと、
上記複数のストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記複数のエンコーダは、それぞれ、上記複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報を挿入する
送信装置。
（１２）上記互いのピクチャを関連付けするための情報は、ピクチャ毎に更新されるカウントアップ値である
前記（１１）に記載の送信装置
（１３）上記複数のエンコーダとして、第１の画像データを符号化して第１のストリームを得る第１のエンコーダと、上記第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して第２のストリームを得る第２のエンコーダを有し、
上記送信部は、上記第１のストリームおよび上記第２のストリームを含む上記所定フォーマットのコンテナを送信する
前記（１１）または（１２）に記載の送信装置。
（１４）上記第２の画像データは高品質フォーマットの画像データであり、上記第１の画像データは上記第２の画像データを処理して得られた低品質フォーマットの画像データであり、
上記第３の画像データは、上記第２の画像データと上記第１の画像データとの間の差分の画像データである
前記（１３）に記載の送信装置。
（１５）上記第２の画像データはハイダイナミックレンジの画像データであって上記第１の画像データは通常ダイナミックレンジの画像データであるか、上記第２の画像データはＵＨＤ解像度の画像データであって上記第１の画像データはＨＤ解像度の画像データである
前記（１４）に記載の送信装置。
（１６）上記第２の画像データを処理して上記第１の画像データを得、該第１の画像データと上記第２の画像データに基づいて上記第３の画像データを得、上記第１の画像データおよび上記第３の画像データを出力する処理部をさらに備える
前記（１３）から（１５）のいずれかに記載の送信装置。
（１７）複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコードステップと、
送信部により、上記複数のストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記エンコードステップでは、それぞれ、上記複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報を挿入する
送信方法。
（１８）複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記複数の画像データの対応するピクチャのエンコード画像データに、互いのピクチャを関連付けするための情報が挿入されており、
上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた画像データ処理を制御すると共に、上記互いのピクチャを関連付けするための情報に基づいて、上記画像データ処理で用いられる上記複数の画像データが同期した状態となるように制御する制御部をさらに備える
受信装置。
（１９）上記コンテナは、第１の画像データを符号化して得られた第１のストリームと、該第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して得られた第２のストリームを含み、
上記デコード処理では、上記第１のストリームを復号化して上記第１の画像データを得ると共に、上記第２のストリームを復号化して上記第３の画像データを得、
上記複数の画像データを用いた処理では、上記第１の画像データと上記第３の画像データに基づいて上記第２の画像データを得る
前記（１８）に記載の受信装置。
（２０）受信部により、複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記複数の画像データの対応するピクチャのエンコード画像データに、互いのピクチャを関連付けするための情報が挿入されており、
上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた画像データ処理を制御すると共に、上記互いのピクチャを関連付けするための情報に基づいて、上記画像データ処理で用いられる上記複数の画像データが同期した状態となるように制御する制御ステップを有する
受信方法。

本技術の主な特徴は、複数の画像データを対応するピクチャの表示タイミングが一致するように符号化するか、複数の画像データの対応するピクチャの符号化画像データに互いのピクチャを関連付けするための情報を挿入して送信することで、受信側で複数の画像データを同期した状態で取得することを可能としたことである（図２、図３、図４参照）。

１０，２０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２・・・プリプロセッサ
１０２ａ，１０２ｂ・・・処理部
１０３，１０４・・・エンコーダ
１０３ａ，１０４ａ・・・エンコード部
１０３ｂ，１０４ｂ・・・ローカル・デコーデッド・バッファ
１０３ｃ，１０４ｃ・・・エレメンタリストリーム・バッファ
１０５・・・マルチプレクサ
１０６・・・送信部
２００Ａ，２００Ｂ・・・受信装置
２０１Ａ，２０１Ｂ・・・制御部
２０２Ａ，２０２Ｂ・・・受信部
２０３Ａ，２０３Ｂ・・・デマルチプレクサ
２０４Ａ，２０４Ｂ，２０５Ｂ・・・デコーダ
２０４ａ，２０５ａ・・・デコード部
２０４ｂ、２０５ｂ・・・エレメンタリストリーム・バッファ
２０４ｃ、２０５ｃ・・・デコーデッド・バッファ
２０５Ａ、２０７Ｂ・・・モニタ
２０６Ｂ・・・ポストプロセッサ
２０６ａ・・・インバース処理部
２０６ｂ，２０６ｃ・・・ポストバッファ
２０６ｄ・・・ＧＤＩ検出部
２６１・・・リサイジング部
２６１，２６４・・・算術処理部
２６３・・・ピクセルレベル変換部
３００・・・送信装置
３０１・・・制御部
３０２-1〜３０２-N・・・エンコーダ
３０３・・・マルチプレクサ
３０４・・・送信部
４００・・・受信装置
４０１・・・制御部
４０２・・・受信部
４０３・・・デマルチプレクサ
４０４-1〜４０４-N・・・デコーダ
４０５・・・同期処理部
４０６-1〜４０６-N・・・モニタ

Claims (20)

1. 複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコーダと、
   上記複数のストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
   上記複数のエンコーダは、上記複数の画像データを、対応するピクチャの表示タイミングが一致するように符号化する
   送信装置。
2. 上記複数のエンコーダのいずれかから他のエンコーダにＨＲＤパラメータあるいはイントラピクチャでリセットされるピクチャエンコードカウント値が供給されるか、または上記複数のエンコーダに外部から共通のＨＲＤパラメータが供給される
   請求項１に記載の送信装置。
3. 上記複数のエンコーダとして、第１の画像データを符号化して第１のストリームを得る第１のエンコーダと、上記第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して第２のストリームを得る第２のエンコーダを有し、
   上記送信部は、上記第１のストリームおよび上記第２のストリームを含む上記所定フォーマットのコンテナを送信する
   請求項１に記載の送信装置。
4. 上記第２の画像データは高品質フォーマットの画像データであり、上記第１の画像データは上記第２の画像データを処理して得られた低品質フォーマットの画像データであり、
   上記第３の画像データは、上記第２の画像データと上記第１の画像データとの間の差分の画像データである
   請求項３に記載の送信装置。
5. 上記第２の画像データはハイダイナミックレンジの画像データであって上記第１の画像データは通常ダイナミックレンジの画像データであるか、上記第２の画像データはＵＨＤ解像度の画像データであって上記第１の画像データはＨＤ解像度の画像データである
   請求項４に記載の送信装置。
6. 上記第２の画像データを処理して上記第１の画像データを得、該第１の画像データと上記第２の画像データに基づいて上記第３の画像データを得、上記第１の画像データおよび上記第３の画像データを出力する処理部をさらに備える
   請求項３に記載の送信装置。
7. 複数の画像データをそれぞれ符号化して複数のストリームを得るエンコードステップと、
   送信部により、上記複数のストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
   上記エンコードステップでは、上記複数の画像データを、対応するピクチャの表示タイミングが一致するように符号化する
   送信方法。
8. 複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
   上記複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化されており、
   上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた処理を制御する制御部をさらに備える
   受信装置。
9. 上記コンテナは、第１の画像データを符号化して得られた第１のストリームと、該第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して得られた第２のストリームを含み、
   上記デコード処理では、上記第１のストリームを復号化して上記第１の画像データを得ると共に、上記第２のストリームを復号化して上記第３の画像データを得、
   上記複数の画像データを用いた処理では、上記第１の画像データと上記第３の画像データに基づいて上記第２の画像データを得る
   請求項８に記載の受信装置。
10. 受信部により、複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記複数の画像データは、対応するピクチャの表示タイミングが一致するように符号化されており、
    上記複数のストリームを復号化して上記複数の画像データを得る処理と、該複数の画像データを用いた処理を制御する制御ステップをさらに有する
    受信方法。
11. 複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコーダと、
    上記複数のストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記複数のエンコーダは、それぞれ、上記複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報を挿入する
    送信装置。
12. 上記互いのピクチャを関連付けするための情報は、ピクチャ毎に更新されるカウントアップ値である
    請求項１１に記載の送信装置
13. 上記複数のエンコーダとして、第１の画像データを符号化して第１のストリームを得る第１のエンコーダと、上記第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して第２のストリームを得る第２のエンコーダを有し、
    上記送信部は、上記第１のストリームおよび上記第２のストリームを含む上記所定フォーマットのコンテナを送信する
    請求項１１に記載の送信装置。
14. 上記第２の画像データは高品質フォーマットの画像データであり、上記第１の画像データは上記第２の画像データを処理して得られた低品質フォーマットの画像データであり、
    上記第３の画像データは、上記第２の画像データと上記第１の画像データとの間の差分の画像データである
    請求項１３に記載の送信装置。
15. 上記第２の画像データはハイダイナミックレンジの画像データであって上記第１の画像データは通常ダイナミックレンジの画像データであるか、上記第２の画像データはＵＨＤ解像度の画像データであって上記第１の画像データはＨＤ解像度の画像データである
    請求項１４に記載の送信装置。
16. 上記第２の画像データを処理して上記第１の画像データを得、該第１の画像データと上記第２の画像データに基づいて上記第３の画像データを得、上記第１の画像データおよび上記第３の画像データを出力する処理部をさらに備える
    請求項１３に記載の送信装置。
17. 複数の画像データをそれぞれ符号化して複数のストリームを得る複数のエンコードステップと、
    送信部により、上記複数のストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記エンコードステップでは、それぞれ、上記複数の画像データの対応するピクチャの符号化画像データに、互いのピクチャを関連付けするための情報を挿入する
    送信方法。
18. 複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記複数の画像データの対応するピクチャのエンコード画像データに、互いのピクチャを関連付けするための情報が挿入されており、
    上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた画像データ処理を制御すると共に、上記互いのピクチャを関連付けするための情報に基づいて、上記画像データ処理で用いられる上記複数の画像データが同期した状態となるように制御する制御部をさらに備える
    受信装置。
19. 上記コンテナは、第１の画像データを符号化して得られた第１のストリームと、該第１の画像データと該第１の画像データに関連した第２の画像データに基づいて得られた第３の画像データを符号化して得られた第２のストリームを含み、
    上記デコード処理では、上記第１のストリームを復号化して上記第１の画像データを得ると共に、上記第２のストリームを復号化して上記第３の画像データを得、
    上記複数の画像データを用いた処理では、上記第１の画像データと上記第３の画像データに基づいて上記第２の画像データを得る
    請求項１８に記載の受信装置。
20. 受信部により、複数の画像データをそれぞれ符号化して得られた複数のストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記複数の画像データの対応するピクチャのエンコード画像データに、互いのピクチャを関連付けするための情報が挿入されており、
    上記複数のストリームを復号化して上記複数の画像データを得るデコード処理と、該複数の画像データを用いた画像データ処理を制御すると共に、上記互いのピクチャを関連付けするための情報に基づいて、上記画像データで用いられる上記複数の画像データが同期した状態となるように制御する制御ステップを有する
    受信方法。

Images