WO2014038522A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Abstract

　超高精細サービスの画像データがスケーラブル符号化されずに送信される場合に、この超高精細サービスに対応していない受信機において自身の表示能力に合った解像度の画像データの取得を容易とする。　符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する。ビデオストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報を挿入する。例えば、補助情報は、符号化画像データに含まれる動きベクトルの精度制限を示す情報とされる。また、例えば、補助情報は、時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを識別する情報とされる。

Description

送信装置、送信方法、受信装置および受信方法

　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、空間的あるいは時間的な超高解像度画像の画像データを送信する送信装置等に関する。

　例えば、有効画素数が１９２０×１０８０であるＨＤ画像の他に、有効画素数が水平、垂直にそれぞれ２倍、４倍である４Ｋ、８Ｋ等の空間的な超高解像度画像のサービスが考えられている（例えば、特許文献１参照）。また、例えば、フレーム周波数が３０Ｈｚである画像の他に、フレーム周波数が６０Ｈｚ、１２０Ｈｚ等の時間的な超高解像度画像のサービスが考えられている。なお、これらの超高解像度画像のサービスを、適宜、超高精細サービスと呼ぶ。

特開２０１１―０５７０６９号公報

　上述の超高精細サービスの画像データがスケーラブル符号化されている場合、この超高精細サービスに対応していない受信機においても、自身の表示能力に合った解像度の画像データを容易に取得できる。しかし、超高精細サービスの画像データがスケーラブル符号化されていない場合、この超高精細サービスに対応していない受信機においては、自身の表示能力に合った解像度の画像データを取得することが困難となる。

　本技術の目的は、超高精細サービスの画像データがスケーラブル符号化されずに送信される場合に、この超高精細サービスに対応していない受信機において自身の表示能力に合った解像度の画像データの取得を容易とすることにある。

　本技術の概念は、
　符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報を挿入する補助情報挿入部とを備える
　送信装置にある。

　本技術において、送信部により、符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナが送信される。符号化画像データは、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化が施されたものである。コンテナは、例えば、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）であってもよい。また、コンテナは、例えば、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

　補助情報挿入部により、ビデオストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入される。例えば、補助情報は、符号化画像データに含まれる動きベクトルの精度制限を示す情報とされてもよい。また、例えば、補助情報は、時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを識別する情報とされてもよい。

　このように本技術においては、ビデオストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されるものである。そのため、超高精細サービスの画像データがスケーラブル符号化されずに送信される場合、この超高精細サービスに対応していない受信機において自身の表示能力に合った解像度の画像データの取得を容易に行い得る。

　なお、本技術において、例えば、コンテナのレイヤに、補助情報がビデオストリームに挿入されていることを示す識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、受信機は、ビデオストリームをデコードしなくても、このビデオストリームに補助情報が挿入されていることを知ることができ、補助情報の抽出を適切に行うことができる。

　例えば、この識別情報には、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率を示すダウンスケーリング情報が付加される、ようにされてもよい。また、この識別情報には、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が付加される、ようにされてもよい。また、例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報を、トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入する、ようにされてもよい。

　また、本技術において、例えば、コンテナのレイヤに、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報を挿入する解像度情報挿入部をさらに備える、ようにされてもよい。この場合、超高精細サービスの画像データがスケーラブル符号化されずに送信される場合にあって、この超高精細サービスに対応していない受信機においては、この解像度情報に基づいて、ダウンスケーリング処理の内容を決定することが可能となる。

　例えば、解像度情報には、ビデオストリームに、画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを識別する識別情報が付加される、ようにされてもよい。また、例えば、コンテナはトランスポートストリームであり、解像度情報挿入部は、解像度情報を、トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下の記述子に挿入する、ようにされてもよい。

　また、本技術の他の概念は、
　符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記コンテナのレイヤに、上記ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入する識別情報挿入部とを備える
　送信装置にある。

　本技術において、送信部により、画像データを含むビデオストリームを有する所定フォーマットのコンテナが送信される。コンテナは、例えば、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）であってもよい。また、コンテナは、例えば、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

　識別情報挿入部により、コンテナのレイヤに、ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報が挿入される。例えば、識別情報には、画像データの空間的および／または時間的な解像度情報が含まれる、ようにされてもよい。例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報を、トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下の記述子に挿入する、ようにされてもよい。

　このように本技術においては、コンテナのレイヤに、ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報が挿入されるものである。そのため、受信機においては、超高精細サービスを容易に識別でき、自身の表示能力と比較して、空間的および／または時間的な解像度のダウンスケーリング処理が必要か否か、さらにはその比率を適切かつ即座に決定できる。

　なお、本技術において、例えば、識別情報には、ビデオストリームに、画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを示すサポート情報が付加される、ようにされてもよい。この場合、受信機においては、ビデオストリームに低能力デコーダのためのサポート、例えば空間的および／または時間的な解像度のダウンスケーリングのための補助情報の挿入など、がされているか否かを容易に判断できる。

　また、本技術の他の概念は、
　符号化画像データを含むビデオストリームを受信する受信部と、
　上記ビデオストリームには、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されており、
　上記符号化画像データに対して、上記補助情報に基づいて空間的および／または時間的な解像度のダウンスケーリング処理を施して所望の解像度の表示画像データを得る処理部をさらに備える
　受信装置にある。

　本技術において、受信部により、符号化画像データを含むビデオストリームが受信される。このビデオストリームには、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されている。そして、処理部により、符号化画像データに対して、補助情報に基づいて空間的および／または時間的な解像度のダウンスケーリング処理が施されて所望の解像度の表示画像データが得られる。

　このように本技術においては、ビデオストリームに挿入されている補助情報に基づいて、符号化画像データに対して空間的および／または時間的な解像度のダウンスケーリング処理が施されて所望の解像度の表示画像データが得られるものである。そのため、ダウンスケーリング処理の負荷を軽減できる。

　なお、本技術において、例えば、受信部は、ビデオストリームを含む所定フォーマットのコンテナを受信し、このコンテナのレイヤに、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率を示すダウンスケーリング情報が挿入されており、処理部は、このダウンスケーリング情報に基づいて、表示画像データを得るためのダウンスケーリング処理を制御する、ようにされてもよい。

　また、本技術において、例えば、受信部は、ビデオストリームを含む所定フォーマットのコンテナを受信し、このコンテナのレイヤに、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が挿入されており、処理部は、この解像度情報に基づいて、表示画像データを得るための上記ダウンスケーリング処理を制御する、ようにされてもよい。

　本技術によれば、超高精細サービスの画像データがスケーラブル符号化されずに送信される場合に、この超高精細サービスに対応していない受信機において自身の表示能力に合った解像度の画像データの取得を容易に行うことができる。

実施の形態としての画像送受信システムの構成例を示すブロック図である。 空間的な解像度のダウンスケーリング処理を説明するための図である。 受信機のデコーダの構成例を示すブロック図である。 空間的な解像度のダウンスケーリング処理を説明するための図である。 動きベクトルＭＶの精度に制限を設けない場合、例えば、動きベクトルＭＶ１の精度が１／４ピクセル（quarter pixel）精度である場合について説明するための図である。 動きベクトルＭＶの精度に制限を設ける場合、例えば、動きベクトルＭＶ２の精度が１／２ピクセル（half pixel）精度である場合について説明するための図である。 時間的な解像度のダウンスケーリング処理を説明するための図である。 トランスポートストリームＴＳを生成する送信データ生成部の構成例を示すブロック図である。 補助情報としてＳＥＩメッセージが挿入されるＧＯＰの先頭のアクセスユニットおよび先頭以外のアクセスユニットを示す図である。 補助情報としての動きベクトルＭＶの精度制限を示す情報を含むＳＥＩメッセージ（downscaling_spatial SEI message）の構造例(Syntax)を示す図である。 ＳＥＩメッセージ（downscaling_spatial SEI message）の構造例における主要な情報の内容を示す図である。 補助情報としての時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを示す情報を含むＳＥＩメッセージ（picture_temporal_pickup SEI message）の構造例(Syntax)を示す図である。 ＳＥＩメッセージ（picture_temporal_pickup SEI message）の構造例における主要な情報の内容を示す図である。 ダウンスケーリング・デスクリプタ（downscaling_descriptor）の構造例（Syntax）を示す図である。 ダウンスケーリング・デスクリプタ（downscaling_descriptor）の変形構造例（Syntax）を示す図である。 ダウンスケーリング・デスクリプタ（downscaling_descriptor）の構造例における主要な情報の内容を示す図である。 スーパーハイリゾルーション・デスクリプタ（Super High resolution descriptor）の構造例（Syntax）を示す図である。 スーパーハイリゾルーション・デスクリプタ（Super High resolution descriptor）の構造例における主要な情報の内容を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信機の構成例を示すブロック図である。

　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。

　トランスポートストリームＴＳは、符号化画像データを含むビデオストリームを有している。送信画像データには、種々の画像サービスに対応したものが含まれる。画像サービスとしては、例えば、有効画素数が１９２０×１０８０であるＨＤ画像サービスの他に、有効画素数が水平、垂直にそれぞれ２倍、４倍である４Ｋ、８Ｋ等の空間的な超高解像度画像のサービス（超高精細サービス）が考えられる。また、画像サービスとしては、例えば、フレーム周波数が３０Ｈｚである画像サービスの他に、フレーム周波数が６０Ｈｚ、１２０Ｈｚ等の時間的な超高解像度画像のサービス（超高精細サービス）が考えられる。

　超高精細サービスの画像データに関しては、スケーラブル符号化して送信される場合と、スケーラブル符号化されずに送信される場合とがある。スケーラブル符号化されることで、後方互換性（backward compatible）が保証され、超高精細サービスに対応していない受信機においても、自身の表示能力に合った解像度の画像データを容易に取得可能となる。

　超高精細サービスの画像データを送信する場合、ビデオストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入される。この補助情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。

　例えば、空間的な解像度のダウンスケーリングのための補助情報としては、符号化画像データに含まれる動きベクトルの精度制限を示す情報とされる。例えば、通常の動きベクトルの精度制限が１／４ピクセル精度であるとき、受信機側における空間的な解像度のダウンスケーリングの処理負荷を軽減するために動きベクトルの精度制限が１／２ピクセル精度あるいは１ピクセル精度などとされる。

　また、時間的な解像度のダウンスケーリングのための補助情報としては、時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを識別する情報とされる。例えば、この情報により、１つおきのピクチャ（フレーム）に対応して１／２にダウンスケーリングする際に選択すべきピクチャであることが示される。また、例えば、この情報により、３つおきのピクチャ（フレーム）に対応して１／４にダウンスケーリングする際に選択すべきピクチャであることが示される。

　上述したように補助情報が挿入されることで、超高精細サービスの画像データがスケーラブル符号化されずに送信される場合に、この超高精細サービスに対応していない受信機において自身の表示能力に合った解像度の画像データの取得を容易に行い得るようになる。この補助情報の詳細については、後述する。

　また、トランスポートストリームＴＳのレイヤに、補助情報がビデオストリームに挿入されていることを示す識別情報が挿入される。例えば、この識別情報は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ES loop）の配下に挿入される。この識別情報により、受信側では、ビデオストリームをデコードしなくても、このビデオストリームに補助情報が挿入されていることを知ることができ、補助情報の抽出を適切に行うことが可能となる。

　このダウンスケーリング情報には、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が付加されることがある。この場合、受信側では、ビデオストリームをデコードすることなく、画像データの空間的および／または時間的な解像度を把握することが可能となる。このダウンスケーリング情報の詳細については、後述する。

　また、トランスポートストリームＴＳのレイヤに、ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報が挿入される。例えば、この実施の形態において、トランスポートストリームＴＳのレイヤに、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が挿入される。例えば、この解像度情報は、トランスポートストリームＴＳに含まれるイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下に挿入される。この解像度情報（識別情報）により、ビデオストリームをデコードすることなく、画像データの空間的および／または時間的な解像度を把握することが可能となる。

　この解像度情報には、ビデオストリームに、画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを識別する識別情報が付加されている。この場合、受信側では、ビデオストリームに低能力デコーダのためのサポート、例えば、空間的および／または時間的な解像度のダウンスケーリングのための補助情報の挿入など、がされているか否かを容易に判断できる。この解像度情報の詳細については、後述する。

　受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、符号化画像データを含むビデオストリームを有している。受信機２００は、ビデオストリームのデコード処理を行って、表示画像データを取得する。

　受信機２００は、超高精細サービスの画像データがスケーラブル符号化されずに送られてくる場合であって、自身がその超高精細サービスに対応していない場合には、符号化画像データに対して、補助情報に基づいて、空間的および／または時間的な解像度のダウンスケーリング処理を施して、所望の解像度の表示画像データを得る。この場合、受信画像データの解像度とダウンスケーリングの可能比率により、ダウンスケーリング処理が制御される。

　例えば、受信画像データの解像度とダウンスケーリングの可能比率によっては、所望の解像度の表示画像データを得ることができない場合も想定されるが、その場合には、ダウンスケーリング処理は行われない。また、ダウンスケーリングの可能比率が複数ある場合、受信画像データの解像度に応じて、ダウンスケーリングの比率が選択されて、所望の解像度の表示画像データを得ることが行われる。

　［解像度のダウンスケーリング処理］
　受信機２００で行われるダウンスケーリング処理について説明する。最初に、空間的な解像度のダウンスケーリング処理を説明する。例えば、受信画像データが、図２（ａ）に示すような、８Ｋの画像データである場合を考える。例えば、表示能力が４Ｋの受信機２００においては、空間的な解像度を水平、垂直とも１／２にするダウンスケーリング処理が施され、図２（ｂ）に示すような、４Ｋの画像データを得ることが行われる。また、例えば、表示能力がＨＤの受信機２００においては、空間的な解像度を水平、垂直とも１／４にするダウンスケーリング処理が施され、図２（ｃ）に示すような、ＨＤの画像データを得ることが行われる。

　図３は、受信機２００のデコーダの構成例を示している。受信された符号化画像データＶｅはエントロピー復号化部３５３ａでエントロピー復号化処理が行われ、逆量子化部３５３ｂで逆量子化処理が行われる。さらに、逆量子化処理後のデータは、空間・周波数逆変換部３５３ｃで、空間・周波数の逆変換処理が施されて、データＤ(n)が得られる。

　この場合、空間・周波数の逆変換処理は、Ｎ＊Ｎの符号化ブロック毎に、ダウンスケーリングの比率に応じた領域の周波数成分のみに適用され（図４（ａ）のハッチング領域参照）、データＤ(n)として、ダウンスケーリングされた画像データが得られる。なお、この図４の例は、ダウンスケーリングの比率が１／２である場合を示している。

　フレームバッファ３５３ｄに記録されている１フレーム前の画像データ（図４（ｂ）参照）から、符号化ブロック毎に、動きベクトルＭＶに応じた領域の画素データが読み出され、補間フィルタ３５３ｅに供給されて補間演算され、補間後の予測ブロックが生成される（図４（ｃ）参照）。そして、加算器３５３ｆにおいて、データＤ(n)に、補間フィルタ３５３ｅで生成された補間後の予測ブロックが加算され（図４（ｄ）参照）、ダウンスケーリングされた現在フレームの画像データＶｄ(n)が得られる。

　ここで、符号化画像データＶｅに付加されている動きベクトルＭＶの画素精度をＰとする。空間・周波数逆変換部３５３ｃで、例えば１／２に縮小デコードすると、画素精度はオリジナルの精度Ｐに比べて、１／２となり精度は荒くなる。オリジナルの動きベクトルＭＶの画素精度Ｐで動き補償をさせるためには、フレームバッファ３５３ｄの画像データを、Ｐの精度に適合するように補間する必要がある。

　例えば、オリジナルの動きベクトルＭＶが１／４ピクセル精度でエンコードされる場合、縮小デコードされてフレームバッファ３５３ｄに記憶された画像データを動き補償する際の精度は、その画像データの画素精度が１／２に縮小されているので、オリジナルの動きベクトルＭＶの精度で動き補償をさせるためには、フレームバッファ３５３ｄの画像データを、１／（１／４＊１／２）に補間する必要がある。

　そのため、動きベクトルＭＶの精度に制限を設けない場合には、補間フィルタ演算の対象となる予測画素範囲が大きく、補間フィルタのタップ数が多くなり、演算負荷が大きくなる。これに対して、動きベクトルＭＶの精度に制限を設ける場合には、補間フィルタ演算の対象となる予測画素範囲が小さく、補間フィルタのタップ数が少なくなり、演算負荷が小さくなる。

　図５は、動きベクトルＭＶの精度に制限を設けない場合、例えば、動きベクトルＭＶ１の精度が１／４ピクセル（quarter pixel）精度である場合を示している。この場合、隣接し合う予測画素同士から補間画素を求めるのに、ＭＶ１の精度をカバーするだけのフェーズ数に対応するフィルタ演算が必要となる。低域通過フィルタによる補間演算を行う際、一定以上の通過域を確保し、カットオフ周波数近辺を急峻にするためには、補間フィルタのフィルタタップ数は多くなり、それに伴い、対象となる予測画素数が多くなる。

　図６は、動きベクトルＭＶの精度に制限を設ける場合、例えば、動きベクトルＭＶ２の精度が１／２ピクセル（half pixel）精度である場合を示している。この場合、隣接し合う予測画素同士から補間画素を求めるのに、ＭＶ２の精度をカバーするだけのフェーズ数に対応するフィルタ演算が必要となる。ＭＶ２の精度はＭＶ１の精度よりも粗いので、フェーズ数は少なくなる。この場合、上述の制限を設けない場合と比べて、同等の通過を確保するのに、補間フィルタのタップ数は少なくて済み、対象となる予測画素数も少なくて済む。

　このことから、本実施の形態では、送信側において、動きベクトルＭＶは、適宜、上述の動きベクトルＭＶ２のように精度制限を設けてエンコードすることが行われる。その場合、本実施の形態においては、動きベクトルＭＶの精度制限の情報が、ビデオストリームに補助情報として挿入される。受信機２００は、空間的な解像度のダウンスケーリング処理を行う際に、この補助情報から動きベクトルＭＶの精度制限を認識して、その精度制限に合った補間処理を行うことができ、処理負荷の軽減を図ることができる。

　次に、時間的な解像度のダウンスケーリング処理を説明する。例えば、受信画像データが、図７（ａ）に示すような、１２０ｆｐｓの画像データである場合を考える。ビデオストリームに補助情報として、ハーフ・ピクチャレート・フラグ（Half picture rate flag）と、クォーター・ピクチャレート・フラグ（Quarter picture rate flag）とが挿入されている。

　ハーフ・ピクチャレート・フラグは、１ピクチャ（フレーム）おきに、“１”となる。つまり、このハーフ・ピクチャレート・フラグにより、時間解像度を１／２にダウンスケーリングする際に選択すべきピクチャを識別できる。また、クォーター・ピクチャレート・フラグは、２ピクチャ（フレーム）おきに、“１”となる。つまり、クォーター・ピクチャレート・フラグにより、時間解像度を１／４にダウンスケーリングする際に選択すべきピクチャを識別できる。

　例えば、表示能力が６０ｆｐｓの受信機２００においては、ハーフ・ピクチャレート・フラグに基づいて、図７（ｂ）に示すように、１つおきのピクチャのみが取り出されてデコードされ、６０ｆｐｓの画像データを得ることが行われる。また、例えば、表示能力が３０ｆｐｓの受信機２００においては、クォーター・ピクチャレート・フラグに基づいて、図７（ｃ）に示すように、３つおきのピクチャのみが取り出されてデコードされ、３０ｆｐｓの画像データを得ることが行われる。

　「送信データ生成部の構成例」
　図８は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、画像データ出力部１１１と、ビデオエンコーダ１１２と、音声データ出力部１１５と、オーディオエンコーダ１１６と、マルチプレクサ１１７を有している。

　画像データ出力部１１１は、種々の画像サービスに対応した画像データを出力する。画像サービスとしては、有効画素数が１９２０×１０８０であるＨＤ画像サービス、有効画素数が水平、垂直にそれぞれ２倍、４倍である４Ｋ、８Ｋ等の空間的な超高解像度画像のサービス（超高精細サービス）などがある。また、画像サービスとしては、例えば、フレーム周波数が３０Ｈｚである画像サービス、フレーム周波数が６０Ｈｚ、１２０Ｈｚ等の時間的な超高解像度画像のサービス（超高精細サービス）などがある。この画像データ出力部１１１は、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。

　ビデオエンコーダ１１２は、画像データ出力部１１１から出力される画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化を施して、符号化画像データを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化画像データを含むビデオストリーム（ビデオエレメンタリストリーム）を生成する。

　この場合、例えば、超高精細サービスの画像データに関しては、後方互換性（backward compatible）を保証するためにスケーラブル符号化される場合もあるが、スケーラブル符号化されない場合もある。スケーラブル符号化されない場合、ビデオエンコーダ１１２は、この超高精細サービスに対応していない受信機の便宜のため、空間的および／または時間的な解像度のダウンスケーリングのための補助情報を、ビデオストリームに挿入する。

　音声データ出力部１１５は、画像データに対応した音声データを出力する。この音声データ出力部１１５は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１１６は、音声データ出力部１１５から出力される音声データに対して、ＭＰＥＧ－２ Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。

　マルチプレクサ１１７は、ビデオエンコーダ１１２、グラフィクスエンコーダ１１４およびオーディオエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。

　マルチプレクサ１１７は、超高精細サービスの画像データをスケーラブル符号化しないで送信する場合、トランスポートストリームＴＳのレイヤに、空間的および／または時間的に可能な比率の解像度のダウンスケーリングを示すダウンスケーリング情報を挿入する。例えば、このダウンスケーリング情報は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ES loop）の配下に挿入される。

　また、マルチプレクサ１１７は、トランスポートストリームＴＳのレイヤに、ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入する。例えば、この実施の形態において、マルチプレクサ１１７は、トランスポートストリームＴＳのレイヤに、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報を挿入する。例えば、この解像度情報は、トランスポートストリームＴＳに含まれるイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下に挿入される。

　図８に示す送信データ生成部１１０の動作を簡単に説明する。画像データ出力部１１１から出力される種々の画像サービスに対応した画像データは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化が施され、符号化画像データを含むビデオストリーム（ビデオエレメンタリストリーム）が生成される。このビデオストリームは、マルチプレクサ１１７に供給される。

　この場合、例えば、超高精細サービスの画像データに関しては、後方互換性（backward compatible）を保証するためにスケーラブル符号化される場合もあるが、スケーラブル符号化されない場合もある。スケーラブル符号化されない場合、ビデオエンコーダ１１２では、この超高精細サービスに対応していない受信機の便宜のため、空間的および／または時間的な解像度のダウンスケーリングのための補助情報を、ビデオストリームに挿入することが行われる。

　音声データ出力部１１５から出力される画像データに対応した音声データは、オーディオエンコーダ１１６に供給される。このオーディオエンコーダ１１６では、その音声データに対して、ＭＰＥＧ－２ Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリーム（オーディオエレメンタリストリーム）が生成される。このオーディオストリームは、マルチプレクサ１１７に供給される。

　マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１７では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、空間的および／または時間的に可能な比率の解像度のダウンスケーリングを示すダウンスケーリング情報が挿入される。また、マルチプレクサ１１７では、ＥＩＴの配下に、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が挿入される。

　［補助情報、識別情報、解像度情報の構造とＴＳ構成］
　上述したように、ビデオストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入される。例えば、符号化方式がＭＰＥＧ４－ＡＶＣである場合、または、ＨＥＶＣのような、ＮＡＬパケットなどの符号化構造が似通っている符号化方式である場合、この補助情報は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、ＳＥＩメッセージとして挿入される。

　この場合、補助情報としての動きベクトルＭＶの精度制限を示す情報は、ＳＥＩメッセージ（downscaling_spatial SEI message）として挿入される。また、補助情報としての時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを示す情報は、ＳＥＩメッセージ（picture_temporal_pickup SEI message）として挿入される。図９（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図９（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。ＳＥＩメッセージは、画素データが符号化されているスライス（slices）よりもビットストリーム上、早い位置に符号化されるので、受信機はＳＥＩの内容を識別することで、それ以下のデコード処理を決定することが可能となる。

　図１０（ａ）は、「downscaling_spatial SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_downscaling_spatial()」が挿入される。図１０（ｂ）は、「userdata_for_downscaling_spatial()」の構造例(Syntax)を示している。この中に、「constrained_to_half_pixel_MV_flag」のフラグと、「constrained_to_integer_pixel_MV_flag」のフラグとが含まれている。「userdata_id」は、符号なし１６ビットで示される識別子である。

　「constrained_to_half_pixel_MV_flag」のフラグは、図１１に示すように、“１”であるとき、動きベクトルＭＶの精度が１／２ピクセル精度に制限されていることを示す。また、「constrained_to_integer_pixel_MV_flag」のフラグは、図１１に示すように、“１”であるとき、動きベクトルＭＶの精度が整数ピクセル精度に制限されていることを示す。

　図１２（ａ）は、「picture_temporal_pickup SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_picture_temporal()」が挿入される。図１２（ｂ）は、「userdata_for_picture_temporal()」の構造例(Syntax)を示している。この中に、「half picture rate flag」のフラグと、「quarter picture rate flag」のフラグとが含まれている。「userdata_id」は、符号なし１６ビットで示される識別子である。

　「half picture rate flag」のフラグは、図１３に示すように、“１”であるとき、時間解像度が１／２の表示能力を持つデコーダで取り出してデコードすべきピクチャであることを示す。また、「quarter picture rate flag」のフラグは、図１３に示すように、“１”であるとき、時間解像度が１／４の表示能力を持つデコーダで取り出してデコードすべきピクチャであることを示す。

　また、上述したように、例えば、トランスポートストリームＴＳのプログラム・マップ・テーブル（ＰＭＴ）のビデオエレメンタリ・ループ（Video ES loop）の配下に、ビデオストリームに、上述した画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されていることを示す識別情報が挿入される。

　図１４は、この識別情報としてのダウンスケーリング・デスクリプタ（downscaling_descriptor）の構造例（Syntax）を示している。また、図１５は、このダウンスケーリング・デスクリプタ（downscaling_descriptor）の変形構造例（Syntax）を示している。図１６は、それらの構造例における主要な情報の内容（Semantics）を示している。

　「downscaling_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ダウンスケーリング・デスクリプタであることを示す。「downscaling_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。

　「downscaling_type」の２ビットフィールドは、ダウンスケーリング・タイプを示す。例えば、“０１”は、時間的な解像度のダウンスケーリングを示し、 “１０”は空間的な解像度のダウンスケーリングを示し、“１１”は時間的および空間的な解像度のダウンスケーリングを示す。

　「downscaling_type」が“０１”，“１１”であるとき、「temporal_downscaling_factor」の２ビットフィールドが有効なものとなる。この２ビットフィールドは、時間的な解像度のダウンスケーリングで可能な比率（ダウンスケール）を示す。例えば、“００”はダウンスケーリングが不可能であることを示す。また、“０１”は１／２の比率のダウンスケーリングが可能であることを示す。“１０”は１／４の比率のダウンスケーリングが可能であることを示すが、併せて１／２の比率のダウンスケーリングも可能であることを示す。なお、「temporal_downscaling_factor」が“０１”，“１０”であることは、ビデオストリームに時間的な解像度のダウンスケーリングのための補助情報が挿入されていることも示す。

　また、「downscaling_type」が“１０”，“１１”であるとき、「spatial_downscaling_factor」の２ビットフィールドが有効なものとなる。この２ビットフィールドは、空間的な解像度のダウンスケーリングで可能な比率（ダウンスケール）を示す。例えば、“００”はダウンスケーリングが不可能であることを示す。また、“０１”は水平、垂直に１／２の比率のダウンスケーリングが可能であることを示す。“１０”は水平、垂直に１／４の比率のダウンスケーリングが可能であることを示すが、併せて１／２の比率のダウンスケーリングも可能であることを示す。なお、「spatial_downscaling_factor」が“０１”，“１０”であることは、ビデオストリームに空間的な解像度のダウンスケーリングのための補助情報が挿入されていることも示す。

　「spatial resolution class type」の３ビットフィールドは、送信画像データの空間的な解像度のクラスタイプを示す。例えば、“００１”は、１９２０×１０８０、つまりＨＤ解像度であることを示す。また、例えば、“０１０”は、３８４０×２１６０、つまり４Ｋ解像度であることを示す。また、例えば、“０１１”は、７６８０×４３２０、つまり８Ｋ解像度であることを示す。

　「temporal resolution class type」の３ビットフィールドは、送信画像データの時間的な解像度のクラスタイプを示す。例えば、“００１”は、２４Ｈｚ，２５Ｈｚ，２９．９７Ｈｚ，３０Ｈｚなどを示し、“０１０”は５０Ｈｚ，５９．９４Ｈｚ，６０Ｈｚなどを示し、“０１１”は１００Ｈｚ，１２０Ｈｚなどを示し、“１００”は２００Ｈｚ，２４０Ｈｚなどを示す。

　また、上述したように、例えば、トランスポートストリームＴＳのイベント・インフォメーション・テーブル（ＥＩＴ）の配下に、ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が挿入される。図１７は、この解像度情報としてのスーパーハイリゾルーション・デスクリプタ（Super High resolution descriptor）の構造例（Syntax）を示している。また、図１８は、その構造例における主要な情報の内容（Semantics）を示している。

　「Spatial resolution class type」の３ビットフィールドは、送信画像データの空間的な解像度のクラスタイプを示す。例えば、“００１”は、１９２０×１０８０、つまりＨＤ解像度であることを示す。また、例えば、“０１０”は、３８４０×２１６０、つまり４Ｋ解像度であることを示す。また、例えば、“０１１”は、７６８０×４３２０、つまり８Ｋ解像度であることを示す。

　「Temporal resolution class type」の３ビットフィールドは、送信画像データの時間的な解像度のクラスタイプを示す。例えば、“００１”は、２４Ｈｚ，２５Ｈｚ，２９．９７Ｈｚ，３０Ｈｚなどを示し、“０１０”は５０Ｈｚ，５９．９４Ｈｚ，６０Ｈｚなどを示し、“０１１”は１００Ｈｚ，１２０Ｈｚなどを示し、“１００”は２００Ｈｚ，２４０Ｈｚなどを示す。

　「Backward_compatible_type」の２ビットフィールドは、送信画像データに関して、後方互換性（Backward compatible）が保証されているか否かを示す。例えば、“００”は後方互換性が保証されていないことを示す。“０１”は空間的な解像度についての後方互換性が保証されていることを示す。この場合、送信画像データは、例えば、空間的な解像度に関してスケーラブル符号化がされている。“１０”は時間的な解像度についての後方互換性が保証されていることを示す。この場合、送信画像データは、例えば、時間的な解像度に関してスケーラブル符号化がされている。

　「lower_capable_decoder_support_flag」のフラグ情報は、送信画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを示す。例えば、“０”はサポートされていないことを示す。“１”はサポートされていることを示す。例えば、上述したように、ビデオストリームに画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入される場合には、このフラグ情報は“１”となる。

　図１９は、トランスポートストリームＴＳの構成例を示している。トランスポートストリームＴＳには、ビデオエレメンタリストリームのＰＥＳパケット「PID1:video PES1」と、オーディオエレメンタリストリームのＰＥＳパケット「PID2:Audio PES1」が含まれている。このビデオエレメンタリストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報がＳＥＩメッセージとして挿入されている。

　この場合、補助情報としての動きベクトルＭＶの精度制限を示す情報は、ＳＥＩメッセージ（downscaling_spatial SEI message）（図１０参照）として挿入される。また、補助情報としての時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを示す情報は、ＳＥＩメッセージ（picture_temporal_pickup SEI message）（図１２参照）として挿入される。

　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームＴＳには、イベント（番組）単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。

　ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このビデオエレメンタリ・ループには、上述の１つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。

　このＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、ダウンスケーリング・デスクリプタ（downscaling_descriptor）（図１４参照）が挿入されている。このデスクリプタは、上述したように、ビデオストリームに画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されていることを示すものである。

　また、ＥＩＴの配下に、スーパーハイリゾルーション・デスクリプタ（Super High resolution descriptor）（図１７参照）。このデスクリプタは、上述したように、ビデオストリームによる超高精細サービスを少なくとも番組単位で識別するための識別情報を構成している。具体的には、このデスクリプタは、送信画像データの空間的および／または時間的な解像度情報が含まれている。

　「受信機の構成例」
　図２０は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部（ＲＣ受信部）２０５と、リモートコントロール送信機（ＲＣ送信機）２０６を有している。

　また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。また、この受信機２００は、コーデッドバッファ２１５と、ビデオデコーダ２１６と、デコーデッドバッファ２１７と、ビデオＲＡＭ２１８と、コーデッドバッファ２４１と、オーディオデコーダ２４２と、チャネルミキシング部２４３を有している。

　ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。ＲＣ受信部２０５は、ＲＣ送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は、内部バス２０４により相互に接続されている。

　アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。このトランスポートストリームＴＳには、ビデオエレメンタリストリームと、オーディオエレメンタリストリームが含まれている。

　デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオおよびオーディオの各ストリーム（エレメンタリストリーム）を抽出する。また、デマルチプレクサ２１４は、このトランスポートストリームＴＳから、上述のダウンスケーリング・デスクリプタ（downscaling_descriptor）と、スーパーハイリゾルーション・デスクリプタ（Super High resolution descriptor）とを抽出し、ＣＰＵ２０１に送る。

　ＣＰＵ２０１は、スーパーハイリゾルーション・デスクリプタから、受信画像データの空間的および時間的な解像度情報、さらに受信画像データに後方互換性（Backward Compatible）があるか否かの情報、受信画像データに低能力デコーダのためのサポートがされているか否かの情報などを把握できる。また、ＣＰＵ２０１は、ダウンスケーリング・デスクリプタから、ビデオストリームに空間的および／または時間的な解像度のダウンスケーリング処理のための補助情報が挿入されているか否かの情報、さらには、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率の情報などを把握できる。

　ＣＰＵ２０１は、これらの把握情報に基づいて、受信機２００におけるデコード等の処理を制御する。例えば、自身の表示能力が対応できない超高精細サービスの画像データが受信されている場合に、それがスケーラブル符号化されていないとき、ＣＰＵ２０１は、ビデオストリームに挿入されている補助情報に基づいて、空間的および／または時間的な解像度のダウンスケーリング処理を行わせ、所望の解像度の表示画像データが得られるように、制御する。

　コーデッドバッファ２１５は、デマルチプレクサ２１４で抽出されるビデオエレメンタリストリームを一時的に蓄積する。ビデオデコーダ２１６は、ＣＰＵ２０１の制御のもと、コーデッドバッファ２１５に記憶されているビデオストリームに対してデコード処理を行って、表示画像データを得る。なお、受信画像データの内容によっては、空間的および／または時間的な解像度のダウンスケーリング処理も不可能であり、自身の表示能力にあった解像度の表示画像データを得ることができない場合もある。

　また、ビデオデコーダ２１６は、ビデオストリームに挿入されているＳＥＩメッセージを抽出し、ＣＰＵ２０１に送る。このＳＥＩメッセージには、「downscaling_spatial SEI message」、「picture_temporal_pickup SEI message」も含まれる。ＣＰＵ２０１は、ビデオデコーダ２１６で空間的および／または時間的な解像度のダウンスケーリング処理が行われる場合には、このＳＥＩメッセージに含まれる補助情報に基づいて処理を行わせる。

　すなわち、空間的な解像度のダウンスケーリング処理を行わせる場合には、「downscaling_spatial SEI message」のＳＥＩメッセージに含まれる動きベクトルＭＶの精度制限情報に基づいてダウンスケーリング処理を行わせて、処理負荷を軽減させる。一方、時間的な解像度のダウンスケーリング処理を行わせる場合には、「picture_temporal_pickup SEI message」のＳＥＩメッセージに含まれる比率に応じた選択ピクチャ情報に基づいてダウンスケーリング処理を行わせて、処理負荷を軽減させる。

　デコーデッドバッファ２１７は、ビデオデコーダ２１６で得られた表示画像データを一時的に蓄積する。ビデオＲＡＭ２１８は、デコーデッドバッファ２１７に記憶されている表示画像データを取り込み、適宜なタイミングでディスプレイに出力する。

　コーデッドバッファ２４１は、デマルチプレクサ２１４で抽出されるオーディオストリームを一時的に蓄積する。オーディオデコーダ２４２は、コーデッドバッファ２４１に記憶されているオーディオスストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部２４３は、オーディオデコーダ２４２で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを得て、スピーカに供給する。

　受信機２００の動作を説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。このトランスポートストリームＴＳには、ビデオエレメンタリストリームと、オーディオエレメンタリストリームが含まれている。

　デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオおよびオーディオの各ストリーム（エレメンタリストリーム）が抽出される。また、デマルチプレクサ２１４では、このトランスポートストリームＴＳから、ダウンスケーリング・デスクリプタ（downscaling_descriptor）と、スーパーハイリゾルーション・デスクリプタ（Super High resolution descriptor）とが抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１では、これらのデスクリプタに含まれる情報に基づいて、受信機２００におけるデコード等の処理を制御することが行われる。

　デマルチプレクサ２１４で抽出されるビデオストリームは、コーデッドバッファ２１５に供給されて一時的に蓄積される。ビデオデコーダ２１６では、ＣＰＵ２０１の制御のもと、コーデッドバッファ２１５に記憶されているビデオストリームに対してデコード処理が行われ、自身の表示能力に合った表示画像データが得られる。

　この場合、ビデオデコーダ２１６では、基本ビデオストリームに挿入されている「downscaling_spatial SEI message」、「picture_temporal_pickup SEI message」なども含むＳＥＩメッセージが抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１では、ビデオデコーダ２１６で空間的および／または時間的な解像度のダウンスケーリング処理が行われる場合には、このＳＥＩメッセージに含まれる補助情報に基づいて処理を行わせる。

　ビデオデコーダ２１６で得られた表示画像データはデコーデッドバッファ２１７に一時的に蓄積される。その後、ビデオＲＡＭ２１８では、適宜なタイミングで、デコーデッドバッファ２１７に記憶されている表示画像データが取り込まれ、ディスプレイに出力される。これにより、ディスプレイに画像表示が行われる

　また、デマルチプレクサ２１４で抽出されるオーディオストリームは、コーデッドバッファ２４１に供給されて一時的に蓄積される。オーディオデコーダ２４２では、コーデッドバッファ２４１に記憶されているオーディオストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部２４３に供給される。チャネルミキシング部２４３では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。

　上述したように、図１に示す画像送受信システム１０においては、ビデオストリームに、画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されて送信されるものである。そのため、超高精細サービスの画像データがスケーラブル符号化されずに送信される場合、この超高精細サービスに対応していない受信機２００において、自身の表示能力に合った解像度の画像データの取得を容易に行うことができる。

　＜２．変形例＞
　なお、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

　また、本技術は、以下のような構成を取ることもできる。
　（１）符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報を挿入する補助情報挿入部とを備える
　送信装置。
　（２）上記補助情報は、上記符号化画像データに含まれる動きベクトルの精度制限を示す情報である
　前記（１）に記載の送信装置。
　（３）上記補助情報は、時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを識別する情報である
　前記（１）または（２）に記載の送信装置。
　（４）上記コンテナのレイヤに、上記補助情報が上記ビデオストリームに挿入されていることを示す識別情報を挿入する識別情報挿入部をさらに備える
　前記（１）から（３）いずれかに記載の送信装置。
　（５）上記識別情報には、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率を示すダウンスケーリング情報が付加されている
　前記（４）に記載の送信装置。
　（６）上記識別情報には、上記ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が付加されている
　前記（４）または（５）に記載の送信装置。
　（７）上記コンテナはトランスポートストリームであり、
　上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入する
　前記（４）から（６）のいずれかに記載の送信装置。
　（８）上記コンテナのレイヤに、上記ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報を挿入する解像度情報挿入部をさらに備える
　前記（１）から（７）のいずれかに記載の送信装置。
　（９）上記解像度情報には、
　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを識別する識別情報が付加されている
　前記（８）に記載の送信装置。
　（１０）上記コンテナはトランスポートストリームであり、
　上記解像度情報挿入部は、上記解像度情報を、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下の記述子に挿入する
　前記（８）または（９）に記載の送信装置。
　（１１）符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報を挿入するステップとを備える
　送信方法。
　（１２）符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
　上記コンテナのレイヤに、上記ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入する識別情報挿入部とを備える
　送信装置。
　（１３）上記識別情報には、上記画像データの空間的および／または時間的な解像度情報が含まれる
　前記（１２）に記載の送信装置。
　（１４）上記識別情報には、
　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを示すサポート情報が付加されている
　前記（１２）または（１３）に記載の送信装置。
　（１５）上記コンテナはトランスポートストリームであり、
　上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下の記述子に挿入する
　前記（１２）から（１４）のいずれかに記載の送信装置。
　（１６）画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
　上記コンテナのレイヤに、上記ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入するステップとを備える
　送信方法。
　（１７）符号化画像データを含むビデオストリームを受信する受信部と、
　上記ビデオストリームには、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されており、
　上記符号化画像データに対して、上記補助情報に基づいて空間的および／または時間的な解像度のダウンスケーリング処理を施して所望の解像度の表示画像データを得る処理部をさらに備える
　受信装置。
　（１８）上記受信部は、上記ビデオストリームを含む所定フォーマットのコンテナを受信し、
　上記コンテナのレイヤに、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率を示すダウンスケーリング情報が挿入されており、
　上記処理部は、上記ダウンスケーリング情報に基づいて、上記表示画像データを得るための上記ダウンスケーリング処理を制御する
　前記（１７）に記載の受信装置。
　（１９）上記受信部は、上記ビデオストリームを含む所定フォーマットのコンテナを受信し、
　上記コンテナのレイヤに、上記ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が挿入されており、
　上記処理部は、上記解像度情報に基づいて、上記表示画像データを得るための上記ダウンスケーリング処理を制御する
　前記（１７）または（１８）に記載の受信装置。
　（２０）符号化画像データを含み、該画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されているビデオストリームを受信するステップと、
　上記符号化画像データに対して、上記補助情報に基づいて空間的および／または時間的な解像度のダウンスケーリング処理を施して所望の解像度の表示画像データを得るステップとを備える
　受信方法。

　本技術の主な特徴は、ビデオストリームに画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報（ＳＥＩメッセージ）を挿入して送信することで、受信側におけるダウンスケーリング処理の負荷軽減を可能にしたことである（図１９参照）。また、本技術の主な特徴は、コンテナ（トランスポートストリーム）のレイヤに、ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入することで、受信側において、ビデオストリームをデコードすることなく、超高精細サービスの識別を可能にしたことである（図１９参照）。

　１０・・・画像送受信システム
　１００・・・放送局
　１１０・・・送信データ生成部
　１１１・・・画像データ出力部
　１１２・・・ビデオエンコーダ
　１１５・・・音声データ出力部
　１１６・・・オーディオエンコーダ
　１１７・・・マルチプレクサ
　２００・・・受信機
　２０１・・・ＣＰＵ
　２１２・・・デジタルチューナ
　２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
　２１４・・・デマルチプレクサ
　２１５・・・コーデッドバッファ
　２１６・・・ビデオデコーダ
　２１７・・・デコーデッドバッファ
　２１８・・・ビデオＲＡＭ
　２４１・・・コーデッドバッファ
　２４２・・・オーディオデコーダ
　２４３・・・チャネルミキシング部

Claims (20)

1. 　符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
   　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報を挿入する補助情報挿入部とを備える
   　送信装置。
2. 　上記補助情報は、上記符号化画像データに含まれる動きベクトルの精度制限を示す情報である
   　請求項１に記載の送信装置。
3. 　上記補助情報は、時間解像度を所定の比率でダウンスケーリングする際に選択すべきピクチャを識別する情報である
   　請求項１に記載の送信装置。
4. 　上記コンテナのレイヤに、上記補助情報が上記ビデオストリームに挿入されていることを示す識別情報を挿入する識別情報挿入部をさらに備える
   　請求項１に記載の送信装置。
5. 　上記識別情報には、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率を示すダウンスケーリング情報が付加されている
   　請求項４に記載の送信装置。
6. 　上記識別情報には、上記ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が付加されている
   　請求項４に記載の送信装置。
7. 　上記コンテナはトランスポートストリームであり、
   　上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入する
   　請求項４に記載の送信装置。
8. 　上記コンテナのレイヤに、上記ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報を挿入する解像度情報挿入部をさらに備える
   　請求項１に記載の送信装置。
9. 　上記解像度情報には、
   　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを識別する識別情報が付加されている
   　請求項８に記載の送信装置。
10. 　上記コンテナはトランスポートストリームであり、
    　上記解像度情報挿入部は、上記解像度情報を、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下の記述子に挿入する
    　請求項８に記載の送信装置。
11. 　符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
    　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報を挿入するステップとを備える
    　送信方法。
12. 　符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
    　上記コンテナのレイヤに、上記ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入する識別情報挿入部とを備える
    　送信装置。
13. 　上記識別情報には、上記画像データの空間的および／または時間的な解像度情報が含まれる
    　請求項１２に記載の送信装置。
14. 　上記識別情報には、
    　上記ビデオストリームに、上記画像データの空間的および／または時間的な解像度に対応していない低能力デコーダのためのサポートがされているか否かを示すサポート情報が付加されている
    　請求項１２に記載の送信装置。
15. 　上記コンテナはトランスポートストリームであり、
    　上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下の記述子に挿入する
    　請求項１２に記載の送信装置。
16. 　画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
    　上記コンテナのレイヤに、上記ビデオストリームによる超高精細サービスを少なくとも番組単位で識別できるように識別情報を挿入するステップとを備える
    　送信方法。
17. 　符号化画像データを含むビデオストリームを受信する受信部と、
    　上記ビデオストリームには、上記画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されており、
    　上記符号化画像データに対して、上記補助情報に基づいて空間的および／または時間的な解像度のダウンスケーリング処理を施して所望の解像度の表示画像データを得る処理部をさらに備える
    　受信装置。
18. 　上記受信部は、上記ビデオストリームを含む所定フォーマットのコンテナを受信し、
    　上記コンテナのレイヤに、空間的および／または時間的な解像度のダウンスケーリングにおいて可能な比率を示すダウンスケーリング情報が挿入されており、
    　上記処理部は、上記ダウンスケーリング情報に基づいて、上記表示画像データを得るための上記ダウンスケーリング処理を制御する
    　請求項１７に記載の受信装置。
19. 　上記受信部は、上記ビデオストリームを含む所定フォーマットのコンテナを受信し、
    　上記コンテナのレイヤに、上記ビデオストリームに含まれる画像データの空間的および／または時間的な解像度情報が挿入されており、
    　上記処理部は、上記解像度情報に基づいて、上記表示画像データを得るための上記ダウンスケーリング処理を制御する
    　請求項１７に記載の受信装置。
20. 　符号化画像データを含み、該画像データの空間的および／または時間的な解像度のダウンスケーリングのための補助情報が挿入されているビデオストリームを受信するステップと、
    　上記符号化画像データに対して、上記補助情報に基づいて空間的および／または時間的な解像度のダウンスケーリング処理を施して所望の解像度の表示画像データを得るステップとを備える
    　受信方法。

Images