JP7056576B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、合成可能な複数のビューの符号化画像データからなる符号化ストリームを送信する送信装置等に関する。

例えば、特許文献１には、複数の画像を繋ぎ合わせて合成し、広い視野を再現するパノラマ画像を得ることが記載されている。合成可能な複数のビューの符号化画像データからなる符号化ストリームが送られてくる場合、受信側では、合成画像の表示を行うためには、複数のビューの画像データを高精度につなぎ合わせるアルゴリズムが必要になる。ここで、合成位置の決定は、１ピクセルずつ移動させながら、それぞれの場合での画素相関値を取って比較を行うことで行われる。このように、複数のビューの画像データを高精度につなぎ合わせる処理は、合成位置の決定処理が伴うことから処理負荷の重いものとなる。

特開２０００－２９９８０４号公報

本技術の目的は、受信側における画像合成処理の処理負荷を低減可能とすることにある。

本技術の概念は、
合成可能な複数のビューの符号化画像データからなる符号化ストリームを送信する送信部と、
上記各ビューの符号化画像データに合成点の情報を挿入する情報挿入部を備える
送信装置にある。

本技術において、送信部により、合成可能な複数のビューの符号化画像データからなる符号化ストリームが送信される。情報挿入部により、各ビューの符号化画像データに合成点の情報が挿入される。例えば、合成点には、合成時の基準点と非基準点が含まれる、ようにされてもよい。また、例えば、合成点の情報は、画像のトップレフトを原点とするｘ座標およびｙ座標からなる、ようにされてもよい。

このように本技術においては、各ビューの符号化画像データに合成点の情報を挿入して送信するものである。そのため、受信側では、合成点の情報に基づいて合成処理を行うことが可能となり、処理負荷の低減が可能となる。

なお、本技術において、例えば、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、ビューを識別する情報が付加される、ようにされてもよい。これにより、受信側では、各ビューの識別を容易に行うことができる。

また、本技術において、例えば、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、代表ビューであるか否かを示す情報が付加される、ようにされてもよい。これにより、受信側では、合成画像のうちデフォルト表示すべき一部領域として代表ビューに対応した領域を選択することが可能となる。

また、本技術において、例えば、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、合成ビューの組を示す情報が付加される、ようにされてもよい。これにより、受信側では、合成ビューの組を指定して所望の合成画像を得ることが可能となる。

また、本技術の他の概念は、
合成可能な複数のビューの符号化画像データからなる符号化ストリームを受信する受信部を備え、
上記各ビューの符号化画像データには、合成点の情報が挿入されており、
上記複数のビューから選択された所定数のビューの画像データを、上記合成点の情報に基づいて合成して合成画像データを得る合成部をさらに備える
受信装置にある。

本技術において、受信部により、合成可能な複数のビューの符号化画像データからなる符号化ストリームが受信される。各ビューの符号化画像データには、合成点の情報が挿入されている。合成部により、複数のビューから選択された所定数のビューの画像データが、合成点の情報に基づいて合成されて合成画像データが得られる。

このように本技術においては、複数のビューから選択された所定数のビューの画像データを、各ビューの符号化画像データに挿入されて送られてくる合成点の情報に基づいて合成するものである。そのため、処理負荷の低減が可能となる。

なお、本技術において、例えば、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、合成ビューの組を示す情報が付加されており、合成部は、合成ビューの組の指定情報で指定された組に属するビューの画像データを合成する、ようにされてもよい。これにより、合成ビューの組を指定して所望の合成画像を得ることが可能となる。

また、本技術において、例えば、合成画像データから一部の領域の画像データを選択的に取り出して表示用画像データを得る表示処理部をさらに備える、ようにされてもよい。これにより、合成画像の一部領域の画像を選択的に表示することが可能となる。

この場合、例えば、一部の領域をユーザが操作する操作部をさらに備える、ようにされてもよい。これにより、ユーザは、合成画像内の表示領域を任意に調整することが可能となる。そして、この場合、例えば、表示用画像データに、取り出された一部領域の合成画像内の位置を示すための表示データを重畳する、ようにされてもよい。これにより、ユーザは、合成画像内の表示領域の位置を容易に認識できる。

また、本技術において、例えば、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、代表ビューであるか否かを示す情報が付加されており、表示処理部は、デフォルトでは、合成画像データから代表ビューの領域の画像データを取り出して表示用画像データを得る、ようにされてもよい。これにより、デフォルトでは、合成画像のうち代表ビューの画像を表示することが可能となる。

本技術によれば、受信側における画像合成処理の処理負荷を低減することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 スティッチング・データ・ＳＥＩメッセージの構造例を示す図である。 スティッチング・データ・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 Ｎ個のビューの符号化画像データのシーケンスの一例を示す図である。 受信装置の構成例を示すブロック図である。 情報「tier」の値による合成ビューの組の識別例を示す図である。 「tier1」で指定された合成ビューの組に属するビュー１、ビュー２、ビュー３の画像の一例を示す図である。 合成処理の結果の例を示す図である。 ビュー１，２に含まれる合成点であるマスターポイントＭ１とターゲットポイントＴ１の位置関係の一例を示す図である。 合成処理の手順の一例を説明するための図である。 合成処理の手順の一例を説明するための図である。 画像合成/表示選択部における合成処理のフローを示す図である。 表示部に合成画像（合成ビュー）の全体を表示する場合の表示の一例を示す図である。 成画像（合成ビュー）の一部領域を表示する場合であって、ユーザインタラクションによる合成画像の表示の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、合成可能な複数のビューの符号化画像データからなる符号化ストリーム（ビデオストリーム）が含まれる。この場合、符号化ストリームは、１本で構成されていてもよく、あるいは複数本で構成されていてもよい。

各ビューの符号化画像データには、合成点の情報が挿入される。このように各ビューの符号化画像データに合成点の情報を挿入されることで、受信側では、その合成点の情報に基づいて合成処理を行うことが可能となり、処理負荷の低減が可能となる。

各ビューの画像には２点以上の合成点が存在する。この合成点には、合成時に基準となる基準点とそれ以外の非基準点が含まれる。以下、適宜、基準点を「マスターポイント」と呼び、非基準点を「ターゲットポイント」と呼ぶ。ここで、合成点の情報は、例えば、画像のトップレフト（top-left）を原点とするｘ座標「x_coordinate」およびｙ座標「y_coordinate」からなる。

各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、ビューを識別する情報「view_id」が付加される。このようにビューを識別する情報が付加されることで、受信側では、各ビューの識別が容易に可能となる。

また、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、代表ビューであるか否かを示す情報「masterview_flag」が付加される。このように代表ビューであるか否かを示す情報が付加されることで、受信側では、合成画像のうちデフォルト表示すべき一部領域として代表ビューに対応した領域を選択することが可能となる。

また、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、合成ビューの組を示す情報「tier」が付加される。このように合成ビューの組を示す情報が付加されることで、受信側では、合成ビューの組を指定して所望の合成画像を得ることが可能となる。

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、合成可能な複数のビューの符号化画像データからなる符号化ストリーム（ビデオストリーム）が含まれている。そして、各ビューの符号化画像データには、合成点の情報が挿入されている。

受信装置２００は、複数のビューから選択された所定数のビューの画像データを、合成点の情報に基づいて合成して合成画像データを得る。例えば、受信装置２００は、合成ビューの組の指定情報で指定された組に属するビューの画像データを合成する。合成ビューの組の指定は、例えば、ユーザの操作により行われる。

受信装置２００は、例えば、合成画像データから一部の領域、例えば１つのビューの画像サイズ分の画像データを選択的に取り出して表示用画像データを得る。これにより、合成画像の一部領域の画像が選択的に表示される。例えば、デフォルトでは、代表ビューの情報に基づいて、代表ビューの領域の画像データが取り出されて、代表ビューの画像表示がなされる。この一部の領域の調整は、例えば、ユーザの操作により行われる。そして、この場合、受信装置２００は、例えば、取り出された一部領域の合成画像内の位置を表示画像上に表示し、ユーザの便に供する。

「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ユーザ操作部１０２ａと、表示部１０２ｂと、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）１０３と、ビデオエンコーダ１０４と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０５と、ＴＳフォーマッタ１０６と、送信部１０７を有している。

制御部１０１は、ＣＰＵ（Central Processing Unit）を備えており、送信装置１００の各部の動作を制御する。この制御部１０１には、ユーザインタフェースを構成するユーザ操作部１０２ａおよび表示部１０２ｂが接続されている。ユーザは、ユーザ操作部１０２ａにより種々の入力操作を行うことができる。例えば、ユーザ操作部１０２ａから、スティッチ合成情報の設定操作を行うことができる。このスティッチ合成情報には、合成点（マスターポイント、ターゲットポイント）の情報、ビュー識別情報、代表ビュー情報、合成ビュー組情報などが含まれる。

ビデオエンコーダ１０４は、非圧縮データバッファ１０３を通じて、合成可能な複数の、ここではＮ個のビューの動画像データＶＤ１、ＶＤ２，・・・，ＶＤＮを入力し、ＡＶＣあるいはＨＥＶＣなどで符号化し、各ビューの符号化画像データからなる符号化ストリーム（ビデオストリーム）を得る。この場合、符号化ストリームは、１本あるいは複数本で構成される。

この際、ビデオエンコーダ１０４は、各ビューの符号化画像データに、スティッチ合成情報を挿入する。具体的には、ピクチャ毎の符号化画像データを持つ各アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、スティッチ合成情報を持つ新規定義するスティッチング・データ・ＳＥＩメッセージ（Stitching_data SEI message）を挿入する。

図３は、スティッチング・データ・ＳＥＩメッセージの構造例(Syntax)を示している。図４は、その構造例における主要な情報の内容（Semantics）を示している。「byte_length」の８ビットフィールドは、このＳＥＩメッセージの以降のサイズをバイト数で示す。「number_of_stitching_sets」の１６ビットフィールドは、スティッチ合成情報の数を示す。この数の分だけ、以下のフィールドが繰り返し存在する。

「stp_id」の１６ビットフィールドは、スティッチ合成するための点（合成点）の識別情報を示す。「view_id」の１６ビットフィールドは、スティッチ合成点が含まれるビューの識別情報を示す。

「master_point_x_coordinate」の１６ビットフィールドは、画像のトップレフト（top-left）を原点としたマスターポイントのｘ座標を示す。「master_point_y_coordinate」の１６ビットフィールドは、画像のトップレフトを原点としたマスターポイントのｙ座標を示す。「target_point_x_coordinate」の１６ビットフィールドは、画像のトップレフトを原点としたターゲットポイントのｘ座標を示す。「target_point_y_coordinate」の１６ビットフィールドは、画像のトップレフトを原点としたターゲットポイントのｙ座標を示す。

「tier」の４ビットフィールドは、合成ビューの組を示す。「masterview_flag」の１ビットフィールドは、スティッチ合成点が含まれるビューが代表ビューであるか否かを示す。例えば、“１”は代表ビューであることを示し、“０”は代表ビューでないことを示す。

図５は、Ｎ個のビューの符号化画像データのシーケンスの一例を示している。各ピクチャの符号化画像データ（アクセスユニット）にそれぞれ上述のスティッチング・データ・ＳＥＩメッセージが挿入される。図示の例においては、１番目のピクチャと２番目のピクチャに関しては、ビュー１（View1）の符号化画像データに挿入されるスティッチ合成情報において「Masterview = 1」とされ、ビュー１が代表ビューに設定されている。

また、３番目以降のピクチャに関しては、ビュー２（View2）の符号化画像データに挿入されるスティッチ合成情報において「Masterview = 1」とされ、ビュー２が代表ビューに設定されている。代表ビューは、後述するように、合成画像の一部領域を選択的に表示する場合に、デフォルトで、優先表示される。

図２に戻って、圧縮データバッファ(ｃｐｂ)１０５は、ビデオエンコーダ１０４で生成された符号化ストリームを、一時的に蓄積する。ＴＳフォーマッタ１０６は、圧縮データバッファ１０４に蓄積されている符号化ストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０７は、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。

図２に示す送信装置１００の動作を簡単に説明する。合成可能なＮ個のビューの動画像データＶＤ１、ＶＤ２，・・・，ＶＤＮは、非圧縮データバッファ(ｄｐｂ)１０３を介して、ビデオエンコーダ１０４に供給される。ビデオエンコーダ１０４では、動画像データＶＤ１、ＶＤ２，・・・，ＶＤＮのそれぞれがＡＶＣあるいはＨＥＶＣなどで符号化されて、符号化ストリーム（ビデオストリーム）が得られる。

また、ビデオエンコーダ１０４では、各ビューの符号化画像データに、合成点（マスターポイント、ターゲットポイント）の情報、ビュー識別情報、代表ビュー情報、合成ビュー組情報などが含まれるスティッチ合成情報が挿入される。具体的には、ビデオエンコーダ１０４では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、スティッチ合成情報を持つスティッチング・データ・ＳＥＩメッセージ（図３参照）が挿入される。

ビデオエンコーダ１０４で生成された符号化ストリームは、圧縮データバッファ(ｃｐｂ)１０５に一時的に蓄積される。ＴＳフォーマッタ１０６では、圧縮データバッファ１０５に蓄積されている符号化ストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳは、送信部１０７に送られる。送信部１０７では、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。

「受信装置の構成」
図６は、受信装置２００の構成例を示している。この受信装置２００は、制御部（Central Processing Unit）２０１と、ユーザ操作部２０１ａと、受信部２０２と、ＴＳ解析部２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４と、ビデオデコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、画像合成/表示選択部２０７と、合成部２０８と、表示部２０９を有している。

制御部２０１は、ＣＰＵ（Central Processing Unit）を備えており、受信装置２００の各部の動作を制御する。この制御部２０１には、ユーザインタフェースを構成するユーザ操作部２０１ａが接続されている。ユーザは、ユーザ操作部２０１ａにより種々の入力操作を行うことができる。例えば、受信機側で合成画像のうち表示すべき一部領域の選択が可能な場合には、ユーザ操作部２０１ａから選択操作を行うことできる。

受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。ＴＳ解析部２０３は、トランスポートストリームＴＳから、それに含まれる符号化ストリーム（各ビューの符号化画像データ）を取り出して圧縮データバッファ（ｃｐｂ）２０４に送る。

ビデオデコーダ２０５は、受信装置２００のデコード能力に応じて、全てのビュー、あるいはユーザ操作部２０１ａからユーザにより指定された合成ビューの組に属する各ビューの符号化画像データをデコードする。合成ビューの組の指定は、情報「tier」の値を所定の値に設定することで行われる。この場合、指定された合成ビューの組に属するビューであるかは、設定された情報「tier」の値に関連付けられた合成点を持つか否かで識別される。

図７は、情報「tier」の値による合成ビューの組の識別例を示している。なお、この例は、合成点（マスターポイント、ターゲットポイント）の情報に基づいて、各ビューの画像が既に合成されている状態を示している。例えば、合成ビューの組の指定が情報「tier」の値を「tier1」に設定することで行われる場合、ビュー１（view1）、ビュー２（view2）、ビュー３（view3）の各ビューが「tier1」に関連付けられた合成点を持っていることから、指定された合成ビューの組に属するビューとなる。また、例えば、合成ビューの組の指定が情報「tier」の値を「tier2」に設定することで行われる場合、ビュー１（view1）、ビュー４（view4）、ビュー５（view5）の各ビューが「tier2」に関連付けられた合成点を持っていることから、指定された合成ビューの組に属するビューとなる。

ビデオデコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ビューにおける各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードする。デコードして得られた各ビューの各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、各ビューの動画像データＶＤが得られ、画像合成/表示選択部２０７に送られる。

また、ビデオデコーダ２０５は、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、上述した各ビューの符号化画像データのアクセスユニットに挿入されているスティッチング・データ・ＳＥＩメッセージ（図３参照）も含まれる。これにより、制御部２０１は、各ビューのスティッチ合成情報を認識する。上述したように、スティッチ合成情報には、合成点（マスターポイント、ターゲットポイント）の情報、ビュー識別情報、代表ビュー情報、合成ビュー組情報などが含まれている。

画像合成/表示選択部２０７は、非圧縮データバッファ２０６で得られた各ビューの画像データに合成処理を施して合成画像データを得る。合成処理では、同じ識別情報「stp_id」を持つ合成点を重ね合わせることで画像データを合成する。この場合、基準となるマスタ―ポイントを起点に、ターゲットポイント同士が重なるように、必要に応じて、回転やスケーリングを行って合成する。

図８は、上述の図７において、「tier1」で指定された合成ビューの組に属するビュー１（view1）、ビュー２（view2）、ビュー３（view3）の画像の一例を示している。ビュー１のスティッチ合成情報には、「stp_id1」で識別される合成点に係る各種情報が含まれている。ここでは、「view_id1」により、この合成点はビュー１に含まれること示されている。また、マスターポイントの座標が（ｘ１１，ｙ１１）であることが示されている。また、ターゲットポイントの座標が（ｘ１２，ｙ１２）であることが示されている。

ビュー２のスティッチ合成情報には、「stp_id1」で識別される合成点に係る各種情報が含まれている。ここでは、「view_id2」により、この合成点はビュー２に含まれること示されている。また、マスターポイントの座標が（ｘ２１，ｙ２１）であることが示されている。また、ターゲットポイントの座標が（ｘ２２，ｙ２２）であることが示されている。

また、ビュー２のスティッチ合成情報には、「stp_id2」で識別される合成点に係る各種情報が含まれている。ここでは、「view_id2」により、この合成点はビュー２に含まれること示されている。また、マスターポイントの座標が（ｘ２３，ｙ２３）であることが示されている。また、ターゲットポイントの座標が（ｘ２４，ｙ２４）であることが示されている。

ビュー３のスティッチ合成情報には、「stp_id2」で識別される合成点に係る各種情報が含まれている。ここでは、「view_id3」により、この合成点はビュー３に含まれること示されている。また、マスターポイントの座標が（ｘ３１，ｙ３１）であることが示されている。また、ターゲットポイントの座標が（ｘ３２，ｙ３２）であることが示されている。

ビュー１とビュー２の合成処理では、「stp_id1」で識別される合成点（マスターポイント、ターゲットポイント）を重ね合わせることで画像データを合成する。また、ビュー２とビュー３の合成処理では、「stp_id2」で識別される合成点（マスターポイント、ターゲットポイント）を重ね合わせることで画像データを合成する。これにより、ビュー１、ビュー２およびビュー３の画像データを合成した合成画像データが得られる。図９は、合成処理の結果の例を示している。

合成処理の手順について説明する。ここでは、ビュー１とビュー２の合成処理を例にとって説明する。この場合、ビュー１とビュー２に含まれる「stp_id1」で識別される合成点（マスターポイント、ターゲットポイント）を用いて合成処理が行われる。

図１０（ａ）は、ビュー１に含まれる合成点であるマスターポイントＭ１とターゲットポイントＴ１の位置関係の一例を示している。マスターポイントＭ１の座標は（ｘ１１，ｙ１１）であり、ターゲットポイントＴ１の座標は（ｘ１２、ｙ１２）である。マスターポイントＭ１を基点として、ターゲットポイントＴ１は、垂直軸からθ１だけ回転した位置にある。また、マスターポイントＭ１とターゲットポイントＴ１の間の距離はｒ１である。

図１０（ｂ）は、ビュー２に含まれる合成点であるマスターポイントＭ２とターゲットポイントＴ２の位置関係の一例を示している。マスターポイントＭ２の座標は（ｘ２１，ｙ２１）であり、ターゲットポイントＴ２の座標は（ｘ２２、ｙ２２）である。マスターポイントＭ２を基点として、ターゲットポイントＴ２は、垂直軸からθ２だけ回転した位置にある。また、マスターポイントＭ２とターゲットポイントＴ２の間の距離はｒ２である。なお、ここでは、θ２＜θ１、ｒ２＞ｒ１であるとする。

ステップ１では、図１１（ａ）に示すように、ビュー１のマスターポイントＭ１とビュー２のマスターポイントＭ２の座標が重なるように、２つのビュー（画像）の位置設定の処理をする。このように位置設定をした場合、マスターポイントＭ１，Ｍ２の座標が重なるが、上述したようにθ２＜θ１、ｒ２＞ｒ１であるので、ビュー１のターゲットポイントＴ１とビュー２のターゲットポイントＴ２の座標は重ならない。

以降のステップでは、ターゲットポイントＴ１，Ｔ２の座標が重なるように位置設定の処理をさらに進めていく。なお、θ２＝θ１、ｒ２＝ｒ１である場合には、このステップ１の処理で、ターゲットポイントＴ１，Ｔ２の座標も重なることから、２つのビュー（画像）の位置設定の処理が終了することになる。

ステップ２では、図１１（ｂ）に示すように、ビュー１のターゲットポイントＴ１とビュー２のターゲットポイントＴ２の座標を重ねるための第１段階として、ビュー２を、マスターポイントＭ２を支点として、（θ１-θ２）だけ回転する。これにより、ビュー２のターゲットポイントＴ２は、マスターポイントＭ１，Ｍ２とビュー１のターゲットポイントＴ１とを結ぶ線の延長上に位置した状態となる。なお、この場合、逆に、ビュー１を、マスターポイントＭ１を支点として、－（θ１-θ２）だけ回転することも考えられる。

ステップ３では、図１１（ｃ）に示すように、ビュー１のターゲットポイントＴ１とビュー２のターゲットポイントＴ２の座標を重ねるための第２段階として、ビュー２のターゲットポイントＴ２がビュー１のターゲットポイントＴ１に重なるように、マスターポイントＭ１ないしＭ２を起点にスケーリングする。この場合、ビュー２のマスターポイントＭ２とターゲットポイントＴ２の間の距離は、ビュー１のマスターポイントＭ１とターゲットポイントＴ１の間の距離ｒ１と等しくなる。なお、この場合、逆に、ビュー１のターゲットポイントＴ１がビュー２のターゲットポイントＴ２に重なるようにスケーリングすることも考えられる。

ステップ４では、ビュー１とビュー２の画質（輝度、色など）が一致するように調整する。この場合、例えば、輝度調整の場合は、図１２（ａ）に示すように、上述したようにマスターポイント同士、ターゲットポイント同士が重なった状態で、マスターポイントとターゲットポイントで規制される長方形領域を設定する。そして、この長方形領域におけるビュー１、ビュー２のそれぞれの輝度ヒストグラムをとり、それが同じになるように調整する。図１２（ｂ）は、輝度調整された後の状態を示している。詳細説明は省略するが、色調整の場合も同様である。なお、輝度調整および色調整の双方を行う場合他、いずれか一方のみを行うことも考えられる。

図１３は、画像合成/表示選択部２０７における合成処理のフローを示している。ステップＳＴ１において、処理を開始する。次に、ステップＳＴ２において、同じ「stp_id」の値を持つ２つのビュー（画像）のマスターポイント（Master Point）同士が同一の座標に重なるように位置設定をする（図１１（ａ）参照）。

次に、ステップＳＴ３において、マスターポイント同士が同一の座標に重なっても２つのターゲットポイント（Target Pint）が座標上で重ならない場合であってθ２とθ１が異なるときは、マスターポイントを中心として、θ２がθ１と等しくなるように、あるいはθ１がθ２に等しくなるように、いずれかのビューを回転する（図１１（ｂ）参照）。

次に、ステップＳＴ４において、θ２がθ１と等しくなっても２つのターゲットポイントが座標上で重ならない場合は、２つのターゲットポイントが重なるように、一方のビューを縮小または拡大するスケーリングをする（図１１（ｃ）参照）。次に、ステップＳＴ５において、マスターポイントとターゲットポイントが形成する長方形領域で輝度および/または色に関するヒストグラムが同じになるように、２つのビューの画質調整をする（図１２参照）。

他に合成すべきビューが存在すれば、その分だけ上述のステップＳＴ２からステップＳＴ５までを繰り返し、全てのビューの合成が終了したとき、ステップＳＴ６において、合成処理を終了する。

図６に戻って、画像合成/表示選択部２０７は、表示部２０９の表示画枠サイズやユーザ操作部２０１ａからのユーザの選択操作に応じて、合成画像データからその全領域あるいは一部領域の画像データを取り出して表示用画像データとして出力する。例えば、表示部２０９の表示画枠サイズが合成画像の全体表示が可能であるサイズの場合には、画像合成/表示選択部２０７は、合成画像データからその全領域の画像データを取り出して表示用画像データとして出力する。

また、例えば、表示部２０９の表示画枠サイズが合成画像の一部の表示、例えば１つのビュー分だけの表示が可能であるサイズの場合には、画像合成/表示選択部２０７は、合成画像データからその一部領域の画像データを取り出して表示用画像データとして出力する。この際、画像合成/表示選択部２０７は、デフォルトでは、代表ビューの領域の画像データを取り出して表示用画像データとして出力する。

また、このように画像合成/表示選択部２０７が合成画像データからその一部領域の画像データを取り出して表示用画像データとして出力する場合、ユーザ操作部２０１ａからのユーザの選択操作に応じて画像データを取り出す一部領域を変更し、その変更後の一部領域の画像データを取り出して表示用画像データとして出力する。これにより、ユーザのスクロール操作に応じたスクロール表示も可能となる。なお、スクロール操作ではなく、各ビューの領域を表示領域として順次選択することも考えられる。

制御部２０１は、合成画像内のどの位置の画像データが取り出されている状態にあるかを示すためのＵＩ表示データを生成する。この場合、合成画像データからその全領域の画像データが取り出されている場合には、このＵＩ表示データによりその旨が表示され、スクロール成分がないことが示される。一方、合成画像データからその一部領域の画像データが取り出されている場合には、このＵＩ表示データによりその取り出し位置が表示され、スクロール成分があることが示される。

合成部２０８は、画像合成/表示選択部２０７で生成された表示用画像データおよび制御部２０１で発生されるＵＩ表示データを合成して、表示部２０９に送る。表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０９は、受信装置２００に接続される外部機器であってもよい。

図１４は、表示部２０９に、合成画像（合成ビュー）の全体を表示する場合の表示の一例を示している。表示画面には、合成画像の他に、ＵＩ表示データにより、合成画像の全体表示であり、スクロール成分がないことが示されている。図１５は、成画像（合成ビュー）の一部領域を表示する場合であって、ユーザインタラクションによる合成画像の表示の一例を示している。この場合、ユーザのスクロール操作により、表示領域がスクロールしていく。表示画面には、一部領域の画像の他に、ＵＩ表示データにより、合成画像の一部表示であることがその位置と共に示され、さらにスクロール成分があることが方向を示す矢印を伴って示されている。

図１５（ａ）は、合成画像のうち左端の代表ビューの領域の表示領域となっている場合のＵＩ画面の一例を示している。この場合、右向きの矢印により、表示画像位置が左端にあり、右側へのスクロールのみが可能であることが示されている。図１５（ｂ）は、右側にＰ１だけ表示領域をスクロールした場合のＵＩ画面の一例を示している。この場合、縦棒で合成画像の全体に対する表示領域の相対位置が示され、さらに右左の両方に向いた矢印により、右左の両方へのスクロールが可能であることが示されている。

図１５（ｃ）は、さらに右側にＰ２だけ表示領域をスクロールした場合のＵＩ画面の一例を示している。この場合、縦棒で合成画像の全体に対する表示領域の相対位置が示され、さらに右左の両方に向いた矢印により、右左の両方へのスクロールが可能であることが示されている。図１５（ｄ）は、さらに右側にＰ３だけ表示領域をスクロールした場合のＵＩ画面の一例を示している。この場合、左向きの矢印により、表示画像位置が右端にあり、左側へのスクロールのみが可能であることが示されている。

図６に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ＴＳ解析部２０３に供給される。ＴＳ解析部２０３では、トランスポートストリームＴＳから、それに含まれる符号化ストリーム（各ビューの符号化画像データ）を取り出され、圧縮データバッファ２０４に送られる。

ビデオデコーダ２０５では、受信装置２００のデコード能力に応じて、全てのビュー、あるいはユーザ操作部２０１ａからユーザにより指定された合成ビューの組に属する各ビューの符号化画像データがデコードされる。合成ビューの組の指定は、情報「tier」の値を所定の値に設定することで行われる。この場合、ビデオデコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ビューにおける各ピクチャの符号化画像データが、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出されてデコードされる。

ビデオデコーダ２０５で得られた各ビューの各ピクチャの画像データは、非圧縮データバッファ２０６に一時的に蓄積される。この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、各ビューの動画像データＶＤが得られ、画像合成/表示選択部２０７に送られる。

また、ビデオデコーダ２０５では、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。この抽出情報には、各ビューの符号化画像データのアクセスユニットに挿入されているスティッチング・データ・ＳＥＩメッセージ（図３参照）も含まれる。これにより、制御部２０１では、各ビューのスティッチ合成情報が認識される。このスティッチ合成情報には、合成点（マスターポイント、ターゲットポイント）の情報、ビュー識別情報、代表ビュー情報、合成ビュー組情報などが含まれている。

画像合成/表示選択部２０７では、制御部２０１の制御の下、非圧縮データバッファ２０６で得られた各ビューの画像データに合成処理が施されて合成画像データが得られる。合成処理では、同じ識別情報「stp_id」を持つ合成点が重ね合わせられることで画像データが合成される。この場合、基準となるマスタ―ポイントを起点に、ターゲットポイント同士が重なるように、必要に応じて、回転やスケーリングが行われて合成される。

また、画像合成/表示選択部２０７では、表示部２０９の表示画枠サイズやユーザ操作部２０１ａからのユーザの選択操作に応じて、合成画像データからその全領域あるいは一部領域の画像データが取り出されて表示用画像データとして出力される。この表示用画像データは、合成部２０８を介して表示部２０９に供給され、表示部２０９には、表示用画像データによる画像が表示される。このように、表示部２０９の表示画枠サイズに応じて、スケーラブルな表示が行なわれる。

例えば、表示部２０９の表示画枠サイズが合成画像の全体表示が可能であるサイズの場合には、画像合成/表示選択部２０７では、合成画像データからその全領域の画像データが取り出されて表示用画像データとして出力される。そのため、この場合には、表示部２０９には、合成画像の全体が表示される。

また、例えば、表示部２０９の表示画枠サイズが合成画像の一部の表示、例えば１つのビュー分だけの表示が可能であるサイズの場合には、画像合成/表示選択部２０７では、合成画像データからその一部領域の画像データが取り出されて表示用画像データとして出力される。そのため、この場合には、表示部２０９には、合成画像の一部領域が表示される。この際、画像合成/表示選択部２０７では、デフォルトにあっては、代表ビューの領域の画像データが取り出されるため、表示部２０９には代表ビューの画像が表示される。

また、この際、ユーザ操作部２０１ａからのユーザの選択操作に応じて画像データを取り出す一部領域が変更されるとき、画像合成/表示選択部２０７では、その変更後の一部領域の画像データが取り出されて表示用画像データとして出力される。そのため、ユーザのスクロール操作に応じたスクロール表示も行われる。

また、制御部２０１では、合成画像内のどの位置の画像データが取り出されている状態にあるかを示すためのＵＩ表示データが生成される。このＵＩ表示データは、合成部２０８において、表示用画像データに合成される。この場合、合成画像データからその全領域の画像データが取り出されているときは、このＵＩ表示データによりその旨が表示され、スクロール成分がないことが示される。一方、合成画像データからその一部領域の画像データが取り出されているときは、このＵＩ表示データによりその取り出し位置が表示され、スクロール成分があることが示される。ユーザは、このＵＩ表示データにより、スクロール操作を容易に行い得る。

以上説明したように、図１に示す送受信システム１０において、送信装置１００では、各ビューの符号化画像データに合成点（マスターポイント、ターゲットポイント）の情報を挿入して送信するものである。そのため、受信側では、合成点の情報に基づいて各ビューの合成処理を行うことが可能となり、処理負荷の低減が可能となる。

また、図１に示す送受信システム１０において、送信装置１００では、各ビューの符号化画像データに挿入される合成点の情報のそれぞれには、ビューを識別する情報を付加するものである。そのため、受信側では、各ビューの識別を容易に行うことができる。

また、図１に示す送受信システム１０において、送信装置１００では、各ビューの符号化画像データに挿入される合成点の情報のそれぞれに、代表ビューであるか否かを示す情報が付加するものである。そのため、受信側では、合成画像のうちデフォルト表示すべき一部領域として代表ビューに対応した領域を選択することが可能となる。

また、図１に示す送受信システム１０において、送信装置１００では、各ビューの符号化画像データに挿入される合成点の情報のそれぞれに、合成ビューの組を示す情報を付加するものである。そのため、受信側では、合成ビューの組を指定して所望の合成画像を得ることが可能となる。

また、図１に示す送受信システム１０において、受信装置２００では、合成画像内で表示すべき一部の領域をユーザが操作する操作部が備えられる。そのため、ユーザは、合成画像内の表示領域を任意に調整することが可能となる。そして、この場合、受信装置２００では、表示用画像データに、取り出された一部領域の合成画像内の位置を示すための表示データが重畳される。そのため、ユーザは、合成画像内の表示領域の位置を容易に認識でき、スクロール操作をスムーズに行うことができる。

＜２．変形例＞
なお、上述実施の形態においては、合成点のセットを１つのマスターポイントと１つのターゲットポイントで構成する例を示した。しかし、合成点のセットを１つのマスターポイントと２つ以上のターゲットポイントで構成することも考えられる。その場合、合成処理では、基準となるマスタ―ポイントを起点に、２つ以上のターゲットポイント同士が重なるように、必要に応じて回転やスケーリング（非線形な回転やスケーリングも含まれる）が行われる。

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＩＳＯＢＭＦＦ（あるいはＭＰ４）やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）、インターネット配信で使用されているＩＳＯＢＭＦＦ（あるいはＭＰ４）などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）合成可能な複数のビューの符号化画像データからなる符号化ストリームを送信する送信部と、
上記各ビューの符号化画像データに合成点の情報を挿入する情報挿入部を備える
送信装置。
（２）上記合成点には、合成時の基準点と非基準点が含まれる
前記（１）に記載の送信装置。
（３）上記合成点の情報は、画像のトップレフトを原点とするｘ座標およびｙ座標からなる
前記（１）または（２）に記載の送信装置。
（４）上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、ビューを識別する情報が付加される
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、代表ビューであるか否かを示す情報が付加される
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、合成ビューの組を示す情報が付加される
前記（１）から（５）のいずれかに記載の送信装置。
（７）送信部が、合成可能な複数のビューの符号化画像データからなる符号化ストリームを送信する送信ステップと、
情報挿入部が、上記各ビューの符号化画像データに合成点の情報を挿入する情報挿入ステップを有する
送信方法。
（８）合成可能な複数のビューの符号化画像データからなる符号化ストリームを受信する受信部を備え、
上記各ビューの符号化画像データには、合成点の情報が挿入されており、
上記複数のビューから選択された所定数のビューの画像データを、上記合成点の情報に基づいて合成して合成画像データを得る合成部をさらに備える
受信装置。
（９）上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、合成ビューの組を示す情報が付加されており、
上記合成部は、上記合成ビューの組の指定情報で指定された組に属するビューの画像データを合成する
前記（８）に記載の受信装置。
（１０）上記合成画像データから一部の領域の画像データを選択的に取り出して表示用画像データを得る表示処理部をさらに備える
前記（８）または（９）に記載の受信装置。
（１１）上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、代表ビューであるか否かを示す情報が付加されており、
上記表示処理部は、デフォルトでは、上記合成画像データから上記代表ビューの領域の画像データを取り出して表示用画像データを得る
前記（１０）に記載の受信装置。
（１２）上記一部の領域をユーザが操作する操作部をさらに備える
前記（１０）または（１１）に記載の受信装置。
（１３）上記表示処理部は、上記表示用画像データに、上記取り出された一部領域の合成画像内の位置を示すため表示データを重畳する
前記（１２）に記載の受信装置。
（１４）受信部が、合成可能な複数のビューの符号化画像データからなる符号化ストリームを受信する受信ステップを有し、
上記各ビューの符号化画像データには、合成点の情報が挿入されており、
合成部が、上記複数のビューから選択された所定数のビューの画像データを、上記合成点の情報に基づいて合成する合成ステップをさらに有する
受信方法。

本技術の主な特徴は、各ビューの符号化画像データに合成点（マスターポイント、ターゲットポイント）の情報を挿入して送信することで、受信側では、合成点の情報に基づいて各ビューの合成処理を行うことを可能とし、処理負荷の低減を可能としたことである（図２、図３参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２ａ・・・ユーザ操作部
１０２ｂ・・・表示部
１０３・・・非圧縮データバッファ
１０４・・・ビデオエンコーダ
１０５・・・圧縮データバッファ
１０６・・・ＴＳフォーマッタ
１０７・・・送信部
２００・・・受信装置
２０１・・・制御部
２０１ａ・・・ユーザ操作部
２０２・・・受信部
２０３・・・ＴＳ解析部
２０４・・・圧縮データバッファ
２０５・・・ビデオデコーダ
２０６・・・非圧縮データバッファ
２０７・・・画像合成/表示選択部
２０８・・・合成部
２０９・・・表示部

Claims (13)

1. 合成可能な複数のビューの符号化画像データからなる符号化ストリームを送信する送信部と、
   上記各ビューの符号化画像データに、合成時の基準点と非基準点の２つの点の情報を含む合成点の情報を、合成点の識別情報を付加して、挿入する情報挿入部を備える
   送信装置。
2. 上記合成点の情報は、画像のトップレフトを原点とするｘ座標およびｙ座標からなる
   請求項１に記載の送信装置。
3. 上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、ビューを識別する情報が付加される
   請求項１に記載の送信装置。
4. 上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、代表ビューであるか否かを示す情報が付加される
   請求項１に記載の送信装置。
5. 上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、合成ビューの組を示す情報が付加される
   請求項１に記載の送信装置。
6. 送信部が、合成可能な複数のビューの符号化画像データからなる符号化ストリームを送信する送信ステップと、
   情報挿入部が、上記各ビューの符号化画像データに、合成時の基準点と非基準点の２つの点の情報を含む合成点の情報を、合成点の識別情報を付加して、挿入する情報挿入ステップを有する
   送信方法。
7. 合成可能な複数のビューの符号化画像データからなる符号化ストリームを受信する受信部を備え、
   上記各ビューの符号化画像データには、合成時の基準点と非基準点の２つの点の情報を含む合成点の情報が、合成点の識別情報が付加されて、挿入されており、
   上記複数のビューから選択された所定数のビューの画像データを、上記合成点の情報に基づいて合成して合成画像データを得る合成部をさらに備える
   受信装置。
8. 上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、合成ビューの組を示す情報が付加されており、
   上記合成部は、上記合成ビューの組の指定情報で指定された組に属するビューの画像データを合成する
   請求項７に記載の受信装置。
9. 上記合成画像データから一部の領域の画像データを選択的に取り出して表示用画像データを得る表示処理部をさらに備える
   請求項７に記載の受信装置。
10. 上記各ビューの符号化画像データに挿入される上記合成点の情報のそれぞれには、代表ビューであるか否かを示す情報が付加されており、
    上記表示処理部は、デフォルトでは、上記合成画像データから上記代表ビューの領域の画像データを取り出して表示用画像データを得る
    請求項９に記載の受信装置。
11. 上記一部の領域をユーザが操作する操作部をさらに備える
    請求項９に記載の受信装置。
12. 上記表示処理部は、上記表示用画像データに、上記取り出された一部領域の合成画像内の位置を示すため表示データを重畳する
    請求項１１に記載の受信装置。
13. 受信部が、合成可能な複数のビューの符号化画像データからなる符号化ストリームを受信する受信ステップを有し、
    上記各ビューの符号化画像データには、合成時の基準点と非基準点の２つの点の情報を含む合成点の情報が、合成点の識別情報が付加されて、挿入されており、
    合成部が、上記複数のビューから選択された所定数のビューの画像データを、上記合成点の情報に基づいて合成する合成ステップをさらに有する
    受信方法。

Images