JP7727552B2 - 送信装置及び受信装置 - Google Patents

Description

関連出願の相互参照

本出願は、２０１９年１２月２７日に出願された日本国特許出願２０１９－２３９５６４号及び２０１９－２３９５７０号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、異なる位置から撮影した複数の映像信号を送信する送信装置、及び該映像信号を受信する受信装置に関する。

３６０度映像の発展系として、ユーザが好きな視点からの３６０度映像を見ることができる映像システムが検討されている。例えば、非特許文献１では、３ＤｏＦ＋(Degree of Freedom)としてユーザが座った状態で頭を動かした範囲の視点移動を伴う、あるいは６ＤｏＦとしてユーザが自由に動いた範囲の視点移動を伴う、「３Ｄイメージメッセージ」、「イマーシブ６ＤｏＦのストリーミング」などのユースケースが挙げられている。

一般に、一つのカメラでは一つの視点からの映像が撮影される。複数のカメラで撮影した複数の映像（多視点映像）を用いることで、それらを撮影した位置の中間位置からの映像を生成することができる。これは、視点内挿、中間視点画像生成などと呼ばれる公知の技術である（例えば、特許文献１参照）。

また、あらかじめ決められた視点の３６０度映像信号などを格納するファイルフォーマットとして、非特許文献２にはＯＭＡＦ（Omnidirectional Media Format）が規定されている。

特許第６３０６９５２号公報

3GPP TR 26.928, "3rd Generation Partnership Project; Technical Specification Group SA WG4 Extended Reality in 5G; (Release 16)", ver 0.5.0, 2019-07 ISO/IEC 23090-2: 2019, "Information technology - Coded representation of immersive media - Part 2: Omnidirectional media format"

視点内挿では、異なる位置から撮影した複数の映像信号を用いて所望の視点からの映像を生成する。一方、６ＤｏＦのようにユーザが自由に動いた視点からの映像を見ることができるサービスのためには、多くの地点を中心に複数の映像を撮影し、視点内挿を行う必要がある。しかし、撮影した映像信号は互いに独立した信号であり、それらを関連付ける情報がない。ＯＭＡＦでは固定視点の映像信号を格納できるが、視点を自由に動かした場合の複数の映像信号の処理はサポートされていない。そのため、受信端末は、どのような映像信号が存在し、それらの映像信号がどのように関係するかを特定する方法がなく、また、複数の映像信号を受信した場合、それらの映像信号をどのように関連付けるかを特定する方法がなかった。

かかる事情に鑑みてなされた本発明の目的は、ユーザが視点位置を変更した場合に、視点内挿を行うために必要となる映像信号を容易に特定することが可能な送信装置及び受信装置を提供することにある。

一実施形態に係る送信装置は、異なる位置から撮影した複数の映像信号を受信装置に送信する送信装置であって、前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、前記グループを識別するためのＩＤを付与する制御部と、前記ＩＤが付与された映像信号を前記受信装置に送信する通信インターフェースと、を備え、前記制御部は、前記受信装置のユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定し、前記通信インターフェースは、前記リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を前記受信装置に送信し、前記リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を前記受信装置に送信する。

一実施形態において、前記映像信号は撮影位置に応じて複数階層の複数のグループにグループ分けされ、前記制御部は、前記グループを識別するためにグループＩＤを付与してもよい。

一実施形態において、前記複数階層のグループのうちの第１階層のグループは、前記受信装置において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループであってもよい。

一実施形態において、前記複数階層のグループのうちの第２階層のグループは、同一場所内で撮影された複数の映像信号が属する、１以上の前記第１階層のグループであってもよい。

一実施形態において、前記通信インターフェースが送信する、前記第１階層のグループに属する映像信号は、映像信号間の相関を用いた予測符号化による圧縮がなされていてもよい。

一実施形態において、前記ＩＤ及び前記映像信号は、ISO Base Media File Formatのファイルに格納されてもよい。

一実施形態に係る受信装置は、上記送信装置により送信された映像信号を受信する受信装置であって、前記映像信号を復号して復号映像を生成するとともに、ユーザの視点位置を取得する制御部と、前記ユーザの視点位置を示す視点情報を前記送信装置に送信する通信インターフェースと、を備え、前記通信インターフェースは、前記送信装置において、前記リクエストＩＤが、直前に送信した映像信号のＩＤと同一であると判定された場合には、該リクエストＩＤが付与された映像信号群のうち、前記視点位置に対応する映像を生成するために必要となる複数の映像信号を前記送信装置から受信し、前記送信装置において、前記リクエストＩＤが、直前に送信した映像信号のＩＤと異なると判定された場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を前記送信装置から受信し、前記制御部は、前記複数の映像信号を受信した場合には、前記視点位置に対応する映像を生成し、前記デフォルトの映像信号を受信した場合には、前記デフォルトの映像信号を復号する。

本発明によれば、ユーザが視点位置を変更した場合に、視点内挿を行うために必要となる映像信号を容易に特定することが可能となる。

第１実施形態に係る映像伝送システムの一例を示すブロック図である。 第１実施形態に係る第１グループＩＤについて説明する図である。 第１実施形態に係る第２グループＩＤについて説明する図である。 第１実施形態に係る映像信号の階層構造について説明する図である。 第１実施形態に係る映像信号を格納するファイルの構成例を示す図である。 第１実施形態に係る映像信号を格納するファイルの構成例を示す図である。 第１実施形態に係る受信装置の表示例を示す図である。 第１実施形態に係る映像伝送システムの動作例を示すシーケンス図である。 第２実施形態に係る映像伝送システムの一例を示すブロック図である。 第２実施形態に係る映像伝送システムの動作例を示すシーケンス図である。 第３実施形態に係る映像伝送システムの一例を示すブロック図である。 第３実施形態に係る映像伝送システムの動作例を示すシーケンス図である。 コンピュータの概略構成を示すブロック図である。

以下、実施形態について、図面を参照して詳細に説明する。

＜第１実施形態＞
（映像伝送システム）
まず、第１実施形態に係る映像伝送システムについて説明する。図１は、第１実施形態に係る映像伝送システム１を示す図であり、複数の場所で撮影された複数の映像信号の伝送の概要を示している。映像伝送システム１は、複数の撮像装置（カメラ）１０と、複数の第１送信装置２０と、第２送信装置３０と、受信装置４０と、を備える。本明細書において、「場所」とは、会場、競技場、施設、公園など、特定の目的のために設けられた所定のエリアをいう。本実施形態では、映像伝送システム１は第１送信装置２０を３つ備え、第１送信装置２０Ａは場所Ａにおいて撮影された映像信号を送信し、第１送信装置２０Ｂは場所Ｂにおいて撮影された映像信号を送信し、第１送信装置２０Ｃは場所Ｃにおいて撮影された映像信号を送信するものとして、以下説明する。

撮像装置１０は、所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０に送信する。ここで、撮像装置１０が送信するメタデータとは、撮像装置１０の撮影位置を示す位置情報であり、撮影方向を示す情報を含んでもよい。また、メタデータは、撮像装置１０から、撮影した物体までの距離を示す距離情報を含んでもよい。

つまり、場所Ａに設置された複数の撮像装置１０Ａは、それぞれ場所Ａの所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０Ａに送信する。同様に、場所Ｂに設置された複数の撮像装置１０Ｂは、それぞれ場所Ｂの所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０Ｂに送信する。同様に、場所Ｃに設置された複数の撮像装置１０Ｃは、それぞれ場所Ｃの所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０Ｃに送信する。

第１送信装置２０Ａは、複数の撮像装置１０Ａから映像信号及びメタデータを受信し、ＩＤを付与して第２送信装置３０に送信する。同様に、第１送信装置２０Ｂは、複数の撮像装置１０Ｂから映像信号及びメタデータを受信し、ＩＤを付与して第２送信装置３０に送信する。同様に、第１送信装置２０Ｃは、複数の撮像装置１０Ｃから映像信号及びメタデータを受信し、ＩＤを付与して第２送信装置３０に送信する。

撮像装置１０から第１送信装置２０への伝送、及び第１送信装置２０から第２送信装置３０への伝送には、ＳＤＩ(Serial Digital Interface)、ＩＰ(Internet Protocol)などを用いることができる。より具体的には、ＳＤＩを用いる場合には、１２Ｇ-ＳＤＩ、３Ｇ-ＳＤＩ、ＨＤ-ＳＤＩなどで伝送することができ、ＩＰを用いる場合には、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers） ＳＴ ２１１０規格に基づいてＲＴＰ(Real-Time Transport Protocol)により伝送することができる。例えば、映像信号を符号化しないで伝送する場合にはＳＤＩ又はＩＰを用いて伝送し、映像信号を符号化してから伝送する場合にはＩＰを用いて伝送することが考えられる。本実施形態では、撮像装置１０は映像信号を符号化しないで第１送信装置２０へ伝送し、第１送信装置２０は映像信号を符号化してから第２送信装置３０へ伝送するものとするが、撮像装置１０で符号化を行うにしてもよいし、第１送信装置２０で符号化を行わないようにしてもよい。

第２送信装置３０は、複数の第１送信装置２０から送信された映像信号を集約し、伝送路（例えば、ＩＰネットワーク）を介して受信装置４０に映像信号を送信する。なお、映像信号が第２送信装置３０に集約される必要は必ずしもなく、放送伝送路、地上ＩＭＴ（International Mobile Telecommunication）ネットワーク、光ファイバ、Ｗｉ－Ｆｉ（登録商標）回線などさまざまな伝送路により、第１送信装置２０が映像信号を受信装置４０に直接送信してもよい。

受信装置４０は、第１送信装置２０又は第２送信装置３０からの映像伝送を受信可能な機器であればどのようなものであってもよい。受信装置４０は、例えば、ヘッドマウントディスプレイ、ＶＲ（Virtual Reality）ゴーグル、タブレット端末、スマートフォン、ＰＣ（Personal Computer）などである。

（第１送信装置）
次に、第１実施形態に係る第１送信装置２０について説明する。

図１に示すように、第１送信装置２０は、映像受信部２１と、映像符号化部２２と、第１ＩＤ付与部２３と、記憶部２４と、映像送信部２５と、を備える。映像符号化部２２と、第１ＩＤ付与部２３とは、制御部（コントローラ）を構成する。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。映像受信部２１と、映像送信部２５とは、通信インターフェースを構成する。

映像受信部２１は、複数の撮像装置１０から映像信号及びメタデータを取得し、映像符号化部２２に出力する。

映像符号化部２２は、映像受信部２１から入力された映像信号を、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）などの任意の映像符号化方式で符号化し、符号化映像信号を生成する。映像符号化部２２は、効率的な伝送のために、それぞれの映像信号間の相関を用いた予測符号化による圧縮を行ってもよい。そして、映像符号化部２２は、符号化映像信号を、記憶部２４に出力する。

本発明では、映像信号は撮影位置に応じて複数のグループにグループ分けされる。複数の撮像装置１０で撮影された複数の映像信号は、撮影位置とは異なる視点位置からの映像を生成するために用いられる（視点内挿に用いられる）映像信号群の単位でグループ分けすることができる。このグループ分けを、後述するグループ分けと区別するために、「第１階層のグループ分け」と称する。つまり、第１階層のグループは、受信装置４０において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループである。

第１ＩＤ付与部２３は、第１送信装置２０のオペレータの操作により、第１階層のグループを識別するためのＩＤ（第１グループＩＤ）を入力し、第１グループＩＤを映像信号と対応付けて記憶部２４に記憶させる。つまり、第１ＩＤ付与部２３は、映像信号に対して第１グループＩＤを付与する。

図２を参照して、第１グループＩＤについて説明する。図２は、野球場で撮影する例を示しており、野球場のキャッチャー裏に、横方向に５個、縦方向に３個の合計１５の撮像装置１０が設置されている。説明の便宜上、これら１５個の撮像装置１０の位置情報ｐを１～１５とする。また、野球場の一塁側に、横方向に５個、縦方向に３個の合計１５の撮像装置１０が設置されている。説明の便宜上、これら１５個の撮像装置１０の位置情報ｐを１６～３０とする。また、野球場の三塁側に、横方向に５個、縦方向に３個の合計１５の撮像装置１０が設置されている。説明の便宜上、これら１５個の撮像装置１０の位置情報ｐを３１～４５とする。なお、撮像装置１０は、図２に示す例では撮影位置から前方の映像のみを撮影するが、撮影位置から３６０度の全周囲の映像を撮影してもよい。

受信装置４０は、位置情報ｐ＝１～１５の撮像装置１０に撮影された映像信号を受信し、視点内挿することにより、キャッチャー裏からのある程度の範囲の視点の映像をユーザに提示することができる。例えば、受信装置４０が、位置情報ｐ＝８の撮像装置１０に撮影された映像信号を表示しており、その後ユーザが所定の範囲（例えば、半径数メートルの範囲）内で移動した場合に、ユーザの視点に対応する映像をユーザに提示することができる。同様に、受信装置４０は、位置情報ｐ＝１６～３０の撮像装置１０に撮影された映像信号を受信することにより、一塁側からのある程度の範囲の視点の映像をユーザに提示することができる。同様に、受信装置４０は、位置情報ｐ＝３１～４５の撮像装置１０に撮影された映像信号を受信することにより、三塁側からのある程度の範囲の視点の映像をユーザに提示することができる。

例えば、図２に示すように位置情報ｐ＝１～４５の撮像装置１０により撮影した場合、第１ＩＤ付与部２３は、キャッチャー裏から撮影された１５個の映像信号に対して第１グループＩＤとして“I”を付与し、一塁側から撮影された１５個の映像信号に対して第１グループＩＤとして“II”を付与し、三塁側から撮影された１５個の映像信号に対して第１グループＩＤとして“III”を付与する。第１ＩＤ付与部２３は、映像信号の全てに第１グループＩＤを付与してもよい。また、映像符号化部２２がそれぞれの映像信号間の相関を用いた圧縮を行う場合には、第１ＩＤ付与部２３は、基準となる映像信号（例えば、位置情報ｐ＝８，２３，３８の撮像装置１０により撮影された映像信号）のみに第１グループＩＤを付与してもよい。

再び図１を参照し、記憶部２４は、映像符号化部２２から入力された符号化映像信号及びメタデータ（位置情報）、並びに第１ＩＤ付与部２３から入力されたメタデータ（第１グループＩＤを示す情報）を、記憶する。

映像送信部２５は、記憶部２４に記憶された符号化映像信号及びメタデータ（位置情報及び第１グループＩＤを示す情報）を、第２送信装置３０に送信する。

なお、撮像装置１０と、第１送信装置２０の一部又は全部とは、一体となっていてもよい。例えば、撮像装置１０が映像符号化部２２の機能を有する場合には、第１送信装置２０の映像受信部２１は、撮像装置１０から符号化映像信号を受信し、記憶部２４に出力する。

（第２送信装置）
次に、第１実施形態に係る第２送信装置３０について説明する。

図１に示すように、第２送信装置３０は、映像受信部３１と、第２ＩＤ付与部３２と、記憶部３３と、視聴要求受信部３４と、視点情報受信部３５と、位置判定部３６と、映像送信部３７と、を備える。第２ＩＤ付与部３２と、位置判定部３６とは、制御部を構成する。制御部は、ＡＳＩＣ、ＦＰＧＡなど専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。映像受信部３１と、視聴要求受信部３４と、視点情報受信部３５と、映像送信部３７とは、通信インターフェースを構成する。

映像受信部３１は、複数の第１送信装置２０から送信された符号化映像信号及びメタデータを受信し、受信した符号化映像信号及びメタデータを、記憶部３３に出力する。

複数の撮像装置１０で撮影された映像信号は、同一場所内で撮影された映像信号群の単位でグループ分けすることができる。このグループ分けを、前述した第１階層のグループ分けと区別するために、「第２階層のグループ分け」と称する。つまり、第２階層のグループは、同一場所内で撮影された複数の映像信号が属する、１以上の第１階層のグループである。

第２ＩＤ付与部３２は、第２送信装置３０のオペレータの操作により、第２階層のグループを識別するためのＩＤ（第２グループＩＤ）を入力し、第２グループＩＤを映像信号と対応付けて記憶部３３に記憶させる。つまり、第２ＩＤ付与部３２は、映像信号に対して第２グループＩＤを付与する。

図３を参照して、第２グループＩＤについて説明する。図３に示す例では、第２送信装置３０は、第１送信装置２０Ａから場所Ａで撮影された映像信号を受信する。具体的には、第２送信装置３０は、位置情報ｐ＝１～１５の撮像装置１０に撮影された第１グループＩＤ＝Ｉの１５個の映像信号と、位置情報ｐ＝１６～３０の撮像装置１０に撮影された第１グループＩＤ＝IIの１５個の映像信号と、位置情報ｐ＝３１～４５の撮像装置１０に撮影された第１グループＩＤ＝IIIの１５個の映像信号を受信する。また、第２送信装置３０は、第１送信装置２０Ｂから場所Ｂで撮影された映像信号を受信する。具体的には、第２送信装置３０は、第１送信装置２０Ｂから、位置情報ｐ＝４６～６０の撮像装置１０に撮影された第１グループＩＤ＝Iの１５個の映像信号と、位置情報ｐ＝６１～７５の撮像装置１０に撮影された第１グループＩＤ＝IIの１５個の映像信号と、位置情報ｐ＝７６～９０の撮像装置１０に撮影された第１グループＩＤ＝IIIの１５個の映像信号を受信する。また、第２送信装置３０は、第１送信装置２０Ｃから場所Ｃで撮影された映像信号を受信する。具体的には、第２送信装置３０は、第１送信装置２０Ｃから、位置情報ｐ＝９１～１０５の撮像装置１０に撮影された第１グループＩＤ＝Iの１５個の映像信号と、位置情報ｐ＝１０６～１２０の撮像装置１０に撮影された第１グループＩＤ＝IIの１５個の映像信号と、位置情報ｐ＝１２１～１３５の撮像装置１０に撮影された第１グループＩＤ＝IIIの１５個の映像信号を受信する。

また、第２ＩＤ付与部３２は、場所Ａで撮影された４５個の映像信号に対して第２グループＩＤとして例えば“Ａ”を付与し、場所Ｂで撮影された４５個の映像信号に対して第２グループＩＤとして例えば“Ｂ”を付与し、場所Ｃで撮影された４５個の映像信号に対して第２グループＩＤとして例えば“Ｃ”を付与する。

図４に、映像信号をこのように２階層にグループ化した階層構造を示す。図３に示したように、場所Ａ、場所Ｂ、及び場所Ｃでそれぞれ４５個の映像信号が撮影されるものとする。この場合、場所Ａで撮影された４５個の映像信号は、第２グループＩＤ＝ＡのグループＡに分類され、グループＡの中でさらに、第１グループＩＤ＝Iに属する１５個の映像信号と、第１グループＩＤ＝IIに属する１５個の映像信号と、第１グループＩＤ＝IIIに属する１５個の映像信号とに分類される。また、場所Ｂで撮影された４５個の映像信号は、第２グループＩＤ＝ＢのグループＢに分類され、グループＢの中でさらに、第１グループＩＤ＝Iに属する１５個の映像信号と、第１グループＩＤ＝IIに属する１５個の映像信号と、第１グループＩＤ＝IIIに属する１５個の映像信号とに分類される。また、場所Ｃで撮影された４５個の映像信号は、第２グループＩＤ＝ＣのグループＣに分類され、グループＣの中でさらに、第１グループＩＤ＝Iに属する１５個の映像信号と、第１グループＩＤ＝IIに属する１５個の映像信号と、第１グループＩＤ＝IIIに属する１５個の映像信号とに分類される。

再び図１を参照し、記憶部３３は、映像受信部３１から入力された符号化映像信号及びメタデータ、並びに第２ＩＤ付与部３２から入力されたメタデータを記憶する。

視聴要求受信部３４は、受信装置４０から、視聴するコンテンツを示す視聴要求を受信すると、該視聴要求を映像送信部３７に出力する。

視点情報受信部３５は、受信装置４０から、受信装置４０のユーザの視点位置（例えば、受信装置４０の位置）を示す視点情報を受信すると、該視点情報を位置判定部３６に出力する。例えば、視点位置情報は、グローバル座標系における三次元座標である。また、視点位置情報は、デフォルトのユーザ位置を基準とするローカル座標系における三次元座標であってもよい。

位置判定部３６は、視点情報受信部３５から視点情報が入力されると、ユーザの視点位置の変化がＩＤ（第１グループＩＤ及び第２グループＩＤ）の変更を伴うものであるか否かを判定する。具体的には、位置判定部３６は、ユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定し、リクエストＩＤが直前に送信した映像信号のＩＤと同一であるか否かを判定する。

位置判定部３６は、リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を撮影した複数の撮像装置１０の位置情報を映像送信部３７に出力する。例えば、位置判定部３６は、ユーザの視点位置に対応する撮影位置を求め、該撮影位置に隣接する位置、又は該撮影位置を取り囲む位置に配置された撮像装置１０の位置情報を映像送信部３７に出力する。

また、位置判定部３６は、リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を撮影した撮像装置１０の位置情報を映像送信部３７に出力する。

映像送信部３７は、映像信号を受信装置４０に送信する。本明細書において、「映像信号を送信する」という場合、該映像信号に付与された（多重された）メタデータも同時に送信することを意味する。また、映像送信部３７は、メタデータのみを送信することもできる。映像送信部３７が送信する、第１階層のグループに属する映像信号は、第１送信装置２０の映像符号化部２２により、映像信号間の相関を用いた予測符号化による圧縮がなされていてもよい。

映像送信部３７は、視聴要求受信部３４から視聴要求が入力されると、視聴要求されたコンテンツのデフォルトの映像信号、視聴要求されたコンテンツに関する全てのＩＤ情報（第１グループＩＤ及び第２グループＩＤを示す情報）、及び各第１階層のグループを代表する撮像装置１０の位置情報を記憶部３３から取得して、受信装置４０に送信する。受信装置４０は、ＩＤ情報及び撮像装置１０の位置情報をもとに、どのような視点位置を選択可能であるかをユーザに提示する。

また、映像送信部３７は、位置判定部３６から位置情報が入力されると、該位置情報を有する撮像装置１０により撮影された映像信号（該位置情報に対応する映像信号）を記憶部３３から取得して、受信装置４０に送信する。つまり、映像送信部３７は、リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を送信し、リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を送信する。

図５は、ＩＤ及び映像信号を、ＯＭＡＦのようなISO Base Media File Formatのファイルに格納する場合の、ファイルの構成例を示す図である。該フォーマットは、ボックスと呼ばれる基本単位から構成される。

図５Ａに示すファイル構成では、第２グループＩＤ及び第１グループＩＤが共通のｎ個の映像信号をファイルに格納する際に、第２グループＩＤと第１グループＩＤを示すボックスの下にｎ個の映像信号を格納することで、映像信号が属するグループを示している。図５Ｂに示すファイル構成では、第２グループＩＤ及び第１グループＩＤが共通のｎ個の映像信号をファイルに格納する際に、それぞれの映像信号を格納するトラックとともに、第２グループＩＤと第１グループＩＤを示すボックスを格納することで、映像信号が属するグループを示している。

なお、本実施例では、２階層のグループ分けで説明したが、ユーザの操作のためコンテンツに応じて３階層以上のグループ分けを行ってもよい。３階層以上のグループ分けを行う場合も同様に階層化して各映像信号を識別することができる。例えば、同一地域内で撮影された映像信号が属する、１以上の第２階層のグループを、第３階層のグループとしてグループ化してもよい。

（受信装置）
次に、第１実施形態に係る受信装置４０について説明する。

図１に示すように、受信装置４０は、視聴要求送信部４１と、映像受信部４２と、映像復号部４３と、記憶部４４と、視点位置検出部４５と、視点情報送信部４６と、視点内挿部４７と、操作情報付加部４８と、表示部４９と、を備える。映像復号部４３と、視点位置検出部４５と、視点内挿部４７と、操作情報付加部４８とは、制御部を構成する。制御部は、ＡＳＩＣ、ＦＰＧＡなど専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。視聴要求送信部４１と、映像受信部４２と、視点情報送信部４６とは、通信インターフェースを構成する。

視聴要求送信部４１は、受信装置４０のユーザが選択したコンテンツを示す視聴要求を、第２送信装置３０に送信する。

映像受信部４２は、第２送信装置３０から映像信号及びメタデータ（位置情報及びＩＤ情報）を受信する。映像受信部４２は、受信した映像信号及びメタデータを対応付けて映像復号部４３に出力する。

映像復号部４３は、映像信号を復号して復号映像を生成し、記憶部４４に出力する。

記憶部４４は、映像復号部４３により生成された復号映像を記憶する。

視点位置検出部４５は、ユーザの視点位置を検出し、検出した視点位置を示す視点情報を視点情報送信部４６に出力する。例えば、視点位置検出部４５は、受信装置４０が備える撮像装置によって撮像されたユーザの目の画像を取得し、該画像を任意の公知の技術を用いて解析することにより、視点位置を検出する。また、視点位置検出部４５は、受信装置４０が制御部とは別に備える視線センサーであってもよい。制御部は、視点位置検出部４５によりユーザの視点位置を取得する。

視点情報送信部４６は、視点位置検出部４５により検出された視点情報を、第２送信装置３０に送信する。視点情報送信部４６は、所定間隔で視点情報送を第２送信装置３０に送信してもよいし、視点位置の変化量が閾値を超えた場合にのみ視点情報を第２送信装置３０に送信してもよい。

視点内挿部４７は、記憶部４４に記憶された、第１グループＩＤ及び第２グループＩＤが共通の複数の復号映像（すなわち、位置判定部３６により求められた位置情報に対応する映像信号を復号した復号映像）を用いて視点内挿を行い、視点位置検出部４５により検出された視点位置に対応する映像を生成する。視点内挿には、任意の公知の技術（例えば、特許文献１参照）を用いることができる。視点内挿部４７は、視点内挿された復号映像を、操作情報付加部４８に出力する。

操作情報付加部４８は、ユーザの視聴要求に応じて、記憶部４４からデフォルトの復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。操作情報付加部４８は、視点内挿部４７による視点内挿が行われた後は、視点内挿部４７から視点内挿された復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。

ここで、操作情報とは、ユーザに対して、視点位置を変更するための操作方法を示す情報である。例えば、操作情報は、同一場所における異なる視点位置への変更、あるいは異なる場所における視点位置への変更を行うための操作方法を示す情報である。操作情報は、アイコンを含んでもよい。ユーザは、操作情報に基づいて操作することにより、視点位置の変更をリクエストすることが可能となる。例えば、受信装置４０が、ヘッドマウントディスプレイである場合には、ユーザは視線の方向により操作情報に基づく操作を行ってもよい。この時、視線方向は視点位置検出部４５により検出される。また、受信装置４０が、タブレット端末である場合には、フリック、スワイプなどの画面操作により操作情報に基づく操作を行ってもよい。また、受信装置４０が、フラットパネルディスプレイを有する非モバイル又は非ポータブルの装置である場合には、リモコンを用いて操作情報に基づく操作を行ってもよい。

表示部４９は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイである。表示部４９は、操作情報付加部４８から入力された復号映像及び操作情報を表示する。

図６に、表示部４９における映像及び操作情報の表示例を示す。図６に示す例では、映像４８１及び操作情報４８２～４８６を表示している。操作情報４８２は、表示中の映像４８１が場所Ｃの第１グループＩＤ＝IIの映像群に基づく映像であることを示している。操作情報４８３は、所定の操作により、場所Ｃにおける視点位置を変更可能（表示中の映像４８１を、場所Ｃの第１グループＩＤ＝Ｉの映像群に基づく映像に変更可能）なことを示している。操作情報４８４は、所定の操作により、場所Ｃにおける視点位置を変更可能（表示中の映像４８１を、場所Ｃの第１グループＩＤ＝IIIの映像群に基づく映像に変更可能）なことを示している。操作情報４８５は、所定の操作により、異なる場所に視点位置を変更可能（表示中の映像４８１を、場所Ａで撮影された映像に変更可能）なことを示している。操作情報４８６は、所定の操作により、異なる場所に視点位置を変更可能（表示中の映像４８１を、場所Ｂで撮影された映像に変更可能）なことを示している。

ユーザが表示部４９に表示された操作情報に基づいて操作すると、視点位置検出部４５は、操作に対応する視点位置を検出する。これにより、ユーザは視点位置の変更を第２送信装置３０に要求することができる。

（動作シーケンス）
次に、本実施形態に係る映像伝送システム１の動作シーケンスについて、図７を参照して説明する。図７は、第２送信装置３０と受信装置４０との間の動作シーケンスを示す図である。

ステップＳ１０１において、受信装置４０は、視聴要求送信部４１により、ユーザが選択したコンテンツを示す視聴要求を、第２送信装置３０に送信する。第２送信装置３０は、視聴要求受信部３４により、受信装置４０から送信された視聴要求を受信する。

ステップＳ１０２において、第２送信装置３０は、映像送信部３７により、受信装置４０から視聴要求されたコンテンツについて、全てのＩＤ情報、及び各第１階層のグループを代表する撮像装置１０の位置情報を受信装置４０に送信する。受信装置４０は、映像受信部４２により、第２送信装置３０から視聴要求したコンテンツに関する上記情報を受信する。例えば、撮像装置１０の設置位置が図２で示したとおりである場合、各第１階層のグループを代表する撮像装置１０の位置情報を、それぞれ中央に配置された撮像装置１０の位置情報ｐ＝８，２３，３８とする。なお、映像送信部３７は第１階層のグループ分けごとに複数の位置情報を受信装置４０に送信してもよい。

ステップＳ１０３において、第２送信装置３０は、映像送信部３７により、受信装置４０から視聴要求されたコンテンツについて、デフォルトの映像信号を受信装置４０に送信する。第２送信装置３０は、コンテンツごとに予めデフォルトの映像信号を定めているものとする。例えば、視聴要求されたコンテンツに関する映像信号が図４に示したようにグループ分けされている場合、デフォルトの映像を、第２グループＩＤ＝Ａ、第１グループＩＤ＝Ｉの映像信号８（図２において、キャッチャー裏の中央に配置された位置情報ｐ＝８の撮像装置１０により撮像された映像信号）とする。

ステップＳ１０４において、受信装置４０は、映像受信部４２により、第２送信装置３０から視聴要求したコンテンツのデフォルトの映像信号を受信する。そして、受信装置４０は、映像復号部４３により映像信号を復号し、表示部４９によりデフォルトの映像を表示する。

ステップＳ１０５において、受信装置４０は、視点情報送信部４６により、視点情報を第２送信装置３０に送信する。

ステップＳ１０６において、第２送信装置３０は、位置判定部３６により、ユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定する。第２送信装置３０は、リクエストＩＤが直前に送信した映像信号のＩＤと同一である場合には処理をステップＳ１０７に進め、リクエストＩＤが直前に送信した映像信号のＩＤと異なる場合には処理をステップＳ１０９に進める。

ステップＳ１０７において、第２送信装置３０は、映像送信部３７により、ユーザの視点位置に対応する映像を生成するために必要となる映像信号を受信装置４０に送信する。

ステップＳ１０８において、受信装置４０は、視点内挿部４７により、第２送信装置３０から受信した、視点内挿に必要となる複数の映像信号を用いて視点内挿処理を行う。そして、受信装置４０は、視点内挿された映像を表示部４９に表示する。そして、受信装置４０は、処理をステップＳ１０５に戻す。

ステップＳ１０９において、第２送信装置３０は、映像送信部３７により、リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を受信装置４０に送信する。

ステップＳ１１０において、受信装置４０は、映像受信部４２により、第２送信装置３０から視点位置を変更したデフォルトの映像信号を受信する。そして、受信装置４０は、映像復号部４３により該映像信号を復号し、表示部４９によりデフォルトの映像を表示する。そして、受信装置４０は、処理をステップＳ１０５に戻す。

以上説明したように、異なる位置で撮影した複数の映像信号を送信する映像伝送システム１は、映像信号をグループ分けしてＩＤを付与する。複数の映像信号を第１階層のグループとしてグループ化することで、視点内挿に用いるための複数の映像信号を容易に特定することができるようになる。さらに、複数の映像信号を第２階層のグループとしてグループ化することで、ユーザに対して、どのような視点位置の変更が可能かを提示することができるようになる。そして、ユーザは表示部４９に表示された操作情報に応じた操作により、同一場所内で視点位置を変更した、及び異なる場所に視点位置を変更した映像を視聴することができるようになる。

＜第２実施形態＞
次に、第２実施形態に係る映像伝送システムについて説明する。図８は、第２実施形態に係る映像伝送システム２を示す図である。映像伝送システム２は、複数の撮像装置１０と、複数の第１送信装置２０と、第２送信装置３０ａと、受信装置４０ａと、を備える。本実施形態の撮像装置１０及び第１送信装置２０は、第１実施形態の撮像装置１０及び第１送信装置２０と同一であるため、説明を省略する。本実施形態の第２送信装置３０ａ及び受信装置４０ａは、第１実施形態の第２送信装置３０及び受信装置４０と一部共通であるため、共通の構成については同一の符号を付し、適宜説明を省略する。

本実施形態の受信装置４０ａは、第１の実施形態の受信装置４０と比較して、ＩＤ情報検出部５０をさらに備える点と、視点情報送信部４６に代えて視点情報送信部４６ａを備える点とが相違する。ＩＤ情報検出部５０も制御部を構成する。

ＩＤ情報検出部５０は、ユーザが表示部４９に表示された操作情報に基づく操作を行うことにより視点位置の変更を要求した場合に、ユーザが要求する新たな視点位置に対応する映像信号群に付与されたＩＤ（リクエストＩＤ）を検出する。そして、ＩＤ情報検出部５０は、検出したリクエストＩＤを視点情報として視点情報送信部４６ａに出力する。例えば、図６において、ユーザが操作情報４８３が示す矢印のアイコンに沿ってスワイプ操作をした場合には、ＩＤ情報検出部５０は、第１グループＩＤ＝Ｉ、第２グループＩＤ＝ＣをリクエストＩＤとして検出する。また、図６において、ユーザが操作情報４８５が示す矢印のアイコンに沿ってスワイプ操作をした場合には、ＩＤ情報検出部５０は、第１グループＩＤ＝デフォルト値、第２グループＩＤ＝ＡをリクエストＩＤとして検出する。なお、第１グループＩＤがデフォルト値の場合には、リクエストＩＤとして第２グループＩＤのみを含めるようにしてもよい。

視点情報送信部４６ａは、ユーザが表示部４９に表示された操作情報に基づく操作を行わない場合には、視点位置検出部４５により検出された視点情報を第２送信装置３０ａに送信し、ユーザが表示部４９に表示された操作情報に基づく操作を行った場合には、ＩＤ情報検出部５０により検出された視点情報（リクエストＩＤ）を第２送信装置３０ａに送信する。

本実施形態の第２送信装置３０ａは、第１の実施形態の第２送信装置３０と比較して、視点情報受信部３５、位置判定部３６、及び映像送信部３７に代えて、視点情報受信部３５ａ、位置判定部３６ａ、及び映像送信部３７ａを備える点が相違する。

視点情報受信部３５ａは、リクエストＩＤを含まない視点情報を受信すると、第１の実施形態と同様に、該視点情報を位置判定部３６ａに出力する。また、視点情報受信部３５ａは、リクエストＩＤを含む視点情報を受信すると、リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号に対応する位置情報を特定し、特定した位置情報を映像送信部３７ａに送信する。

位置判定部３６ａは、視点情報受信部３５ａからリクエストＩＤを含まない視点情報が入力されると、ユーザの視点位置に対応する映像を生成するために必要となる映像信号を撮影した複数の撮像装置１０の位置情報を映像送信部３７ａに出力する。また、位置判定部３６ａは、視点情報受信部３５ａからリクエストＩＤを含む視点情報が入力されると、位置判定部３６ａは、リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号に対応する位置情報を映像送信部３７ａに出力する。

映像送信部３７ａは、視点情報受信部３５ａ又は位置判定部３６ａから位置情報が入力されると、該位置情報を有する撮像装置１０により撮影された映像信号（該位置情報に対応する映像信号）を記憶部３３から取得して、受信装置４０ａに送信する。

（動作シーケンス）
次に、本実施形態に係る映像伝送システム２の動作シーケンスについて、図９を参照して説明する。図９は、第２送信装置３０ａと受信装置４０ａとの間の動作シーケンスを示す図である。ステップＳ２０１～ステップＳ２０４は、図７を参照して説明した第１の実施形態のステップＳ１０１～ステップＳ１０４と同一であるため、説明を省略する。

ステップＳ２０５において、受信装置４０ａは、視点情報送信部４６ａにより、視点情報を第２送信装置３０ａに送信する。

ステップＳ２０６において、第２送信装置３０ａは、位置判定部３６ａにより、視点情報にリクエストＩＤが含まれているか否かを判定する。第２送信装置３０ａは、視点情報にリクエストＩＤが含まれていない場合には処理をステップＳ２０７に進め、視点情報にリクエストＩＤが含まれている場合には、処理をステップＳ２０９に進める。

ステップＳ２０７～ステップＳ２１０は、図７を参照して説明した第１の実施形態のステップＳ１０７～ステップＳ１１０と同一であるため、説明を省略する。

以上説明したように、本実施形態ではリクエストＩＤの検出を送信装置３０ａではなく受信装置４０ａで行っているが、この場合にも第１の実施形態と同様の効果を得ることができる。

＜第３実施形態＞
次に、第３実施形態に係る映像伝送システムについて説明する。図１０は、第３実施形態に係る映像伝送システム３を示す図である。映像伝送システム３は、複数の撮像装置１０と、複数の第１送信装置２０と、第２送信装置３０ｂと、受信装置４０ｂと、を備える。本実施形態の撮像装置１０及び第１送信装置２０は、第１実施形態の撮像装置１０及び第１送信装置２０と同一であるため、説明を省略する。本実施形態の第２送信装置３０ｂ及び受信装置４０ｂは、第１実施形態の第２送信装置３０及び受信装置４０と一部共通であるため、共通の構成については同一の符号を付し、適宜説明を省略する。

上述した第１実施形態及び第２実施形態では、第２送信装置３０，３０ａと受信装置４０，４０ａとの間の伝送路として、双方向に伝送する伝送路を想定している。一方、本実施形態では、第２送信装置３０ｂと受信装置４０ｂとの間の伝送路として、一方向に伝送する伝送路を想定する。該伝送路は、ＩＰマルチキャストに対応した伝送路であってもよいし、放送波に対応した伝送路であってもよい。なお、通信回線でのＩＰマルチキャストは、放送波での伝送であってもよい。ＩＳＤＢ（Integrated Services Digital Broadcasting）－Ｓ３、ＡＴＳＣ（Advanced Television Systems Committee）３．０などのＩＰパケットの伝送に対応した放送システムは、通信回線におけるＩＰマルチキャストと同様の伝送路と考えられる。

本実施形態の第２送信装置３０ｂは、第１の実施形態の第２送信装置３０と比較して、視点情報受信部３５及び位置判定部３６を備えない点と、映像送信部３７に代えて映像送信部３７ｂを備える点が相違する。

通信回線でＩＰマルチキャスト伝送を行う場合には、映像送信部３７ｂは、視聴要求受信部３４から視聴要求が入力されると、視聴要求されたコンテンツに関する全ての映像信号を記憶部３３から取得する。そして、映像送信部３７ｂは、全ての映像信号を同時に受信装置４０ｂに送信する。映像信号には他の実施形態と同様に、メタデータ（ＩＤ情報及び位置情報）が多重化される。例えば、視聴要求されたコンテンツの映像信号が図４のようにグループ分けされた場合、映像送信部３７ｂは１４５個の映像信号を同時に受信装置４０ｂに送信する。

一方、放送伝送を行う場合には、ユーザによる視聴要求は行われず、受信装置４０ｂの視聴要求によることなく、映像送信部３７ｂは、常に全てのコンテンツに係わる全ての映像信号を記憶部３３から取得する。そして、映像送信部３７ｂは、全てのコンテンツに係わる全ての映像信号を同時に受信装置４０ｂに送信する。そして、コンテンツの選択は、受信装置４０ｂ内で行われる。つまり、放送伝送路の場合には、視聴要求送信部４１及び視聴要求受信部３４を備えなくてよい。

本実施形態の受信装置４０ｂは、第１の実施形態の受信装置４０と比較して、視点情報送信部４６を備えない点と、ＩＤ情報検出部５０、位置判定部５２、及び視点変更部５３をさらに備える点と、視点内挿部４７及び操作情報付加部４８に代えて視点内挿部４７ｂ及び操作情報付加部４８ｂを備える点とが相違する。ＩＤ情報検出部５０、位置判定部５２、及び視点変更部５３も制御部を構成する。

位置判定部５２は、視点位置検出部４５から視点情報が入力されると、視点位置に変更があるか否かを判定する。例えば、位置判定部５２は、視点位置の変化量が閾値を超える場合に、視点位置に変更があると判定する。そして、位置判定部５２は、視点位置に変更があると判定した場合に、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を撮影した複数の撮像装置１０の位置情報を特定し、特定した位置情報を視点内挿部４７ｂに出力する。

視点内挿部４７ｂは、位置判定部５２から位置情報が入力されると、記憶部４４から該位置情報に対応する復号映像を取得する。そして、視点内挿部４７ｂは、取得した復号映像を用いて視点内挿を行い、視点内挿された復号映像を、操作情報付加部４８ｂに出力する。

ＩＤ情報検出部５０は、ユーザが表示部４９に表示された操作情報に基づく操作を行うことにより視点位置の変更を要求した場合に、ユーザが要求する新たな視点位置に対応する映像群に付与されたＩＤ（リクエストＩＤ）を検出する。そして、ＩＤ情報検出部５０は、検出したリクエストＩＤを視点変更部５３に出力する。

視点変更部５３は、ＩＤ情報検出部５０からリクエストＩＤが入力されると、記憶部４４から、リクエストＩＤが付与された映像信号群の復号映像のうち、デフォルトの復号映像を取得して、操作情報付加部４８ｂに出力する。

操作情報付加部４８ｂは、コンテンツ再生時に、まず記憶部４４からデフォルトの復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。操作情報付加部４８ｂは、視点内挿部４７ｂによる視点内挿が行われた後は、視点内挿部４７ｂから視点内挿された復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。操作情報付加部４８ｂは、視点変更部５３によるリクエストＩＤの検出が行われた後は、視点変更部５３から視点位置を変更したデフォルトの復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。

（動作シーケンス）
次に、本実施形態に係る映像伝送システム３の動作シーケンスについて、図１１を参照して説明する。図１１は、映像信号をＩＰマルチキャスト伝送する場合における、第２送信装置３０ｂと受信装置４０ｂとの間の動作シーケンスを示す図である。

ステップＳ３０１において、受信装置４０ｂは、視聴要求送信部４１により、ユーザが選択したコンテンツを示す視聴要求を、第２送信装置３０ｂに送信する。第２送信装置３０ｂは、視聴要求受信部３４により、受信装置４０ｂから送信された視聴要求を受信する。

ステップＳ３０２において、第２送信装置３０ｂは、映像送信部３７ｂにより、受信装置４０ｂから視聴要求されたコンテンツに関する全ての映像信号をメタデータ（ＩＤ情報及び位置情報）とともに受信装置４０ｂに送信する。受信装置４０ｂは、映像受信部４２により、第２送信装置３０ｂから、視聴要求したコンテンツに関する全ての映像信号をメタデータとともに受信する。

ステップＳ３０３において、受信装置４０ｂは、映像復号部４３により、映像信号を復号する。そして、受信装置４０ｂは、表示部４９により、視聴要求したコンテンツのデフォルトの映像を表示する。

ステップＳ３０４において、受信装置４０ｂは、位置判定部５２により、ＩＤの変更を伴わない視点位置の変更（小さな変更）があるか否かを判定する。受信装置４０ｂは、視点位置の小さな変更がある場合には処理をステップＳ３０５に進め、視点位置の小さな変更がない場合には処理をステップＳ３０６に進める。

ステップＳ３０５において、受信装置４０ｂは、視点内挿部４７ｂにより、複数の復号映像を用いて視点内挿処理を行い、ユーザの視点位置に対応する映像を生成する。そして、受信装置４０ｂは、視点内挿された映像を表示部４９に表示する。そして、受信装置４０ｂは、処理をステップＳ３０４に戻す。

ステップＳ３０６において、受信装置４０ｂは、ＩＤ情報検出部５０により、ＩＤの変更を伴う視点位置の変更（大きな変更）があるか否かを判定する。受信装置４０ｂは、視点位置の大きな変更がある場合にはリクエストＩＤを検出し、処理をステップＳ３０７に進め、視点位置の大きな変更がない場合には処理をステップＳ３０４に戻す。

ステップＳ３０７において、受信装置４０ｂは、視点変更部５３により、リクエストＩＤが付与された映像信号群の復号映像のうち、デフォルトの復号映像を取得する。そして、受信装置４０ｂは、デフォルトの映像を表示部４９に表示する。

なお、放送伝送の場合には、ステップＳ３０１の動作は行われず、ステップＳ３０２において、第２送信装置３０ｂは、映像送信部３７ｂにより、全てのコンテンツに関する全ての映像信号をメタデータ（ＩＤ情報及び位置情報）とともに受信装置４０ｂに送信する。そして、ステップＳ３０３において、受信装置４０ｂは、ユーザに選択されたコンテンツのデフォルトの映像を表示する。ステップＳ３０４以降の動作は、ＩＰマルチキャスト伝送の場合と同一である。

以上説明したように、第２送信装置３０ｂは、全ての映像信号を、メタデータ（第１階層及び第２階層のグループ分けを示すＩＤ情報、及び位置情報）とともに受信装置４０ｂに送信する。したがって、受信装置４０ｂにおいて、視点位置に変更があった場合に、視点位置の変更に応じて必要となる復号映像を特定することができる。このように、本発明は、映像信号を放送又はＩＰマルチキャスト配信する場合にも適用することができる。

＜プログラム＞
上述した第１送信装置２０、第２送信装置３０，３０ａ，３０ｂ、及び受信装置４０，４０ａ，４０ｂとして機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。図１２は、第１送信装置２０、第２送信装置３０，３０ａ，３０ｂ、又は受信装置４０，４０ａ，４０ｂとして機能するコンピュータの概略構成を示すブロック図である。ここで、コンピュータ１００は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

図１２に示すように、コンピュータ１００は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（Ｉ／Ｆ）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。

プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。

プログラムは、コンピュータ１００が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータ１００にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。

入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。

出力部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、出力部１６０は、情報を画像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、出力部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。

通信インターフェース１７０は、外部の装置と通信するためのインターフェースである。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態に記載の構成ブロック又は処理ステップについて、複数を１つに組み合わせたり、１つを複数に分割したりすることが可能である。

１，２，３ 映像伝送システム
１０ 撮像装置
２０ 第１送信装置
２１ 映像受信部
２２ 映像符号化部
２３ 第１ＩＤ付与部
２４ 記憶部
２５ 映像送信部
３０，３０ａ，３０ｂ 第２送信装置
３１ 映像受信部
３２ 第２ＩＤ付与部
３３ 記憶部
３４ 視聴要求受信部
３５，３５ａ 視点情報受信部
３６ 位置判定部
３７ 映像送信部
４０，４０ａ，４０ｂ 受信装置
４１ 視聴要求送信部
４２ 映像受信部
４３ 映像復号部
４４ 記憶部
４５ 視点位置検出部
４６，４６ａ 視点情報送信部
４７，４７ｂ 視点内挿部
４８，４８ｂ 操作情報付加部
４９ 表示部
５０ ＩＤ情報検出部
５２ 位置判定部
５３ 視点変更部
１００ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
４８１ 映像
４８２～４８６ 操作情報

Claims (7)

1. 異なる位置から撮影した複数の映像信号を受信装置に送信する送信装置であって、
   前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、
   前記グループを識別するためのＩＤを付与する制御部と、
   前記ＩＤが付与された映像信号を前記受信装置に送信する通信インターフェースと、
   を備え、
   前記制御部は、前記受信装置のユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定し、
   前記通信インターフェースは、前記リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を前記受信装置に送信し、前記リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を前記受信装置に送信する、送信装置。
2. 前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、
   前記制御部は、前記グループを識別するためにグループＩＤを付与する、請求項１に記載の送信装置。
3. 前記複数のグループのうちの第１階層のグループは、前記受信装置において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループである、請求項２に記載の送信装置。
4. 前記複数のグループのうちの第２階層のグループは、同一場所内で撮影された複数の映像信号が属する、１以上の前記第１階層のグループである、請求項３に記載の送信装置。
5. 前記通信インターフェースが送信する、前記第１階層のグループに属する映像信号は、映像信号間の相関を用いた予測符号化による圧縮がなされている、請求項３又は４に記載の送信装置。
6. 前記ＩＤ及び前記映像信号は、ISO Base Media File Formatのファイルに格納される、請求項１から５のいずれか一項に記載の送信装置。
7. 請求項１から６のいずれか一項に記載の送信装置により送信された映像信号を受信する受信装置であって、
   前記映像信号を復号して復号映像を生成するとともに、ユーザの視点位置を取得する制御部と、
   前記ユーザの視点位置を示す視点情報を前記送信装置に送信する通信インターフェースと、を備え、
   前記通信インターフェースは、前記送信装置において、前記リクエストＩＤが、直前に送信した映像信号のＩＤと同一であると判定された場合には、該リクエストＩＤが付与された映像信号群のうち、前記視点位置に対応する映像を生成するために必要となる複数の映像信号を前記送信装置から受信し、
   前記送信装置において、前記リクエストＩＤが、直前に送信した映像信号のＩＤと異なると判定された場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を前記送信装置から受信し、
   前記制御部は、前記複数の映像信号を受信した場合には、前記視点位置に対応する映像を生成し、
   前記デフォルトの映像信号を受信した場合には、前記デフォルトの映像信号を復号する、受信装置。