JPWO2012039404A1 - 映像ビットストリームの伝送システム - Google Patents

Abstract

【課題】視聴領域を自由に移動することが可能な高精細な映像信号の配信において，ユーザの操作に依存することなく視点移動を決定し制御することを実現する。
【解決手段】入力映像信号の映像領域を所定数の領域に分割し，かつ、前記分割により得られた各分割領域に対応する複数の領域分割映像信号を生成する映像領域分割処理ステップと，前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理ステップと，前記符号化処理ステップで生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部に蓄積するステップと，前記視点移動情報決定ステップで生成された視点移動情報に基づいて，前記映像ビットストリームを前記映像ビットストリーム群蓄積部から抽出して，伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成ステップと，前記伝送用ビットストリーム生成ステップで生成された前記伝送用の映像ビットストリームを受信装置に送信する映像ビットストリーム送信ステップとを備える。前記視点移動情報決定ステップでは、前記映像領域の中から、視聴対象の領域を特定するための視点移動情報を決定する。さらに、前記視点移動情報決定では、既定のデータに基づいて、ユーザの指定によらずに、自動的に前記視点情報を決定する。
【選択図】図３

Description

本発明は，映像ビットストリームの伝送システムに関するものである。特に，本発明は、任意の視聴領域に対応する映像を，送信装置から受信装置に配信するための技術に関するものである。

動画像情報の高解像度化，広視野化，高機能化に対して，数多くの研究開発が行われてきた。例えば，下記非特許文献１は，複数のビデオカメラや全方位カメラから取得される映像を複数の領域に分割及び符号化し，ユーザが要求する視点位置の領域映像だけを復号及び表示するシステムを提案している。さらに下記非特許文献２は，H.264/AVCの拡張規格であるMulti-View Codingに基づき複数のビデオカメラから得られた高解像度パノラマ映像に対するアクセスを実現するシステム提案している。この技術においても，入力映像を分割して符号化を行い，ユーザ（クライアント）が要求する視聴領域に応じて複数の符号化ストリームを伝送し，復号，表示を行っている。

しかしながら，下記非特許文献１及び２は、いずれも、クライアントにおいて複数ストリームの同時復号及び同期表示が必要となる。さらに、非特許文献１では，伝送方式については言及していないものの，非特許文献２においては、複数ストリームの同時取得のための複数セッション制御も必要となる。これらは，クライアントにおける処理の複雑性を増加させるため，特にスマートフォン等の、計算資源の限られた環境においては，マルチビジョンサービスの利用が困難になる。

そこで，複数ストリームの伝送を行わず，サーバ側で複数ストリームを結合後，単一ストリームの伝送を行うシステム（下記非特許文献３及び特許文献１）が提案されている。この技術では，クライアントは配信サーバから取得した単一ストリームのみを復号及び表示するため，複数ストリームの同時復号，復号された映像信号の同期表示というような複雑な処理を回避することが可能となる。これにより，クライアントでは，従来からの映像再生システムを利用して，複数映像を同時再生することが可能となる。

これらの従来のシステムでは，表示される映像に対してユーザが視聴領域位置を自由に移動，設定することが可能となる。これにより，近年のインターネット上でのオンデマンド型のビデオストリーミング技術のような，再生，一時停止，巻き戻し，早送りなどの映像制御に限らず、映像領域で、縦方向あるいは横方向に視聴領域位置を移動させる操作が可能となる。

[1]S.Heymann, A. Smolic, K. Muller, Y. Guo, J. Rurainski, P.Eisert, and T.Wiegand,'Representaion, Coding and Interactive Rendering or High-Resolution Panoramic Images and Video using MPEG-4,' Proc.Panoramic Photogrammetry Workshop, Berlin, Germany, Feb. 2005. [2]H.Kimata, S. Shimizu, Y Kunita, M.Isogai and Y.Ohtani,'Panorama video coding for user-driven interactive video application,'IEEE International Symposium on Consumer Electronics, Kyoto, 2009. [3]N.Uchihara, H. Kasai, 'Fast stream joiner for next-generation interactive video,' IEEE International Conference on Consumer Electronics (ICCE), 2011, pp.319-320, 9-12 Jan. 2011. [4]特開２０１１−２４０１８号公報

しかしながら，前記した各従来技術は、視聴ユーザが映像の視聴領域を主体的に選択することを前提としており，映像視聴端末であるクライアント端末もしくはクライアント端末に接続されたコントローラ機器からのユーザ操作により決定される視点移動情報をもとに，視聴領域が決定されていた。ところが，従来のテレビ視聴のように受動的に映像を視聴するユーザは、必ずしも積極的に視点移動しないことも想定される。したがって、これらの従来技術では、自由な視点移動機能が十分活用されない場合があると考えられる。

さらに，映像の配信側が，広告等の映像を効果的に配信したいという要求から，視聴ユーザが視聴する映像領域を積極的に制御したいという要求も存在する。しかしながら，これまでの仕組みの中では，視聴ユーザの視点移動操作が起点となるため，そのような要求を実現することはできないという問題があった。

本発明はかかる点に鑑みてなされたものであり，ユーザの明示的な視点移動操作無しに，視聴領域を決定する視点移動情報を決定し，配信される映像の構成に反映することを目的とする。

上記課題を解決するために，本発明は，視点移動情報を決定する処理を，クライアント上のユーザインタフェースから分離させるようにした。さらに，前記の決定を行なう処理器のシステム上の配置を，クライアントに限らず，映像配信サーバ，あるいは外部の独立サーバに配置できるようにした。

このように構成したことにより，視点移動情報の決定に際して，ユーザの操作に依存すること無しに決定することが可能となるため，様々な視点移動の制御が可能となる。

なお、本発明において、視点移動情報を決定するための処理部は、受信装置及び送信装置のいずれに組み込まれていてもよく、これら以外の他のサーバに組み込まれていてもよい。

本発明によれば，視点移動情報を様々な要因によりシステム側で自動的に決定することが可能となる。例えば，クライアント端末の物理的な位置や周辺状況，ユーザのこれまでの操作履歴，プロファイル等により，自動的に視点移動を決定することが可能となる。

さらに，配信サーバで視点移動情報を決定することが可能となり，複数のユーザの視聴履歴と当該視聴ユーザの視聴履歴を考慮した細かな制御が可能となる。

また，明示的あるいは暗黙的な広告映像への視点移動を積極的に制御することが可能となり，新たな映像広告モデルビジネスを構築することが可能となる。

本発明の第１の実施の形態による伝送システムの概要を示す概要図である。 本発明の第１の実施の形態によるサーバ（送信装置）の構成例を示す概要図である。 本発明の第１の実施の形態によるクライアント（受信装置）の構成例を示す概要図である。 本発明の第１の実施の形態によるフローチャートを示す概要図である。 本発明の第２の実施の形態によるサーバの構成例を示す概要図である。 本発明の第２の実施の形態によるクライアントの構成例を示す概要図である。 本発明の第２の実施の形態によるフローチャートを示す概要図である。 本発明の第３の実施の形態によるサーバの構成例を示す概要図である。 本発明の第３の実施の形態によるクライアントの構成例を示す概要図である。 本発明の第３の実施の形態によるフローチャートを示す概要図である。 全体領域と視聴領域と表示領域との関係を示す説明図である。 視点の移動に伴う視聴領域の変化を説明するための説明図である。

以下，発明を実施するための形態について説明する。なお，説明は以下の順序で行う。
１．第１の実施の形態（クライアントで視点移動情報を決定し，その情報を映像配信サーバへ送る例）
２．第２の実施の形態（映像配信サーバで視点移動情報を決定し，その情報をクライアントに送信し，クライアントから映像配信サーバへ返信する例）
３．第３の実施の形態（映像配信サーバで視点移動情報を決定し，その情報を映像配信サーバで直接利用する例）

＜１．第１の実施の形態＞
本実施の形態（以下，本例とも称する）では，本発明の送信装置をサーバに適用し，本発明の受信装置を携帯電話端末に適用した例を説明する。ただし，本発明の受信装置は，携帯電話端末に限らず，例えばＰＤＡ（Personal Digital Assistants）やパーソナルコンピュータ，音響再生装置やゲーム端末等，通信機能及び表示部に映像を表示させる機能を有する様々な装置に適用可能である。

なお，説明は以下の順序で行う。
（１）伝送システムの概要
（２）サーバの構成例
（３）クライアントの構成例
（４）伝送システムの動作例

［伝送システムの概要］
まず，図１を参照して本例の伝送システムの概要について説明する。
図１は，本実施の形態の伝送システムの概要を示すものである。図１に示す伝送システムは，映像の配信を行うサーバ１（送信装置の一例に相当）とクライアント２（受信装置の一例に相当）とにより構成される。サーバ１とクライアント２とは，ネットワーク３を介して接続されている。なお，図１においてはクライアント２を１つのみ表示してあるが，実際には，複数のクライアント２がネットワーク３を通してサーバ１にアクセスできるように構成されている。

サーバ１には図示せぬ撮像装置より構成される映像信号入力部が接続してあり，映像信号入力部で得られた映像がサーバ１に入力される。

クライアント２内部で決定した視点移動情報をサーバ１に送信することで，サーバ１は，１つ以上の映像から構成される全体の領域（以下，全体領域Awと称する）に対応する映像（以下，全体領域映像と称する）と，視点移動情報により指定される特定の領域（以下，視聴領域Avと称する）に対応して決定される映像（以下，視聴領域映像と称する）とを生成する。そしてサーバ１は、視聴領域映像をクライアント２へ送信する。クライアント２では、クライアント２での表示領域（以下，表示領域Adと称する）に、送信された視聴領域映像の全部又は一部を表示する。これらの各領域間の関係を図１１に示す。なお、全体領域Awは、図中において小さい四角形で示した分割領域（後述）の集合により構成されている。視聴領域Avも同様である。ただし、表示領域Adは、クライアント２でのディスプレイ能力によって決まるので、分割領域の区分けとは無関係に決まることになる。

さらに，この視点移動情報は、視聴領域映像中での上下左右方向の視点移動の情報だけでなく，視聴領域映像の解像度を拡大又は縮小する情報も含む。この視点移動情報を用いて視聴領域Avを決定することより、クライアント２において，画面内の特定の領域の映像をより高解像度で視聴したり，より低い解像度でオリジナルの映像の全体像や複数の映像を一度に俯瞰することができるようになる。

このように、視聴領域映像の大きさや位置を決定し、あるいは，視聴領域映像の拡大又は縮小を行うための視点移動情報は，この実施形態においては、クライアント２内の視点移動情報決定部で決定される。決定においては，例えば、過去の当該ユーザの視聴履歴，他のユーザの視聴履歴，視聴ユーザプロファイル，複数の映像間の関連性，映像提供者による各映像への重み，映像内のオブジェクトの動き情報，あるいは現在の物理的な位置や場所情報など，様々な要因を用いることができる。この点についての例示を伴う詳しい説明は後述する。

このような機能を実現するため，サーバ１においては，まず，映像信号入力部から入力されたオリジナルの非圧縮の映像から，映像符号化ビットストリーム（以下，単にビットストリームとも称する）を生成する処理を行う。

この映像符号化ビットストリームは，オリジナルの映像の映像領域を1つ以上の領域に分割して得られる，各分割領域単位で生成する。以下の説明では，分割領域毎に生成したビットストリームを，分割領域映像ビットストリームと称する。

サーバ１は，このような分割領域映像ビットストリームを予め生成し，例えばＨＤＤ（Hard Disk Drive）等の記憶装置で構成される映像ビットストリーム群蓄積部４０に蓄積しておく。

さらに，サーバ１では，この分割領域映像ビットストリームを，複数の解像度に対応させて生成することを行う。そして，このように生成した各解像度に対応する分割領域映像ビットストリームを映像ビットストリーム群蓄積部４０内に蓄積しておく。ここで、図１に示されるように、視聴領域映像ビットストリームは、低、中、高のそれぞれの解像度で蓄積される（図１参照）。この点は前記した非特許文献３及び特許文献１と同様である。

そして，サーバ１は、上下左右の位置や解像度情報を含む視点移動情報により特定される視聴領域Avに対応する分割領域映像ビットストリームを抽出して，それらにより構成されるビットストリーム（以下，視聴領域映像ビットストリームと称する）をクライアント２に送信する。なお、視聴領域映像ビットストリームは、本実施形態では、後述するように、シングルストリームとして構成される。

これにより，複数のクライアント２から，上下左右の位置や解像度が異なる様々な視点移動情報が送信された場合にも，サーバ１は，視点移動情報により特定される領域及び解像度に対応するビットストリームを抽出してクライアント２に送信することができる。なお、本実施形態におけるネットワーク３は、例えばインターネットであるが、使用されるプロトコルは特に制約されない。

［サーバの構成例］
次に，図２を参照して，サーバ１の構成例について説明する。図２は，サーバ１の内部構成例を示したブロック図である。サーバ１には，映像信号入力部１０が接続されている。また，サーバ１には，映像領域分割処理部２０と，部分領域符号化処理部３０と，映像ビットストリーム群蓄積部４０と，マルチストリーム情報蓄積部５０とが含まれる。

映像信号入力部１０は，サーバ１に映像信号を入力するものであり，例えば放送用のカメラ、監視カメラ又はテレビ会議等に用いられるカメラで構成できるが、これらに制約されるものではない。映像信号入力部１０は、例えばネットワークを介してサーバ１に接続されたものであってもよい。映像領域分割処理部２０は，映像信号入力部１０から入力される映像信号よりなる映像領域を，1つ又はそれ以上の解像度を有する１つ又はそれ以上の領域に分割する。

部分領域符号化処理部３０は，映像領域分割処理部２０によって生成された各解像度レベルにおける各分割領域の映像信号を符号化して，分割領域映像ビットストリームを生成する。ここで行う符号化は，各分割領域間で，動きベクトル、量子化係数及び量子化パラメータ等の符号化情報についての予測関係を持たせない形で行う。符号化方式としては，例えば，ＭＰＥＧ−２やＭＰＥＧ−４ ＳＰ，Ｈ．２６３，Ｈ．２６４等を用いることができるが、これらに限定されるものではない。

映像ビットストリーム群蓄積部４０は，部分領域符号化処理部３０で生成された複数の分割領域映像ビットストリームを，解像度のレベル毎に分類して蓄積する（図１参照）。

マルチストリーム情報蓄積部５０は，部分領域符号化処理部３０で生成された各分割領域映像ビットストリームの符号化処理や品質に関する情報と，各分割領域が全体領域Awの中のどの位置に属しているかを示す位置情報とを管理する。さらに，マルチストリーム情報蓄積部５０は，後述する映像メタ情報を保存管理する。なお、映像メタ情報は、本実施形態のシステムで利用可能な場所に保存されていればよく、その保存場所は特に制約されない。

次に，クライアント２から送信される視点移動情報について説明する。本実施形態の視点移動情報には，以下の情報が含まれる。
・全体領域Awに対する視点の位置情報，または位置の変化情報；
・解像度情報，または解像度の変化情報。

再び図２に戻って説明を続けると，サーバ１には，視点情報受信部６０と，クライアントステータス管理部７０と，シングルストリーム生成部８０と，シングルストリーム送信部９０とが含まれる。

視点情報受信部６０は，ネットワーク３を介してクライアント２から送信された視点移動情報を受信して，クライアントステータス管理部７０に供給する。

クライアントステータス管理部７０は，視点情報受信部６０が受信した視点移動情報の管理や，音響や動画像などをストリーミング配信する際にクライアント２との間でやりとりする制御データ（ストリーミングプロトコル準拠メッセージ）の送受信等を行う。

クライアントステータス管理部７０は，送信状態情報としてクライアント２の送信状態情報受信部２０８に以下の情報のいずれか又は全てを送信する処理を行う：
・送信される視聴領域映像ビットストリームに含まれる視聴領域Avの、全体領域Aw内における位置を示す視聴領域情報；
・全体領域Awや視聴領域Avに含まれる映像についての映像メタ情報。

送信状態情報の内，視聴領域情報は、シングルストリーム生成部８０内部で決定されるものであって、この視聴領域情報は、前記したように、全体領域Awに対する視聴領域Avの相対位置情報を含む。以下，この相対位置情報の生成方法について説明する。全体領域Awは，複数の分割領域映像により構成されるため，送信される視聴領域Avの映像は，全体領域Awを構成する複数の分割領域映像の一部により構成される。従って，視聴領域Avの取りうる位置は，全体領域Awの内，分割領域の境界線により区切られる位置である（図１１参照）。一方，視点移動情報により決定される表示領域Adは全体領域Awに対して自由に特定される。このため、視聴領域Avは，全体領域Awを構成する分割領域の一部により構成される部分的な領域のうち，最適な領域を特定する情報となる。ここで最適とは，例えば，視点移動情報により決定される表示領域Adと重なる面積が最も大きくなる場合を指す。

一方，送信状態情報の内，映像メタ情報とは，クライアント側で視点移動情報の決定に利用される情報であり，これは、映像そのものに関わる情報や映像の視聴履歴に関わる情報を含む。映像メタ情報の例を以下に示す。
・全体領域Aw内のどの位置にどのような映像があるかを示す情報、例えば，全体映像Awが一つの映像から構成される場合には，各位置にどのようなオブジェクト（建物や車，製品，人など）が含まれるかを示す情報。
・全体映像Awが複数の異なる映像から構成される場合は，各映像のジャンル情報、出演者情報，タイトル情報，映像作成者情報，言語情報，映像が撮影された位置の情報、内容に関連する位置の情報。
・全体領域Aw内のどの映像領域に対して，現在又は過去に，どのようなユーザがどの程度視聴しているかを示す頻度情報，また各ユーザによる映像への評価情報（例：５段階）。
・クライアント２の視聴ユーザに関係する複数のユーザ（いわゆるソーシャル関係ユーザ）が，現在または過去にどの程度その映像を視聴したかを示す頻度情報。
・映像が広告である場合には，広告対象物のジャンルや製品情報，対象年齢又は対象性別情報などの情報。これはさらに，広告に対するユーザの視聴履歴情報を含んでも良い。

クライアントステータス管理部７０は，さらに，クライアント２のストリーミングクライアント処理部２０３（後述）との間で，ストリーミングプロトコルに準拠したメッセージのやりとりを行う。ストリーミングプロトコルに準拠したメッセージとは，例えば，映像信号の送信や一時停止，停止等を要求する制御メッセージや，セッションの維持を行うためのメッセージ等である。

なお，本例では送信状態情報を、視聴領域映像ビットストリームのパケットとは別に送信する構成を例に挙げたが，送信状態情報を映像ビットストリームのパケットのヘッダ部分に格納してクライアント２に送信する形態も可能である。この場合は、クライアントステータス管理部７０ではなく、シングルストリーム送信部９０から、シングルストリームと共に、クライアント２に送信状態情報を送ることになる。対応して、クライアント２の映像ストリーム受信部２０１は、ヘッダ部分から送信状態情報を取り出して、視点移動情報決定部２０９（図３参照）に送ることになる。

再び図２に戻って説明を続ける。シングルストリーム生成部８０は，視点情報受信部６０が受信した視点移動情報によって特定される視聴領域Avを構成する複数の分割領域映像ビットストリーム（分割領域毎の、特定解像度のビットストリーム）を，映像ビットストリーム群蓄積部４０から読み出す。そして，読み出した複数のビットストリームをシングルストリームとして再構成して出力する。この再構成の方法としては、前記した非特許文献３又は特許文献１の技術を利用できるので、これ以上具体的な説明は省略する。

シングルストリーム送信部９０は，シングルストリーム生成部８０で生成されたシングルストリームをパケット化して，パケット化されたシングルストリームをクライアント２に送信する。

また、本実施形態のサーバ１は、音響信号入力部１００−１〜ｎと、音響符号化処理部１１０と、メタ情報入力部１２０と、音響符号化ビットストリーム・音響メタ情報蓄積部１３０と、音響ビットストリーム抽出・ミキサ処理部１４０と、音響ビットストリーム送信部１５０とを備えている。これらについては、前記した非特許文献３又は特許文献１の技術を利用できるので、これ以上具体的な説明は省略する。

［クライアントの構成例］
次に，クライアント２の内部構成例について，図３のブロック図を参照して説明する。クライアント２には，映像ストリーム受信部２０１と，映像復号部２０２と，ストリーミングクライアント処理部２０３と，クライアント管理部２０４と，音響ストリーム受信部２０５と，音響復号部２０６と，音響出力部２０７とが含まれる。これらの構成要素は、例えば特許文献１に記載した技術と同様に構成できるので、詳しい説明は省略する。

また，クライアント２は，送信状態情報受信部２０８と，視点移動情報決定部２０９と，視点情報送信部２１０と，映像表示制御部２１２と，映像表示部２１３と，ユーザ・端末情報管理部２３０とを含む。

送信状態情報受信部２０８は，サーバ１から送信された送信状態情報，すなわち視聴領域Avの全体領域Awに対する位置情報を受信して，視点移動情報決定部２０９に出力する。視点移動情報決定部２０９は，送信状態情報受信部２０８が受信した送信状態情報に含まれる映像メタ情報や，ユーザ・端末情報管理部２３０から入力されたユーザ・端末情報に基づいて，ユーザインタフェースを使ってユーザが指定することなく、視点移動情報を自動的に生成する。そして，視点移動情報決定部２０９は、生成した視点移動情報を視点情報送信部２１０に出力する。決定方法の例としては，以下が考えられる。
(1)［画面内オブジェクトの位置や移動に基づいた視点移動］
この場合は、全体領域Aw内のどの位置にどのような映像があるかを示す情報を用いて視点移動情報を決定する。ここで，映像内で着目する情報としては，例えば，全体映像Awが一つの映像から構成される場合において，各位置にどのようなオブジェクト（建物や車，製品，人など）が含まれるかを示す情報である。さらに具体的な例を説明すると，サッカー映像の配信サービスにおいて，競技場全体を俯瞰した映像を配信する定点映像配信サービスを想定した場合，全体領域Awの画面内では，複数のプレイヤーがプレーしている。画面内での各プレイヤーとサッカーボールには、それぞれ位置情報が付与されており，その位置情報に応じて，特定のプレイヤーやボールを中心とした映像が視聴領域Avの中心となるように視点移動情報を自動的に決定することができる。あるいは，オブジェクトの位置情報が無い場合においても，クライアント内でオブジェクトの位置を自動検出することで，検出されたオブジェクトの位置に基づいて，視点異動情報を決定することが可能である。受信映像からの高速なオブジェクト認識技術としては，Wei Zeng, Jun Du, Wen Gao, 'Qingming Huang. Robust moving object segmentation on H.264/AVC compressed video using the block-based MRF model,'Real-Time Imaging, pp.290-299, 2005などに示されたものを使用できるので、これについての詳しい説明は省略する。
(2)［映像カテゴリーや出演者情報に基づいた視点移動］
全体映像Awが複数の異なる映像から構成される場合，メタ情報は、全体映像Awを構成する各映像のジャンル情報や出演者情報，タイトル情報，映像作成者情報，言語情報を有することができる。例えば，ドラマ映像配信サービスや音楽楽曲のプロモーション映像配信サービスなどのサービスを想定する。この場合，送信状態情報としてサーバ１からクライアント２に送信されたユーザ視聴履歴情報やプロファイル情報，またはクライアント２に蓄積されたユーザ履歴情報やプロファイル情報を元に，ユーザが好むドラマカテゴリーやアーティストの順に視点移動情報を決定することができる。なお，この順位付けは，（ａ）これまでの蓄積した視聴履歴に含まれる各カテゴリーやアーティストに対する視聴頻度情報から単純に映像毎にソートすることによるもの，あるいは（ｂ）カテゴリーやアーティストの属性情報によりクラスタリングしグループ化した後で，映像のグループ毎にソーティングすることにより得られるものとすることができる。この順位付けの実現方式としては，コンテンツベースフィルタリング（content-based filtering）技術により実現するのが一般的である(参照：Collaborative and Content-based Filtering for Item Recommendation on Social Bookmarking Websites. T. Bogers and A. Van den Bosch. In: Proceedings of the ACM RecSys '09 workshop on Recommender Systems and the Social Web, pages 9-16, 2009.)。
(3)［位置情報に基づいた視点移動］
全体映像Awが複数の異なる映像により構成されており，且つ各映像が撮影位置情報を有する映像サービスを想定する。この映像サービスは，たとえば，ユーザ投稿型の映像共有サービスや，旅番組に代表される映像配信サービス，あるいは，自治体が配信する観光映像配信サービスにおいて用いられる。GPSなどを使用して自動取得可能なクライアント２の現在の位置情報をキーとして，全体映像Awを構成する映像の位置情報とクライアント２の物理的な位置との関係を考慮して，視聴領域Avを移動するための視点移動情報を決定する。クライアント２の現在位置からの距離が近い順に映像群をソートし，その順に従って映像間を移動するために、視点移動情報を決定することができる。
(4)［他ユーザの視聴頻度に基づいた視点移動］
全体領域Aw内の各映像領域（分割映像）を，現在又は過去に，クライアント２のユーザ以外のユーザがどの程度視聴しているかを示す頻度情報と，各ユーザによる映像への評価情報（例：５段階）とが付与されているとする。この場合，視聴頻度と評価情報を考慮することで，分割映像の順位を算出し，視聴すべき映像を自動で特定することができる。例えば，視聴頻度と評価情報を単純に掛け合わせることで，分割映像毎の順位を特定する指標を算出することが可能である。さらに，クライアント２の視聴ユーザに関係する複数のユーザ（ソーシャル関係ユーザ）が，現在どの映像を視聴しているか，または過去にどの程度視聴したかを示す頻度を利用することで，最適な移動経路を決定することが可能となる。これにより視点移動情報を決定することができる。
(5)［広告映像を含む映像配信サービスにおける視点移動］
上記で述べた各種映像配信サービスやシステムにおいて，広告映像を含めた映像配信サービスを想定する。この場合，広告対象物のジャンルや製品情報，対象年齢，対象性別情報などと，視聴ユーザのプロファイルとに基づき，視点移動情報を決定することが可能である。

なお，上記のケース（１）〜（５）に共通して，視点移動情報を決定する場合は，視聴領域Avを構成する分割映像のそれぞれに対する「尤もらしさ」（例えば，位置の例で言えば，映像が撮影された物理的位置と，クライアント２が現在存在する物理的な位置との近さ）と，全体映像Aw内での分割映像の近さ，つまり画面内での移動距離を考慮して，最も効率よく映像間を移動することが必要となる。本課題は，従来より，巡回セールスマン問題として検討されており，多数のアルゴリズムが提案されている（例えば，Hassin, R.; Rubinstein, S. (2000), 'Better approximations for max TSP', Information Processing Letters 75: pp.181-186を参照）。

ここで，ユーザ・端末情報管理部２３０から入力するユーザ・端末情報とは，例えば、過去の当該ユーザの視聴履歴や，ユーザプロファイルなどのユーザ情報や，現在のクライアントが動作する端末の物理的な位置や場所情報，使用中のCPU情報などの情報であるが、これらに制約されない。

視点情報送信部２１０は，視点移動情報決定部２０９で決定した視点移動情報を，サーバ１に送信する。

視点移動情報決定部２０９は，視点移動情報決定部２０９内部で決定した視点移動情報と，サーバ１からの送信状態情報を構成する視聴領域Avの全体領域Awに対する位置情報を示す視聴領域情報とを，表示制御部２１２へ出力する。

表示制御部２１２には，映像復号部２０２で復号された、視聴領域映像ビットストリームの復号映像信号（以下，視聴領域復号信号と称する）が入力される。また、表示制御部２１２には、この視聴領域復号信号の位置を示す視聴領域情報が、視点移動情報決定部２０９から入力される。表示制御部２１２は、視聴領域情報と視点移動情報とを用いて、視聴領域復号信号を、表示領域Ad内での位置に換算して，表示位置の調整を行なう。その後、表示制御部２１２は、表示位置が調整された復号映像信号（以下，表示領域復号信号と称する）を表示部２１３に出力する。

表示部２１３は，例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）パネル等で構成され，表示制御部２１２から供給された表示領域復号信号を画像として表示画面上に表示する。

このような処理を行うことにより，ユーザがインタフェースなどを通じて意識的に視聴領域を移動しなくても，映像の視聴領域や解像度が自動的に変更されるため，受動的な様々な映像の視聴を通じながらも，新たな映像の発見が可能となる。

［伝送システムによる動作例］
次に，本例の伝送システムのサーバ１とクライアント２とによる処理の例について，図４のフローチャートを参照して説明する。まず，サーバ１が映像信号入力部１０から出力された映像信号を取得する（ステップＳＡ１）。続いて，映像領域分割処理部２０が，ステップＳＡ１で取得した映像を１つ以上の領域に分割する（ステップＳＡ２）。そして，部分領域符号化処理部３０が，分割された各領域を構成する映像信号から解像度の異なる複数のビットストリームを生成し，映像ビットストリーム群蓄積部４０に蓄積する（ステップＳＡ３）。

次に，クライアント２が，ビットストリームを送信するようにサーバ１に対して要求するための送信要求と初期の視点移動情報とを送信する（ステップＳＡ４）。

サーバ１のクライアントステータス管理部７０が，送信要求を受信し，視点情報受信部６０が初期視点移動情報を受信すると（ステップＳＡ５），シングルストリーム生成部８０が映像ビットストリーム群蓄積部４０からビットストリームを抽出する。そして抽出したビットストリームを，シングルストリーム送信部９０がクライアント２に送信する（ステップＳＡ６）。初期視点移動情報に基づいて特定される表示領域Adの例を図１２（ａ）に示す。この例では、初期の表示領域Adの範囲に対応して、それを囲む視聴領域Avをシングルストリーム生成部８０が特定する。この視聴領域Avは、前記したように、複数の分割領域により構成される。そこで、シングルストリーム生成部８０は、各分割領域に対応する映像ビットストリームを特定し、それらを連結することにより、送信されるべきシングルストリームを生成することができる。

クライアント２では，映像ストリーム受信部２０１がビットストリームを受信し，映像復号部２０２がビットストリームを復号して，復号して得られた表示領域復号信号を，表示制御部２１２が画像として表示部２１３に表示する（ステップＳＡ７）。

ここで，クライアント２における視点移動情報決定部２０９が新たな視点移動情報を生成したときは（ステップＳＡ８），生成された視点移動情報を視点情報送信部２１０がサーバ１に送信する（ステップＳＡ９）。

その後，サーバ１の視点情報受信部６０で視点情報が受信されると，同様にしてシングルストリームを生成し，クライアント２への送信を行うことができる。そして、クライアント２は、受信したストリームをユーザに呈示し続けることができる（ステップＳＡ６〜ステップS９）。図１２（ｂ）では、視点移動により表示領域Adが視聴領域Avの範囲内で移動している。しかし、この段階では、表示領域Adは視聴領域Avの範囲内なので、視聴領域Avに対応する視聴領域映像ビットストリームを更新する必要はない。一方、図１２（ｃ）では、視点移動により、表示領域Adが視聴領域Avの範囲外で移動している。この状態では、表示領域Adは視聴領域Avの範囲外なので、新たな視聴領域Avを設定し、それに対応して、視聴領域映像ビットストリームを更新する。

［第１の実施の形態による効果］
上述した第１の実施の形態によれば，ユーザがインタフェースなどを通じて意識的に視聴領域を移動しなくても，映像の視聴領域や解像度が自動的にクライアント２内部で変更されるため，受動的な様々な映像の視聴を通じながらも，新たな映像の発見が可能となる。また，本制御をクライアント２の内部で閉じた形で実現することで，これまでのサーバ構造や動作，サーバ・クライアント間の信号，制御，クライアント構造の大部分に影響を与えることなく，前記の効果を得ることができる。

＜２．第２の実施の形態＞
次に，本発明の第２の実施の形態について説明する。本実施の形態では，視点移動情報の決定をサーバで実施し、その情報をクライアント経由でサーバに戻す例を説明する。本実施形態の説明においては、前記した第１実施形態と基本的に共通する要素については、同一符号を付することにより、説明の煩雑を避ける。

なお，説明は以下の順序で行う。
（１）伝送システムの概要
（２）サーバの構成例
（３）クライアントの構成例
（４）伝送システムの動作例

［伝送システムの概要］
まず，図１との対比で本例の伝送システムの概要について説明する。
図１では，視点移動情報はクライアント２からサーバ１へ送付されている。これに対して、本実施形態では，サーバ１で視点移動情報を決定し，その情報をクライアント２へ送信する。その後の処理は前記した第１実施形態と同様である。

サーバ１は内部に視点移動情報決定部を有し，この決定部において視点移動情報を決定して，クライアント２へ送付する。視点移動情報の決定は、前記した第１実施形態と同様に行うことができる。さらに、この第２実施形態では、サーバ内で視点移動情報を決定することにより、視点移動情報を効率的に実現することが可能になる。例えば，サーバ内で視点移動情報を決定する場合には、大量ユーザの大量の視聴履歴を解析して，同じ嗜好を持つユーザ間の特性を利用するという協調フィルタリング（collaborative filtering）技術（参照：Collaborative and Content-based Filtering for Item Recommendation on Social Bookmarking Websites. T. Bogers and A. Van den Bosch. In: Proceedings of the ACM RecSys '09 workshop on Recommender Systems and the Social Web, pages 9-16, 2009.）を使用可能である。

クライアント２では，サーバ１から受信した視点移動情報をもとに表示制御を行い、クライアント２において、表示領域Adに対応する画像を表示すると同時に，この視点移動情報をサーバ１へ返信する。それ以降のサーバ１の処理は実施例１と同様である。

［サーバの構成例］
次に，図５を参照して，サーバ１の構成例について説明する。図５は，サーバ１の内部構成例を示したブロック図である。本実施形態のサーバ１は、視点移動情報決定部１５０をさらに備える点で、前記した第１実施形態と相違する。

視点移動情報決定部１５０で決定した視点移動情報は，視点移動情報送信部１６０を介して，クライアント２へ送出される。

［クライアントの構成例］
次に，図６を参照して，クライアント２について説明する。クライアント２には，送信状態情報受信部２０８と，視点領域管理部２２０９と，視点情報送信部２１０と，表示制御部２１２と，表示部２１３，視点移動情報受信部２２０とが含まれるが、このクライアント２は、第１実施形態と異なり、視点移動情報決定部を備えない。

送信状態情報受信部２０８は，サーバ１から送信された送信状態情報，すなわち視聴領域Avの全体領域Awに対する相対位置情報である視聴領域情報を受信して，視点領域管理部２２０９に出力する。

視点移動情報受信部２２０は，サーバ１から視点移動情報を受信し，視点領域管理部２２０９へ出力する。

視点領域管理部２２０９は，視点移動情報受信部２２０からの視点移動情報を視点情報送信部２１０に出力する。

視点情報送信部２１０は，視点領域管理部２２０９が受信した視点移動情報を，サーバ１に送信する。

視点領域管理部２２０９は，送信状態情報受信部２０８が受信した送信状態情報に含まれる視聴領域情報と，視点移動情報受信部２２０を介して受信したサーバからの視点移動情報とを，表示制御部２１２に出力する。

［伝送システムによる動作例］
次に，本例の伝送システムのサーバ１とクライアント２とによる処理の例について，図７のフローチャートを参照して説明する。まず，サーバ１が映像信号入力部１０から出力された映像信号を取得する（ステップＳＢ１）。続いて，映像領域分割処理部２０が，ステップＳＢ１で取得した映像を１つ以上の領域に分割する（ステップＳＢ２）。そして，部分領域符号化処理部３０が，分割された各領域を構成する映像信号から解像度の異なる複数のビットストリームを生成し，映像ビットストリーム群蓄積部４０に蓄積する（ステップＳＢ３）。

次に，クライアント２が，ビットストリームを送信するようにサーバ１に対して送信要求を送信する（ステップＳＢ４）。

サーバ１のクライアントステータス管理部７０は，送信要求を受信すると（ステップＳＢ５），シングルストリーム生成部８０が、映像ビットストリーム群蓄積部４０から、初期視点移動領域により特定されるビットストリームを抽出し，抽出した視聴領域映像ビットストリームを，シングルストリーム送信部９０がクライアント２に送信する（ステップＳＢ６）。

クライアント２では，映像ストリーム受信部２０１が視聴領域映像ビットストリームを受信し，映像復号部２０２がビットストリームを復号して，復号して得られた表示領域復号信号を，表示制御部２１２が画像として表示部２１３に表示する（ステップＳＢ７）。

ここで，サーバ１の視点移動情報決定部１５０が視点移動情報を生成した場合には（ステップＳＢ８），サーバ１の視点移動情報送信部１６０を介して，視点移動情報をクライアント２へ送出する（ステップＳＢ９）。視点移動情報決定部１５０が視点移動情報を生成しないならば，現在のビットストリーム（シングルストリーム）を送信し続ける（ステップ１２）。

クライアント２は，受信した視点移動情報を、折り返しサーバ１へ送信する（ステップＳＢ１０）。

サーバ１の視点情報受信部６０で視点移動情報が受信されると，視点移動情報により特定される複数のビットストリームが，映像ビットストリーム群蓄積部４０からシングルストリーム生成部８０によって抽出され（ステップＳＢ１１），視聴領域映像ビットストリームが生成され，さらにシングルストリーム送信部９０によりクライアント２へ送信される（ステップＳＢ１２）。

クライアント２では，映像ストリーム受信部２０１が受信したシングルストリームを，映像復号部２０２が復号し，復号して得られた視聴領域復号信号を，表示制御部２１２が位置調整を行ない表示領域復号信号として表示部２１３に表示する（ステップＳＢ７）。

サーバ１では，以上同様にして視点移動情報生成があるかを検知するためにステップＳＢ８へ遷移する（ステップＳＢ１２→ステップＳＢ８）。

［第２の実施の形態による効果］
上述した第２の実施の形態によれば，ユーザがインタフェースなどを通じて意識的に視聴領域を移動しなくても，映像の視聴領域や解像度が自動的にクライアント２内部で変更されるため，受動的な様々な映像の視聴を通じながらも，新たな映像の発見が可能となる。特に，サーバ側で視点移動情報を決定できることから，他のユーザの視聴履歴や映像情報の特性など，多様な大量の情報を元に考慮した細かな移動制御を簡易に実現できる。また，この情報をクライアントへ送付し、それ以降は前記した第１実施形態と同様に動作するため，サーバやクライアントの主要な構造や動作，サーバ・クライアント間の信号や制御に大きな変更を与えることなく，前記の効果を得ることができる。

なお、第２実施形態における他の動作及び利点は、前記した第１実施形態と基本的に共通するので、これ以上詳しい説明は省略する。

また、この第２の実施形態では、視点移動情報決定部をサーバ１に含めたが、サーバ１以外の他のサーバに視点移動情報決定部を含める構成も可能である。この場合の構成及び動作は、前記から理解できるので詳しい説明は省略する。

＜３．第３の実施の形態＞
次に，本発明の第３の実施の形態について説明する。本実施の形態では，視点移動情報の決定をサーバで実施し，その情報を、クライアント２に送らずに、サーバ内のビットストリーム抽出処理に使用する例を説明する。本実施形態の説明においては、前記した第１実施形態と基本的に共通する要素については、同一符号を付することにより、説明の煩雑を避ける。

なお，説明は以下の順序で行う。
（１）伝送システムの概要
（２）サーバの構成例
（３）クライアントの構成例
（４）伝送システムの動作例

［伝送システムの概要］
まず，図１との対比で本例の伝送システムの概要について説明する。
図１では，視点移動情報はクライアント２からサーバ１へ送付されている。これに対して、この第３実施形態では，サーバ１で視点移動情報を決定し，その情報をサーバ１内のシングルストリーム生成部で直接使用する。クライアント２とサーバ１間で視点移動情報の送受信は行わない。

サーバ１は内部に視点移動情報決定部を有する。この視点情報決定部の構成は、前記した第２実施形態と同様とすることができる。

サーバ１で決定した視点移動情報は，クライアントステータス管理部を介してシングルストリーム生成部へ出力され，該当するビットストリームが抽出された後，視聴領域映像ビットストリームが生成され，クライアント２へ送付される。

［サーバの構成例］
次に，図８を参照して，サーバ１の構成例について説明する。図８は，サーバ１の内部構成例を示したブロック図である。本実施形態のサーバ１は視点移動情報決定部１５０をさらに備える点で、前記した第１実施形態と相違している。

視点移動情報決定部１５０は，視点移動情報を決定し，クライアントステータス管理部７０へ出力する。

クライアントステータス管理部７０は，視点移動情報をシングルストリーム生成部８０へ出力する。それ以後の処理は，第１及び第２実施形態と同様である。

ただし，本実施形態においては、クライアントステータス管理部７０がクライアント２へ送信する送信状態情報には，視聴領域Avの全体領域Awに対する相対位置情報である視聴領域情報だけでなく，視点移動情報も含まれる。

［クライアントの構成例］
次に，図９を参照して，クライアント２について説明する。クライアント２には，送信状態情報受信部２０８と，視点領域管理部３２０９，表示制御部２１２と，表示部２１３とが含まれるが，視点移動情報を送付する処理部は存在しない。

クライアント２の送信状態情報受信部２０８は，サーバ１から送信された送信状態情報，すなわち視聴領域Avの全体領域Awに対する相対位置情報と視点移動情報を受信して，視点領域管理部３２０９に出力する。

視点領域管理部３２０９は，送信状態情報受信部２０８が受信した視聴領域Avの全体領域Awに対する位置情報を示す視聴領域情報と同じく視点移動情報を表示制御部２１２に出力する。また、表示制御部２１２には、この視聴領域復号信号の位置を示す視聴領域情報が、視点移動情報決定部２０９から入力される。表示制御部２１２は、視聴領域情報と視点移動情報とを用いて、視聴領域復号信号を、表示領域Ad内での位置に換算して，表示位置の調整を行なう。その後、表示制御部２１２は、表示位置が調整された復号映像信号（以下，表示領域復号信号と称する）を表示部２１３に出力する。

［伝送システムによる動作例］
次に，本例の伝送システムのサーバ１とクライアント２とによる処理の例について，図１０のフローチャートを参照して説明する。まず，サーバ１が映像信号入力部１０から出力された映像信号を取得する（ステップＳＣ１）。続いて，映像領域分割処理部２０が，ステップＳＣ１で取得した映像を１つ以上の領域に分割する（ステップＳＣ２）。そして，部分領域符号化処理部３０が，分割された各領域を構成する映像信号から解像度の異なる複数のビットストリームを生成し，映像ビットストリーム群蓄積部４０に蓄積する（ステップＳＣ３）。

次に，クライアント２が，ビットストリームを送信するようにサーバ１に対して送信要求を送信する（ステップＳＣ４）。

ここで，サーバ１において，既定の初期視点移動情報をもとに特定されるビットストリームの抽出を行い，シングルストリーム生成部８０によりシングルストリームを構成し，シングルストリーム送信部９０によりクライアント２へ送信する（ステップＳＣ６）。

クライアント２では，映像ストリーム受信部２０１が受信したシングルストリームを，映像復号部２０２が復号し，復号して得られた視聴領域復号信号を，表示制御部２１２が位置調整を行ない表示領域復号信号として表示部２１３に表示する（ステップＳＣ７）。

ここで，サーバ１の視点移動情報決定部１５０が視点移動情報を生成し（ステップＳＣ８），視点移動情報により特定される複数のビットストリームが，映像ビットストリーム群蓄積部４０からシングルストリーム生成部８０によって抽出され（ステップＳＣ９），視聴領域映像ビットストリームが生成され，さらにシングルストリーム送信部９０によりクライアント２へ送信される（ステップＳＣ１０）。

さらに，上記映像の表示中において，視点移動情報決定部１５０が視点移動情報を随時生成し，シングルストリーム生成部８０の動作に反映される（ステップＳＣ１０→ステップＳＣ８）。

［第３の実施の形態による効果］
上述した第３の実施の形態によれば，ユーザがインタフェースなどを通じて意識的に視聴領域を移動しなくても，映像の視聴領域や解像度が自動的にクライアント２内部で変更されるため，受動的な様々な映像の視聴を通じながらも，新たな映像の発見が可能となる。特に，視点移動情報については，サーバ，クライアント間で送受信することなく，すべてサーバ側で決定し，視聴領域映像へ反映されるため，従来のテレビ放送のように，クライアント側の処理が簡易化される。

なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。
例えば、本実施形態では、視点移動情報決定部により視点移動情報を自動的に決定するものとしたが、これと併用して、クライアント上のユーザインタフェースから視点移動情報を操作できる構成とすることも可能である。における他の構成及び利点は、前記した第１実施形態又は第２実施形態と同様なので、詳しい説明は省略する。

動画像情報の高解像度化，広視野化，高機能化に対して，数多くの研究開発が行われてきた。例えば，下記非特許文献１は，複数のビデオカメラや全方位カメラから取得される映像を複数の領域に分割及び符号化し，ユーザが要求する視点位置の領域映像だけを復号及び表示するシステムを提案している。さらに下記非特許文献２は，H.264/AVCの拡張規格であるMulti-View Codingに基づき複数のビデオカメラから得られた高解像度パノラマ映像に対するアクセスを実現するシステムを提案している。この技術においても，入力映像を分割して符号化を行い，ユーザ（クライアント）が要求する視聴領域に応じて複数の符号化ストリームを伝送し，復号，表示を行っている。

送信状態情報受信部２０８は，サーバ１から送信された送信状態情報，すなわち視聴領域Avの全体領域Awに対する位置情報を受信して，視点移動情報決定部２０９に出力する。視点移動情報決定部２０９は，送信状態情報受信部２０８が受信した送信状態情報に含まれる映像メタ情報や，ユーザ・端末情報管理部２３０から入力されたユーザ・端末情報に基づいて，ユーザインタフェースを使ってユーザが指定することなく、視点移動情報を自動的に生成する。そして，視点移動情報決定部２０９は、生成した視点移動情報を視点情報送信部２１０に出力する。決定方法の例としては，以下が考えられる。
(1)［画面内オブジェクトの位置や移動に基づいた視点移動］
この場合は、全体領域Aw内のどの位置にどのような映像があるかを示す情報を用いて視点移動情報を決定する。ここで，映像内で着目する情報としては，例えば，全体映像Awが一つの映像から構成される場合において，各位置にどのようなオブジェクト（建物や車，製品，人など）が含まれるかを示す情報である。さらに具体的な例を説明すると，サッカー映像の配信サービスにおいて，競技場全体を俯瞰した映像を配信する定点映像配信サービスを想定した場合，全体領域Awの画面内では，複数のプレイヤーがプレーしている。画面内での各プレイヤーとサッカーボールには、それぞれ位置情報が付与されており，その位置情報に応じて，特定のプレイヤーやボールを中心とした映像が視聴領域Avの中心となるように視点移動情報を自動的に決定することができる。あるいは，オブジェクトの位置情報が無い場合においても，クライアント内でオブジェクトの位置を自動検出することで，検出されたオブジェクトの位置に基づいて，視点移動情報を決定することが可能である。受信映像からの高速なオブジェクト認識技術としては，Wei Zeng, Jun Du, Wen Gao, 'Qingming Huang. Robust moving object segmentation on H.264/AVC compressed video using the block-based MRF model,'Real-Time Imaging, pp.290-299, 2005などに示されたものを使用できるので、これについての詳しい説明は省略する。
(2)［映像カテゴリーや出演者情報に基づいた視点移動］
全体映像Awが複数の異なる映像から構成される場合，メタ情報は、全体映像Awを構成する各映像のジャンル情報や出演者情報，タイトル情報，映像作成者情報，言語情報を有することができる。例えば，ドラマ映像配信サービスや音楽楽曲のプロモーション映像配信サービスなどのサービスを想定する。この場合，送信状態情報としてサーバ１からクライアント２に送信されたユーザ視聴履歴情報やプロファイル情報，またはクライアント２に蓄積されたユーザ履歴情報やプロファイル情報を元に，ユーザが好むドラマカテゴリーやアーティストの順に視点移動情報を決定することができる。なお，この順位付けは，（ａ）これまでの蓄積した視聴履歴に含まれる各カテゴリーやアーティストに対する視聴頻度情報から単純に映像毎にソートすることによるもの，あるいは（ｂ）カテゴリーやアーティストの属性情報によりクラスタリングしグループ化した後で，映像のグループ毎にソーティングすることにより得られるものとすることができる。この順位付けの実現方式としては，コンテンツベースフィルタリング（content-based filtering）技術により実現するのが一般的である(参照：Collaborative and Content-based Filtering for Item Recommendation on Social Bookmarking Websites. T. Bogers and A. Van den Bosch. In: Proceedings of the ACM RecSys '09 workshop on Recommender Systems and the Social Web, pages 9-16, 2009.)。
(3)［位置情報に基づいた視点移動］
全体映像Awが複数の異なる映像により構成されており，且つ各映像が撮影位置情報を有する映像サービスを想定する。この映像サービスは，たとえば，ユーザ投稿型の映像共有サービスや，旅番組に代表される映像配信サービス，あるいは，自治体が配信する観光映像配信サービスにおいて用いられる。GPSなどを使用して自動取得可能なクライアント２の現在の位置情報をキーとして，全体映像Awを構成する映像の位置情報とクライアント２の物理的な位置との関係を考慮して，視聴領域Avを移動するための視点移動情報を決定する。クライアント２の現在位置からの距離が近い順に映像群をソートし，その順に従って映像間を移動するために、視点移動情報を決定することができる。
(4)［他ユーザの視聴頻度に基づいた視点移動］
全体領域Aw内の各映像領域（分割映像）を，現在又は過去に，クライアント２のユーザ以外のユーザがどの程度視聴しているかを示す頻度情報と，各ユーザによる映像への評価情報（例：５段階）とが付与されているとする。この場合，視聴頻度と評価情報を考慮することで，分割映像の順位を算出し，視聴すべき映像を自動で特定することができる。例えば，視聴頻度と評価情報を単純に掛け合わせることで，分割映像毎の順位を特定する指標を算出することが可能である。さらに，クライアント２の視聴ユーザに関係する複数のユーザ（ソーシャル関係ユーザ）が，現在どの映像を視聴しているか，または過去にどの程度視聴したかを示す頻度を利用することで，最適な移動経路を決定することが可能となる。これにより視点移動情報を決定することができる。
(5)［広告映像を含む映像配信サービスにおける視点移動］
上記で述べた各種映像配信サービスやシステムにおいて，広告映像を含めた映像配信サービスを想定する。この場合，広告対象物のジャンルや製品情報，対象年齢，対象性別情報などと，視聴ユーザのプロファイルとに基づき，視点移動情報を決定することが可能である。

その後，サーバ１の視点情報受信部６０で視点移動情報が受信されると，同様にしてシングルストリームを生成し，クライアント２への送信を行うことができる。そして、クライアント２は、受信したストリームをユーザに呈示し続けることができる（ステップＳＡ６〜ステップＳＡ９）。図１２（ｂ）では、視点移動により表示領域Adが視聴領域Avの範囲内で移動している。しかし、この段階では、表示領域Adは視聴領域Avの範囲内なので、視聴領域Avに対応する視聴領域映像ビットストリームを更新する必要はない。一方、図１２（ｃ）では、視点移動により、表示領域Adが視聴領域Avの範囲外で移動している。この状態では、表示領域Adは視聴領域Avの範囲外なので、新たな視聴領域Avを設定し、それに対応して、視聴領域映像ビットストリームを更新する。

ここで，サーバ１の視点移動情報決定部１５０が視点移動情報を生成した場合には（ステップＳＢ８），サーバ１の視点移動情報送信部１６０を介して，視点移動情報をクライアント２へ送出する（ステップＳＢ９）。視点移動情報決定部１５０が視点移動情報を生成しないならば，現在のビットストリーム（シングルストリーム）を送信し続ける（ステップＳＢ１２）。

サーバ１は内部に視点移動情報決定部を有する。この視点移動情報決定部の構成は、前記した第２実施形態と同様とすることができる。

［第３の実施の形態による効果］
上述した第３の実施の形態によれば，ユーザがインタフェースなどを通じて意識的に視聴領域を移動しなくても，映像の視聴領域や解像度が自動的にクライアント２内部で変更されるため，受動的な様々な映像の視聴を通じながらも，新たな映像の発見が可能となる。特に，視点移動情報については，サーバ，クライアント間で送受信することなく，すべてサーバ側で決定し，視聴領域映像へ反映されるため，従来のテレビ放送のように，クライアント側の処理が簡易化される。本実施形態における他の構成及び利点は、前記した第１実施形態又は第２実施形態と同様なので、詳しい説明は省略する。

なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。
例えば、本実施形態では、視点移動情報決定部により視点移動情報を自動的に決定するものとしたが、これと併用して、クライアント上のユーザインタフェースから視点移動情報を操作できる構成とすることも可能である。

Claims (8)

1. 送信装置と視点移動情報決定部とを備えた伝送システムであって、
   前記送信装置は、
   入力映像信号の映像領域を所定数の領域に分割し，かつ、前記分割により得られた各分割領域に対応する複数の領域分割映像信号を生成する映像領域分割処理部と，
   前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理部と，
   前記符号化処理部で生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部と，
   前記視点移動情報決定部で生成された視点移動情報に基づいて，前記映像ビットストリームを前記映像ビットストリーム群蓄積部から抽出して，伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成部と，
   前記伝送用ビットストリーム生成部で生成された前記伝送用の映像ビットストリームを前記受信装置に送信する映像ビットストリーム送信部と
   を備えており，
   前記視点移動情報決定部は、前記映像領域の中から、視聴対象の領域を特定するための視点移動情報を決定する構成とされており，
   さらに、前記視点移動情報決定部は、既定のデータに基づいて、ユーザの指定によらずに、自動的に前記視点情報を決定する構成とされている
   伝送システム。
2. さらに受信装置を備えており、
   前記視点移動情報決定部は、前記受信装置に含まれており、
   前記視点移動情報決定部は、決定された視点移動情報を前記送信装置に送る構成となっている
   請求項１に記載の伝送システム。
3. 前記視点移動情報決定部は、前記送信装置に含まれている
   請求項１に記載の伝送システム。
4. 前記視点移動情報決定部は、前記送信装置以外の他のサーバの一部として含まれている
   請求項１に記載の伝送システム。
5. 前記既定のデータは、過去の当該ユーザの視聴履歴，他のユーザの視聴履歴，視聴ユーザプロファイル，複数の領域分割映像間の関連性，映像提供者により付与された各領域分割映像への重み，前記映像領域内でのオブジェクトの動き情報，ユーザの現在の物理的な位置、又は、前記位置に付随する情報のいずれかである
   請求項１〜４のいずれか１項に記載の伝送システム。
6. 入力映像信号の映像領域を所定数の領域に分割し，かつ、前記分割により得られた各分割領域に対応する複数の領域分割映像信号を生成する映像領域分割処理部と，
   前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理部と，
   前記符号化処理部で生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部と，
   前記映像領域の中から、視聴対象の領域を特定するための視点移動情報を決定する前記視点移動情報決定部と，
   前記視点移動情報決定部で生成された視点移動情報に基づいて，前記映像ビットストリームを前記映像ビットストリーム群蓄積部から抽出して，伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成部と，
   前記伝送用ビットストリーム生成部で生成された前記伝送用の映像ビットストリームを前記受信装置に送信する映像ビットストリーム送信部と
   を備えており，
   さらに、前記視点移動情報決定部は、既定のデータに基づいて、ユーザの指定によらずに、自動的に前記視点情報を決定する構成とされている
   送信装置。
7. 入力映像信号の映像領域を所定数の領域に分割し，かつ、前記分割により得られた各分割領域に対応する複数の領域分割映像信号を生成する映像領域分割処理ステップと，
   前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理ステップと，
   前記符号化処理ステップで生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部に蓄積するステップと，
   前記視点移動情報決定ステップで生成された視点移動情報に基づいて，前記映像ビットストリームを前記映像ビットストリーム群蓄積部から抽出して，伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成ステップと，
   前記伝送用ビットストリーム生成ステップで生成された前記伝送用の映像ビットストリームを受信装置に送信する映像ビットストリーム送信ステップと
   を備えており，
   前記視点移動情報決定ステップでは、前記映像領域の中から、視聴対象の領域を特定するための視点移動情報を決定する構成とされており，
   さらに、前記視点移動情報決定では、既定のデータに基づいて、ユーザの指定によらずに、自動的に前記視点情報を決定する構成とされている
   伝送方法。
8. 請求項７に記載の方法をコンピュータで実行させるためのコンピュータプログラム。

Images