JP6843655B2 - 送信装置、受信装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、送信装置、受信装置、情報処理方法及びプログラムに関する。

近年、音声データや映像データ等により構成されるストリーミング形式のコンテンツをユーザにリアルタイムに配信する配信システムが提供されている。このような配信システムにより、ユーザは、自身の端末装置を介して、ライブ映像等の所望のコンテンツをリアルタイムで楽しむことができる。
スマートフォンやタブレットのような端末の普及により、様々な端末装置でいつでもどこでもストリーミングコンテンツを楽しみたいという需要が高まって来ている。この要求を実現するために端末装置の能力や端末装置が置かれる通信状況に応じて、動的に取得するストリームを変更する技術（ＭＰＥＧ−ＤＡＳＨ、Ｈｔｔｐ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ等）が注目されている。これらの技術では映像データを細かい時間単位のセグメントに分割し、セグメントを取得するためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）をプレイリストと呼ばれるファイルに記述する。受信装置は初めにこのプレイリストを取得し、プレイリストに記述されている情報を用いて所望の映像データを取得する。プレイリスト中に複数のバージョンの映像データセグメントに対するＵＲＬを記載することで、受信装置が自身の能力や通信環境に応じて、最適なバージョンの映像データセグメントを取得することができる。
一方で、近年全天周撮像装置により撮像された全天周映像データを、ユーザにリアルタイムに配信する配信システムが提供されている。特許文献１では、ＨＴＴＰストリーミング技術を活用して、３６０度の全天周映像データの配信を行うシステムが記載されている。

特開２０１６−１０５５９３号公報

カメラによる撮像映像の配信中に当該カメラの撮像範囲が変化した場合に、ユーザの意図通りの映像が表示されなくなる恐れがあった。例えば、カメラの撮像方向やズーム倍率の変化が配信映像の内容に反映されるシステムにおいては、当該変化に応じてユーザの意図通りの映像が表示できなくなる恐れがある。
つまり、カメラの向きの変化にかかわらず同一の方向を視聴していたいユーザにとっては、カメラの向きなどの変化に応じて配信映像が変化すると不都合である。一方、カメラの向きなどの変化に応じて映像を変化させたいユーザにとっては、常に同じ範囲の映像が表示されると不都合である。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、カメラの撮像映像の配信中に当該カメラの撮像範囲が変化する場合においても、ユーザが意図する映像を配信されやすくすることである。

本発明は、全天周映像を分割することにより得られたセグメントを受信装置に送信する送信装置であって、前記全天周映像に対する、視点情報、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）、視点移動情報、視点座標情報、観測位置情報のうち、少なくとも一種類を含む映像領域情報の種類に関する情報、及びセグメントにアクセスするための情報を記載したデータを生成する生成手段と、前記生成手段により生成された映像領域情報の種類に関する情報及びセグメントにアクセスするための情報を記載したデータを前記受信装置に送信する通信制御手段と、を有し、前記通信制御手段は、前記受信装置において指定されたセグメントのリクエスト及び指定された映像領域情報の種類のリクエストを受信した場合、前記リクエストに対応するセグメント及び映像領域情報を前記受信装置に送信する。

本発明によれば、カメラの撮像映像の配信中に当該カメラの撮像範囲が変化する場合においても、ユーザが意図する映像を配信されやすくすることができる。

全天周映像データ及びその投影方式の一例を示す図である。 情報処理システムのシステム構成の一例を示す図である。 送信装置のハードウェア構成の一例を示す図である。 受信装置のハードウェア構成の一例を示す図である。 送信装置の機能構成の一例を示す図である。 受信装置の機能構成の一例を示す図である。 送信装置による情報処理の一例を示すフローチャートである。 受信装置による情報処理の一例を示すフローチャートである。 動作例１のシーケンス図である。 動作例２のシーケンス図である。 動作例３のシーケンス図である。

以下、本発明の実施形態について図面に基づいて説明する。本実施形態ではＭＰＥＧ−ＤＡＳＨを利用して説明を行う。しかし、ＭＰＥＧ−ＤＡＳＨに限らず、Ｈｔｔｐ ＬｉｖｅｓｔｒｅａｍｉｎｇやＳｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇ等のセグメントを配信する別のプロトコルでも本実施形態の構成は適用することができる。

（全天周映像及び映像領域情報について）
図１は、全天周映像データ及びその投影方式の一例を示す図である。全天周映像は、図１（ａ）の１１０１に示すように、原点Ｏ（１１０３）を中心とした、周囲（方位角φ＝０°〜３６０°、仰角θ＝−９０°〜９０°）の範囲を撮像した映像である。全周囲映像は、全方位映像、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ）映像、３６０°映像や、その他異種の呼び方があるが、これらの呼び方に関わらず、本実施形態の構成は適用可能である。本実施形態では三次元空間の全方位に画像を有する全天周画像として、映像（動画）を配信する例を説明するが、静止画像を配信するようにしてもよい。
また、本実施形態の構成が適用することができる映像の範囲は、１１０１で示されるような、方位角φ＝０°〜３６０°、仰角θ＝−９０°〜９０°の映像に限定されない。例えば、方位角φ＝０°〜３６０°、仰角θ＝０°〜９０°の半球や、その他の任意の方位角、仰角の値を取る映像に対しても、本実施形態の構成は適用可能である。また、右目用データ、左目用データ、立体視用データ等の全天周映像データに対しても、本実施形態の構成は適用することができる。

撮像された全天周映像を配信する場合、全天周映像を二次元平面上に展開する投影処理が行われ、そして複数のタイルに分割される。全天周映像をタイルに分割して符号化する方式には、個々のタイルを個別に符号化する方式や、タイル符号化を用いて符号化する方式あるが、符号化のやり方に関わらず本実施形態は適用することができる。全天周映像をタイル分割しない場合でも本実施形態は適用することができる。
タイル分割された全天周映像は、動画コンテナフォーマットに格納される際に、複数の動画ファイルに分割されるセグメント化が行われる。本実施形態において、後述する送信装置１０１に格納されている映像データは、複数のファイルにセグメント化されているが、これに限らず単一のファイルに格納されていてもよい。単一のファイルに格納されている場合、後述する受信装置１０２は、そのファイルの特定の範囲（バイトレンジ）を指定してセグメントの取得を行う。また、二次元平面上に投影した全天周映像データを、複数の領域に分割し、それぞれの領域毎に、符号化、動画コンテナへの格納、及び、セグメント化を行ってもよい。セグメントとは、映像データを空間的又は時間的に分割した映像データの単位をいう。
映像領域情報とは、タイル分割された全天周映像について、その映像の領域の特徴に関する情報である。視点情報、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）、視点移動情報、視点座標情報、観測位置情報が映像領域情報に当てはまるが、これらに限定されない。これらの情報のうち、少なくても一種類、又は複数種類の組み合わせを映像領域情報として扱う。

視点情報とは、全天周映像における映像の観測方向である。図１（ｂ）の１１１１は全天周映像における部分領域を示している。部分領域１１１１に対し領域の観測方向である１１１２が視点である。視点情報はｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角の三つの値を用いる方法で表すが、この方法に限定されない。
ＦＯＶとは、全天周映像における映像の領域を表す情報である。ＦＯＶは分割された映像領域の二つの観測角度からなる。例えば図１（ｂ）の部分領域１１１１におけるＦＯＶは四角で示している領域１１１３であるが、この領域を示す水平ＦＯＶ角度１１１４と垂直ＦＯＶ角度１１１５とが二つの観測角度にあたる。ＦＯＶは対角ＦＯＶ角度等、別の値を用いてもよい。
視点移動情報とは、視点情報がどのように移動するかを表す情報である。図１（ｃ）は視点移動情報についての例を示している。あるセグメントの映像を撮影する際に、撮影中のカメラ１１２１が１１２２の視点０から１１２３の視点１へ時刻ｔ１からＴ１時間かけて撮影方向を移動させ、その後１１２４の視点２へ時刻ｔ２からＴ２時間かけて撮影方向を移動させたとする。この例の場合、視点の始点、移動開始時刻、移動にかかる時間、視点の終点が分かるように視点移動情報１１２５を
"（視点０），（移動開始時刻，移動時間），（視点１），（移動開始時刻，移動時間），（視点２）＝（ｙａｗ０，ｐｉｔｃｈ０，ｒｏｌｌ０），（ｔ１，Ｔ１），（ｙａｗ１，ｐｉｔｃｈ１，ｒｏｌｌ１），（ｔ２，Ｔ２），（ｙａｗ２，ｐｉｔｃｈ２，ｒｏｌｌ２）"
というように表す。視点の移動する点と移動開始時刻及び移動時間を表せるならば、ベクトルを用いた式で視点の軌跡を表す等、別の方法で視点移動情報を表してもよい。

視点座標情報とは、タイル分割された映像の中で特定の観測方向はどの位置にあたるかを示す情報である。視点座標情報はどの観測方向を表しているかを示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角と共にピクセル座標で表すが、この方法に限定されない。また視点移動情報のように映像の中で観測方向が変化する場合はピクセル座標間を変化する際にかかる時間情報を含める等し、視点座標情報の移動の軌跡を分かるようにしてもよい。視点座標情報は受信装置１０２から要求される観測方向やオブジェクトの座標でもよいし、送信装置１０１が受信装置１０２に映像の中で注目して欲しい観測方向やオブジェクトに該当する座標でもよいが、これに限定されない。
観測位置情報とは、全天周映像におけるタイル分割された映像の観測を行っている位置である。カメラで撮影している映像の場合、撮影をしているカメラの位置が観測位置情報である。観測位置情報は経度と緯度で表すが、高度を含める等、この方法に限定されない。

（システム全体の構成）
図２は、情報処理システムのシステム構成の一例を示す図である。送信装置１０１は、ネットワーク１０３を介して、受信装置１０２と接続される。送信装置１０１、受信装置１０２はそれぞれ複数存在してもよい。
送信装置１０１は、コンテンツの送信機能を備え、ユーザからの入力を受け付ける機能を備えてもよい。送信装置１０１のより具体的な例としては、カメラ装置、ビデオカメラ装置、スマートフォン装置、ＰＣ装置、携帯電話等が挙げられるが、前述の機能を備えるものであればこれに限定されない。
受信装置１０２は、コンテンツの再生・表示機能、通信機能を備え、ユーザからの入力を受け付ける機能を備えてもよい。受信装置１０２のより具体的な例は、スマートフォン装置、ＰＣ装置、テレビ、携帯電話、等が挙げられるが、前述の機能構成を満たすものであればこれに限定されない。
ネットワーク１０３は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）である。本実施形態ではネットワーク１０３として有線ＬＡＮ、又は無線ＬＡＮを利用しているが、これに限らず、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等でもよい。

（送信装置のハードウェア構成）
図３は、送信装置１０１のハードウェア構成の一例を示す図である。
中央処理装置（以下、ＣＰＵと称す）４０１は、送信装置１０１の全体を制御し、データの計算・加工を行う装置である。ＣＰＵ４０１は、後述するＲＯＭ４０２に格納されたプログラムを後述するＲＡＭ４０３に展開して実行する。ＣＰＵ４０１がプログラムを実行することによって、後述する図５の符号化部２０２、プレイリスト生成部２０３、セグメント生成部２０４、送信データ決定部２０５、映像領域情報管理部２０６及び通信制御部２０７が実現される。また、ＣＰＵ４０１がプログラムを実行することによって、後述する送信装置１０１のフローチャートの処理、後述する図９〜図１１のシーケンス図の送信装置１０１の処理が実現される。
ＲＯＭ４０２は、一度書き込まれた情報を読み出すための記憶装置である。ＲＯＭ４０２は、例えば、ＣＰＵ４０１が実行するプログラム等を記憶する。
ＲＡＭ４０３は、一時的にデータの書き込みと読み出すための記憶装置である。ＲＡＭ４０３は、例えば、ＣＰＵ４０１がプログラムを実行する際に用いられる値等を記憶する。
内蔵メモリ４０４及び外部メモリ４０５は、アプリケーションのコンテンツを記憶しておく外部記憶装置である。
入力装置４０６は、電源ボタンや音量ボタン、ホームボタン等、ボタン等として実装される入力装置である。入力装置４０６は、送信装置１０１に複数実装することができる。
ネットワークＩ／Ｆ４０７は、ネットワーク１０３を介してデータの送受信をするための装置である。後述する図５の通信制御部２０７は、ネットワークＩ／Ｆ４０７及びネットワーク１０３を介した受信装置１０２との通信を制御する。
電源４０８は、送信装置１０１に電源を供給・充電する装置であり、電池と充電装置とを含む。
カメラ４０９は、送信用コンテンツを撮影する装置である。カメラ４０９は、後述する図５の撮像部２０１を実現した装置である。カメラ４０９は、地磁気センサー４１０、ジャイロセンサー４１１、ＧＰＳセンサー４１２といった映像領域情報のためのセンサーを持つ。カメラ４０９は、４１０から４１２までのセンサーの内、一部のみを持つ構成でもよいし、又は４１０から４１２までのセンサー以外のセンサーを持ってもよい。

（受信装置のハードウェア構成）
図４は、受信装置１０２のハードウェア構成の一例を示す図である。
中央処理装置（以下、ＣＰＵと称す）５０１は、受信装置１０２の全体を制御し、データの計算・加工を行う装置である。ＣＰＵ５０１は、後述するＲＯＭ５０２に格納されたプログラムを後述するＲＡＭ５０３に展開して実行する。ＣＰＵ５０１がプログラムを実行することによって、後述する図６の復号化部３０２、プレイリスト解析部３０３、映像領域情報取得指示部３０６、取得セグメント決定部３０７、通信制御部３０８が実現される。
ＲＯＭ５０２は、一度書き込まれた情報を読み出すための記憶装置である。ＲＯＭ５０２は、例えば、ＣＰＵ５０１が実行するプログラム等を記憶する。
ＲＡＭ５０３は、一時的にデータの書き込みと読み出すための記憶装置である。ＲＡＭ５０３は、例えば、ＣＰＵ５０１がプログラムを実行する際に用いられる値等を記憶する。
内蔵メモリ５０４及び外部メモリ５０６は、アプリケーションのコンテンツを記憶しておく外部記憶装置である。後述する図６のバッファ３０４は、内蔵メモリ５０４に実装される。入力装置５０５は、電源ボタンや音量ボタン、ホームボタン等、ボタン等として実装される入力装置である。
入力装置５０５は、受信装置１０２に複数実装することができる。
スピーカー５０７及びディスプレイ５０８は、送信装置１０１から受信したコンテンツを再生することができる。
ネットワークＩ／Ｆ５０９は、ネットワーク１０３を介してデータの送受信をするための装置である。後述する図６の通信制御部３０８は、ネットワークＩ／Ｆ５０９及びネットワーク１０３を介した送信装置１０１との通信を制御する。
電源５１０は、受信装置１０２に電源を供給・充電する装置であり、電池と充電装置とを含む。電源５１０は、ＡＣアダプタにより実現してもよい。

（送信装置の機能構成）
図５は、送信装置１０１の機能構成の一例を示す図である。送信装置１０１は、撮像部２０１で撮影した映像データを符号化し、また映像領域情報を生成する。撮像部２０１は、送信装置１０１の外部にあって映像データ及び映像領域情報を送信装置１０１に提供してもよい。セグメント生成部２０４は、符号化部２０２で符号化された映像データから映像データの送信単位であるセグメントを生成する。本実施形態におけるセグメントのファイルフォーマットとしてはＩＳＯＢＭＦＦ（Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）を利用するが、これに限らずＭＰＥＧ２ＴＳ等でもよい。プレイリスト生成部２０３は、セグメント生成部２０４が作成したセグメントへのアクセスを可能とするＵＲＬを記載したプレイリストを生成する。プレイリストのフォーマットとしてＭＰＥＧ−ＤＡＳＨで規定されているＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）がある。Ｈｔｔｐ Ｌｉｖｅｓｔｒｅａｍｉｎｇにおけるプレイリストの記述方法等、これと同等の機能を有するものでもよい。送信データ決定部２０５は、受信装置１０２へ送信するセグメント及び映像領域情報を決定し通信制御部２０７へ渡し送信させる。通信制御部２０７は、生成されたプレイリスト、送信すると決定された映像領域情報及びセグメントを、ネットワーク１０３越しに受信装置１０２に送信する。映像領域情報管理部２０６は、撮像部２０１から取得する映像領域情報の管理や受信装置１０２への映像領域情報送信設定の管理を行う。

（受信装置の機能構成）
図６は、受信装置１０２の機能構成の一例を示す図である。受信装置１０２は、ネットワーク１０３越しに受信する映像データを出力制御部３０１で再生する。出力制御部３０１は、受信装置１０２の外部にあって映像データを外部の表示部へ提供してもよい。通信制御部３０８は、ネットワーク１０３越しにセグメント、映像領域情報及びプレイリストを受信し、セグメントと映像領域情報とはバッファ３０４へ、プレイリストはプレイリスト解析部３０３へ渡す。復号化部３０２は、バッファ３０４に蓄積されているセグメントと映像領域情報とを基に映像データを復号化する。取得セグメント決定部３０７は、ユーザインタフェイス部３０５からの入力に基づき、プレイリスト解析部３０３からの解析結果を基に取得するセグメントを決定するが、これに限らずネットワーク１０３の状況に応じて決定する等、他の方法でもよい。映像領域情報取得指示部３０６は、ユーザインタフェイス部３０５からの入力に基づき映像領域情報の要求及び不要要求の送信有無を決定するが、これに限らずネットワーク１０３の状況に応じて決定する等、他の方法でもよい。

（送信装置の情報処理）
図７を用いて実施形態における送信装置１０１の情報処理について説明する。
図７は、映像領域情報の要求又は不要要求の受信から映像領域情報の送信を行うまでにおける、送信装置１０１による情報処理の一例を示すフローチャートである。
Ｓ６１４の処理については後述する。
Ｓ６０１において、通信制御部２０７は、ストリーム映像領域情報要求を受信したか否かを判定する。通信制御部２０７は、ストリーム映像領域情報要求を受信した場合（Ｓ６０１においてＹＥＳ）、Ｓ６０２へ遷移し、ストリーム映像領域情報要求を受信していない場合（Ｓ６０１においてＮＯ）、Ｓ６０３へ遷移する。ここで、ストリームとは時間的に連続性があり送信装置１０１と受信装置１０２との間でやり取りされるセグメントの集まりのことを意味する。ストリーム映像領域情報要求とは、ストリームを構成する各セグメントの映像領域情報を継続して送信するように要求することである。ストリーム映像領域情報要求は明示的に不要要求を送信するまで継続して映像領域情報を送信する要求でもよいし、"セグメント１００個まで映像領域情報を送信して欲しい"というような限定した要求でもよい。またストリーム映像領域情報要求では送信して欲しい映像領域情報の種類を指定してもよい。視点座標情報を指定する場合は、座標情報を取得したい観測方向をストリーム映像領域情報要求に含めてもよい。
Ｓ６０２において、映像領域情報管理部２０６は、ストリーム映像領域情報送信設定を有効にする。ストリーム映像領域情報送信設定とは、ストリームを構成する各セグメントの映像領域情報を送信するかの設定値である。ストリーム映像領域情報送信設定は有効と無効との値を持つ。ストリーム映像領域情報送信設定は、以前に送信した映像領域情報から変化があったときに映像領域情報を送信するという設定値を持ってもよい。本実施形態においてストリーム映像領域情報送信設定のデフォルト値は有効としているが、デフォルト値を無効としてもよい。

Ｓ６０３において、通信制御部２０７は、ストリーム映像領域情報不要要求を受信したか否かを判定する。通信制御部２０７は、ストリーム映像領域情報不要要求を受信した場合（Ｓ６０３においてＹＥＳ）、Ｓ６０４へ遷移し、ストリーム映像領域情報不要要求を受信していない場合（Ｓ６０３においてＮＯ）、Ｓ６０５へ遷移する。ここで、ストリーム映像領域情報不要要求とは、ストリームを構成する各セグメントの映像領域情報の送信をしないように要求することである。
Ｓ６０４において、映像領域情報管理部２０６は、ストリーム映像領域情報送信設定を無効にする。
Ｓ６０１からＳ６０２までの処理とＳ６０３からＳ６０４までの処理との順番は逆でもよい。即ち、送信装置１０１は、Ｓ６０３を先に行い、Ｓ６０３でＮＯの場合にＳ６０１へ遷移するという処理を行うようにしてもよい。また、送信装置１０１は、Ｓ６０１（Ｓ６０３）でＹＥＳの場合にもＳ６０３（Ｓ６０１）を処理するようにしてもよい。
送信装置１０１は、ストリーム映像領域情報要求及び不要要求をサポートせず、後述するセグメント映像領域情報要求及び不要要求のみをサポートするようにしてもよい。ストリーム映像領域情報要求及び不要要求のサポートをしない場合、送信装置１０１は、Ｓ６０１、Ｓ６０２、Ｓ６０３、Ｓ６０４はスキップする。

Ｓ６０５において、通信制御部２０７は、セグメント映像領域情報要求を受信したか否かを判定する。通信制御部２０７は、セグメント映像領域情報要求を受信した場合（Ｓ６０５においてＹＥＳ）、Ｓ６０６へ遷移し、セグメント映像領域情報要求を受信していない場合（Ｓ６０５においてＮＯ）、Ｓ６０７に遷移する。セグメント映像領域情報要求とは、特定のセグメントの映像領域情報を送信するように要求することである。セグメント映像領域情報要求では送信して欲しい映像領域情報の種類を指定してもよい。視点座標情報を指定する場合は、座標情報を取得したい観測方向をセグメント映像領域情報要求に含めてもよい。
Ｓ６０６において、映像領域情報管理部２０６は、Ｓ６０５で受信したセグメント映像領域情報要求を基に、該当するセグメントのセグメント映像領域情報送信設定を有効にする。セグメント映像領域情報送信設定とは、各セグメントの映像領域情報を送信するかの設定であり、セグメント毎に管理される値である。本実施形態においてセグメント映像領域情報送信設定は有効、無効、未設定の値を持つが、未設定の値は無くてもよい。本実施形態においてセグメント映像領域情報送信設定のデフォルト値は未設定としているが、デフォルト値を有効又は無効としてもよい。
本実施形態においては、ストリーム映像領域情報送信設定の値に関わらずセグメント映像領域情報送信設定の値が優先して映像領域情報の送信有無に反映される。しかし、セグメント映像領域情報送信設定の値よりもストリーム映像領域情報送信設定の値の方が優先されるようにしてもよい。例えば、ストリーム映像領域情報送信設定が無効であればセグメント映像領域情報送信設定が有効だとしても該当するセグメントの映像領域情報は送信しない、等である。

Ｓ６０７において、通信制御部２０７は、セグメント映像領域情報不要要求を受信したか否かを判定する。通信制御部２０７は、セグメント映像領域情報不要要求を受信した場合（Ｓ６０７においてＹＥＳ）、Ｓ６０８へ遷移し、セグメント映像領域情報不要要求を受信していない場合（Ｓ６０７においてＮＯ）、Ｓ６０９に遷移する。セグメント映像領域情報不要要求とは、特定のセグメントの映像領域情報を送信しないように要求することである。
Ｓ６０８において、映像領域情報管理部２０６は、Ｓ６０５で受信したセグメント映像領域情報要求を基に、該当するセグメントのセグメント映像領域情報送信設定を無効にする。
Ｓ６０５からＳ６０６までの処理とＳ６０７からＳ６０８までの処理との順番は逆でもよい。即ち、送信装置１０１は、Ｓ６０７を先に行い、Ｓ６０７でＮＯの場合にＳ６０５へ遷移するという処理を行うようにしてもよい。また、送信装置１０１は、Ｓ６０５（Ｓ６０７）でＹＥＳの場合にもＳ６０７（Ｓ６０５）を処理するようにしてもよい。
送信装置１０１は、セグメント映像領域情報要求及び不要要求をサポートせず、ストリーム映像領域情報要求及び不要要求のみのサポートでもよい。送信装置１０１がセグメント映像領域情報要求及び不要要求のサポートをしない場合、Ｓ６０５、Ｓ６０６、Ｓ６０７、Ｓ６０８はスキップする。

Ｓ６０９において、通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定が有効であるか否かを判定する。通信制御部２０７は、ストリーム映像領域情報送信設定が有効である場合（Ｓ６０９においてＹＥＳ）、Ｓ６１０へ遷移し、ストリーム映像領域情報送信設定が無効である場合（Ｓ６０９においてＮＯ）、Ｓ６１１へ遷移する。
Ｓ６１０において、通信制御部２０７は、映像領域情報管理部２０６のセグメント映像領域情報送信設定が無効ではない、即ち有効か未設定であるか否かを判定する。通信制御部２０７は、セグメント映像領域情報送信設定が有効か未設定である場合（Ｓ６１０においてＹＥＳ）、Ｓ６１２へ遷移し、セグメント映像領域情報送信設定が無効である場合（Ｓ６１０においてＮＯ）、Ｓ６１３へ遷移する。
Ｓ６１１において、通信制御部２０７は、映像領域情報管理部２０６のセグメント映像領域情報が有効であるか否かを判定する。通信制御部２０７は、セグメント映像領域情報が有効である場合（Ｓ６１１においてＹＥＳ）、Ｓ６１２へ遷移し、セグメント映像領域情報が有効ではない、即ち無効か未設定である場合（Ｓ６１１においてＮＯ）、Ｓ６１３へ遷移する。
Ｓ６１２において、通信制御部２０７は、送信可能となったセグメントの映像領域情報を送信する。ストリーム映像領域送信要求及びセグメント映像領域送信要求で送信する映像領域情報の種類が指定されている場合は、通信制御部２０７は、指定された種類の映像領域情報を送信する。以前のＳ６１２にて送信した映像領域情報と内容が同じである場合、通信制御部２０７は、セグメントの映像領域情報は送信しなくてもよい。

Ｓ６１３において、通信制御部２０７は、ストリーム送信を終了するか否かを判定する。通信制御部２０７は、ストリーム送信を終了する場合（Ｓ６１３においてＹＥＳ）、図７に示すフローチャートの処理を終了し、ストリーム送信を終了しない場合（Ｓ６１３においてＮＯ）、Ｓ６１４に遷移する。通信制御部２０７は、入力装置４０６によるユーザからの終了指示を受けたり、受信装置１０２からの要求が一定時間無い等したりした場合にデータの配信を終了し、ストリーム送信を終了すると判定する。
Ｓ６１４において、プレイリスト生成部２０３は、ＭＰＤファイルに映像領域関連情報を記載する。そして、通信制御部２０７は、生成されたＭＰＤファイルを送信する。送信装置１０１は、ＭＰＤに限定せず、Ｈｔｔｐ Ｌｉｖｅｓｔｒｅａｍｉｎｇにおけるプレイリストの記述方法等、ＭＰＤと同等の機能を有するものを用いてもよい。映像領域関連情報とは映像領域情報を取得可能かどうか、映像領域情報の種類、映像領域情報を取得する為のプロトコル情報、映像領域情報を特定するためのＵＲＬ等のことである。映像領域関連情報をＭＰＥＧ−ＤＡＳＨ以外のプロトコルで事前に通知する等、異なる方法により送信装置１０１と受信装置１０２との間で映像領域関連情報を共有する場合はＭＰＤファイルに映像領域関連情報を記載しなくてもよい。送信装置１０１はＳ６１４を、一度行っていれば再度行わなくてもよいし、複数回行ってもよい。ＭＰＤファイルは、セグメントへのアクセスを可能とする情報を記載したデータの一例である。

（受信装置の情報処理）
図８を用いて実施形態における受信装置１０２の情報処理について説明する。
図８は、映像領域情報の要求又は不要要求の送信から映像領域情報の受信を行うまでにおける、受信装置１０２による情報処理の一例を示すフローチャートである。
Ｓ７１０の処理については後述する。
Ｓ７０１において、映像領域情報取得指示部３０６は、ストリームを構成する各セグメントの映像領域情報を継続して受信したいか否かを判定する。映像領域情報取得指示部３０６は、ストリームを構成する各セグメントの映像領域情報を継続して受信したい場合（Ｓ７０１においてＹＥＳ）、Ｓ７０２へ遷移する。また、映像領域情報取得指示部３０６は、ストリームを構成する各セグメントの映像領域情報を継続して受信したくない場合（Ｓ７０１においてＮＯ）、Ｓ７０３へ遷移する。
Ｓ７０２において、通信制御部３０８は、映像領域情報取得指示部３０６からの指示に基づき、ストリーム映像領域情報要求を送信する。例えば、映像領域情報取得指示部３０６は、ストリーム映像領域情報要求を、明示的に不要要求を送信するまで継続して映像領域情報を送信する要求とするよう指示してもよい。また、例えば、映像領域情報取得指示部３０６は、ストリーム映像領域情報要求を、"セグメント１００個まで映像領域情報を送信して欲しい"というような限定した要求としてもよい。例えば、映像領域情報取得指示部３０６は、ストリーム映像領域情報要求に送信して欲しい映像領域情報の種類を指定してもよい。また、例えば、映像領域情報取得指示部３０６は、視点座標情報を指定する場合に、座標情報を取得したい観測方向をストリーム映像領域情報要求に含めるよう指示してもよい。また、例えば、映像領域情報取得指示部３０６は、ストリーム映像領域情報要求を、映像領域情報の内容が変化したときにのみ映像領域情報を送信するよう要求とするよう指示してもよい。受信装置１０２は、既にストリーム映像領域情報要求を送信装置１０１に送信し、送信装置１０１のストリーム映像領域情報送信設定が有効になっている場合は、再度、ストリーム映像領域情報要求を送信しなくてもよい。また、受信装置１０２は、ストリーム映像領域情報要求を送信していなくても送信装置１０１のストリーム映像領域情報送信設定のデフォルト値が有効である場合等、既にストリーム映像領域情報送信設定が有効である場合、送信しなくてもよい。
Ｓ７０３において、通信制御部３０８は、映像領域情報取得指示部３０６からの指示に基づき、ストリーム映像領域情報不要要求を送信する。受信装置１０２は、既にストリーム映像領域情報不要要求を送信装置１０１に送信し、送信装置１０１のストリーム映像領域情報送信設定を無効にしている場合は再度、ストリーム映像領域情報不要要求を送信しなくてもよい。また、受信装置１０２は、ストリーム映像領域情報不要要求を送信していなくても送信装置１０１のストリーム映像領域情報送信設定のデフォルト値が無効である場合等、既にストリーム映像領域情報送信設定が無効であるならば送信しなくてもよい。
送信装置１０１がストリーム映像領域情報要求及び不要要求をサポートしていない場合、受信装置１０２は、Ｓ７０１、Ｓ７０２、Ｓ７０３はスキップする。

Ｓ７０４において、取得セグメント決定部３０７は、特定のセグメントの映像領域情報を取得したいか否かを判定する。取得セグメント決定部３０７は、特定のセグメントの映像領域情報を取得したい場合（Ｓ７０４においてＹＥＳ）、Ｓ７０５へ遷移し、特定のセグメントの映像領域情報を取得したいわけでは無い場合（Ｓ７０４においてＮＯ）、Ｓ７０６へ遷移する。
Ｓ７０５において、通信制御部３０８は、取得セグメント決定部３０７で映像領域情報を取得したいと判断されたセグメントに対応するセグメント映像領域情報要求を送信する。例えば、取得セグメント決定部３０７は、セグメント映像領域情報要求で送信して欲しい映像領域情報の種類を指定するようにしてもよい。視点座標情報を指定する場合、取得セグメント決定部３０７は、座標情報を取得したい観測方向をセグメント映像領域情報要求に含めるようにしてもよい。受信装置１０２は、Ｓ７０２でストリーム映像領域情報取得要求を送信し送信装置１０１のストリーム映像領域情報送信設定を有効にしている場合、セグメント映像領域情報要求を送信しなくてもよい。又は、受信装置１０２は、ストリーム映像領域情報取得要求を送信していなくても送信装置１０１のストリーム映像領域情報送信設定のデフォルト値が有効である場合等、既にストリーム映像領域情報送信設定が有効であるならばセグメント映像領域情報要求を送信しなくてもよい。
Ｓ７０６において、取得セグメント決定部３０７は、送信装置１０１に対し特定のセグメントの映像領域情報の送信を禁止するか否かを判定する。取得セグメント決定部３０７は、送信装置１０１に対し特定のセグメントの映像領域情報の送信を禁止する場合（Ｓ７０６においてＹＥＳ）、Ｓ７０７へ遷移する。また、取得セグメント決定部３０７は、送信装置１０１に対し特定のセグメントの映像領域情報の送信を禁止しない場合（Ｓ７０６においてＮＯ）、Ｓ７０８へ遷移する。
Ｓ７０７において、通信制御部３０８は、取得セグメント決定部３０７からの指示に基づきＳ７０５で映像領域情報の送信を禁止するセグメントに対応するセグメント映像領域情報不要要求を送信する。送信装置１０１のストリーム映像領域情報送信設定が無効であるならば受信装置１０２は、セグメント映像領域情報不要要求を送信しなくてもよい。
送信装置１０１がセグメント映像領域情報要求及び不要要求をサポートしていない場合、受信装置１０２は、Ｓ７０４、Ｓ７０５、Ｓ７０６、Ｓ７０７はスキップする。
Ｓ７０８にて、送信装置１０１がセグメントの映像領域情報を送ってきた場合、通信制御部３０８は、セグメントの映像領域情報を受信する。

Ｓ７０９において、通信制御部３０８は、ストリーム受信を終了するか否かを判定する。通信制御部３０８は、ストリーム受信を終了する場合（Ｓ７０９においてＹＥＳ）、図８に示すフローチャートの処理を終了し、ストリーム受信を終了しない場合（Ｓ７０９においてＮＯ）、Ｓ７１０に遷移する。通信制御部３０８は、入力装置５０５によるユーザからの終了指示を受ける等した場合にデータの受信を終了すると判定する。
Ｓ７１０において、通信制御部３０８は、ＭＰＤファイルを受信する。そして、プレイリスト解析部３０３は、ＭＰＤファイルから映像領域関連情報を取得する。受信装置１０２は、ＭＰＤに限定せず、Ｈｔｔｐ Ｌｉｖｅｓｔｒｅａｍｉｎｇにおけるプレイリストの記述方法等、ＭＰＤと同等の機能を有するものを用いてもよい。映像領域関連情報をＭＰＥＧ−ＤＡＳＨ以外のプロトコルで事前に取得する等、異なる方法により送信装置１０１と受信装置１０２との間で映像領域関連情報を共有する場合はＭＰＤファイルから映像領域関連情報を取得しなくてもよい。受信装置１０２はＳ７１０を、一度行っていれば再度行わなくてもよいし、複数回行ってもよい。

（動作例１）
セグメント毎に、セグメントリクエストと合わせて映像領域情報を要求する例について、送信装置１０１と受信装置１０２との間のやり取りを表したシーケンスを、図９を用いて説明する。
Ｍ８０１にて、受信装置１０２の通信制御部３０８は、送信装置１０１へＭＰＤファイルリクエストを送信する。
Ｓ６１４により、８０２にて、送信装置１０１のプレイリスト生成部２０３は、ＭＰＤファイルに映像領域関連情報を記載する。
Ｍ８０３にて、送信装置１０１の通信制御部２０７は、ＭＰＤファイルを送信する。
Ｓ７１０により、Ｍ８０３にて、受信装置１０２の通信制御部３０８は、送信装置１０１からＭＰＤファイルを受信し、ＭＰＤファイルから映像領域関連情報を把握する。動作例１では、受信装置１０２は、セグメントリクエストのＨＴＴＰヘッダーとしてセグメント映像領域情報要求を送信する。そして送信装置１０１は、セグメントレスポンスのＨＴＴＰヘッダーとして映像領域情報を送信するものとする。セグメント映像領域情報要求は、セグメントリクエスト時のＵＲＬにパラメータとして送信する等別の方法でもよい。映像領域情報は、ｍｏｏｆ（Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ Ｂｏｘ）といったセグメントデータのメタデータとして送信する等、別の方法でもよい。
送信装置１０１はストリーム映像領域情報要求及び不要要求に対応していないため、受信装置１０２は、Ｓ７０１、Ｓ７０２、Ｓ７０３をスキップし、また送信装置１０１は、Ｓ６０１、Ｓ６０２、Ｓ６０３、Ｓ６０４をスキップする。

８０４と８０７とは、受信装置１０２がセグメントの映像領域情報を求める場合と求めない場合の処理である。
まず受信装置１０２がセグメントの映像領域情報を求める場合８０４の説明を行う。
Ｓ７０４により、受信装置１０２の取得セグメント決定部３０７は、ある１セグメントの映像領域情報を取得したいものとし、Ｓ７０５へ遷移する。
Ｓ７０５により、Ｍ８０５にて、受信装置１０２の通信制御部３０８は、取得セグメント決定部３０７からの指示に基づき、セグメントリクエストと共にセグメント映像領域情報要求としてｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーに"ｙｅｓ"という値を入れて送信装置１０１へ送信する。ｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーはセグメント映像領域情報に要求及び不要要求を送信する際に使用するヘッダーとし、要求の場合は"ｙｅｓ"、不要要求の場合は"ｎｏ"の値をとるものとする。本実施形態では、セグメント映像領域情報は、送信装置１０１が持つすべての種類の映像領域情報の要求とするが、送信して欲しい映像領域情報の種類を指定するパラメータを追加し、送信して欲しい映像領域情報の種類を指定してもよい。視点座標情報を指定する場合、通信制御部３０８は、取得セグメント決定部３０７からの指示に基づき、座標情報を取得したい観測方向のパラメータを含めてもよい。ｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーがとる値は"ｏｎ"、"ｏｆｆ"というような別の値としてもよい。受信装置１０２は、セグメント映像領域情報要求及び不要要求を送信する際に別のヘッダーを使用してもよい。

Ｓ６０５により、送信装置１０１の通信制御部２０７は、値が"ｙｅｓ"であるｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーを含むセグメントリクエストを受信したためＳ６０６へ遷移する。
Ｓ６０６により、送信装置１０１の映像領域情報管理部２０６は、リクエストを受けたセグメントに該当するセグメント映像領域情報送信設定を有効にする。
Ｓ６０９により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定は無効であるとし、Ｓ６１１へ遷移する。
Ｓ６１１により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のセグメント映像領域情報送信設定が有効であるとし、Ｓ６１２へ遷移する。
Ｓ６１２により、Ｍ８０６にて、送信装置１０１の通信制御部２０７は、セグメントレスポンスと共にｒｅｇｉｏｎｉｎｆｏヘッダーに映像領域情報を含め送信する。ｒｅｇｉｏｎｉｎｆｏヘッダーはセグメントの映像領域情報を送信する際に使用するヘッダーとする。通信制御部２０７は、ｒｅｇｉｏｎｉｎｆｏヘッダーを、映像領域情報送信しないことを明示的に示すために送信してもよく、この場合は"ｎｏｎｅ"という値をとる。通信制御部２０７は、ｒｅｇｉｏｎｉｎｆｏヘッダーではなく別のヘッダーを使用してもよい。
Ｓ７０８により、Ｍ８０６にて、受信装置１０２の通信制御部３０８は、ｒｅｇｉｏｎｉｎｆｏヘッダーの値として映像領域情報を含むセグメントレスポンスを受信する。

次に受信装置１０２がセグメントの映像領域情報を求めない場合８０７の説明を行う。
Ｓ７０４により、受信装置１０２の取得セグメント決定部３０７は、ある１セグメントの映像領域情報を取得したいわけではないとし、Ｓ７０６へ遷移する。
Ｓ７０６により、受信装置１０２の取得セグメント決定部３０７は、送信装置１０１からある１セグメントの映像領域情報の送信を禁止するとし、Ｓ７０７へ遷移する。
Ｓ７０７により、Ｍ８０６にて、受信装置１０２の通信制御部３０８は、セグメントリクエストと共にセグメント映像領域情報不要要求としてｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーに"ｎｏ"という値を入れて送信装置１０１へ送信する。
受信装置１０２の取得セグメント決定部３０７は、送信装置１０１からのセグメントの映像領域情報の送信を禁止しない場合は、Ｓ７０６にてＳ７０８へ遷移する。この場合Ｍ８０８では受信装置１０２の通信制御部３０８は、セグメントリクエストにｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーを含めずに送信する。
Ｓ６０５により、送信装置１０１の通信制御部２０７は、値が"ｙｅｓ"であるｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーを含むセグメントリクエストを受信していないためＳ６０７へ遷移する。
Ｓ６０７により、送信装置１０１の通信制御部２０７は、値が"ｎｏ"であるｒｅｑｕｉｒｅ−ｒｅｇｉｏｎｉｎｆｏヘッダーを含むセグメントリクエストを受信しているためＳ６０８へ遷移する。Ｓ７０６にて７０８へ遷移している場合は、送信装置１０１は、Ｓ６０６へ遷移する。
Ｓ６０８により、送信装置１０１の映像領域情報管理部２０６は、リクエストを受けたセグメントに該当するセグメント映像領域情報送信設定を無効にする。
Ｓ６０９により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定は無効であるとし、Ｓ６１１へ遷移する。
Ｓ６１１により、送信装置１０１の映像領域情報管理部２０６は、セグメント映像領域情報送信設定が有効ではないとし、Ｓ６１３へ遷移する。
Ｍ８０９にて、送信装置１０１の通信制御部２０７は、セグメントレスポンスと共に値が"ｎｕｌｌ"であるｒｅｇｉｏｎｉｎｆｏヘッダーを含め送信する。そして受信装置１０２の通信制御部３０８は、これを受信する。送信装置１０１の通信制御部２０７は、セグメントレスポンスにはｒｅｇｉｏｎｉｎｆｏヘッダーを含めなくてもよい。
送信装置１０１と受信装置１０２とは、ストリームの送受信を終了するまではＳ６１３からＳ６０１へ、Ｓ７０９からＳ７０１へ遷移し、８０４又は８０７の処理を繰り返す。

（動作例２）
セグメント毎に、セグメントリクエストとは別に映像領域情報を要求する例について、送信装置１０１と受信装置１０２との間のやり取りを表したシーケンスを、図１０を用いて説明する。
Ｍ９０１及び９０２はＭ８０１及び８０２と同様であるため説明は省略する。
Ｓ７１０により、Ｍ９０３にて、受信装置１０２の通信制御部３０８は、送信装置１０１からＭＰＤファイルを受信し、ＭＰＤファイルから映像領域関連情報を取得し、把握する。動作例２では、セグメントとは別にＨＴＴＰ ＧＥＴリクエストにより映像領域情報の送受信を行うものとする。但し、送信装置１０１と受信装置１０２とは、セグメント毎にＲＴＰプロトコルを用いて映像領域情報をやり取りする等、別の方法でもよい。

９０４と９０９とは、受信装置１０２がセグメントの映像領域情報を求める場合と求めない場合との処理である。
まず受信装置１０２がセグメントの映像領域情報を求める場合９０４の説明を行う。
Ｓ７０４により、受信装置１０２の取得セグメント決定部３０７は、ある１セグメントの映像領域情報を取得したいものとし、Ｓ７０５へ遷移する。
Ｓ７０５により、Ｍ９０５にて、受信装置１０２の通信制御部３０８は、セグメント映像領域情報要求としてＨＴＴＰ ＧＥＴリクエストを送信装置１０１へ送信する。本実施形態では送信装置１０１が持つ映像領域情報の内すべての種類の情報を送信してもらう要求とする。しかし、通信制御部３０８は、取得セグメント決定部３０７で決定された送信して欲しい映像領域情報の種類を指定するパラメータをＵＲＬに追加する等し、送信して欲しい映像領域情報の種類を指定してもよい。視点座標情報を指定する場合する場合は、通信制御部３０８は、座標情報を取得したい観測方向のパラメータを含めてもよい。
Ｓ６０５により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報要求であるＨＴＴＰ ＧＥＴリクエストを受信したためＳ６０６へ遷移する。
Ｓ６０６により、送信装置１０１の映像領域情報管理部２０６は、受信したセグメント映像領域情報要求に該当するセグメント映像領域情報送信設定を有効にする。
Ｓ６０９により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定は無効であるとし、Ｓ６１１へ遷移する。
Ｓ６１１により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のセグメント映像領域情報送信設定が有効であるとし、Ｓ６１２へ遷移する。
Ｓ６１２により、Ｍ９０６にて、送信装置１０１の通信制御部２０７は、ＨＴＴＰ ＧＥＴリクエストのレスポンスとして映像領域情報を送信する。

Ｓ７０８により、Ｍ９０６にて、受信装置１０２の通信制御部３０８は、ＨＴＴＰ ＧＥＴリクエストのレスポンスである映像領域情報を受信する。
Ｍ９０７にて、受信装置１０２の通信制御部３０８は、Ｍ９０６で受信した映像領域情報に対応するセグメントリクエストを送信する。そして送信装置１０１の通信制御部２０７は、セグメントリクエストを受信する。
Ｍ９０８にて、送信装置１０１の通信制御部２０７は、セグメントレスポンスを送信する。そして受信装置１０２の通信制御部３０８は、セグメントレスポンスを受信する。
送信装置１０１と受信装置１０２とは、セグメント映像領域情報要求の送受信後、セグメントリクエストの送受信を行い、その後、セグメントの映像領域情報とセグメントとの送受信を行うようにしてもよい。即ち、送信装置１０１と受信装置１０２とは、Ｍ９０５、Ｍ９０６、Ｍ９０７、Ｍ９０８は図１０の順とは異なる順で行ってもよい。
また送信装置１０１と受信装置１０２とは、複数のセグメントの映像領域情報の送受信をした後にセグメントの送受信を行うというように、Ｍ９０５とＭ９０６とを複数回やり取りした後でＭ９０７とＭ９０８とをやり取りしてもよい。

次に受信装置１０２がセグメントの映像領域情報を求めない場合９０９の説明を行う。
Ｓ７０４により、受信装置１０２の取得セグメント決定部３０７は、ある１セグメントの映像領域情報を取得したいわけではないとし、Ｓ７０６へ遷移する。
Ｓ７０６により、受信装置１０２の取得セグメント決定部３０７は、送信装置１０１からある１セグメントの映像領域情報の送信を禁止しないとし、Ｓ７０８へ遷移する。
受信装置１０２は、送信装置１０１からのセグメントの映像領域情報の送信を禁止する場合は、Ｓ７０６にてＳ７０７へ遷移する。そしてＭ９０５のセグメント映像領域情報要求のように通信制御部３０８は、セグメント映像領域不要要求を送信する。そして受信装置１０２の通信制御部２０７は、セグメント映像領域不要要求を受信する。
Ｓ６０５により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報要求を受信していないためＳ６０７へ遷移する。
Ｓ６０７により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報不要要求を受信していないためＳ６０９へ遷移する。
Ｓ６０９により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定は無効であるとし、Ｓ６１１へ遷移する。
Ｓ６１１により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６はセグメント映像領域情報送信設定が有効ではないとし、Ｓ６１３へ遷移する。
Ｍ９１０にて、受信装置１０２の通信制御部３０８は、セグメントリクエストを送信する。送信装置１０１の通信制御部２０７は、セグメントリクエストを受信する。
Ｍ９１１にて、送信装置１０１の通信制御部２０７は、セグメントレスポンスを送信する。受信装置１０２の通信制御部３０８は、セグメントレスポンスを受信する。
送信装置１０１と受信装置１０２とは、ストリームの送受信を終了するまではＳ６１３からＳ６０１へ、Ｓ７０９からＳ７０１へ遷移し、９０４又は９０９の処理を繰り返す。

（動作例３）
ストリームに対し継続して映像領域情報を送信するように要求する例について、送信装置１０１と受信装置１０２との間のやり取りを表したシーケンスを、図１１を用いて説明する。
Ｍ１００１及び１００２はＭ８０１及び８０２と同様であるため説明は省略する。
Ｓ７１０により、Ｍ１００３にて、受信装置１０２の通信制御部３０８は、送信装置１０１からＭＰＤファイルを受信し、ＭＰＤファイルから映像領域関連情報を取得し、把握する。動作例３では、ストリームを構成するセグメントの映像領域情報をＨＴＴＰ ＰＵＳＨで送受信を行うものとする。但し、送信装置１０１と受信装置１０２とは、セグメントレスポンスにヘッダー情報やメタデータとして添付して送信する方法や、ＲＴＰプロトコルにより各セグメントの映像領域情報が準備できる度に送信する方法等、別の方法でもよい。
Ｓ７０１により、受信装置１０２の映像領域情報取得指示部３０６は、ストリームで継続して映像領域情報を取得したいとし、Ｓ７０２へ遷移する。
Ｓ７０２により、Ｍ１００４にて、受信装置１０２の通信制御部３０８は、送信装置１０１へストリーム映像領域情報要求としてＰＵＳＨ送信リクエストを送信する。本実施形態では送信装置１０１が持つ映像領域情報の内、すべての種類の情報を送信してもらう要求とする。しかし、通信制御部３０８は、映像領域情報取得指示部３０６からの指示に基づき、送信して欲しい映像領域情報の種類を指定するパラメータをＰＵＳＨ送信リクエスト時のヘッダーに追加し、送信して欲しい映像領域情報の種類を指定してもよい。視点座標情報を指定する場合、通信制御部３０８は、映像領域情報取得指示部３０６からの指示に基づき、座標情報を取得したい観測方向のパラメータを含めてもよい。
Ｓ６０１により、Ｍ１００４にて、送信装置１０１の通信制御部２０７は、ストリーム映像領域情報要求であるＰＵＳＨ送信リクエストを受信し、Ｓ６０２へ遷移する。
Ｓ６０２より、送信装置１０１の通信制御部２０７は、ストリーム映像領域情報設定を有効にする。

１００５と１００９とは、受信装置１０２がセグメントの映像領域情報をキャンセルせずに受信する場合とキャンセルをする場合との処理である。
まず送信装置１０１からの各セグメントの映像領域情報を受信装置１０２がキャンセルせずに受信する場合１００５の説明を行う。
Ｓ７０４により、受信装置１０２の取得セグメント決定部３０７は、ある１セグメントの映像領域情報を取得したいものとし、Ｓ７０５へ遷移する。
受信装置１０２は送信装置１０１へストリーム映像領域情報要求を送信し送信装置１０１のストリーム映像領域情報送信設定を有効にしているため、通信制御部３０８は、Ｓ７０５ではセグメント映像領域情報要求を送信せずにＳ７０８へ遷移する。
Ｓ６０５により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報要求を受信していないためＳ６０７へ遷移する。
Ｓ６０７により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報不要要求を受信していないためＳ６０９へ遷移する。
Ｓ６０９により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定が有効であるためＳ６１０へ遷移する。
Ｓ６１０により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のセグメント領域情報送信設定は無効ではないためＳ６１２へ遷移する。
Ｓ６１２により、Ｍ１００６にて、送信装置１０１の通信制御部２０７は、受信装置１０２へセグメントの映像領域情報をＰＵＳＨ送信する。

Ｍ１００７にて、受信装置１０２の通信制御部３０８は、Ｍ１００６で受信した映像領域情報に対応するセグメントリクエストを送信する。そして送信装置１０１の通信制御部２０７は、セグメントリクエストを受信する。
Ｍ１００８にて、送信装置１０１の通信制御部２０７は、セグメントレスポンスを送信する。受信装置１０２の通信制御部３０８は、セグメントレスポンスを受信する。
送信装置１０１と受信装置１０２とは、セグメントリクエストの送受信後にセグメント映像領域情報のＰＵＳＨ送受信を行い、その後セグメントの送受信と行うようにしてもよい。即ち、送信装置１０１と受信装置１０２とは、Ｍ１００６、Ｍ１００７、Ｍ１００８は図１１の順とは異なる順で行ってもよい。
また送信装置１０１と受信装置１０２とは、複数のセグメントの映像領域情報のＰＵＳＨ送受信をした後にセグメントの送受信を行うというように、Ｍ１００６を複数回やり取りした後でＭ１００７とＭ１００８とを行ってもよい。

次に送信装置１０１からの各セグメントの映像領域情報を受信装置１０２がキャンセルする場合１００９の説明を行う。
Ｓ７０４により、受信装置１０２の取得セグメント決定部３０７は、ある１セグメントの映像領域情報を取得したいわけではないとし、Ｓ７０６へ遷移する。
Ｓ７０６により、受信装置１０２の取得セグメント決定部３０７は、送信装置１０１からある１セグメントの映像領域情報の送信を禁止するとし、Ｓ７０７へ遷移する。
Ｓ７０７により、Ｍ１０１０にて、受信装置１０２の通信制御部３０８は、送信装置１０１へセグメント映像領域情報不要要求としてＰＵＳＨキャンセルを送信する。
Ｓ６０５により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報要求を受信していないためＳ６０７へ遷移する。
Ｓ６０７により、送信装置１０１の通信制御部２０７は、セグメント映像領域情報不要要求を受信しているためＳ６０８へ遷移する。
Ｓ６０８により、送信装置１０１の映像領域情報管理部２０６は、ＰＵＳＨキャンセルを受けた映像領域情報に該当するセグメント映像領域情報送信設定を無効にする。
Ｓ６０９により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のストリーム映像領域情報送信設定は有効であるとし、Ｓ６１０へ遷移する。
Ｓ６１０により、送信装置１０１の通信制御部２０７は、映像領域情報管理部２０６のセグメント映像領域情報送信設定は無効であるとし、Ｓ６１３へ遷移する。
Ｍ１０１０にて、受信装置１０２の通信制御部３０８は、セグメントリクエストを送信する。送信装置１０１の通信制御部２０７は、セグメントリクエストを受信する。
Ｍ１０１１にて、送信装置１０１の通信制御部２０７は、セグメントレスポンスを送信する。受信装置１０２の通信制御部３０８は、セグメントレスポンスを受信する。

送信装置１０１と受信装置１０２とは、一つのＰＵＳＨキャンセルリクエストで複数の映像領域情報をキャンセル対象としたり、ＰＵＳＨキャンセルリクエストを連続して送信したりするようにしてもよい。即ち、送信装置１０１と受信装置１０２とは、Ｍ１０１０を複数回やり取りした後でＭ１０１１とＭ１０１２とを行ってもよい。
送信装置１０１と受信装置１０２とは、ストリームの送受信を終了するまではＳ６１３からＳ６０１へ、Ｓ７０９からＳ７０１へ遷移し、１００５又は１００９の処理を繰り返す。この繰り返し中、受信装置１０２は、ストリームに対し継続した映像領域情報の送信を終了したい場合はＳ７０１からＳ７０３に遷移する。そしてＳ７０３にて通信制御部２０７は、すべての映像領域情報のＰＵＳＨ送信キャンセルを送信装置１０１へ送信する。送信装置１０１は、Ｓ６０３にてＳ６０４に遷移する。そしてＳ６０４にて映像領域情報管理部２０６は、ストリーム映像領域送信設定を無効にし、映像領域情報の送信を停止する。

以上のように、本実施形態によれば、送信装置１０１から受信装置１０２へ映像領域情報を送信し受信装置１０２はこれを受信する。これにより、受信装置１０２は、映像の領域の変化に関する情報の取得が可能となる。つまり、カメラの撮像映像の配信中に当該カメラの撮像範囲が変化した場合であっても、当該変化に関する情報が通知されるため、受信装置１０２は、ユーザの意図に従った映像を表示させ続けることができる。より具体的には、受信装置１０２は、当該変化に関する情報を用いることで、カメラの向きやズーム倍率などの変化にかかわらず同一の範囲の映像を表示することも、カメラの向きやズーム倍率などの変化に応じて、表示すべき映像の範囲を変化させることもできる。
また本実施形態によれば、セグメント毎にセグメントリクエストのヘッダー情報として映像領域情報を要求しセグメントレスポンスのヘッダー情報として映像領域情報の送受信をすることができる。またセグメント毎にセグメントリクエスト―レスポンスとは別のトランザクションとして映像領域情報の要求及び映像領域情報の送受信をすることができる。またストリームに対し継続し映像領域情報を送信するよう要求をすることができる。
また、本実施形態では、全天周映像データの一部が送信装置１０１から受信装置１０２へ送信される場合の例を中心に説明したが、全天周映像データに限らない。つまり、送信装置１０１が保持する映像データのうち、一部又は全部の範囲の映像データが受信装置１０２へ送信されるシステムにおいて本実施形態の構成は適用できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

以上、上述した実施形態によれば、トランザクション数を増やすことなく送信装置１０１のカメラ４０９の向きの変化に対応することができる。また、セグメント中の送信装置１０１のカメラ４０９の向きの変化に対応することができる。
よって、送信装置１０１のカメラ４０９の向きの変化に対応可能とすることができる。また、カメラの撮像映像の配信中に当該カメラの撮像範囲が変化する場合において、ユーザの意図する映像を配信されやすくすることができる。

１０１ 送信装置
１０２ 受信装置
４０１ ＣＰＵ
５０１ ＣＰＵ

Claims (13)

1. 全天周映像を分割することにより得られたセグメントを受信装置に送信する送信装置であって、
   前記全天周映像に対する、視点情報、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）、視点移動情報、視点座標情報、観測位置情報のうち、少なくとも一種類を含む映像領域情報の種類に関する情報、及びセグメントにアクセスするための情報を記載したデータを生成する生成手段と、
   前記生成手段により生成された映像領域情報の種類に関する情報及びセグメントにアクセスするための情報を記載したデータを前記受信装置に送信する通信制御手段と、
   を有し、
   前記通信制御手段は、前記受信装置において指定されたセグメントのリクエスト及び指定された映像領域情報の種類のリクエストを受信した場合、前記リクエストに対応するセグメント及び映像領域情報を前記受信装置に送信する送信装置。
2. 前記映像は、三次元空間の全方位に画像を有する全天周画像の映像である請求項１記載の送信装置。
3. 前記通信制御手段は、前記セグメントのメタデータとして前記映像領域情報を前記受信装置に送信する請求項１又は２記載の送信装置。
4. 前記通信制御手段は、前記セグメントを送信する際のヘッダーに前記映像領域情報を含めて前記受信装置に送信する請求項１乃至３何れか１項記載の送信装置。
5. 前記生成手段により生成されたデータは、セグメントへのアクセスを可能とするＵＲＬが記載されたプレイリストが記述されたＭＰＤファイルである請求項１乃至４何れか１項記載の送信装置。
6. 前記生成手段は、前記映像領域情報を特定するためのＵＲＬを前記ＭＰＤファイルに記載する請求項５記載の送信装置。
7. 前記生成手段は、前記映像領域情報を送信するプロトコル情報を前記ＭＰＤファイルに記載する請求項５記載の送信装置。
8. 全天周映像を分割することにより得られたセグメントを送信装置から受信する受信装置であって、
   前記全天周映像に対する、視点情報、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）、視点移動情報、視点座標情報、観測位置情報のうち、少なくとも一種類を含む映像領域情報の種類に関する情報、及びセグメントにアクセスするための情報を記載したデータを受信し、また指定されたセグメントのリクエスト及び指定された映像領域情報の種類のリクエストを送信する通信制御手段と、
   前記通信制御手段が送信するリクエストに対応するセグメント及び映像領域情報に基づいて前記映像を復号化する復号化手段と、
   前記復号化手段により復号化された前記映像を出力する出力制御手段と、
   を有する受信装置。
9. 前記映像は、三次元空間の全方位に画像を有する全天周画像の映像である請求項８記載の受信装置。
10. 全天周映像を分割することにより得られたセグメントを受信装置に送信する送信装置が実行する情報処理方法であって、
    前記全天周映像に対する、視点情報、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）、視点移動情報、視点座標情報、観測位置情報のうち、少なくとも一種類を含む映像領域情報の種類に関する情報、及びセグメントにアクセスするための情報を記載したデータを生成する生成工程と、
    前記生成工程により生成された映像領域情報の種類に関する情報及びセグメントにアクセスするための情報を記載したデータを前記受信装置に送信する第１の送信工程と、
    前記受信装置において指定されたセグメントのリクエスト及び映像領域情報の種類のリクエストを受信する受信工程と、
    前記リクエストに対応するセグメント及び映像領域情報を前記受信装置に送信する第２の送信工程と、
    を含む情報処理方法。
11. 全天周映像を分割することにより得られたセグメントを送信装置から受信する受信装置が実行する情報処理方法であって、
    前記全天周映像に対する、視点情報、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）、視点移動情報、視点座標情報、観測位置情報のうち、少なくとも一種類を含む映像領域情報の種類に関する情報、及びセグメントにアクセスするための情報を記載したデータを受信する受信工程と、
    指定されたセグメントのリクエスト及び映像領域情報の種類のリクエストを送信する送信工程と、
    前記送信装置より受信した前記リクエストに対応するセグメント及び映像領域情報に基づいて前記映像を復号化する復号化工程と、
    前記復号化工程により復号化された前記映像を出力する出力制御工程と、
    を含む情報処理方法。
12. コンピュータを、請求項１乃至７何れか１項記載の送信装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項８又は９記載の受信装置の各手段として機能させるためのプログラム。

Images