JP6541309B2 - 送信装置、送信方法、及びプログラム - Google Patents

Description

本発明は、送信装置、送信方法、及びプログラムに関し、特に、画像の送受信を行う技術に関する。

近年、音声データや映像データ等により構成されるストリーミング形式のコンテンツをユーザにリアルタイムに配信する配信システムが提供されている。このような配信システムにより、ユーザは、自身の端末装置を介して、ライブ映像等の所望のコンテンツをリアルタイムで楽しむことができる。

スマートフォンやタブレットのような端末装置の普及により、様々な端末装置を介して、いつでもどこでもストリーミング形式のコンテンツを楽しみたいという要求が高まっている。この要求を実現するために端末装置の能力や端末装置が置かれる通信状況に応じて、端末装置が取得するストリームを動的に変更する技術（ＭＰＥＧ−ＤＡＳＨ、Ｈｔｔｐ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ等）が注目されている。

かかる技術では、映像データを時間単位のセグメントに分割する。そして、セグメントの格納先を示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｃｅ Ｌｏｃａｔｏｒ）をプレイリストと呼ばれるファイルに記述する。
このプレイリストには、各セグメントに対応する各ＵＲＬを記述することができる。受信装置は、プレイリストを取得し、当該プレイリストに記述されている情報（ＵＲＬ）を用いて所望の映像データ（セグメント）を取得する（特許文献１を参照）。

特許文献１では、送信装置と受信装置が次のような処理を行う技術が開示されている。
送信装置は、セグメントのデータを受信装置が受信するために必要なアドレス情報を各セグメントのデータに対応づける。アドレス情報として、例えばＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）が各セグメントデータに対応付けられる。そして、送信装置は、複数のセグメントのデータにそれぞれ対応付けられた複数のアドレス情報を含むメタデータ（プレイリスト）を、受信装置からの要求に応じて受信装置に送信する。受信装置は、受信したプレイリストに含まれるアドレス情報に基づいてセグメントのデータの送信を要求し、送信装置からセグメントのデータを受信する。

特表２０１２−５１４２７６号公報

特許文献１に記載の技術では、映像データを時間単位で分割して生成される複数のセグメントのうち所望のセグメントを受信装置が選択して受信することができる。しかし、映像データに含まれる画像を空間的に分割して生成される複数のセグメントのうち所望のセグメントを受信装置が選択して受信することについて考慮されていなかった。
すなわち従来、プレイリストを用いた画像の送受信を行う場合に、送信装置から配信される画像データのうち、受信装置が選択した領域の画像データの送受信を行うための仕組みについて提案されていなかった。
本発明は、以上の課題に鑑みてなされたものであり、送信装置から配信される画像データのうち、受信する領域の画像を受信装置が選択できるようにすることを目的とする。

本発明の送信装置は、ＭＰＥＧ−ＤＡＳＨのピリオドにより規定される期間内においてオブジェクトの位置が画像の第１部分領域から第２部分領域に移動する場合、前記期間内における前記第１部分領域のビデオセグメントと前記第２部分領域のビデオセグメントの両方を受信装置が取得するために用いる一つの取得情報を含む記述データを生成する生成手段と、前記生成手段により生成された記述データを受信装置に対して送信する送信手段と、前記送信手段により前記記述データが送信された前記受信装置からの要求に応じた部分領域のビデオセグメントを前記受信装置に対して提供する提供手段とを有することを特徴とする。

本発明によれば、送信装置から配信される画像データのうち、受信する領域の画像を受信装置が選択できるようにすることができる。

通信システムの全体構成を示す図である。 送信装置の機能構成を示す図である。 オブジェクトを含む画像領域を判定する方法を説明する図である。 プレイリストの第１の例を示す図である。 プレイリストの第２の例を示す図である。 プレイリストの第３の例を示す図である。 映像データを表示するユーザインターフェースを示す図である。 セグメントを概念的に示す図である。 セグメントの具体例を示す図である。 セグメントの生成方法を説明する図である。 第１生成部の詳細な機能構成を示す図である。 送信装置の動作を説明するフローチャートである。 受信装置の動作を説明するフローチャートである。

以下に、図面を参照しながら、本発明の一実施形態を詳細に説明する。
図１は、通信システムの全体構成の一例を示す図である。
送信装置１０１は、ネットワーク１０３を介して、受信装置１０２と相互に接続される。尚、送信装置１０１および受信装置１０２はそれぞれ複数存在してもよい。
送信装置１０１の具体例として、カメラ装置、ビデオカメラ装置、スマートフォン装置、ＰＣ装置、携帯電話等のデータ処理装置が挙げられる。しかしながら、後述の機能構成を有するものであれば、送信装置１０１はこれらのデータ処理装置に限定されない。

受信装置１０２は、コンテンツの再生・表示機能と、通信機能と、ユーザからの入力を受け付ける機能とを有する。受信装置１０２の具体例として、スマートフォン装置、ＰＣ装置、テレビ、携帯電話等のデータ処理装置が挙げられる。しかしながら、前述の機能を備えるものであれば、受信装置１０２はこれらのデータ処理装置に限定されない。
ネットワーク１０３は、ホームネットワークとしての有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）または無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）である。尚、ネットワーク１０３は、これらに限られない。ネットワーク１０３は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、アドホックネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＵＷＢ等でもよい。

図２は、送信装置１０１の機能構成の一例を示す図である。
撮像部２０１は、被写体を撮像する。本実施形態では、撮像部２０１は、動画像を撮像することも、静止画像を撮像することもできるものとする。尚、撮像部２０１は、送信装置１０１の外部にあってもよい。この場合、送信装置１０１は、外部の撮像部２０１で撮像された映像データを取得する。
分割部２０２は、映像データに含まれる１画面の領域を複数の画像領域に分割する。そして分割部２０２は、分割した画像領域毎に映像データの符号化を行う。映像データの符号化方式は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のように、映像データを複数の画像領域に分割することが可能な方式であればよい。

本実施形態では、分割部２０２は、映像データに含まれる１画面のデータから、階層構造を持つ複数のデータを生成する。本実施形態では、分割部２０２は、１画面のデータに基づいて、ベースレイヤのデータと、エンハンスメントレイヤのデータを生成する。
ここで、ベースレイヤのデータとは、受信装置１０２が１画面の画像を再生するための基礎となるデータである。例えば、ベースレイヤのデータは、送信装置１０１から受信装置１０２に送信される画像データのうち、最も画質の低い（例えば、解像度が最も低い）画像のデータである。

エンハンスメントレイヤのデータとは、ベースレイヤのデータのみを再生した場合よりも、画質の高い（例えば、解像度が高い）画像を受信装置１０２が再生するために用いられるデータである。受信装置１０２は、ベースレイヤのデータと共にエンハンスメントレイヤのデータを取得して再生することにより、ベースレイヤのデータのみを再生した場合よりも画質の高い画像を再生することができる。

本実施形態において、受信装置１０２は、エンハンスメントレイヤのデータを、１画面の一部の領域毎に取得することができる。この一部の領域は、分割部２０２が１画面を分割した画像領域に対応する。受信装置１０２は、１画面のうち着目領域（以下、ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に対応する画像領域のエンハンスメントレイヤのデータを取得することにより、ＲＯＩの画質が他の領域の画質よりも高い画像データを生成することができる。
本実施形態では、１画面について１つのベースレイヤのデータと、１つのエンハンスメントレイヤのデータを生成する場合について説明するがこれに限らない。例えば、１つのベースレイヤのデータと、複数のエンハンスメントレイヤのデータを生成することとしてもよい。

検出部２０３は、映像データ中に映るＲＯＩ（着目領域）となり得るオブジェクトの検出を行う。検出部２０３は、映像データに映る複数のオブジェクトを同時に検出することが可能であり、且つ、映像データに映るオブジェクトの位置情報（座標と大きさ）を検出することが可能であるものとする。
尚、検出部２０３は、送信装置１０１の外部にあってよい。この場合、送信装置１０１は、外部の検出部２０３で検出されたオブジェクトの位置情報を取得する。

判定部２０４は、検出部２０３で検出されたオブジェクトの位置情報を用いて、分割部２０２で分割された画像領域が、オブジェクトの含まれる画像領域であるか否かを判定する。
第１生成部２０５は、判定部２０４でオブジェクトが含まれると判定された画像領域毎および全体の映像データのセグメントを生成する。本実施形態に係る送信装置１０１は、映像データに含まれる１画面（画像）を空間的に（領域毎に）分割して、セグメントを生成する。
本実施形態において第１生成部２０５は、ベースレイヤのデータに基づいて１つのセグメントを生成する。また本実施形態において第１生成部２０５は、エンハンスメントレイヤの一部又は全体のデータに基づいて１又は複数のセグメントを生成する。 第１生成部２０５は、さらに生成したセグメントに識別子を対応付ける。

第２生成部２０６は、映像データが得られた各時刻のそれぞれにおけるプレイリストを生成する。プレイリストには、映像データのそれぞれについて第１生成部２０５で作成されたセグメントを外部装置が取得するために用いられる取得情報が、当該セグメントに含まれるオブジェクトの識別子と相互に関連付けられて記憶される。この取得情報は例えば、第１生成部２０５で作成されたセグメントの格納先を示す資源識別子（例えば、ＵＲＩやＵＲＬ）である。この資源識別子は、外部装置である受信装置１０２が所望のセグメントを取得するために用いられるものであればよい。プレイリストに記載された資源識別子が示す記憶領域に必ずしもセグメントが格納されていなくてもよい。例えばプレイリストに記載された資源識別子が示す第１の記憶領域から、セグメントを格納する第２の記憶領域にリンクが張られており、受信情報１０２が資源識別子を用いて第１の記憶領域にアクセスすると第２の領域に移動してセグメントデータを取得できるようにしてもよい。

保持部２０８は、第１生成部２０５が生成したセグメントのデータを保持する。また、保持部２０８は、第２生成部２０６が生成したプレイリストを保持する。保持部は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等とすることができる。あるいは、外部記録装置としてもよい。
通信部２０７は、受信装置１０２からの要求に応じて、第２生成部２０６で生成された保持部２０８に保持されたプレイリストを、ネットワーク１０３を介して受信装置１０２に送信する。また、通信部２０７は、第１生成部２０５で生成された保持部２０８に保持されたセグメントを、受信装置１０２からの要求に応じて、ネットワーク１０３を介して受信装置１０２に送信する。本実施形態では、通信部２０７は、第１生成部２０５で生成されたセグメントのデータのストリーミング配信を行うものとする。

図３は、オブジェクトを含む画像領域を判定する方法の一例を説明する図である。
図３を参照しながら、検出部２０３、判定部２０４および第１生成部２０５の処理の一例を説明する。
本実施形態では、第１生成部１０２が１画面のデータについて、ベースレイヤのデータ、及び、エンハンスメントレイヤのデータを生成する場合について説明する。

図３（ａ）は、ベースレイヤのデータの一例を示す図である。本実施形態において、第１生成部２０５は、ベースレイヤ全体の領域のデータに対応するセグメント３０１を生成する。本実施形態において、第１生成部２０５は、セグメント３０１に識別子１を対応付ける。
図３（ｂ）は、エンハンスメントレイヤのデータの一例を示す図である。本実施形態では、第１生成部２０５は、エンハンスメントレイヤ全体の領域のデータに対応するセグメント３０２を生成する。本実施形態において、第１生成部２０５は、セグメント３０２に識別子５を対応付ける。

また第１生成部２０５は、エンハンスメントレイヤのデータのうち、第１のオブジェクトを含む領域のデータに対応するセグメント３０３を生成する。セグメント３０３は、１画面の画像における第１のオブジェクトの位置に対応する１又は複数の画像領域に応じたデータである。本実施形態において、第１生成部２０５は、セグメント３０３に識別子２を対応付ける。

また第１生成部２０５は、エンハンスメントレイヤのデータのうち、第２のオブジェクトを含む領域のデータに対応するセグメント３０４を生成する。セグメント３０４は、１画面の画像における第２のオブジェクトの位置に対応する１又は複数の画像領域に応じたデータである。本実施形態において、第１生成部２０５は、セグメント３０４に識別子３を対応付ける。
さらに第１生成部２０５は、エンハンスメントレイヤのデータのうち、第３のオブジェクトを含む領域のデータに対応するセグメント３０５を生成する。セグメント３０５は、１画面の画像における第３のオブジェクトの位置に対応する１又は複数の画像領域に応じたデータである。本実施形態において、第１生成部２０５は、セグメント３０５に識別子４を対応付ける。

セグメント３０２は検出部２０３で検出されたオブジェクトを示す情報と、分割部２０２で分割された画像領域の分割位置を示す情報とが付加されたセグメントである。図３（ｂ）に示す例では、セグメント３０２は、１画面に含まれるオブジェクトの検出位置の情報を含む。さらに図３（ｂ）の例では、セグメント３０２は、分割部２０２がエンハンスメントレイヤを複数の領域に分割した各画像領域の１画面上の位置を示す情報を含む。受信装置１０２は、送信装置１０１からセグメント３０２のデータを受信することにより、例えば、当該オブジェクトを囲む実線の矩形を表示すると共に、分割部２０２で分割された画像領域を点線で表示することができる。

図３（ａ）及び（ｂ）に示す例では、検出部２０３は、３つのオブジェクトを検出する。そして、図３（ｂ）に示すように、判定部２０４は、分割部２０２で分割された各画像領域に、オブジェクトが含まれるか否かを判定する。判定部２０４は、分割部２０２で分割された画像領域のうち、オブジェクトが含まれる画像領域を特定する。図３（ａ）、図３（ｂ）に示す例では、１つのオブジェクトが含まれる画像領域が特定される。
そして第１生成部２０５は、判定部２０４の判定結果に基づいて、セグメントを生成する。図３（ｂ）の例では、第１生成部２０５は、第１のオブジェクト（図３（ｂ）の太陽のオブジェクト）を含む４つの画像領域のデータをセグメント３０３のデータとする。また第１生成部２０５は、第２のオブジェクト（図３（ｂ）の顔のオブジェクト）を含む１つの画像領域のデータをセグメント３０４のデータとする。さらに第１生成部２０５は、第３のオブジェクト（図３（ｂ）の星のオブジェクト）を含む２つの画像領域をセグメント３０５のデータとする。

以上のように本実施形態では、５種類のセグメント３０１〜３０５を生成する場合を例に挙げて説明する。セグメント３０１は、複数の画像領域に分割しない画像領域全体を映す映像である。セグメント３０２は、映像データ中のＲＯＩの候補となるオブジェクトをユーザに示すための映像であり、オブジェクトと画像領域の分割位置とが示された画像領域全体の映像である。これらのセグメント３０１、３０２は必ずしも必要ではない。しかしながら、セグメント３０１、３０２の何れか一方を初めに受信装置１０２において表示することで、着目したいオブジェクトをユーザに容易に選択させることができる。このことについては、図７を参照しながら、後に詳述する。

図４、図５、及び、図６は、第２生成部２０６で生成されるプレイリストの一例を示す図である。
本実施形態では、ＭＰＥＧ−ＤＡＳＨで規定されるＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）と呼ばれるプレイリストの記述方法に従ってプレイリストが生成される場合を例に挙げて説明する。ただし、プレイリストの記述方法は、ＭＰＤに限定されず、ＨＴＴＰ Ｌｉｖｅｓｔｒｅａｍｉｎｇにおけるプレイリストの記述方法等、ＭＰＤと同等の機能を有する記述方法でもよい。また、図４、図５、図６に示した記述以外の内容がＭＰＤに記述されてもよい。

図４に示すプレイリスト４０１は、ＭＰＤの記述例である。セグメント３０１〜３０５のデータに対応するＵＲＬは、それぞれＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素のＢａｓｅＵＲＬ要素に記述される。これにより、Ｐｅｒｉｏｄで定められる期間内のセグメントのデータの配信が可能になる。
図４に示すように、第２生成部２０６は、各セグメントの識別子と、各セグメントの格納先を示す資源識別子とを相互に関連付けた状態でプレイリスト４０１に記載する。例えば、セグメント３０３の識別子<Representation id = 3>と、当該セグメント３０３のデータの格納先であるＢａｓｅＵＲＬ<Base URL>ObjectA.mp4</Base URL>とが相互に関連付けられる。
図４に示す記述方法では、受信装置１０２は、Ｐｅｒｉｏｄで定められる期間が過ぎると、再度、ＭＰＤで記述されたプレイリストを取得し、次の期間内のセグメントのデータを取得する必要がある。

図５に示すプレイリスト５０１は、ＭＰＥＧ−ＤＡＳＨで規定されるＳｅｇｍｅｎｔＴｅｍｐｌａｔｅという機構を用いたＭＰＤの記述例である。図５に示すプレイリスト５０１の記述方法は、図４に示すプレイリスト４０１の記述方法に比べ、ＭＰＤの更新の回数を減らすことができる。
プレイリスト５０１では、ＳｅｇｍｅｎｔＴｅｍｐｌａｔｅ要素のｍｅｄｉａ属性により、各セグメント３０１〜３０５の格納先を示すＵＲＬのテンプレートを宣言することができる。

テンプレート中の＄Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＄を各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎのｉｄ属性に置き替えることで、プレイリスト４０１のようにＲｅｐｒｅｓｅｎｔａｔｉｏｎ毎にＵＲＬを逐一記述することなく、ＵＲＬを指定することができる。
さらに、＄Ｎｕｍｂｅｒ＄を１、２、３とインクリメントすることで、受信装置１０２は、時間軸方向に変化する各セグメント３０１〜３０５へのアクセスを、ＭＰＤの更新を行うことなく実現することができる。ただし、図５に示す記述方法では、検出部２０３で検出されたオブジェクトの数が増えた場合に対応できない。例えば、検出部２０３が、４つ目のオブジェクトを映像データから検出したとする。この場合、受信装置１０２は、プレイリスト５０１に記述された情報からでは４つ目のオブジェクトをＲＯＩとするセグメントにアクセスするためのＵＲＬを取得することができない。したがって、再度、ＭＰＤで記述されたプレイリストを更新する必要が生じる。

図６に示すプレイリスト６０１は、ＭＰＥＧ−ＤＡＳＨの規定に対して、＄ＯｂｊｅｃｔＩＤ＄というテンプレートが導入されたＭＰＤの記述例である。
プレイリスト６０１では、＄ＯｂｊｅｃｔＩＤ＄をオブジェクトの識別番号に置き換えることにより、映像データに映り込むオブジェクトの数が増えた際に、ＯｂｊｅｃｔＩＤが１、２、３とインクリメントされる。これにより、受信装置１０２は、ＭＰＤで記述されたプレイリスト６０１を新たに取得することなく、各オブジェクトをＲＯＩとするセグメントへのアクセスが可能になる。

図６に示すプレイリスト６０１を用いると、途中で映像データ内から外れたオブジェクトをＲＯＩとするセグメントのデータのＵＲＬへのアクセスが受信装置１０２からあった場合、送信装置１０１は、次の処理を行うことができる。まず、送信装置１０１は、当該オブジェクトが存在しないことを示す応答を受信装置１０２に返信することができる。また、送信装置１０１は、セグメント３０１又は３０２のデータを、途中で映像データ内から外れたオブジェクトをＲＯＩとするセグメントのデータの代わりに受信装置１０２に送信することができる。セグメント３０１又は３０２のデータを受信装置１０２に送信し、受信装置１０２がセグメント３０１又は３０２のデータを表示することで、ユーザに対して、次のＲＯＩの指定を促すことができる。

図７は、受信装置１０２で受信された映像データを表示するユーザインターフェースの一例を示す図である。受信装置１０２は、図７に示すユーザインターフェースを有するものとする。
画面７０１には、ＭＰＤのＵＲＬの入力欄７０２と、ボタン７０３とが表示される。ユーザは、入力欄７０２に対してＭＰＤのＵＲＬを入力した後に、ボタン７０３を押下する。そうすると、受信装置１０２は、入力欄７０２に入力されたＵＲＬに対して、ＭＰＤで記述されたプレイリストを取得しにいく。
尚、プレイリストの格納先を示すＵＲＬは、送信装置１０１から受信装置１０２に予め送信してもよい。また、プレイリストの格納先を示すＵＲＬを受信装置１０２がデフォルトで記憶していてもよい。

受信装置１０２は、ＭＰＤで記述されたプレイリストを取得すると、プレイリストに記載されたセグメントのうち所望のセグメントを選択する。そして、受信装置１０２は、選択したセグメントの格納先であるＵＲＬにアクセスして、当該セグメントのデータを取得し、当該セグメントのデータを画面７０４に表示する。
例えば、受信装置１０２は、画像領域全体のセグメント３０１のデータと、セグメント３０３のデータを取得する。そして、受信装置１０２は、取得したセグメントのデータをデコードすることで、画像領域全体のセグメント３０１のデータに、セグメント３０３のデータが重畳された映像を画面７０４内に描画する。これにより、セグメント３０３のデータが表示される領域（図８の領域１、２、５、６）が他の領域よりも高画質で表示される。

領域７０５には、プレイリストに記述されているＲｅｐｒｅｓｅｎｔａｔｉｏｎの数（分母）と、現在取得しているセグメントのＲｅｐｒｅｓｅｎｔａｔｉｏｎ番号（分子）とが表示される。ユーザがボタン７０６、７０７を押下すると、それぞれＲｅｐｒｅｓｅｎｔａｔｉｏｎ番号が増減する。受信装置１０２は、増減後のＲｅｐｒｅｓｅｎｔａｔｉｏｎ番号に対応するセグメントの格納先を示すＵＲＬをプレイリストから特定して、当該セグメントの格納先にアクセスする。そして、受信装置１０２は、当該セグメントのデータを取得して画面７０４に表示する。

例えば、受信装置１０２は、画像領域全体のセグメント３０１と、セグメント３０３を取得して表示していたとする。ユーザは、この状態から、注目領域を、セグメント３０４を含む領域１１（図８を参照）に切り替える指示を行うために、ボタン７０６、７０７を押下して、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ番号「４」を指定する。ここで、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ番号は、図４等に示すＲｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄに対応するものである。そうすると、受信装置１０２は、セグメント３０４のＢａｓｅＵＲＬにアクセスして、セグメント３０４のデータを取得する。そして、受信装置１０２は、画像領域全体のセグメント３０１のデータに、セグメント３０４のデータが重畳された映像を画面７０４に表示する。このとき、切り替え前のセグメント３０３のデータは、画像領域全体のセグメント３０１のデータに重畳されない。以上のようにして、セグメント３０４のデータが表示される領域（図８の領域１１）が他の領域よりも高画質で表示される。
本実施形態では、以上のようにすることによって、ユーザは、自身が着目したいオブジェクトを切り替えることができる。

図８は、第１生成部２０５で生成されるセグメントの一例を概念的に示す図である。
図８に示す例では、分割部２０２は、映像８０８を１６個の画像領域に分割するものとする。
映像８０１〜８０３は、時刻ｉ、ｊ、ｋにおける映像である。時刻ｉ、ｊ、ｋの順に時刻が進むものとする。時刻が進むに伴い、映像中のオブジェクト８０４が含まれる画像領域は、画像領域８０５→画像領域８０６→画像領域８０７に遷移するとする。時刻ｉ以前の時刻では、オブジェクト８０４が含まれる画像領域は、映像８０８に示す領域１、２、５、６である。また、時刻ｉ〜ｊでは、オブジェクト８０４が含まれる画像領域は、領域１、２、５、６、９、１０である。さらに、時刻ｊ〜ｋでは、オブジェクト８０４が含まれる画像領域は、領域５、６、９、１０である。
それぞれの時刻ｉ、ｊ、ｋにおいて、オブジェクト８０４に対するセグメントのデータの取得が受信装置１０２より要求された場合、送信装置１０１は、それぞれの時刻に対応する前述した画像領域のセグメントのデータを送信する必要がある。

図９は、第１生成部２０５で生成されるセグメントの具体例を示す図である。
本実施形態では、セグメントのファイルフォーマットが、ＭＰＥＧ−ＤＡＳＨで標準採用されているＩＳＯＢＭＦＦである場合を例に挙げて説明する。ただし、セグメントのファイルフォーマットは、ＩＳＯＢＭＦＦに限定されるものではなく、ＭＰＥＧ２ＴＳ、ＷｅｂＭ等でもよい。また、ＭＰＥＧ−ＤＡＳＨでは、ＩＳＯＢＭＦＦを使用したセグメントの生成方法が複数提案されているが、本実施形態では、ＩｎｉｔｉａｌｉｚａｔｉｏｎセグメントとＭｅｄｉａセグメントとを別々のファイルとして生成する方法を例に挙げて説明する。尚、ＩＳＯＢＭＦＦを使用したセグメントの生成方法は、この方法に限定されるものではなく、ＭＰＥＧ−ＤＡＳＨで規定されている他の方法でもよい。

セグメントは、Ｉｎｉｔｉａｌｉｚａｔｉｏｎセグメント９０１と、Ｍｅｄｉａセグメント９０７とを有する。
Ｉｎｉｔｉａｌｉｚａｔｉｏｎセグメント９０１は、その後のＭｅｄｉａセグメント９０７をデコードする際に必要となる共通の初期化情報が格納されたｍｏｏｖボックスを含むセグメントである。
ｔｒａｋボックス９０２〜９０５は、各画像領域の映像データのメタ情報を含む。
ｔｒａｋボックス９０６は、各トラックに共通する情報として、パラメータセットの情報と各トラックの依存関係の情報とを含む。各トラックに共通の情報をｔｒａｋボックス９０６に集約することで、各トラックに同じ情報を冗長に格納することを避けることができる。

Ｍｅｄｉａセグメント９０７は、図８における時刻ｉ以前のオブジェクト８０４が含まれるセグメントに対応する。ｍｏｏｆボックス９０８には、映像データのヘッダ情報が格納される。
ｔｒａｆボックス９０９、９１０、９１１、９１２内の情報により、それぞれ、図８の映像８０８に示す領域１、２、５、６の映像データが含まれていることが示される。図８の映像８０８に示す領域１、２、５、６の映像データは、それぞれｍｄａｔボックス９１３内のｃｈｕｎｋトラック９１４、９１５、９１６、９１７に格納される。

図１０は、オブジェクト８０４の含まれる画像領域が切り替わる際のセグメントの生成方法の一例を説明する図である。
前述したように時刻ｉ以前では、オブジェクト８０４は、領域１、２、５、６からなる画像領域８０５に含まれる。したがって、Ｍｅｄｉａセグメント１００１には、それぞれの領域１、２、５、６のデータが含まれる。時刻ｉの前後で、オブジェクト８０４の含まれる画像領域は、領域１、２、５、６、９、１０からなる画像領域８０６に切り替わる。このとき、Ｍｅｄｉａセグメント１００２のように、セグメントの途中にｍｏｏｆボックスを挿入することで、ｍｄａｔボックス内のデータの構成を切り替えることが可能である。このようにすることで各Ｍｅｄｉａセグメント１００１〜１００３は、ほぼ同じセグメント長を保ちながら、途中で画像領域の構成を切り替えることができる。尚、Ｍｅｄｉａセグメント１００２のようにせず、ｍｏｏｆボックスの部分でＭｅｄｉａセグメントを分割してもよい。

図１１は、第１生成部２０５の詳細な機能構成の一例を示す図である。
分割部２０２で分割された各画像領域の映像データは、第１バッファ１１０１にバッファリングされる。また、判定部２０４から出力される画像領域であって、オブジェクトの含まれる画像領域の情報は、第２バッファ１１０２にバッファリングされる。
第１バッファ１１０１および第２バッファ１１０２にバッファリングされる期間は、セグメントを配信することを可能とする期間と一致し、ＭＰＥＧ−ＤＡＳＨではＴｉｍｅＳｈｉｆｔＢｕｆｆｅｒＤｅｐｔｈ属性で決定される。

第３生成部１１０３は、通信部２０７から入力される要求から、どのオブジェクトのどの時刻の映像データが要求されているのかを判定する。
第３生成部１１０３は、前記判定したオブジェクトが、前記判定した時刻において、どの画像領域に存在するのかを、第２バッファ１１０２にバッファリングされた情報から特定する。そして、第３生成部１１０３は、前記判定した時刻において前記判定したオブジェクトが存在する画像領域の映像データを第１バッファ１１０１より取得する。

第３生成部１１０３は、前記取得した映像データと、当該映像データの画像領域の情報と、当該映像データの時刻の情報と、を用いて、図１０に示すＭｅｄｉａセグメントを生成する。このようにすることで、送信装置１０１は、受信装置１０２から、映像データ内に映る特定のオブジェクトの取得が要求された場合に、要求されたオブジェクトについてのＭｅｄｉａセグメントを作成すれば良い。したがって、送信装置１０１の負荷を低減できる。尚、必ずしも、受信装置１０２からの要求に応じてＭｅｄｉａセグメントをその都度作成しなくてもよい。例えば、送信装置１０１は、映像内に映る全てのオブジェクトについてのＭｅｄｉａセグメントを、受信装置１０２から要求を受ける前に生成してもよい。

以上のように本実施形態では、送信装置１０１は、画像を複数の画像領域に分割する。また送信装置１０１は、前記画像のうち第１のオブジェクトの位置に対応する１又は複数の画像領域を特定する。次に、送信装置１０１は、特定した１又は複数の画像領域に対応するセグメントを生成すると共に、当該セグメントへアクセスするためのＵＲＬが記載されたプレイリストを生成する。次に、送信装置１０１は、受信装置１０２からの要求に応じてプレイリストを送信し、その後、プレイリストに含まれるＵＲＬに対するアクセスがあると、当該ＵＲＬを格納先とするセグメントのデータを受信装置１０２に送信する。

したがって、受信装置１０２は、プレイリストを取得し、取得したプレイリスト内のＵＲＬからセグメントのデータを取得することができる。よって、ユーザが選択した映像データ中の着目領域（ＲＯＩ）の映像を、受信装置で特別な処理をすることなく効率的に表示することができる。
また、本実施形態では、画像領域全体のセグメントと、オブジェクトと映像データの分割位置とを示す画像領域全体のセグメントと、当該セグメントへアクセスするためのＵＲＬをプレイリストに含める。したがって、前述した画像領域ごとのセグメントのデータを表示する前に、画像領域全体のセグメントのデータを表示することで、ＲＯＩをユーザに容易に選択させることが可能になる。また、受信装置１０２から要求のあったオブジェクトが映像データに含まれない場合に、画像領域全体のセグメントのデータを表示することで、ＲＯＩの再選択をユーザに容易に行わせることができる。

次に、図１２を用いて、本実施形態にかかる送信装置１０１の動作の一例について説明する。送信装置１０１がプロセッサ及びメモリを内蔵する形態では、図１２に示した処理は、図１２に示される手順を保持部２０８に格納されたプログラムをメモリに展開して実行することにより実現される。あるいは、図１２に示す処理の一部又は全体をハードウェアが行うこととしてもよい。

分割部２０２は、撮像部２０１から取得した映像データに含まれる画像に基づいて、ベースレイヤのデータを生成する（Ｓ１２０１）。
また分割部２０２は、撮像部２０１から取得した映像データに含まれる画像に基づいて、エンハンスメントレイヤのデータを生成する（Ｓ１２０２）。ステップＳ１２０１の処理とステップＳ１２０２の処理の順序特に限定せず、順序を入れ替えてもよい。
次に分割部２０２は、生成したエンハンスメントレイヤを複数の画像領域に分割する。
例えば分割部２０２は、図８の８０８に示したように、エンハンスメントレイヤのデータを画像領域１〜１６に分割する（Ｓ１２０３）。

次に第１生成部２０５は、ベースレイヤのデータに対応するセグメント３０１を生成する（Ｓ１２０４）。
次に第１生成部２０５は、エンハンスメントレイヤ全体に対応するセグメント３０２を生成する（Ｓ１２０５）。
次に第１生成部２０５は、エンハンスメントレイヤの各画像領域のセグメント３０３〜３０５を生成する（Ｓ１２０６）。
次に保持部２０８は、第１生成部２０５が生成したセグメント３０１〜３０５のデータを保持する（Ｓ１２０７）。

次に第２生成部２０６は、保持部２０８に保持されているセグメント３０１〜３０５の格納先を記載したプレイリストを生成する（Ｓ１２０８）。
次に通信部２０７は、受信装置１０２から、プレイリスト要求を受信する（Ｓ１２０９）。次に通信部２０７は、受信したプレイリスト要求に応答して、第２生成部が生成したプレイリストを受信装置１０２へ送信する（Ｓ１２１０）。

次に通信部２０７は、プレイリストに記載された複数のセグメントのうち、受信装置１０２が選択したセグメントの受信要求を、受信装置１０２から受信する（Ｓ１２１１）。
次に通信部２０７は、受信装置１０２からのセグメントの受信要求に応答して、要求されたセグメントのデータを保持部２０８から読み出して、受信装置１０２に送信する（Ｓ１２１２）。
以上の処理により、送信装置１０１は受信装置１０２に対して映像データを送信することができる。

次に、図１３を用いて、本実施形態にかかる受信装置１０２の動作の一例について説明する。受信装置１０２がプロセッサ及びメモリを内蔵する形態では、図１３に示した処理は、図１３に示される手順を受信装置１０２の保持部に格納されたプログラムをメモリに展開して実行することにより実現される。あるいは、図１３に示す処理の一部又は全体をハードウェアが行うこととしてもよい。

受信装置１０２の通信部は、送信装置１０２に対してプレイリストの送信を要求する（Ｓ１３０１）。次に受信装置１０２の通信部は、送信装置１０１からプレイリストを受信する（Ｓ１３０２）。

次に受信装置１０２は、プレイリストに格納先が記載されたセグメントのうち、所望のセグメントを選択する（Ｓ１３０３）。セグメントの選択は受信装置１０２に対するユーザ操作に基づいて選択することができる。あるいは、受信装置１０２に予め設定された選択基準に基づいてセグメントを選択することとしてもよい。
次に受信装置１０２は、要求したセグメントのデータを送信装置１０１から受信する（Ｓ１３０５）。

次に受信装置１０２は、受信したセグメントデータを再生して、受信装置１０２の表示部に表示させる（Ｓ１３０６）。

次に受信装置１０２は、送信装置１０１から受信するセグメントの切り替え指示があったか否かを判定する（Ｓ１３０７）。切り替え指示は、例えば、図７に示したボタン７０６又は７０７をユーザが操作することによって、受信装置１０２に入力される。
切り替え指示が無い場合（Ｓ１３０７においてＮＯの場合）、ステップＳ１３０６の処理に戻る。一方切り替え指示が入力された場合、受信装置１０２は切り替え指示に応じて新たに選択されたセグメントのデータを送信装置１０１に対して要求する（Ｓ１３０８）。続いて受信装置１０２は、新たなセグメント要求に応じて送信装置１０１から送信されたセグメントデータを受信し、再生して表示部に表示させる（Ｓ１３０９）。

次に受信装置１０２は、送信装置１０１から送信されるデータの再生を終了するかを判定する（Ｓ１３１０）。データの再生を続ける場合（Ｓ１３１０においてＮＯの場合）、ステップＳ１３０７の処理に戻る。一方、データの再生を終了する場合（Ｓ１２１０においてＹＥＳの場合）は再生処理を終了する。
このようにして、受信装置１０２は、送信装置１０１が保持するセグメントデータのうち、所望のセグメントデータを選択して受信することができる。

本実施形態では、通信部２０７は、第１生成部２０５で生成されたセグメントのデータのストリーミング配信を行う場合を例に挙げて説明した。しかしながら、必ずしも、動画像のストリーミング配信を行わなくてもよい。例えば、送信装置１０１が過去に生成または記録した動画像データを、受信装置１０２が必要なときに取得する際に、本実施形態で説明した手法を適用することができる。
また、配信の対象は、動画像に限られず、静止画像であってもよい。例えば、静止画像全体へのアクセスを可能とするＵＲＬが記載されたプレイリストと、静止画像の特定の１つのオブジェクトが含まれる画像領域へのアクセスを可能とするＵＲＬが記載されたプレイリストを生成して送信してもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：送信装置、１０２：受信装置、１０３：ネットワーク

Claims (14)

1. ＭＰＥＧ−ＤＡＳＨのピリオドにより規定される期間内においてオブジェクトの位置が画像の第１部分領域から第２部分領域に移動する場合、前記期間内における前記第１部分領域のビデオセグメントと前記第２部分領域のビデオセグメントの両方を受信装置が取得するために用いる一つの取得情報を含む記述データを生成する生成手段と、
   前記生成手段により生成された記述データを受信装置に対して送信する送信手段と、
   前記送信手段により前記記述データが送信された前記受信装置からの要求に応じた部分領域のビデオセグメントを前記受信装置に対して提供する提供手段とを有することを特徴とする送信装置。
2. 前記記述データには、前記オブジェクトの識別子と、前記オブジェクトの位置に応じた部分領域のビデオセグメントを要求するためのＵＲＬの情報が関連づけて記載されることを特徴とする請求項１に記載の送信装置。
3. 前記生成手段は、第１オブジェクトの位置に応じた部分領域のビデオセグメントの取得情報として第１ＵＲＬが記載され、且つ、第２オブジェクトの位置に応じた部分領域のビデオセグメントの取得情報として第２ＵＲＬが記述された記述データを生成し、前記提供手段は、前記記述データを取得した前記受信装置からの要求に対応するＵＲＬに応じた部分領域のビデオセグメントを前記受信装置に対して提供することを特徴とする請求項１又は２に記載の送信装置。
4. 前記画像におけるオブジェクトの位置に応じた大きさの部分領域の画像データを有するビデオセグメントを生成するセグメント生成手段を有し、
   前記記述データには、前記ビデオセグメントを受信装置が取得するために用いる取得情報が記述されることを特徴とする請求項１乃至３のうち何れか１項に記載の送信装置。
5. 前記画像をタイル分割する分割手段を有し、
   前記ビデオセグメントに対応する部分領域にはタイル単位の領域が含まれることを特徴とする請求項４に記載の送信装置。
6. 前記画像から第１画質の画像と、前記第１画質より高い第２画質の画像とを生成する画像生成手段を有し、
   前記生成手段は、前記第１画質の画像に基づくビデオセグメントを取得するために前記受信装置によって用いられる取得情報と、前記第２画質の部分領域の画像に基づくビデオセグメントを取得するために前記受信装置によって用いられる取得情報とが記述された記述データを生成することを特徴とする請求項１乃至５のうち何れか１項に記載の送信装置。
7. 前記第１画質の画像とはベースレイヤの画像であり、前記第２画質の画像とはエンハンスメントレイヤの画像であることを特徴とする請求項６に記載の送信装置。
8. 前記ビデオセグメントは、ヘッダ情報を含むmoofボックスと、前記部分領域の画像データを格納するmdatボックスを含んで構成されることを特徴とする請求項１乃至７のうち何れか１項に記載の送信装置。
9. 前記画像におけるオブジェクトの位置に応じた大きさの部分領域の画像データを有するビデオセグメントを生成するセグメント生成手段を有し、
   第１部分領域に存在する所定オブジェクトが所定タイミングにおいて第２部分領域へ移動した場合、前記セグメント生成手段は、前記所定タイミングより前に対応するmdatボックスと、前記所定タイミングより後に対応するmdatボックスとの間にmoofボックスを挿入することを特徴とする請求項８に記載の送信装置。
10. 前記受信装置から第１オブジェクトの識別情報に基づく第１時刻に対応するビデオセグメントの要求を受信し、且つ、前記第１時刻より後の第２時刻の画像から前記第１オブジェクトが検出されなかった場合、前記提供手段は、前記第２時刻に対応するビデオセグメントとして、前記画像に対応する画角のビデオセグメントを前記受信装置に対して提供することを特徴とする請求項１に記載の送信装置。
11. 送信装置が実行する送信方法であって、
    ＭＰＥＧ−ＤＡＳＨのピリオドにより規定される期間内においてオブジェクトの位置が画像の第１部分領域から第２部分領域に移動する場合、前記期間内における前記第１部分領域のビデオセグメントと前記第２部分領域のビデオセグメントの両方を受信装置が取得するために用いる一つの取得情報を含む記述データを生成する生成工程と、
    前記生成工程において生成された記述データを受信装置に対して送信する送信工程とを有し、
    前記記述データが送信された前記受信装置からの要求に応じた部分領域のビデオセグメントが前記受信装置に対して提供されることを特徴とする送信方法。
12. 前記記述データには、前記オブジェクトの識別子と、前記オブジェクトの位置に応じた部分領域のビデオセグメントを要求するためのＵＲＬの情報が関連づけて記載されることを特徴とする請求項１１に記載の送信方法。
13. 前記生成工程においては、第１オブジェクトの位置に応じた部分領域のビデオセグメントの取得情報として第１ＵＲＬが記載され、且つ、第２オブジェクトの位置に応じた部分領域のビデオセグメントの取得情報として第２ＵＲＬが記述された記述データが生成され、
    前記記述データを取得した前記受信装置からの要求に対応するＵＲＬに応じた部分領域のビデオセグメントが前記受信装置に対して提供されることを特徴とする請求項１１又は１２に記載の送信方法。
14. コンピュータを請求項１乃至１０のうち何れか１項に記載の送信装置の各手段として動作させるためのプログラム。

Images