JP6242089B2 - 送信装置、送信方法及びプログラム - Google Patents

Description

本発明は、送信装置、送信方法及びプログラムに関する。

現在、インターネット等のＩＰ（Internet Protocol）ネットワークを用いたメディア伝送が普及している。メディア伝送においては、カメラ等で撮影した動画像や音声等のメディアデータをネットワーク経由でリアルタイムに送信することができる。このようなプロトコルとして、ＲＴＰ（A Transport Protocol for Real−Time Applications，RFC3550，IETF）が利用されている。
また、動画像の高精細化が進み、スマートフォンやタブレットの普及に伴うメディアデータの多様性の需要が高まっている。これに伴い、メディア伝送に大容量なネットワーク帯域が必要となり、インフラの整備と共にネットワーク帯域の効率的な利用が求められている。

ネットワーク帯域を効率的に利用する方法として、利用可能な複数のネットワークインタフェースを並行して利用し、大容量化を図るマルチパス伝送技術がある。マルチパス伝送をサポートするプロトコルとしては、Multipath TCP（Architectural Guidelines for Multipath TCP Development，RFC6182，IETF）が挙げられる。また、他のプロトコルとしては、Multipath RTPやCMT−SCTP（Concurrent Multipath Transfer using Stream Control Transmission Protocol）が挙げられる。
複数のパスを並行して利用するマルチパス伝送においては、利用する複数のパスの帯域やジッタが異なる場合も考えられる。帯域が狭く、ジッタが大きいパスメディアデータパケットを流した場合には、帯域が広く、ジッタが小さいパスにメディアデータパケットを流した場合に比べて、受信装置が受信するまでの遅延が大きくなってしまう可能性がある。これに対し、特許文献１には、それぞれのパスの帯域やジッタの違いを考慮してパスに振り分けるデータ量を制御する技術が開示されている。

特開２００６−６７０７５号公報

マルチパス伝送において、受信装置は、それぞれのパスから受信したメディアデータパケットを、パス毎に設けられたパケットバッファに格納する。そして、受信装置は、パス毎のパケットバッファに格納されたデータを再構築する。
このとき、関連性の高いデータパケットが、異なるパケットバッファに分かれて格納さえていると、データの再構築にかかる処理コストが大きくなってしまう。このため、受信装置のＣＰＵやメモリ等のコンピュータリソースを圧迫してしまうという問題があった。

本発明はこのような問題点に鑑みなされたもので、マルチパス伝送において、受信装置におけるデータの再構築の処理コストを低減することを目的とする。

そこで、本発明は、メディアデータを取得する取得手段と、前記取得手段により取得されたメディアデータを分割して送信するための複数の通信経路に基づいて、前記メディアデータに含まれる連続する部分データにより構成される分割単位の大きさを決定する決定手段であって、第１サイズの分割単位のデータを所定時間以内に送信できると判定された通信経路に対して割り当てるデータの分割単位の大きさを前記第１サイズに決定し、前記第１サイズの分割単位のデータを前記所定時間以内に送信できないと判定された通信経路に対して割り当てるデータの分割単位の大きさを前記第１サイズより小さい第２サイズに決定する決定手段と、前記取得手段により取得されたメディアデータを、前記決定手段により決定された大きさの分割単位で前記複数の通信経路に割り当てる割り当て手段と、前記取得手段により取得されたメディアデータを、前記割り当て手段による割り当てに応じた通信経路を使用して送信する送信手段とを有する。

本発明によれば、マルチパス伝送において、受信装置におけるデータの再構築の処理コストを低減することができる。

送信装置を示す図である。 送信装置を示す図である。 メディアデータの階層構造の一例を示す図である。 送信処理を示すフローチャートである。 グループ割当処理を示すフローチャートである。 送信処理を説明するための図である。 優先度の一例を示す図である。 グループ割当処理を示すフローチャートである。 送信処理を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、送信装置１１のハードウェア構成を示す図である。本実施形態にかかる送信装置１１は、複数のネットワークインタフェースを並列に利用するマルチパス伝送により、メディアデータをパケット単位でリアルタイムに送信する。送信装置１１は、例えば、カメラ等で撮影した映像や音声等のデータを、メディアデータとして受信装置１２に送信する。なお、送信装置１１が送信対象とするメディアデータは、メタデータや誤り訂正符号データ等を含んでいてもよい。
送信装置１１及び受信装置１２は、それぞれ単一のコンピュータ装置で実現されてもよいし、各装置の機能が複数のコンピュータ装置に分散され、複数のコンピュータ装置により各装置が実現されてもよい。各装置が複数のコンピュータ装置で実現される場合には、各コンピュータ装置は、互いに通信可能なようにＬＡＮ（Local Area Network）等で接続されているものとする。

ＣＰＵ（Central Processing Unit）１０１は、後述の送信装置１１の各部を統括的に制御する。ＲＯＭ（Read Only Memory）１０２は、ＣＰＵ１０１により実行される制御プログラム等を格納している。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。
ネットワークＩ／Ｆ１０４ａ〜１０４ｃは、インターネットや公衆無線、ＬＡＮと接続できるインタフェースである。本実施形態においては、送信装置１１は、３個のネットワークＩ／Ｆ１０４ａ〜１０４ｃを備えることとするが、送信装置１１は、２個以上のネットワークＩ／Ｆを備えればよく、その数は、実施形態に限定されるものではない。

撮像部１０７は、被写体の光情報をセンサ（撮像素子）で受光する。撮像制御部１０８は、撮像部１０７を制御する。撮像制御部１０８は、例えば撮像部１０７のパン、チルト、ズーム等を制御する。撮像制御部１０８はまた、レンズ駆動を制御する。デジタル信号処理部１０９は、撮像部１０７によって撮像され、Ａ/Ｄ変換によって生成されるデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行う。
エンコーダ部１１０は、デジタルデータを特定の符号化方式に応じて変換する処理を行う。本実施形態にかかるエンコーダ部１１０は、ＨＥＶＣで符号化するものとする。なお、符号化方式は、実施形態に限定されるものではなく、エンコーダ部１１０は、Ｈ．２６４／ＡＶＣ等、他の符号化方式により符号化を行ってもよい。バス１１１は、各種データの転送経路である。
なお、後述する送信装置１１の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、送信装置１１のソフトウェア構成を示す図である。メディアデータ受付部２０１は、メディアデータを受け付ける。本実施形態にかかるメディアデータ受付部２０１は、撮像部１０７により撮影され、デジタル信号処理部１０９により各種処理が施されたメディアデータを受け付ける。
符号化部２０２は、ＨＥＶＣの符号化方式によりメディアデータを符号化する。パケット生成部２０３は、符号化されたメディアデータを送信プロトコルに応じてパケット化する。なお、本実施形態にかかる送信プロトコルは、ＲＴＰプロトコルとするが、これに限定されるものではない。

グループ構成部２０４は、グループの階層構造を定義する。具体的には、グループ構成部２０４は、メディアデータを構成する複数のパケットを、異なる複数のグループ単位（粒度）それぞれによりグループ化する（グループ化処理）。これにより、グループ構成部２０４は、階層化された複数のグループ群を得る。
ここで、複数のグループ単位それぞれは、階層化された値であり、例えばＲＡＭ１０３等に予め設定されているものとする。そして、グループ構成部２０４は、予め設定されたグループ単位に基づいて、メディアデータのグループ化を行う。
また、各グループ群は、複数のグループを含んでいる。すなわち、階層構造における各階層には、グループ群を構成する複数のグループが属している。なお、グループ構成部２０４による処理については後に詳述する。

階層選択部２０５は、各ネットワークＩ／Ｆ１０４ａ〜１０４ｃの通信状態に基づいて、グループ構成部２０４により定義された階層構造を参照し、各パスに割り当てる際の単位とする階層を選択する。ここで、通信状態とは、各パスの利用帯域を示す情報である。通信状態は、後述する通信状態特定部２１３から取得する。
階層選択部２０５は、通信状態特定部２１３により特定された各コネクションの通信状態に基づいて、最も通信状態の良いコネクションのネットワークＩ／Ｆ１０４ａ〜１０４ｃから順に処理対象として選択する。そして、階層選択部２０５は、選択したネットワークＩ／Ｆ１０４ａ〜１０４ｃに対して、階層を選択する。

送受信部２０６は、送信機能として、階層選択部２０５により選択された階層のグループ単位で、パケットを送信キュー２０７ａ〜２０７ｃに格納する。ここで、送信キュー２０７ａ〜２０７ｃは、それぞれネットワークＩ／Ｆ１０４ａ〜１０４ｃに対応する送信待ちパケット用のキューである。各送信キュー２０７ａ〜２０７ｃに格納されたパケットは、それぞれ各送信キュー２０７ａ〜２０７ｃに格納された順に、対応するネットワーク２１０ａ〜２１０ｃに送信される。
なお、ネットワーク２１０ａ〜２１０ｃは、すべてが異なるネットワークである必要はない。ネットワーク２１０ａ〜２１０ｃのうち、一部のネットワークが異なっていればよい。

送受信部２０６は、また、受信機能として、受信装置１２から、受信状況の情報を受信する。そして、送受信部２０６は、受信した情報を通信状態特定部２１３に送る。
通信状態特定部２１３は、通信状態として、各パスが利用可能な帯域（利用可能帯域）を特定する。具体的には、通信状態特定部２１３は、送受信部２０６から受け取った情報に基づいて、ネットワークＩ／Ｆ１０４ａ〜１０４ｃに対応する各パスの利用可能帯域を算出する。通信状態特定部２１３は、例えばＴＦＲＣ（TCP Friendly Rate Control：Protocol Specification， RFC3448，IETF）による算出方法により、利用可能帯域を算出する。なお、通信状態特定部２１３は、これ以外方法により利用可能帯域を算出することとしてもよい。

図３は、メディアデータの階層構造の一例を示す図である。図３に示す階層構造は、メディアデータとしての、ＨＥＶＣで符号化された映像データに対する階層構造を示している。この階層構造は、グループ構成部２０４により定義される。図３に示す階層構造は、４つの階層３０１〜３０４を有している。第１層３０１を最も下位の層とし、第２層３０２、第３層３０３、第４層３０４の順に、より上位の層となっており、第４層３０４を最も上位の層とする。
各階層３０１〜３０４には、１つのグループ群が属している。また、各階層３０１〜３０４のグループ群は、それぞれのグループ群を構成するグループのグループ単位が異なる。より詳しくは、例えば、第２層３０２に属するグループ群のグループ単位は、第１層３０１に属するグループ群のグループ単位の２以上の整数倍となっている。同様に、各層のグループ単位は、下位の層のグループ単位の２以上の整数倍となるというように、階層構造を示す複数の階層は、包含関係を有している。

第１層３０１に属するグループは、階層構造において最も小さいデータサイズをグループ単位とする。具体的には、第１層３０１に属するグループは、ＨＥＶＣにおける符号化の単位であるタイルと呼ばれる矩形の１ブロックを１グループとする。なお、タイルの矩形サイズは、任意の値とする。グループ構成部２０４は、メディアデータを構成する複数のパケットを、先頭から順にタイル単位でグループ化することにより、第１層３０１のグループ群を定義する。
第２層３０２は、部分領域をグループ単位とするグループの層である。部分領域は、第１層３０１において定義されたタイルを複数有する領域である。図３に示す例においては、部分領域は、６つのタイルを有している。グループ構成部２０４は、メディアデータを構成する複数のパケットを先頭から順に、部分領域単位でグループ化することにより、第２層３０２のグループ群を定義する。

第３層３０３は、映像データのフレームをグループ単位とするグループの層である。グループ構成部２０４は、メディアデータとしての映像データを構成する複数のパケットを先頭から順に、フレームを単位としてグループ化していくことにより、第３層３０３のグループ群を定義する。
なお、ＨＥＶＣのように、イントラ符号化されたフレームとインター符号化されたフレームとにおいて、データサイズが大きく異なる符号化方式がある。このような符号化方式により符号化されたメディアデータを対象とする場合には、グループ構成部２０４は、第３層３０３において、イントラ符号化フレームとインター符号化フレーとを異なる単位でグループ化してもよい。グループ構成部２０４は、例えば、第３層３０３において、１枚のイントラ符号化フレームを１つのグループとし、また、複数枚のインター符号化フレームを１つのグループとして定義してもよい。

第４層３０４は、ＧＯＰ（Group Of Pictures）をグループ単位とするグループの層である。ここで、ＧＯＰは、少なくとも１枚のＩピクチャを含む複数のフレームを有する。グループ構成部２０４は、映像データを構成する複数のパケットを先頭から順に、ＧＯＰを単位としてグループ化することにより、第４層３０４のグループ群を定義する。
なお、階層構造における各階層に属するグループの粒度（データサイズの単位）は、予めＲＡＭ１０３等の記憶部に格納されているものとする。図３に示す階層構造に対しては、記憶部には、タイル、部分領域、フレーム及びＧＯＰが各階層の粒度として定義されている。
なお、階層構造における粒度は、実施形態に限定されるものではない。他の例としては、粒度は、メディアデータが映像データと音声データとを含む場合のメディア単位であってもよい。また、他の例としては、粒度は、ＳＶＣにおける階層フレーム単位でもよい。他の例としては、粒度は、メディアデータを複数の装置に送信する場合には、送信先の装置単位でもよい。また、他の例としては、誤り訂正符号による保護パケットやエラー損失に対する再送パケットを送信する場合には、粒度は、メディアデータと誤り訂正符号データのセットであってもよい。また、グループ構成部２０４は、再送パケットを別のグループとしてもよい。さらに、グループ構成部２０４は、予め定義されている階層化された複数の粒度を組み合わせたデータを新たな粒度として定義してもよい。

図４は、送信装置１１による送信処理を示すフローチャートである。Ｓ４０１において、送信装置１１のＣＰＵ１０１は、許容遅延時間を取得する。ここで、許容遅延時間とは、パケットが送信待ち状態となってから、パケットの送信先の受信装置１２がパケットを受信するまでに許容される遅延時間である。
許容遅延時間は、送信装置１１において定められており、送信装置１１のＲＡＭ１０３等に予め設定されているものとする。なお、リアルタイム性の要求が高いシステム程、許容遅延時間は短くなる。また、他の例としては、許容遅延時間は、受信装置１２において定められていてもよい。この場合には、ＣＰＵ１０１は、受信装置１２から許容遅延時間を取得する。

次に、Ｓ４０２において、ＣＰＵ１０１は、各ネットワークＩ／Ｆ１０４ａ〜１０４ｃのＲＴＴ（Round Trip Time）を計測する。ＲＴＴの計測方法としては、ＩＣＭＰ（Internet Control Message Protocol）を利用した方法が挙げられるが、これに限定されるものではない。なお、以下、ネットワークＩ／Ｆ１０４ａ〜１０４ｃをそれぞれＮＩＣ１〜ＮＩＣ３と称し、また、適宜単にＮＩＣと称することとする。
次に、Ｓ４０３において、ＣＰＵ１０１は、各ＮＩＣ（ＮＩＣ１〜ＮＩＣ３）に対して得られたＲＴＴに基づいて、各ＮＩＣの利用可能帯域を算出する。帯域算出方法としては、前述したＴＦＲＣ等が挙げられる。

次に、Ｓ４０４において、ＣＰＵ１０１は、利用可能帯域に基づいて、ＮＩＣ１〜ＮＩＣ３の中から、利用するＮＩＣを決定する。ＣＰＵ１０１は例えば、予め設定された閾値未満の利用可能帯域を示すＮＩＣを使用しないこととする。また、ＣＰＵ１０１は、回線に異常が発生している可能性のあるＮＩＣを使用しないこととしてもよい。
次に、Ｓ４０５において、ＣＰＵ１０１は、ＮＩＣ１〜ＮＩＣ３それぞれについて、ＲＴＴと許容遅延時間の差分を算出する。この差分は、ＮＩＣ１〜ＮＩＣ３それぞれに対応する送信キュー２０７ａ〜２０７ｃにバッファリング可能な最大時間を意味する。
次に、Ｓ４０６において、ＣＰＵ１０１は、各送信キュー２０７ａ〜２０７ｃがバッファリング可能なデータサイズの最大値（バッファリングサイズ）を算出する。具体的には、ＣＰＵ１０１は、ＮＩＣ１〜ＮＩＣ３それぞれの利用可能帯域と、差分として得られた時間と、に基づいて、各送信キュー２０７ａ〜２０７ｃのバッファリングサイズを算出する。Ｓ４０６の処理は、通信状態として最大値を特定する特定処理の一例である。

次に、Ｓ４０７において、ＣＰＵ１０１は、バッファリングサイズに基づいて、メディアデータを、いずれかの階層のグループ単位で、送信キュー２０７ａ〜２０７ｃに割り当てる。なお、Ｓ４０７の処理については後に詳述する。
次に、Ｓ４０８において、ＣＰＵ１０１は、メディアデータの送信が完了したかどうかを判定する。メディアデータの送信が完了した場合には（Ｓ４０８でＹｅｓ）、ＣＰＵ１０１は、送信処理を終了する。メディアデータの送信が完了していない場合には（Ｓ４０８でＮｏ）、ＣＰＵ１０１は、一定時間待機した後（Ｓ４０９でＹｅｓ）、処理をＳ４０２へ進める。

図５は、グループ割当処理（Ｓ４０７）における詳細な処理を示すフローチャートである。なお、前提として、グループ割当処理（Ｓ４０７）の開始前に、グループ構成部２０４により、異なるグループ単位を階層とする階層構造が定義されているものとする（グループ化処理）。
Ｓ５０１において、ＣＰＵ１０１は、割り当て可能なデータの有無を確認する。割り当て可能なデータが存在する場合には（Ｓ５０１でＹｅｓ）、ＣＰＵ１０１は、処理をＳ５０２へ進める。割り当て可能なデータが存在しない場合には（Ｓ５０１でＮｏ）、ＣＰＵ１０１は、グループ割当処理を終了する。なお、ＣＰＵ１０１は、パケット化され、割り当てのための準備が完了しているデータが存在しない場合に、割り当て可能なデータが存在しないと判断する。また、ＣＰＵ１０１は、すべてのＮＩＣのバッファリング可能なデータサイズの最大値が、メディアデータのグループ単位の最小値よりも小さい場合に、割り当て可能なデータが存在しないと判断する。

次に、Ｓ５０２において、ＣＰＵ１０１は、利用するすべてのＮＩＣの中から、バッファリングサイズが最大となるＮＩＣを処理対象として選択する。各ＮＩＣのバッファリングサイズは、Ｓ４０６において算出された値とする。以下、処理対象のＮＩＣを対象ＮＩＣと称する。
次に、Ｓ５０３において、ＣＰＵ１０１は、対象ＮＩＣのバッファリングサイズ以下（最大値以下）のデータサイズをグループ単位とするグループ群（階層）を特定する。そして、特定したグループ群が複数存在する場合には、ＣＰＵ１０１は、特定したグループ群のうち、グループ単位が最も大きいグループ群を１つ選択する。ここで、Ｓ５０３の処理は、選択処理の一例である。

次に、Ｓ５０４において、ＣＰＵ１０１は、選択したグループ群の複数のグループのうち、割り当てが行われていない、先頭のグループを対象ＮＩＣに対応する送信キュー２０７ａ〜２０７ｃに割り当てる。すなわち、ＣＰＵ１０１は、先頭のグループを対象ＮＩＣに対応する送信キュー２０７ａ〜２０７ｃに格納する。ここで、Ｓ５０４の処理は、グループを対象通信経路としての選択されたＮＩＣに割り当てる割当処理の一例である。
次に、Ｓ５０５において、ＣＰＵ１０１は、対象ＮＩＣのバッファリングサイズを更新する。具体的には、ＣＰＵ１０１は、対象ＮＩＣのバッファリングサイズから、Ｓ５０４において割り当てたグループのデータサイズを減じ、減じた値を、対象ＮＩＣの新たなバッファリングサイズとする。ＣＰＵ１０１は、Ｓ５０１において割り当て可能なデータが存在しないと判断されるまで、Ｓ５０２からＳ５０５の処理を繰り返す。

図６は、送信処理を説明するための図である。図６（ｂ）に示すように、送信装置１１は、３つのネットワークＩ／Ｆ１０４ａ〜１０４ｃ（ＮＩＣ１〜ＮＩＣ３）を備えているものとする。また、ＮＩＣ１〜ＮＩＣ３は、それぞれの利用帯域が４０Ｍｂｐｓ，２０Ｍｂｐｓ，１０Ｍｂｐｓであるものとする。また、ＮＩＣ１〜ＮＩＣ３に対応するパスのＲＴＴはすべて１秒とし、許容遅延時間は２秒とする。
なお、メディアデータの送信先の装置、すなわち受信装置１２も、送信装置１１と同様に、３つのネットワークＩ／Ｆ（ＮＩＣ，ＮＩＣ２，ＮＩＣ３）を備えている。送信装置１１のＮＩＣ１〜ＮＩＣ３は、それぞれ受信装置１２のＮＩＣ１〜ＮＩＣ３に対応している。

また、ここでは、説明の簡素化のため、以下の条件とする。すなわち、図６（ａ）に示すように、フレーム単位のグループ群と、部分領域単位のグループ群の２階層の階層構造が定義されているものとする。ここで、フレーム単位のグループ群を上位層、部分領域単位のグループ群を下位層とする。
送信装置１１の処理対象のメディアデータは、図６（ａ）に示すように、フレーム「１」〜「４」を有する映像データであるものとする。また、各フレームは、４つの部分領域に分割されているものとする。ここで、フレーム４の部分領域を部分領域「４−１」〜「４−４」と称することとする。フレームのデータサイズは、いずれも２ＭＢとする。部分領域のデータサイズは、いずれも０．５ＭＢとする。

以上の前提においては、Ｓ４０５において、ＣＰＵ１０１は、すべてのＮＩＣ１〜ＮＩＣ３の許容遅延時間とＲＴＴの差分として、許容遅延時間２秒からＲＴＴの１秒を減じた値、すなわち１秒を得る。
次に、Ｓ４０６において、ＣＰＵ１０１は、ＮＩＣ１に対し、バッファリングサイズ５ＭＢ（４０Ｍｂｐｓ×１ｓｅｃ÷８ｂｉｔｓ）を得る。また、ＣＰＵ１０１は、ＮＩＣ２に対し、バッファリングサイズ２.５ＭＢ（２０Ｍｂｐｓ×１ｓｅｃ÷８ｂｉｔｓ）を得る。また、ＣＰＵ１０１は、ＮＩＣ３に対し、バッファリングサイズ１.２５ＭＢ（１０Ｍｂｐｓ×１ｓｅｃ÷８ｂｉｔｓ）を得る。

次に、グループ割当処理について説明する。Ｓ５０２において、ＣＰＵ１０１は、バッファリングサイズが最大のＮＩＣとして、バッファリングサイズ５ＭＢのＮＩＣ１を選択する。
ここで、ＮＩＣ１のバッファリングサイズ（５ＭＢ）以下で、且つ最大のグループ単位の階層は、フレーム単位（２ＭＢ）のデータ群の階層（上位層）となる。したがって、Ｓ５０３において、ＣＰＵ１０１は、フレーム単位の階層を選択する。そして、Ｓ５０４において、ＣＰＵ１０１は、メディアデータの先頭のフレーム、すなわちフレーム１をＮＩＣ１の送信キュー２０７ａに割り当てる。
そして、Ｓ５０５において、ＣＰＵ１０１は、ＮＩＣ１のバッファリングサイズを、５ＭＢからフレーム１のデータサイズ（２ＭＢ）を減じた値（３ＭＢ）に更新し、処理を再びＳ５０１に進める。

続いて、Ｓ５０２において、ＣＰＵ１０１は、ＮＩＣ１〜ＮＩ３のバッファリングサイズを比較する。このとき、バッファリングサイズ３ＭＢのＮＩＣ１が選択される。フレーム単位（２ＭＢ）は、３ＭＢ以下である。したがって、Ｓ５０３において、ＣＰＵ１０１は、フレームをグループ単位とする階層を選択する。そして、Ｓ５０４において、ＣＰＵ１０１は、フレーム１に続く、フレーム２をＮＩＣ１の送信キュー２０７ａに割り当てる。
続いて、Ｓ５０５において、ＣＰＵ１０１は、ＮＩＣ１のバッファリングサイズを、３ＭＢからフレーム２のデータサイズ（２ＭＢ）を減じた値（１ＭＢ）に更新し、処理を再びＳ５０１に進める。

そして、Ｓ５０２において、ＣＰＵ１０１は、バッファリングサイズが最大のＮＩＣとして、バッファリングサイズ２．５ＭＢのＮＩＣ２を選択する。続いて、Ｓ５０３において、ＣＰＵ１０１は、２．５ＭＢ以下且つ最大のグループ単位の階層として、フレームをグループ単位とする階層を選択する。そして、Ｓ５０４において、ＣＰＵ１０１は、フレーム２に続くフレーム３をＮＩＣ２の送信キュー２０７ｂに割り当てる。
続いて、Ｓ５０５において、ＰＣＵ１０１は、ＮＩＣ２のバッファリングサイズを、２．５ＭＢからフレーム３のデータサイズ（２ＭＢ）を減じた値（０．５ＭＢ）に更新し、処理を再びＳ５０１に進める。

続いて、Ｓ５０２において、ＣＰＵ１０１は、バッファリングサイズが最大のＮＩＣとして、バッファリングサイズが１．２５ＭＢのＮＩＣ３を選択する。ここで、１．２５ＭＢは、フレーム単位（２ＭＢ）に比べて小さい。したがって、Ｓ５０３において、ＣＰＵ１０１は、フレームをグループ単位とする階層の下位の層、すなわち、部分領域をグループ単位とする階層を選択する。そして、Ｓ５０４において、ＣＰＵ１０１は、フレーム３に続くフレーム４を構成する部分領域４−１をＮＩＣ３の送信キュー２０７ｃに割り当てる。
以上のように、ＣＰＵ１０１は、Ｓ５０１〜Ｓ５０５の処理を繰り返すことにより、図６（ｂ）に示すように、フレーム１〜４のメディアデータをＮＩＣ１〜ＮＩＣ３に割り当てることができる。

このように、本実施形態にかかる送信装置１１は、複数の通信経路それぞれの通信状態に基づいて、異なるグループ単位のうち一のグループ単位を選択し、選択したグループ単位で、送信対象データを各通信経路に割り当てることができる。さらに、ここで、グループ単位のデータは、メディアデータのうち一部の連続するデータである。したがって、受信装置１２側で、パケット単位で受信したデータから、メディアデータを再構築する際の処理コストを低減することができる。
さらに、送信装置１１は、各パスに割り当てるグループのパケット構成を動的に変更することができる。したがって、送信装置１１は、各パスの帯域を効率的に利用することができる。

第１の実施形態の第１の変更例としては、ＣＰＵ１０１は、Ｓ５０４（図５）において、メディアデータの先頭から順にグループを選択することとしたが、選択順は、これに限定されるものではない。
また、第２の変更例としては、ＣＰＵ１０１は、フレームの先頭から順に所定のタイル数に分割して部分領域を得るのにかえて、注目領域に基づいて、部分領域を得ることとしてもよい。例えば、ＣＰＵ１０１は、注目領域を中心に順位付けし、順位順に部分領域を配列してもよい。さらに、送信キュー２０７ａ〜２０７ｃへの割り当て時（Ｓ５０５）には、ＣＰＵ１０１は、順位の高い部分領域から優先的に状態の良いパスに割り当ててもよい。

（第２の実施形態）
次に、第２の実施形態にかかる送信装置１１について説明する。第２の実施形態にかかる送信装置１１は、同一階層のグループ群に含まれる複数のグループそれぞれに優先度を付与し、優先度に基づいて、送信キュー２０７ａ〜２０７ｃへの割り当てを行う。なお、ここでは、第１の実施形態にかかる送信装置１１と異なる部分について説明する。第２の実施形態においては、ＨＥＶＣの少なくとも１以上のタイルを有する部分領域単位の階層に属するグループ（部分領域）の割当処理について説明する。

図７は、優先度の一例を示す図である。図７に示すフレーム７００内の部分領域７０１〜７１６には、それぞれ図７に示すような優先度が定義されている。すなわち、部分領域７０１には優先度３が設定されている。部分領域７０２〜７０７には、優先度２が設定されている。部分領域７０８〜７１６には、優先度１が設定されている。なお、優先度の値が大きい程、優先度が高いものとする。
ＣＰＵ１０１は、例えば、メディアデータとしての映像データにおいては、フレーム内において、視聴者の注目度が高い領域により高い優先度を付与する。具体的には、ＣＰＵ１０１は、動きのある部分領域に、動きのない部分領域に比べて高い優先度を付与する。

図８は、第２の実施形態にかかる送信装置１１による、グループ割当処理を示すフローチャートである。ＣＰＵ１０１は、Ｓ５０３において階層を選択した後、処理をＳ８０１へ進める。そして、Ｓ８０１において、ＣＰＵ１０１は、選択されている階層に属する複数のグループの中から、優先度が最も大きいグループを選択し、これを対象ＮＩＣに対応する送信キュー２０７ａ〜２０７ｃに割り当てる。なお、Ｓ８０１において、グループが１つのみの場合には、この１つのグループが割り当てられる。

図９は、第２の実施形態にかかる送信処理を説明するための図である。図９に示すように、送信装置１１は、３つのネットワークＩ／Ｆ１０４ａ〜１０４ｃ（ＮＩＣ１〜ＮＩＣ３）を備えているものとする。また、ＮＩＣ１〜ＮＩＣ３は、それぞれの利用帯域が３０Ｍｂｐｓ，２０Ｍｂｐｓ，１０Ｍｂｐｓであるものとする。
なお、メディアデータの送信先の装置、すなわち受信装置１２も、送信装置１１と同様に、３つのネットワークＩ／Ｆ（ＮＩＣ，ＮＩＣ２，ＮＩＣ３）を備えている。送信装置１１のＮＩＣ１〜ＮＩＣ３は、それぞれ受信装置１２のＮＩＣ１〜ＮＩＣ３に対応している。
また、ここでは、説明の簡素化のため、以下の条件とする。すなわち、図７に示すように、ＨＥＶＣで符号化されたフレームは、１６個の部分領域７０１〜７１６に分割されているものとする。ここで、部分領域７０１〜７１６のデータサイズは、いずれも０．５ＭＢとする。そして、フレーム全体のデータサイズは、８ＭＢ（０．５ＭＢ×１６個）とする。ＮＩＣ１〜ＮＩＣ３に対応するパスのＲＴＴはすべて１秒とし、許容遅延時間は２秒とする。

この場合、Ｓ４０６において、ＣＰＵ１０１はＮＩＣ１に対し、バッファリングサイズ３.７５ＭＢ（３０Ｍｂｐｓ×１ｓｅｃ÷８ｂｉｔｓ）を得る。ＣＰＵ１０１はまた、ＮＩＣ２に対し、バッファリングサイズ２.５ＭＢ（２０Ｍｂｐｓ×１ｓｅｃ÷８ｂｉｔｓ）を得る。ＣＰＵ１０１はまた、ＮＩＣ３に対し、バッファリングサイズ１.２５ＭＢ（１０Ｍｂｐｓ×１ｓｅｃ÷８ｂｉｔｓ）を得る。
次に、グループ割当処理について説明する。Ｓ５０２において、ＣＰＵ１０１は、バッファリングサイズが最大のＮＩＣとして、バッファリングサイズが３.７５ＭＢのＮＩＣ１を選択する。次に、Ｓ５０３において、ＣＰＵ１０１は、ＮＩＣ１のバッファリングサイズ３．５ＭＢ以下で、且つ最大のグループ単位の階層として、部分領域単位（０．５ＭＢ）のデータ群の階層を選択する。

次に、Ｓ８０１において、ＣＰＵ１０１は、選択した階層のグループから、優先度が最大のグループとして、優先度３の部分領域７０１を選択し、これを、ＮＩＣ１の送信キュー２０７ａに割り当てる。次に、Ｓ５０５において、ＣＰＵ１０１は、ＮＩＣ１のバッファリングサイズを、３．７５ＭＢから、部分領域７０１のデータサイズ（０．５ＭＢ）を減じた値に更新し、処理を再びＳ５０１に進める。
続いて、Ｓ５０２において、ＣＰＵ１０１は、ＮＩＣ１〜ＮＩＣ３のバッファリングサイズを比較する。このとき、バッファリングサイズ３．２５ＭＢのＮＩＣ１が選択される。そして、Ｓ８０１において、ＣＰＵ１０１は、優先度が最大のグループとして、優先度２の部分領域７０２を選択する。
以上のように、ＣＰＵ１０１は、図８に示す各処理を繰り返すことにより、図９に示すように、部分領域７０１〜７１４をＮＩＣ１〜ＮＩＣ３に割り当てることができる。なお、部分領域７１５，７１６については、ＣＰＵ１０１は、部分領域をグループ単位とする階層よりも下位の階層、すなわちタイルをグループ単位とする階層のグループ単位で、ＮＩＣ１〜ＮＩＣ３に割り当てることとする。

また、他の例としては、部分領域７１５，７１６については、ＣＰＵ１０１は、次回実行されるグループ割当処理において、部分領域をグループ単位として割り当てを行うこととしてもよい。また、他の例としては、部分領域７１５，７１６の優先度が低いことから、ＣＰＵ１０１は、部分領域７１５，７１６の割り当てをスキップしてもよい。

なお、第２の実施形態にかかる送信装置１１のこれ以外の構成及び処理は、第１の実施形態にかかる送信装置１１の構成及び処理と同様である。
以上のように、第２の実施形態の送信装置１１は、優先度の高いグループを優先的に通信経路に割り当てることができる。

第２の実施形態の変更例について説明する。送信装置１１は、メディアデータの階層構造における任意の階層のグループに優先度を付与することとしてもよい。例えば、送信装置１１は、予め設定されているすべての階層のグループに優先度を付与することとしてもよい。また、他の例としては、送信装置１１は、階層構造における複数の階層のうち一部の階層のグループに対してのみ、優先度を付与することとしてもよい。送信装置１１は、例えばＳＶＣのフレーム単位の階層のグループに優先度を付与してもよい。また、他の例としては、送信装置１１は、フレームと、フレームを保護する誤り訂正符号データや再送データを同一階層と定義し、この階層のグループに優先度を付与してもよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、マルチパス伝送において、受信装置におけるデータの再構築の処理コストを低減することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１１ 送信装置、１２ 受信装置、１０１ ＣＰＵ、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ａ〜１０４ｃ ネットワークＩ／Ｆ、１０７ 撮像部、１０８ 撮像制御部、１０９ デジタル信号処理部、１１０ エンコーダ部

Claims (13)

1. メディアデータを取得する取得手段と、
   前記取得手段により取得されたメディアデータを分割して送信するための複数の通信経路に基づいて、前記メディアデータに含まれる連続する部分データにより構成される分割単位の大きさを決定する決定手段であって、第１サイズの分割単位のデータを所定時間以内に送信できると判定された通信経路に対して割り当てるデータの分割単位の大きさを前記第１サイズに決定し、前記第１サイズの分割単位のデータを前記所定時間以内に送信できないと判定された通信経路に対して割り当てるデータの分割単位の大きさを前記第１サイズより小さい第２サイズに決定する決定手段と、
   前記取得手段により取得されたメディアデータを、前記決定手段により決定された大きさの分割単位で前記複数の通信経路に割り当てる割り当て手段と、
   前記取得手段により取得されたメディアデータを、前記割り当て手段による割り当てに応じた通信経路を使用して送信する送信手段とを有することを特徴とする送信装置。
2. 前記第１サイズの分割データを前記所定時間以内に送信できるか否かを、前記複数の通信経路それぞれにおける通信に係る遅延時間及び通信速度の少なくとも何れかに基づいて、前記複数の通信経路それぞれについて判定する判定手段を有し、
   前記決定手段は、前記判定手段による判定結果に基づいて、前記複数の通信経路に割り当てる分割単位の大きさを決定することを特徴とする請求項１に記載の送信装置。
3. 前記第１サイズの分割単位は、符号化された前記メディアデータの符号化単位を複数含み、
   前記第２サイズの分割単位は、前記第１サイズの分割単位に含まれる符号化単位より少ない数の符号化単位を含むことを特徴とする請求項１又は２に記載の送信装置。
4. 前記取得手段により取得されるメディアデータは、映像及び音声の少なくとも何れかを含むことを特徴とする請求項１乃至３の何れか１項に記載の送信装置。
5. 前記第１サイズの分割単位のデータと前記第２サイズの分割単位のデータは、それぞれ画像内の空間的に連続する領域であって大きさの異なる領域に対応することを特徴とする請求項１乃至３の何れか１項に記載の送信装置。
6. 前記第１サイズの分割単位のデータは時間的に連続する複数の画像に対応し、前記第２サイズの分割単位のデータは単一の画像に対応することを特徴とする請求項１乃至３の何れか１項に記載の送信装置。
7. 前記決定手段は、前記第１サイズの分割単位のデータを前記所定時間以内に送信できると判定された通信経路に対して割り当てるデータの分割単位を前記第１サイズに決定し、前記第１サイズの分割単位のデータを前記所定時間以内に送信できず前記第２サイズの分割単位のデータを前記所定時間以内に送信できると判定された通信経路に対して割り当てるデータの分割単位を前記第２サイズの分割単位に決定し、前記第２サイズの分割単位のデータを前記所定時間以内に送信できないと判定された通信経路に対して割り当てるデータの分割単位を前記第２サイズより小さい第３サイズの分割単位に決定することを特徴とする請求項１乃至６の何れか１項に記載の送信装置。
8. 前記取得手段により取得されるメディアデータは映像を含み、
   前記第１サイズの分割単位は映像の複数フレーム単位であり、前記第２サイズの分割単位は映像の１フレーム単位であり、前記第３サイズの分割単位は映像の１フレーム内における部分領域単位であることを特徴とする請求項７に記載の送信装置。
9. 前記割り当て手段は、前記取得手段により取得されたメディアデータを、前記決定手段により決定された大きさの分割単位で、当該分割単位のメディアデータそれぞれの優先度に応じて前記複数の通信経路に割り当てることを特徴とする請求項１乃至８の何れか１項に記載の送信装置。
10. メディアデータを取得する取得工程と、
    前記取得工程において取得されたメディアデータを分割して送信するための複数の通信経路に基づいて、前記メディアデータに含まれる連続する部分データにより構成される分割単位の大きさを決定する決定工程であって、第１サイズの分割単位のデータを所定時間以内に送信できると判定された通信経路に対して割り当てるデータの分割単位を前記第１サイズに決定し、前記第１サイズの分割単位のデータを前記所定時間以内に送信できないと判定された通信経路に対して割り当てるデータの分割単位を前記第１サイズより小さい第２サイズに決定する決定工程と、
    前記取得工程において取得されたメディアデータを、前記決定工程において決定された大きさの分割単位で前記複数の通信経路に割り当てる割り当て工程と、
    前記取得工程において取得されたメディアデータを、前記割り当て工程における割り当てに応じた通信経路を使用して送信する送信工程と
    を含むことを特徴とする送信方法。
11. 前記第１サイズの分割データを前記所定時間以内に送信できるか否かを、前記複数の通信経路それぞれにおける通信に係る遅延時間及び通信速度の少なくとも何れかに基づいて、前記複数の通信経路それぞれについて判定する判定工程を有し、
    前記決定工程は、前記判定工程における判定結果に基づいて、前記複数の通信経路に割り当てる分割単位の大きさを決定することを特徴とする請求項１０に記載の送信方法。
12. 前記第１サイズの分割単位は、符号化された前記メディアデータの符号化単位を複数含み、
    前記第２サイズの分割単位は、前記第１サイズの分割単位に含まれる符号化単位より少ない数の符号化単位を含むことを特徴とする請求項１０又は１１に記載の送信方法。
13. コンピュータを請求項１乃至９の何れか１項に記載の送信装置として動作させるためのプログラム。

Images