JP6756212B2 - 情報配信装置、中継装置、情報配信プログラム、中継プログラム、情報配信方法、中継方法及び情報配信システム - Google Patents

Description

本発明は、情報配信装置、中継装置、情報配信プログラム、中継プログラム、情報配信方法、中継方法及び情報配信システムに関し、例えば、映像情報を、複数のユーザー端末に配信する情報配信装置、中継装置、情報配信システムに適用し得るものである。

近年、情報通信技術の発達により、遠隔の離れた場所にいる者同士があたかも同じ場所にいるかのようにコミュニケーションをしたり、共同作業を行なったりする技術が注目されている。複数の映像や音声等の情報を、複数の場所や複数のユーザー端末に配信することにより、これら遠隔の複数者間のコミュニケーションを実現している。

映像や音声等のデータを複数のユーザー端末に配信する場合、ビデオカメラ等の映像ソースや、マイク等の音声ソースからのマルチメディアデータを、これらのデータを要求するユーザー端末に対してＩＰネットワーク等を用いたパケット通信で配信する方法が用いられる。

このような映像情報の配信では、提供される映像情報の種類の増加や、映像情報を要求するユーザー端末数の増加によって、データ伝送量が増加し、ネットワーク回線の帯域幅の制限等により、伝送途中で映像データパケットが破棄され、映像の遅延や欠落が引き起こされるという問題がある。

このような問題への対策として、例えば特許文献１の記載技術がある。特許文献１には、映像配信要求ごとに映像データに優先度を設け、その優先度に応じて映像データの伝送ビットレートを変更したり、優先度に応じて映像データの配信を制限したりするなどの方法が記載されている。

特開２００５−５１５１７号公報

しかしながら、配信データが映像情報であり、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の規格化技術などの動画像圧縮技術により圧縮符号化したデータを含むパケットを配信する場合、フレーム間符号化されるフレームに比べて、フレーム内符号化されるフレームのデータサイズは数倍程度大きい。

ネットワークで想定される帯域幅よりも小さな平均ビットレートで圧縮符号化処理を行なっても、上記のように圧縮符号化データのデータサイズにばらつきがあるため、伝送途中でパケットが破棄されることが生じ得る。その結果、十分な映像配信数を確保できない、あるいは、より大きな帯域幅のネットワーク回線が必要となってしまう等の問題が生じ得る。

そのため、情報配信に係るデータ伝送量のばらつきを調整し、瞬間的に発生する大きなデータ伝送量を抑制して、安定した情報配信を実現する、情報配信装置、中継装置、情報配信プログラム、中継プログラム、情報配信方法、中継方法及び情報配信システムが求められている。

かかる課題を解決するために、第１の本発明に係る情報配信装置は、映像データを含む配信情報を配信する情報配信装置において、（１）映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、（２）送信タイミング調整手段により調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を送信する送信手段とを備え、送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定することを特徴とする。

第２の本発明に係る中継装置は、１又は複数の情報配信装置から取得した配信情報を、配信要求元の端末に中継する中継装置において、（１）配信情報に含まれている映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、（２）送信タイミング調整手段により調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を、配信要求元の端末に送信する送信手段とを備え、送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定することを特徴とする。

第３の本発明に係る情報配信システムは、第１の本発明に係る複数の情報配信装置と、第２の本発明に係る中継装置とを備えることを特徴とする。

第４の本発明に係る情報配信方法は、映像データを含む配信情報を配信する情報配信方法において、コンピュータが、送信タイミング調整手段と送信手段を備え、（１）送信タイミング調整手段が、映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整し、（２）送信手段が、送信タイミング調整手段により調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を送信し、送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定することを特徴とする。

第５の本発明に係る中継方法は、１又は複数の情報配信装置から取得した配信情報を、配信要求元の端末に中継する中継方法において、コンピュータが、送信タイミング調整手段と送信手段を備え（１）送信タイミング調整手段が、配信情報に含まれている映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整し、（２）送信手段が、送信タイミング調整手段により調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を、配信要求元の端末に送信し、送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定することを特徴とする。

第６の本発明に係る情報配信プログラムは、映像データを含む配信情報を配信する情報配信プログラムにおいて、コンピュータを（１）映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、（２）送信タイミング調整手段により調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を送信する送信手段として機能させ、送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定ることを特徴とする。

第７の本発明に係る中継プログラムは、１又は複数の情報配信装置から取得した配信情報を、配信要求元の端末に中継する中継プログラムにおいて、コンピュータを、（１）配信情報に含まれている映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、（２）送信タイミング調整手段により調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を、配信要求元の端末に送信する送信手段として機能させ、送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定することを特徴とする。

本発明によれば、情報配信に係るデータ伝送量のばらつきを調整し、瞬間的に発生する大きなデータ伝送量を抑制して、安定した情報配信を実現する。

第１の実施形態に係る映像配信装置の内部構成を示す内部構成図である。 圧縮符号化技術を用いた場合の各フレームのデータ量（符号量）を説明する説明図である。 第１の実施形態に係る映像配信装置における映像データの配信処理の動作を示すフローチャートである。 第２の実施形態に係る映像配信システムの全体構成を示す構成図である。 第２の実施形態に係る中継サーバーの内部構成を示す内部構成図である。

（Ａ）第１の実施形態
以下では、本発明に係る情報配信装置、中継装置、情報配信プログラム、中継プログラム、情報配信方法、中継方法及び情報配信システムの第１の実施形態を、図面を参照して説明する。

（Ａ）第１の実施形態の構成
図１は、第１の実施形態に係る映像配信装置１００の内部構成を示す内部構成図である。

図１において、映像配信装置１００は、映像符号化部１０１、送信タイミング調整部１０２、送信部１０３を有する。

映像配信装置１００は、入力された映像データを、圧縮符号化技術で圧縮符号化し、圧縮符号化データを含む映像パケットを配信するものである。

映像配信装置１００は、例えば、インターネット等に代表されるＩＰネットワークや、広域ＬＡＮ（登録商標）等の広域ネットワーク等と接続しており、これら通信網を介して、映像配信先のユーザー端末（図示しない）宛に圧縮符号化データを含むパケットを配信する。なお、映像配信装置１００が接続する通信網は、有線回線であってもよいし、無線回線であってもよい。

また、映像配信装置１００は、例えば、予め圧縮符号化された映像データを蓄積する映像データ蓄積部（ストレージ）と接続しており、映像データ蓄積部から入力された映像データを配信してもよい。また、映像配信装置１００は、撮像装置（例えば、ビデオカメラ等）等と接続しており、撮像装置により撮像された映像データを配信する。

なお、映像配信装置１００は、映像データのみを配信するものに限定されるものではなく、映像データや、音響情報（音声等を含む概念）等を含むマルチメディアデータを配信する。この実施形態では、説明を容易にするため、映像配信装置１００が映像データを配信する場合を説明する。

映像符号化部１０１は、入力された映像データを、圧縮符号化技術により圧縮符号化するエンコーダーである。

ここで、映像符号化部１０１による圧縮符号化方式は、特に限定されるものではなく、例えば、ＭＰＥＧ規格化技術、Ｈ．２６４／ＡＶＣ規格化技術、Ｈ．２６５／ＨＥＶＣ規格化技術など様々な符号化技術を適用できる。

映像符号化部１０１は、１フレームの映像データを複数の断片データに分割し、各断片データを圧縮符号化する。映像符号化部１０１による映像データの断片化は、例えば、画面内のスライス毎に断片するようにしてもよい。

ここで、映像符号化部１０１は、圧縮符号化のシーケンスにおいて、イントラフレームのみを複数の断片データに分割するようにしてもよいし、イントラフレーム及びインターフレームも含めて全てのフレームを複数の断片データに分割するようにしてもよい。

つまり、後述するように、符号量の大きさにばらつきがあり、符号量が極端に大きくなって、ネットワーク上のビットレートが瞬間的に大きくなることで、ネットワーク上でパケットが破棄される可能性が生じ得る。このような瞬間的なビットレートの増大を軽減するため、符号量のばらつきをなくすことができれば、様々な方法を適用できる。換言すると、ビットレートの平滑化を図るために、圧縮符号化処理により発生するデータの符号量の断片あたりのデータ量を小さくするようにする。

また、第１の実施形態では、映像符号化部１０１がスライス毎に断片化する場合を例示するが、断片化単位は、画面のスライスに限定するものではない。例えば、所定データサイズを断片化単位として、映像データに対して所定データサイズごとに断片化するようにしてもよい。

映像符号化部１０１は、各断片データを圧縮符号化した圧縮符号化データを、送信タイミング調整部１０２に与える。

送信タイミング調整部１０２は、映像符号化部１０１により圧縮符号化された各断片データの圧縮符号化データの送信タイミングを、断片データ毎に調整するものである。

なお、送信タイミング調整部１０２による各断片データの送信タイミングの調整方法の詳細な説明は動作の項で詳細に説明するが、断片データのデータサイズに比例する待ち時間を断片データ毎に算出し、各断片データの待ち時間だけ次の断片データの送信を待機して、各断片データを順番に送信するようにする。

送信タイミング調整部１０２は、圧縮符号化された各断片データを、各断片データの待ち時間だけ保持するバッファ１０２ａを有する。バッファ１０２ａは、送信タイミング調整部１０２により算出された待ち時間の間に映像符号化部で発生した各断片データを保持し、待ち時間が経過すると、その断片データを送信部１０３に与える。

送信部１０３は、送信タイミング調整部１０２から圧縮符号化データの各断片データを受け取り、各断片データを含むパケットを形成し、映像情報パケットを通信網に送信する。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る情報配信システムにおける情報配信処理の動作を、図面を参照しながら説明する。

図１において、例えば、撮像装置により撮像された映像データ、若しくは、蓄積部（例えばストレージ等）に蓄積されている映像データが、映像配信装置１００に入力する。

映像配信装置１００において、入力された映像データは、映像符号化部１０１において圧縮符号化技術により圧縮符号化され、圧縮符号化データが送信タイミング調整部１０２に与えられる。

ここで、圧縮符号化技術は、ＭＰＥＧ規格化技術、Ｈ．２６４／ＡＶＣ規格化技術、Ｈ．２６５／ＨＥＶＣ規格化技術など様々な符号化技術が利用可能である。

図２は、圧縮符号化技術を用いた場合の各フレームのデータ量（符号量）を説明する説明図である。

図２では、例えば、３０フレーム間隔でイントラフレームが挿入される場合を例示している。

例えば、Ｈ．２６４／ＡＶＣ規格化技術、Ｈ．２６５／ＨＥＶＣ規格化技術により圧縮符号化を行なうと、映像データの各フレームは、フレーム内の情報のみからフレーム内符号化するイントラフレームや、他のフレームの情報も参照してフレーム間符号化するインターフレーム等を混在して符号化される。

インターフレームは、時間軸方向の相関（例えば、前後するフレーム間予測等）を利用して符号化するため、高効率の符号化が行なわれる。これに対して、イントラフレームは、フレーム内の情報との相関のみを利用するため、イントラフレームの符号量は、インターフレームの符号量に比べて、数倍程度の大きくなる（図２参照）。

映像圧縮符号化データのシーケンスでは、最初にイントラフレームが符号化され、これ以降は基本的にインターフレームを用いて符号化される。一般的に、ある程度の間隔毎に、シーケンスにイントラフレームを挿入して、符号化が行なわれる。これは、パケットの破棄等によりフレームの欠落が起きると、後続のインターフレームが正常に復号できなくなるため、ある間隔毎に、イントラフレームを用いて正常な復号状態に復帰するためや、圧縮符号化シーケンスの途中から配信を受けることを可能とするためなどである。

また、映像符号化部１０１は、フレーム単位で映像データを符号化処理する。例えば、３０ｆｐｓ（フレーム毎秒）で映像符号化部１０１が符号化する場合、３３ｍｓ（ミリ秒）毎に１フレーム分の圧縮符号化データが一斉に発生することとなる。

このように、符号量が極端にばらついた圧縮符号化データを、単純に圧縮符号化データの発生の都度、映像配信装置が一斉にネットワーク（通信網）に送信すると、瞬間的にビットレートが大きくなる。そうすると、ネットワークにおける伝送途中で、パケットの破棄が起きやすい状態となってしまう。

そこで、第１の実施形態では、映像符号化部１０１が、１フレーム分の圧縮符号化データを一塊として圧縮符号化を行なうのではなく、圧縮符号化データを複数の断片データに分割し、各断片データを圧縮符号化する。

例えば、Ｈ．２６４／ＡＶＣ規格化技術、Ｈ．２６５／ＨＥＶＣ規格化技術の場合、映像符号化部１０１は、フレームを複数のスライスに分割して符号化することが可能である。このようにすることで、１フレーム分のデータを複数の断片化されたデータとし、各断片データを圧縮符号化できる。

次に、送信タイミング調整部１０２では、断片化された圧縮符号化データを一斉に送信するのではなく、各圧縮符号化データについて、タイミングをずらしながら送信する。そのため、送信タイミング調整部１０２は、各圧縮符号化データの送信タイミングに係る時間（待ち時間）を算出する。

ここで、送信タイミング調整部１０２による、断片化された圧縮符号化データの待ち時間の算出方法を説明する。

ネットワークで許容されるピークビットレート（最大ビットレート）をＢ[ｂｐｓ]とし、映像符号化部１０１により圧縮符号化された、ｉ番目の圧縮符号化断片データのデータサイズをｃ_ｉ［ｂｉｔ］とすると、送信タイミング調整部１０２は、式（１）に従って、ｉ番目の符号化データの送信の後に、ｔ_ｉ［ｓ］の待ち時間とする。
ｔ_ｉ＝ｃ_ｉ／Ｂ …（１）

つまり、送信タイミング調整部１０２は、ｉ番目の圧縮符号化データと、その後のｉ＋１番目の圧縮符号化データとの間の待ち時間をｔ_ｉ［ｓ］として算出する。換言すると、ｉ番目の圧縮符号化データを含む送信パケットの送信が開始し、待ち時間ｔ_ｉ［ｓ］が経過すると、ｉ＋１番目の圧縮符号化データを含むパケットの送信が開始する。送信待機されるｉ＋１番目の圧縮符号化部データは、待ち時間だけ、バッファ１０２ａに保持される。このようにすることで、瞬間的にビットレートが大きくなることを回避でき、ネットワーク上でのパケット破棄も回避することができる。

ピークビットレートＢは、例えば、ネットワークの伝送経路の最も細い回線の帯域幅等から決定してもよいし、又例えば、配信しようする映像の平均ビットレートなどから決定してもよいし、さらに例えば、実際に映像データを受信しているユーザー端末から取得した受信状況のレポート等から決定するようにしてもよい。このように、Ｂは、様々な決定方法を適用することができる。

送信部１０３では、映像符号化部１０１により圧縮符号化された、断片データの圧縮符号化データを含むパケットを順番に、ネットワークに対して送信する。

この際、ｉ番目の符号化データを送信した後には、待ち時間ｔ_ｉ［ｓ］を挿入し、この間は、次のｉ＋１番目の符号化データの送信を行わないようにする。

次に、第１の実施形態に係る映像配信装置１００における映像データの配信処理の動作を図面を用いて説明する。

図３は、映像配信装置１００における映像データの配信処理の動作を示すフローチャートである。

まず、映像符号化部１０１により、１フレームの映像データが断片化されて、各断片データが圧縮符号化される。

ステップＳ１１：送信タイミング調整部１０２では、ｉ番目の圧縮符号化データを取得する。

ステップＳ１２：送信タイミング調整部１０２では、上記（１）式に従って、ｉ番目の圧縮符号化データに対する待ち時間ｔ_ｉが算出される。

ステップＳ１３：送信部１０３は、ｉ番目の圧縮符号化データを含むパケットを形成し、そのパケットがネットワークに送信される。

ステップＳ１４：映像符号化部１０１により圧縮符号化された全ての圧縮符号化データの配信が終了していない場合、ステップステップＳ１５に進み、待ち時間ｔ_ｉの処理待ちを行う。そして、待ち時間ｔ_ｉ経過後、次の圧縮符号化データに対する処理に進むため、ｉの値に１を加算し（すなわちｉ＋１とし）、ステップＳ１１に進み、処理を繰り返す。

一方、全ての圧縮符号化データの配信が終了した場合、処理は終了する。

以上のような処理により、映像符号化データの個々の断片データを一斉に送信することなく、適切なタイミングを調整しながら配信を行なう。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば以下のような効果が得られる。

映像データパケットの発生元である映像配信装置でパケット伝送量のばらつきを調整するため、瞬間的な大きなビットレートの発生が抑制され、ネットワークで想定されるビットレートより低い平均ビットレートで符号化していてもパケットが破棄されてしまうという問題が緩和される。

（Ｂ）第２の実施形態
次に、本発明に係る情報配信装置、中継装置、情報配信プログラム、中継プログラム、情報配信方法、中継方法及び情報配信システムの第２の実施形態を、図面を参照して説明する。

（Ｂ−１）第２の実施形態の構成
図４は、第２の実施形態に係る映像配信システムの全体構成を示す構成図である。

図４において、第２の実施形態に係る映像配信システム２０は、複数（図４では３台）の映像配信装置２００−１〜２００−３、中継サーバー２０１、複数（図４では３台）のユーザー端末２０２−１〜２０２−３を有する。

なお、各映像配信装置２００−１〜２００−３に共通する構成及び処理を説明する場合には、映像配信装置２００と表記して説明する。各ユーザー端末２０２−１〜２０２−３についても同様に、ユーザー端末２０２と表記する。

映像配信装置２００は、第１の実施形態で説明した図１の映像配信装置２００と同一又は対応する装置である。つまり、映像配信装置２００は、入力された映像データを圧縮符号化して、圧縮符号化データを含む映像情報パケットを送信するものである。ここで、映像配信装置２００は、図１の内部構成を備え、フレームを複数の断片データに分割し、各断片データを圧縮符号化する。また、映像配信装置２００において、送信タイミング調整部１０２が断片化した各圧縮符号化データの送信タイミングを調整し（すなわち、各圧縮符号化データの待ち時間を算出し）、待ち時間の時間差で次の圧縮符号化データを含むパケットを送信する。

ユーザー端末２０２は、映像配信装置２００に対して映像配信を要求する端末である。ユーザー端末２０２は、ネットワークとの通信機能を搭載した装置であり、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、携帯端末、ゲーム端末、ウェラブル端末等を適用できる。

中継サーバー２０１は、映像配信装置２００とユーザー端末２０２との間に介在して、ユーザー端末２０２から取得した配信要求を、対応する映像を配信可能な映像配信装置２００に送信したり、映像配信装置２００から取得した映像情報パケットをユーザー端末２０２に送信したりするものである。

図５は、第２の実施形態に係る中継サーバー２０１の内部構成を示す内部構成図である。

図５において、第２の実施形態に係る中継サーバー２０１は、ユーザー端末側送受信部３０１、配信要求管理部３０２、映像配信装置側送受信部３０３、複製部３０４、圧縮符号化データ整列部３０５、送信タイミング調整部３０６を有する。

ユーザー端末側送受信部３０１は、ネットワークを通じて、ユーザー端末２０２との間で情報を授受するものである。ユーザー端末側送受信部３０１は、ユーザー端末２０２から映像配信要求を受信すると、受信した配信要求管理部３０２に与える。また、ユーザー端末側送受信部３０１は、送信タイミング調整部３０６から取得した各圧縮符号化データを含む映像情報パケットを、映像配信要求元のユーザー端末２０２に送信する。

配信要求管理部３０２は、ユーザー端末２０２からの映像配信要求を管理するものである。配信要求管理部３０２は、例えば、どの映像（例えばコンテンツ等）をどの映像配信装置２００が配信しているかを認識するため、映像識別情報と、映像配信装置２００とを対応付けた管理情報を保持している。

また、配信要求管理部３０２は、ユーザー端末２０２から映像配信要求を取得すると、例えば、映像配信要求したユーザーの識別情報、ユーザー端末２０２の識別情報、映像の識別情報、映像配信装置２００の識別情報、ユーザー端末２０２が利用する配信経路の帯域幅（帯域情報）等を対応付けた配信要求情報を保持する。

この実施形態では、同一の映像ストリームに対して、複数のユーザー端末２０２が配信要求をしているか否かを判断するために、配信要求情報を管理する。従って、配信要求管理部３０２が管理する配信要求情報の構成は、上記に限定されるものではない。

また、配信要求管理部３０２は、ユーザー端末２０２からの映像配信要求を対応する映像配信装置２００に送信するため、映像配信装置側送受信部３０３に映像配信要求を与える。

映像配信装置側送受信部３０３は、ネットワークを通じて、映像配信装置２００との間で情報を授受するものである。映像配信装置側送受信部３０３は、配信要求管理部３０２を通じて、ユーザー端末２０２からの映像配信要求を、対応する映像配信装置２００に送信する。

また、映像配信装置側送受信部３０３、映像配信装置２００から映像情報パケットを受信し、受信した映像情報パケットに含まれている映像データ（圧縮符号化データ）を抽出し、圧縮符号化データ整列部３０５に与える。このとき、例えば、同一の映像ストリームに対して、複数のユーザー端末２０２から配信要求がある場合には、映像データ（圧縮符号化データ）をコピーするため、映像データを複製部３０４に与える。

複製部３０４は、配信要求管理部３０２の配信要求情報に基づいて、同一の映像ストリームに対して、複数の配信要求がある場合に、受信した映像ストリームを複製して圧縮符号化データ整列部３０５に与える。

圧縮符号化データ整列部３０５は、映像配信装置側送受信部３０３から受信した映像ストリームに含まれる各圧縮符号化データ（映像の断片データを圧縮符号化したデータ）を順番に整列させる。また、複製部３０４により映像ストリームが複製された場合も、複製された映像ストリームに含まれている各圧縮符号化データを順番に整列させる。ここで、整列の順番は任意であるが、例えば、各圧縮符号化データは、フレームを断片化した順番を示す番号が付されており、圧縮符号化データ整列部３０５は、この順番を示す番号に基づいて各圧縮符号化データを整列させる。

送信タイミング調整部３０６は、圧縮符号化データ整列部３０５により整列された各圧縮符号化データの送信タイミングを、断片データ毎に調整するものである。

送信タイミング調整部３０６による各断片データの送信タイミングの調整方法は、第１の実施形態の送信タイミング調整部１０２と同様に、断片データのデータサイズに比例する待ち時間を断片データ毎に算出し、各断片データの待ち時間だけ次の断片データの送信を待機させ、各断片データを順番に送信する。

送信タイミング調整部３０６は、圧縮符号化された各断片データを、各断片データの待ち時間だけ保持するバッファ３０６ａを有する。バッファ３０６ａは、送信タイミング調整部３０６により算出された待ち時間の間に圧縮符号化データ整列部３０５から与えられた各断片データを保持し、待ち時間が経過すると、その断片データをユーザー端末側送受信部３０１に与える。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る映像配信システム２０における情報配信処理の動作を、図面を参照しながら説明する。

図４では、映像配信システム２０が、３台の映像配信装置２００−１〜２００−３、３台のユーザー端末２０２−１〜２０２−３を有する場合を例示する。

図４において、各ユーザー端末２０２−１〜２０２−３は、所望の映像を配信する映像配信装置２００−１〜２００−３に対して、映像配信要求を送信する。

中継サーバー２０１では、ユーザー端末側送受信部３０１が各ユーザー端末２０２−１〜２０２−３からの映像配信要求を受信し、配信要求管理部３０２が、受信した各映像配信要求に基づいて、映像配信要求したユーザーの識別情報、ユーザー端末２０２の識別情報、映像の識別情報、映像配信装置２００の識別情報等を対応付けた配信要求情報を保持する。

中継サーバー２０１では、映像配信装置側送受信部３０３が、配信要求管理部３０２を通じて取得した各映像配信要求を、対応する映像配信装置２００−１〜２００−３に送信する。

各映像配信装置２００−１〜２００−３は、第１の実施形態と同様に、例えば、撮像装置（ビデオカメラ等）の映像データが入力される。

各映像配信装置２００−１〜２００−３では、入力された映像データのフレームを複数に分割して得た各断片データを圧縮符号化し、各圧縮符号化データの送信タイミングを調整してネットワークに送信する。これにより、第１の実施形態の映像配信装置１００と同様に、単一の映像ストリームのピークビットレートを低減することができる。

ここで、各映像配信装置２００−１〜２００−３では、各映像配信装置２００−１〜２００−３のイントラフレームの送信タイミングが同じタイミングとならないように、送信タイミングを調整する。

例えば、各映像配信装置２００−１〜２００−３では、送信タイミング調整部１０２が、映像配信開始前に、０秒からイントラフレーム間隔時間長までの間のランダムな待ち時間を、映像データの先頭に設定する。つまり、配信する映像データの先頭に上記ランダムな待ち時間を設定する。より具体的には、各映像配信装置２００において、図１の映像符号化部１０１における映像符号化開始前の待ち時間を調整することで実現できる。また別の方法として、各映像配信装置２００において、図１の映像符号化部１０１の入力側に映像データを保持するバッファを設けたり、又は、図１の映像符号化部１０１と送信タイミング調整部１０２との間にバッファを設けたりしてもよい。これによって、イントラフレームのタイミングを各映像配信装置２００−１〜２００−３毎にずらすことができる。また例えば、各映像配信装置２００−１〜２００−３のイントラフレーム間隔が異なる間隔となるよう設定するようにしてもよい。

中継サーバー２０１では、各映像配信装置２００−１〜２００−３からの映像ストリームが受信される。

中継サーバー２０１において、配信要求管理部３０２は、配信要求情報に基づいて、各ユーザー端末２０２−１〜２０２−３が配信要求する映像を管理している。このとき、同一の映像ストリームに対して複数のユーザー端末２０２−１〜２０２−３が配信要求をしているか否かを判断する。

そして、同じ映像配信装置２００からの映像ストリームを複数のユーザー端末２０２−１〜２０２−３が要求している場合は、複製部３０４が映像ストリームを複製して、各ユーザー端末２０２−１〜２０２−３に対して送信する。

ここで、同じ映像ストリームを複製する場合、この映像データのイントラフレームの送信タイミングは全く同じである。すなわち、同一の複数の映像データのイントラフレームが同じタイミングで発生することになり、ピークビットレートが非常に大きいものとなってしまう。

そこで、第２の実施形態では、中継サーバー２０１において、送信タイミング調整部３０６が、単一の映像ストリームに含まれる各圧縮符号化データの送信タイミングの調整に加えて、複製された映像ストリームに含まれる各圧縮符号化データの送信タイミングも調整する。

例えば、中継サーバー２０１において、圧縮符号化データ整列部３０５は、各映像配信装置２００−１〜２００−３から受信した各圧縮符号化データを順番に整列させる。同様に、圧縮符号化データ整列部３０５は、複製部３０４により複製された圧縮符号化データを順番に整列させる。

送信タイミング調整部３０６は、同一の複数の映像ストリームのそれぞれの送信タイミングが重ならないように送信タイミングを調整する。つまり、送信タイミング調整部３０６は、配信要求管理部３０２により管理されるユーザー端末２０２−１〜２０２−３の配信経路の帯域幅Ｂ_１、Ｂ_２、Ｂ_３［ｂｐｓ］と、ｉ番目の圧縮符号化データのデータサイズｃｉ[ｂｉｔ]とを用いて、式（１）に従って、ｉ番目の圧縮符号化データの送信後の待機時間ｔ_ｉを、各ユーザー端末２０２−１〜２０２−３毎に算出する。

ここで、各ユーザー端末２０２−１〜２０２−３が複数の場所に散在しており、各ユーザー端末２０２−１〜２０２−３が同じネットワーク回線を経由する場合、その同じネットワーク回線を経由するユーザー端末２０２−１〜２０２−３をグループ化し、それぞれのグループごとに許容されるピークビットレートをＢ_ｊ［ｂｐｓ］を設けて、グループ毎にグループ内での送信タイミングの調整を行うようにしてもよい。

以上のように、配信された映像ストリームをユーザー端末２０２−１〜２０２−３で受信することによって、映像配信システムを実現する。

（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば以下のような効果が得られる。

複数のユーザー端末が、複数の映像情報からの映像ストリームの配信を受けるような映像配信システムにおいて、個々の映像ストリームの瞬間的な大きなビットレートの発生が抑制されるとともに、複数の映像ストリーム同士の間でもビットレートが均一化されるため、ネットワークで想定されるビットレートより低い合計の平均ビットレートで符号化していてもパケットが破棄されてしまうという問題が緩和される。

（Ｃ）他の実施形態
本発明は上記第１及び第２の実施形態に限定されず、その他のさまざまな映像配信装置に利用可能である。

例えば、映像情報として音声データを含むような情報を配信する場合や、それ以外にも文書やプレゼンテーショシ等の情報を配信するなど、映像情報を含む様々なデータの配信に利用可能である。

また、ＩＰｖ４やＵＤＰのような特定のプロトコルに限定されず、ＩＰｖ６などのそのほかのネットワークプロトコルやトランスポートプロトコルを用いるなど様々な映像配信システムに適用可能である。

本発明は、上記構成を有するような装置として構成する場合や、上記処理を実現するようなプログラムとしても実施可能である。

１０及び２０…映像配信システム、１００及び２００（２００−１〜２００−３）…映像配信装置、２０１…中継サーバー、２０２（２０２−１〜２０２−３）…ユーザー端末、
１０１…映像符号化部、１０２…送信タイミング調整部、１０３…送信部、１０２ａ…バッファ、
３０１…ユーザー端末側送受信部、３０２…配信要求管理部、３０３…映像配信装置側送受信部、３０４…複製部、３０５…圧縮符号化データ整列部、３０６…送信タイミング調整部、３０６ａ…バッファ。

Claims (17)

1. 映像データを含む配信情報を配信する情報配信装置において、
   映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、
   上記送信タイミング調整手段により調整された送信タイミングに従って、上記圧縮符号化データを含む配信情報を送信する送信手段と
   を備え、
   上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定する
   ことを特徴とする情報配信装置。
2. 上記送信タイミング調整手段が、上記各圧縮符号化データのデータサイズと配信経路の最大帯域とに基づいて、当該最大帯域で伝送するのに要する待ち時間を設定することを特徴とする請求項１に記載の情報配信装置。
3. 上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズを、配信経路の最大ビットレートで除算して得た時間を上記待ち時間とすることを特徴とする請求項２に記載の情報配信装置。
4. 入力された映像データを複数の断片データに分割し、各断片データを圧縮符号化する圧縮符号化手段を備え、
   上記送信タイミング調整手段が、上記圧縮符号化手段により圧縮符号化された各圧縮符号化データの送信タイミングを調整する
   ことを特徴とする請求項１〜３のいずれかに記載の情報配信装置。
5. 上記圧縮符号化手段が、映像データに含まれるフレームを所定の断片化単位毎に分割して断片データを形成し、各断片データを圧縮符号化することを特徴とする請求項４に記載の情報配信装置。
6. 予め圧縮符号化された映像データを蓄積する蓄積手段を備え、
   上記送信タイミング調整手段が、上記蓄積手段から取得した各圧縮符号化データの送信タイミングを調整する
   ことを特徴とする請求項１〜３のいずれかに記載の情報配信装置。
7. 上記配信情報が、映像データと、音響データとを含む情報であることを特徴とする請求項１〜６のいずれかに記載の情報配信装置。
8. １又は複数の情報配信装置から取得した配信情報を、配信要求元の端末に中継する中継装置において、
   上記配信情報に含まれている映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、
   上記送信タイミング調整手段により調整された送信タイミングに従って、上記各圧縮符号化データを含む配信情報を、上記配信要求元の端末に送信する送信手段と
   を備え、
   上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定する
   ことを特徴とする中継装置。
9. 同一の配信情報に対して複数の配信要求がある場合に、上記配信情報に含まれている各圧縮符号化データを複製する複製手段と、
   上記各情報配信装置から受信した配信情報の各圧縮符号化データ及び上記複製手段により複製された各圧縮符号化データを整列させるデータ整列手段と
   を備え、
   上記送信タイミング調整手段が、上記データ整列手段により整列された各圧縮符号化データの送信タイミングを、配信要求元の端末毎に調整する
   ことを特徴とする請求項８に記載の中継装置。
10. 同一の配信情報に対して複数の配信要求がある場合に、上記配信情報に含まれている各圧縮符号化データを複製する複製手段と、
    上記各情報配信装置から受信した配信情報の各圧縮符号化データ及び上記複製手段により複製された各圧縮符号化データを整列させるデータ整列手段と
    を備え、
    上記送信タイミング調整手段が、配信要求元の端末の配信経路毎にグループ化し、上記データ整列手段により整列された各圧縮符号化データの送信タイミングを、グループ毎に調整する
    ことを特徴とする請求項８に記載の中継装置。
11. 請求項１〜７のいずれかに記載の複数の情報配信装置と、
    請求項８〜１０のいずれかに記載の中継装置と
    を備えることを特徴とする情報配信システム。
12. 上記各情報配信装置は、映像データのイントラフレームの送信タイミングが相互に異なるように送信タイミングを調整して配信情報を配信することを特徴とする請求項１１に記載の情報配信システム。
13. 上記各情報配信装置が、映像配信開始前に、０秒からイントラフレームの間隔時間長までの間のランダムな待ち時間を設定して、配信情報を配信することを特徴とする請求項１２に記載の情報配信システム。
14. 映像データを含む配信情報を配信する情報配信方法において、
    コンピュータが、送信タイミング調整手段と送信手段を備え、
    送信タイミング調整手段が、映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整し、
    送信手段が、上記送信タイミング調整手段により調整された送信タイミングに従って、上記各圧縮符号化データを含む配信情報を送信し、
    上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定する
    ことを特徴とする情報配信方法。
15. １又は複数の情報配信装置から取得した配信情報を、配信要求元の端末に中継する中継方法において、
    コンピュータが、送信タイミング調整手段と送信手段を備え
    送信タイミング調整手段が、上記配信情報に含まれている映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整し、
    送信手段が、上記送信タイミング調整手段により調整された送信タイミングに従って、上記各圧縮符号化データを含む配信情報を、上記配信要求元の端末に送信し、
    上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定する
    ことを特徴とする中継方法。
16. 映像データを含む配信情報を配信する情報配信プログラムにおいて、
    コンピュータを
    映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、
    上記送信タイミング調整手段により調整された送信タイミングに従って、上記各圧縮符号化データを含む配信情報を送信する送信手段と
    して機能させ、
    上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定する
    ことを特徴とする情報配信プログラム。
17. １又は複数の情報配信装置から取得した配信情報を、配信要求元の端末に中継する中継プログラムにおいて、
    コンピュータを、
    上記配信情報に含まれている映像データの各フレームを所定の断片化単位毎に複数に分割して得られた各断片データの圧縮符号化データの送信タイミングを調整する送信タイミング調整手段と、
    上記送信タイミング調整手段により調整された送信タイミングに従って、上記各圧縮符号化データを含む配信情報を、上記配信要求元の端末に送信する送信手段と
    して機能させ、
    上記送信タイミング調整手段が、当該圧縮符号化データのデータサイズに応じて、当該圧縮符号化データの送信後、当該圧縮符号化データに後続する他の圧縮符号化データを送信するまでの待ち時間を設定する
    ことを特徴とする中継プログラム。
    

Images