JP3628008B2 - ビットストリーム切り替え制御方法、二次配信サーバ、及びそのプログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像や音声などビットストリームを配信する技術に関し、特にインターネットなどにおいて、複数のサーバから提供される映像や音声を初めとするビットストリームを切り替えて配信するマルチストリーム切り替え技術に関する。
【０００２】
【従来の技術】
従来のインターネットでの一般的な映像中継を図２により説明する。図２において、２０１、２０２、…、２０ｍは配信サーバであり、それぞれ異なる映像を配信する。２１１、２１２、２１３、…、２１ｎはクライアントであり、サーバ２０１、２０２、…、２０ｍから配信された映像を再生する。サーバ２０１、…、２０ｍとクライアント２１１、…、２１ｎはネット手段２２０で結ばれている。ネット手段２２０はインターネットである。
【０００３】
従来のインターネット中継では、例えばクライアント２１１は映像を配信する配信サーバ２０１へ配信要求を発行し、その配信要求に基づいて配信サーバ２０１がクライアント２１１へユニキャスト若しくはマルチキャストで映像を送り始める。ここで、クライアントから映像の配信要求を出してから映像が配信されるまでの時間が応答遅延時間である。
【０００４】
一方、映像は細切れのパケットとして配信サーバ２０１からクライアント２１１へ送られる。インターネット経由の映像配信の場合、ネットワークの通信レートが変動するので、一定の速度で配信サーバ２０１からクライアント２１１へパケットが送れない場合がある。例えば、ネットワークで配信遅延が発生した場合、配信サーバ２０１からクライアント２１１へパケットが所定の時間以内に到着しなくなり、最悪の場合、クライアント２１１では映像再生が途切れる。
【０００５】
図３は、映像再生がクライアントで途切れないようにするための従来方法を説明する図である。図３において、３００はクライアントが具備するメモリバッファであり、３０１、３０２、３０３は配信サーバから細切れに送られてくるパケットの映像である。
【０００６】
映像再生開始時、クライアントでは、キュー型のメモリバッファ３００に、一旦、パケット化された映像３０１、３０２、３０３、…を溜める。そして、メモリバッファ３００中の映像が一定量溜ったとき、すなわちメモリ蓄積量が再生開始閾値を越えたときから、メモリバッファ３００中の映像を先頭から読み出し、再生し始める。配信サーバから送られてくる映像のパケットは必ずメモリバッファ経由で再生されるので、パケットが到着してメモリバッファが空にならないようにすれば、映像再生が途切れなくなる。
【０００７】
【発明が解決しようとする課題】
従来のインターネットでの映像中継では、クライアントはネットワークを通して配信サーバに映像を要求し、配信サーバから映像の配信を受けてからメモリバッファ経由で、再生しているため、応答遅延時間及び、映像がメモリバッファに一定量溜るまでの時間だけ、再生開始を待たざるを得なかった。特に、複数のサーバからの映像を切り替えて再生するようなマルチストリーム型の映像再生では、クライアントは映像切り替えの度に、所望の映像を配信する配信サーバに配信要求をし、配信が開始された後、映像を溜めてから映像再生を開始するので、切り替えた際に一旦画面で再生される映像がなくなりブラックアウトするなど、切り替えを境に映像が途切れ、再生が待たされるという問題があった。
【０００８】
本発明の目的は、インターネット中継などにおいて、クライアントが複数の配信サーバからの映像等のビットストリームを切り替えて再生する場合、切り替えの際に途切れなく、シームレスに繋がるマルチストリーム再生を可能にすることにある。
【０００９】
【課題を解決するための手段】
本発明における基本的なシステム構成を図１を用いて説明する。図１において、１０１、１０２、…、１０ｍは配信サーバであり、それぞれ異なる映像を配信する。１１１、１１２、１１３、…、１１ｎはクライアントであり、配信サーバ１０１、…、１０ｍから配信された映像を再生する。１２１、１２２、１２３、…、１２ｎは二次配信サーバであり、配信サーバ１０１、…、１０ｍから配信された映像をクライアント１１１、…１１ｎへ中継する。
【００１０】
配信サーバ１０１、…、１０ｍと二次配信サーバ１２１、…、１２ｎはネット手段１３０で結ばれている。また、二次配信サーバ１２１、…、１２ｎとクライアント１１１、…、１１ｎはネット手段１３１で結ばれている。ネット手段１３０、１３１は例えばインターネットであり、インターネット技術を用いたＩＰネットワークでもよいし、ＩＰ以外のプロトコルで通信するネットワークであっても構わない。さらに、ネット手段１３０は有線、無線の放送、例えばデジタル放送であっても構わない。
【００１１】
二次配信サーバ１２ｘとクライアント１０ｘ（ｘ＝１、…、ｎ）は１対１に対応している。例えばクライアント１１１が、例えば配信サーバ１０１が配信している映像を要求する場合、まず、二次配信サーバ１２１へ配信要求を発行する。二次配信サーバ１２１は配信サーバ１０１へ映像要求を中継し、結果として配信サーバ１０１から二次配信サーバ１２１へ映像が配信される。二次配信サーバ１２１へ送られてくる映像はクライアント１１１へ中継され、クライアント１１１で映像視聴が始まる。
【００１２】
ここで、クライアント１１１で再生している映像を、配信サーバ１０１にて配信される映像から、例えば配信サーバ１０２にて配信される映像に切り替える場合について説明する。
【００１３】
クライアント１１１は二次配信サーバ１２１へ映像の切り替え要求を発行する。映像切り替え要求については、予め映像切り替えがスケジュールされているときは二次配信サーバ１２１でそのスケジュールを管理していてもよい。二次配信サーバ１２１はクライアント１１１からの要求若しくはスケジュールに基づき、配信サーバ１０２へ映像配信要求を発行する。このとき、二次配信サーバ１２１では、クライアント１１１に対する配信サーバ１０１からの映像配信を、少なくとも配信サーバ１０２からの映像配信が始まるまでは継続する。そして、配信サーバ１０２から映像を受け始めたなら、二次配信サーバ１２１は、クライアント１１１への配信映像を、配信サーバ１０１からの映像から配信サーバ１０２からの映像に切り替える。
【００１４】
以上の処理で、映像切り替え時にクライアント１１１では、二次配信サーバ１２１との切断接続はしないので応答遅延はなく、また、メモリバッファをクリアしていないので、結果として映像が途切れることなく、配信映像が切り替えられる。
【００１５】
【発明の実施の形態】
以下、二、三の実施の形態について図４乃至図６により具体的に説明する。
【００１６】
図４は第一の実施形態のシステム構成図である。図４において、４０１、４０２、…、４０ｍは配信サーバであり、それぞれ異なる映像や音声を始めとするビットストリームを配信する。ここでは、映像を配信するとする。４１１はクライアントであり、配信された映像を再生する。４２１は二次配信サーバであり、配信サーバ４０１、４０２、…、４０ｍから配信された映像をクライアント４１１へ中継する。４４１は情報サーバであり、配信サーバ４０１、…、４０ｍで配信される映像に関する情報を二次配信サーバ４２１へ配信する。４３０及び４３１及び４３２はネット手段であり、それぞれ配信サーバ４０１、…、４０ｍと二次配信サーバ４２１、二次配信サーバ４２１とクライアント４１１、情報サーバ４４１と二次配信サーバ４２１とを結ぶ。これらは、例えばインターネットである。なお、ネット手段４３０、４３１、４３２は同じものであっても構わない。
【００１７】
二次配信サーバ４２１は受信部４２１１、配信部４２１２、制御部４２１３、スケジュールデータベース（スケジュールＤＢ）４２１４を具備する。受信部４２１１は配信サーバ４０１、…、４０ｍからの映像を受信する。配信部４２１２は受信部４２１１で受信した映像をクライアント４１１へ配信する。制御部４２１３は、受信部４２１１を制御し、クライアント４１１へ配信する映像を選択する。スケジュールＤＢ４２１４はクライアント４１１へ配信する映像のスケジュールを管理する。
【００１８】
二次配信サーバ４２１が、配信サーバ４０１、…、４０ｍから配信される映像を、クライアント４１１からの要求及び情報サーバ４４１からの配信サーバ４０１、…、４０ｍで配信される映像に関する情報に基づき、切り替える動作について説明する。
【００１９】
配信サーバ４０１、…、４０ｍから配信される映像が、例えばサッカーなどのスポーツ中継のマルチアングル映像であるとし、クライアント４１１は特定の選手Ａを追い掛けて再生するようなカメラ切り替えを要求するとする。また、情報サーバ４４１からは、配信サーバ４０１、…、４０ｍが配信している映像に映っている選手を情報として配信されているとする。
【００２０】
クライアント４１１は、二次配信サーバ４２１へ、ネット手段４３１を通じて、配信を希望する映像に関する意味情報からなる配信要求として、選手Ａを追い掛けてカメラ切り替えをしたいという要求を発行する。この要求は、二次配信サーバ４２１のスケジュールＤＢ４２１４へ記録される。なお、クライアント４１１が二次配信サーバ４２１へ要求を発行するタイミングは中継が始まる前でも構わない。
【００２１】
二次配信サーバ４２１では、制御部４２１３がスケジュールＤＢ４２１４中にある要求と情報サーバ４４１から配信される情報に基づき、受信部４２１１で受信する映像を制御し選択する。例えば、情報サーバ４４１から配信される情報として、配信サーバ４０１が配信している映像に選手Ａが映っていると記述されていれば、制御部４２１３は、受信部４２１１に対して、配信サーバ４０１からの映像の配信を受けるように制御する。受信部４２１１は配信サーバ４０１へ映像配信要求を発行し、それによって配信された映像を配信部４２１２へ送り、配信部４２１２はネット手段４３１を経由してクライアント４１１へその映像を配信する。
【００２２】
次のタイミングで、情報サーバ４４１から配信される情報として、例えば配信サーバ４０２から配信される映像に選手Ａが映っているという記述があれば、制御部４２１３の制御に基づき、受信部４２１１は配信サーバ４０２へ映像を要求する。その間も、受信部４２１１では、配信サーバ４０１からの映像の受信を続行し、配信部４２１２を介してクライアントへ配信し続ける。そして、配信サーバ４０２からの映像が配信し始めると、受信部４２１１は、配信サーバ４０２からの映像を配信部４２１２へ送り始め、同時に配信サーバ４０１へ切断要求を発行する。
【００２３】
なお、受信部４２１１で、配信サーバ４０１、…、４０ｍから配信されている映像を常時全て受信していても構わない。その場合、受信部４２１１は、切り替えの度に所望の配信サーバに映像配信要求や切断要求を発行せずに、制御部４２１３の制御に基づき出力映像の切り替え処理を行うことになる。
【００２４】
ある時点でクライアント４１１が得点ボードを見たいなど、予めスケジュールＤＢ４２１４に設定された要求と異なる要求を発行した場合は、その要求を二次配信サーバ４２１の制御部４２１３へ映像切り替え要求として発行する。その要求に応じて、制御部４２１３は受信部４２１１を制御する。この場合も、受信部４２１１は上記と同様に配信映像を切り替え、配信部４２１２及びネット手段４３１を通じてクライアント４１１へ配信する。
【００２５】
上記二次配信サーバ４２１の動作により、クライアント４１１の映像再生が途切れることなく、予め設定した条件、例えば特定の選手を追い掛けて映像切り替えをすることができ、またスケジュールに割り込んでユーザが設定する映像切り替えにも対応可能となる。
【００２６】
図５は本発明の第二の実施形態のシステム構成図である。図５において、５０１は配信サーバであり、複数の映像（一般にはビットストリーム）をクライアントの要求に基づき切り替えて配信する。５１１はクライアントであり、配信された映像を再生する。５４１は情報サーバであり、配信サーバ５０１で入力される複数の映像に関する情報を配信する。５３１はネット手段であり、配信サーバ５０１とクライアント５１１を結ぶ。これは、例えばインターネットである。５３２はネット手段であり、情報サーバ５４１と配信サーバ５０１を結ぶ。これは、インターネット、その他の通信網などである。また、ネット手段５３１、５３２は同じ手段でも構わない。また、情報サーバ５４１と配信サーバ５０１は直接接続されていても構わないし、配信サーバ５０１の一部として情報サーバ５４１の機能を実現しても構わない。
【００２７】
配信サーバ５０１は入力部５０１１、５０１ｍ、選択部５０２１、配信部５０２２、制御部５０２３、スケジュールＤＢ５０２４を具備する。入力部５０１１、５０１２、…、５０１ｍは、それぞれ異なる映像を入力する。選択部５０２１は入力部５０１１、…、５０１ｍから入力された複数の映像から１つの映像を出力する。配信部５０２２は、選択部５０２１で選択された映像をクライアント５１１へ配信する。制御部５０２３は、選択部５０２１の映像選択を制御する。スケジュールＤＢ５０２４は、クライアント５１１へ配信する映像のスケジュールを管理する。
【００２８】
図５では、クライアントは１つだけしか示していないが、複数のクライアントが配信サーバ５０１に接続していても構わない。この場合、選択部５０２１及び配信部５０２２が組になって複数存在し、制御部５０２３の制御に基づき複数のクライアントへ映像を配信する。
【００２９】
図５は、図４の二次配信サーバの機能を配信サーバに組み込んだ実施形態である。以下、図５により、クライアント５１１の要求映像を予め配信サーバ５０１でスケジュールして配信する動作について説明する。
【００３０】
クライアント５１１はネット手段５３１を通して配信サーバ５０１に映像要求を行う。映像要求では、例えば特定の選手が映っている映像を追い掛けるなどのスケジュールを指定する。スケジュールはスケジュールＤＢ５０２４に記録される。制御部５０２３は、スケジュールＤＢ５０２４中のスケジュールと情報サーバ５４１からネット手段５３２経由で配信される映像に関する情報をもとにして、選択部５０２１を制御し、入力部５０１１、…、５０１ｍから入力される映像からクライアント５１１へ配信する映像を選択せしめる。選択部５０２１で選択された映像は配信部５０２２からネット手段５３１を経由してクライアント５１１へ配信される。
【００３１】
配信する映像を切り替えるときは、制御部５０２３が同様に選択部５０２１を制御し、入力源を入力部５０１１、…、５０１ｍから選択し直して、配信部４０２２へ送る映像を変える。これにより配信映像の切り替えが完了する。
【００３２】
上記配信サーバ５０１の動作により、クライアント５１１は映像切り替え時も配信サーバ５０１からの映像配信を受け続けるので、再生映像が途切れることなく所望の映像切り替えが実現できる。
【００３３】
図６は本発明の第三の実施形態のシステム構成図である。図６において、６０１、６０２、…、６０ｍは配信サーバであり、それぞれ異なる映像（一般にはビットストリーム）を配信する。６２１はクライアントであり、配信された映像を再生する。６４１は情報サーバであり、配信サーバ６０１、６０２、…、６０ｍで配信される映像に関する情報を配信する。６３０はネット手段であり、配信サーバ６０１、…、６０ｍとクライアント６２１を結ぶ。６３１はネット手段であり、情報サーバ６４１とクライアント６２１を結ぶ。ネット手段６３０、６３１は、例えばインターネットであり、同じものであっても異なるものであっても構わない。
【００３４】
図６では、クライアントは１つだけしか示していないが、複数のクライアントが配信サーバ６０１、…、６０ｍに接続していても構わない。
【００３５】
クライアント６２１は、受信部６２１１、復号化部６２１２、表示部６２１３、制御部６２１４、設定部６２１５、スケジュールＤＢ６２１６を具備する。受信部６２１１は配信サーバ６０１、…６０ｍからの映像を受信する。復号化部６２１２は、配信された映像を復号化する。この復号化部６２１２にはメモリバッファを含む。表示部６２１３は復号化された映像を表示する。制御部６２１４は受信部６２１１を制御し、該クライアント６２１へ配信される映像を選択する。スケジュールＤＢ６２１６は該クライアント６２１へ配信される映像のスケジュールを管理する。設定部６２１５はユーザによるスケジュールの設定を行うものである。
【００３６】
図６は、図４の二次配信サーバの機能をクライアントに組み込んだ実施形態である。以下、図６により、配信サーバ６０１、…、６０ｍから配信される映像をクライアント６２１でスケジュールして再生する動作について説明する。
【００３７】
クライアント６２１では、まず、ユーザが設定部６２１５で再生映像のスケジュールを設定する。例えば、配信サーバ６０１、…、６０ｍから配信される映像がスポーツ中継のマルチアングル映像であるとき、特定の選手が映っている映像を追い掛けるなどのスケジュールを設定する。設定したスケジュールはスケジュールＤＢ６２１６に記録する。制御部６２１４は、スケジュールＤＢ６２１６のスケジュールと情報サーバ６４１からネット手段６３１経由で配信される情報に基づき、受信部６２１１を制御し、受信する映像を選択する。
【００３８】
例えば、情報サーバ６４１から配信されている情報として、配信サーバ６０１から配信される映像に所望の選手が映っていると記述されていれば、制御部６２１４は、受信部６２１１に対して、配信サーバ６０１からの映像の配信を受けるように制御する。受信部６２１１は、配信サーバ６０１へ映像の配信要求を発行し、配信サーバ６０１から配信された映像を復号化部６２１２に送る。復号化部６２１２は、受信部６２１１から送られた映像をバッファリング処理及び復号化処理を施し、表示部６２１３で再生する。
【００３９】
次のタイミングで、情報サーバ６４１から配信される情報として、配信サーバ６０２から配信される映像に所望の選手が映っているという記述があれば、制御部６２１４の制御に基づき、受信部６２１１は配信サーバ６０２へ映像を要求する。その間も、受信部６２１１では、配信サーバ６０１からの映像の受信を続行し、復号化部６２１２へ送り続ける。そして、配信サーバ６０２からの映像が配信し始めると、受信部６２１１は、配信サーバ６０２からの映像を復号化部６２１２へ送り始め、配信サーバ６０１へ切断要求を発行する。復号化部６２１２はメモリバッファをクリアせずにバッファリング処理、復号化処理を行う。
【００４０】
なお、受信部６２１１では、配信サーバ６０１、…、６０ｍから配信されている映像を常時全て受信していても構わない。その場合、受信部６２１１は、切り替えの度に所望の配信サーバに映像配信要求や切断要求を発行せずに、出力映像の切り替え処理を行うことになる。
【００４１】
ある時点で、ユーザが直接、例えば配信サーバ６０ｍから配信される映像を見たいなど、予め設定した要求と異なる要求を設定部６２１５で設定した場合は、その要求を制御部６２１４へ切り替え要求として発行する。制御部６２１４は、その要求に応じて受信部６２１１を制御する。この場合も、受信部６２１１は上記と同様に受信映像を切り替え、復号化部６２１２で所定の処理を施した後、表示部６２１３で再生する。
【００４２】
上記クライアント６２１の動作により、クライアントにおいて再生映像が途切れることなく所望の映像切り替えが実現できる。
【００４３】
なお、図４乃至図６において、情報サーバが、各配信サーバから配信されている映像に関する情報を、二次配信サーバやクライアント等の制御部に提供する方法は任意の方法でよいが、簡単には、例えば、各配信サーバから配信される映像をオペレータが観測して、その映像に関する記述を情報サーバに入力し、これを情報サーバから提供する情報とすればよい。
【００４４】
以上、本発明の実施形態について説明したが、本発明は、これらに限定されるものでないことは云うまでもない。また、図４乃至図６で説明した二次配信サーバ、配信サーバあるいはクライアント内の処理機能は、コンピュータで実行可能なプログラムとして、あらかじめコンピュータ読み取り可能な記録媒体、例えば、フロッピーディスク、ＣＤ−ＲＯＭ、メモリカードなどに記録して提供することも可能である。
【００４５】
【発明の効果】
以上のように、本発明によれば、配信サーバから配信される複数の映像を、一旦クライアントに対応する二次配信サーバで受け、該二次配信サーバがクライアントからの要求と情報サーバからの情報に基づき、複数の配信サーバからの配信映像をシームレスに切り替え、クライアントへ配信することにより、クライアントでは、二次配信サーバから配信されている映像を再生し続けているだけで、映像切り替えが完了し、結果として、映像再生が途切れることなく、映像切り替えができるという効果がある。
【図面の簡単な説明】
【図１】本発明における基本的システム構成図を示したものである。
【図２】従来の技術を用いたシステム構成図を示したものである。
【図３】クライアントでの映像再生について説明するための図である。
【図４】本発明の第一の実施形態のシステム構成図を示したものである。
【図５】本発明の第二の実施形態のシステム構成図を示したものである。
【図６】本発明の第三の実施形態のシステム構成図を示したものである。
【符号の説明】
４０１、４０２、…、４０ｍ 配信サーバ
４１１ クライアント
４２１ 二次配信サーバ
４２１１ 受信部
４２１２ 配信部
４２１３ 制御部
４２１４ スケジュールＤＢ
４３０、４３１、４３２ ネット手段
４４１ 情報サーバ
５０１ 配信サーバ
５０１１、５０１２、…、５０１ｍ 入力部
５０２１ 選択部
５０２２ 配信部
５０２３ 制御部
５０２４ スケジュールＤＢ
５１１ クライアント
５３１、５３２ ネット手段
５４１ 情報サーバ
６０１、６０２、…、６０ｍ 配信サーバ
６２１ クライアント
６２１１ 受信部
６２１２ 復号化部
６２１３ 表示部
６２１４ 制御部
６２１５ 設定部
６２１６ スケジュールＤＢ
６３０、５３１ ネット手段
６４１ 情報サーバ

Claims (3)

1. 複数の配信サーバから配信されるビットストリームを二次配信サーバが受信し、二次配信サーバが、受信したビットストリームを切り替えてクライアントに配信するためのビットストリーム切り替え制御方法であって、
   前記二次配信サーバは、
   クライアントから配信を希望するビットストリームに関する意味情報からなる配信要求を受信して記憶し、
   情報サーバから、各配信サーバで配信されるビットストリームに関する情報を受信し、
   前記情報サーバからの情報に、ある配信サーバ（以下、第１の配信サーバ）で配信しているビットストリームに前記クライアントから配信要求された情報を含むことが記述されていれば、第１の配信サーバへ配信要求を発行し、該第１の配信サーバからのビットストリームを受信して前記クライアントへ配信し、
   その後、前記情報サーバからの情報に、別の配信サーバ（以下、第２の配信サーバ）で配信しているビットストリームに前記クライアントから配信要求された情報を含むことが記述されていれば、第２の配信サーバへ配信要求を発行すると共に、前記第１の配信サーバからのビットストリームの受信を続行して前記クライアントへの配信を続け、前記第２の配信サーバからビットストリームの受信を開始すると、前記第１の配信サーバからのビットストリームと途切れなく繋げて、前記第２の配信サーバからのビットストリームの前記クライアントへの配信を開始し、同時に前記第１の配信サーバへ切断要求を発行する、
   ことを特徴とするビットストリーム切り替え制御方法。
2. ビットストリームを配信する複数の配信サーバと、前記配信サーバからのビットストリームを再生するクライアントとの間に、前記クライアントと一対一に対応して配置して用いる二次配信サーバであって、
   各配信サーバからのビットストリームを受信する受信手段と、前記受信手段で受信したビットストリームを前記クライアントへ配信する配信手段と、クライアントからの配信を希望するビットストリームに関する意味情報からなる配信要求を記憶する手段と、情報サーバから各配信サーバで配信されるビットストリームに関する情報を受信して、前記クライアントから配信要求された情報と前記情報サーバからの情報に基づき、前記受信手段を制御して該受信手段から前記配信手段へ転送するビットストリームを切り替える制御手段とを具備し、
   前記制御手段は、
   前記情報サーバからの情報に、ある配信サーバ（以下、第１の配信サーバ）で配信しているビットストリームに前記クライアントから配信要求された情報を含むことが記述されていれば、前記受信手段を制御して、第１配信サーバへ配信要求を発行し、該第１の配信サーバからのビットストリームを受信して前記配信手段へ転送せしめ、
   その後、前記情報サーバからの情報に、別の配信サーバ（以下、第２の配信サーバ）で配信しているビットストリームに前記クライアントから配信要求された情報を含むことが記述されていれば、前記受信手段を制御して、第２の配信サーバへ配信要求を発行すると共に、前記第１の配信サーバからのビットストリームの受信を続行して前記配信手段への転送を続け、前記第２の配信サーバからのビットストリームの受信を開始すると、前記第１の配信サーバからのビットストリームと途切れなく繋げて、前記第２の配信サーバからのビットストリームの前記配信手段への転送を開始し、同時に前記第１の配信サーバへ切断要求を発行せしめる、
   ことを特徴とする二次配信サーバ。
3. 請求項１に記載のビットストリーム切り替え制御方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images