JP4667419B2 - 分散型マルチメディアサーバシステムおよびそのマルチメディア情報蓄積・配信方法 - Google Patents

Description

本発明は、端末からの要求に応じて、要求されたマルチメディア情報を端末に配信、または、端末から送信されたマルチメディア情報を蓄積することが可能な分散型マルチメディアサーバシステムおよびそのマルチメディア情報蓄積・配信方法に関する。

従来の分散型マルチメディアサーバシステムの構成例として、特許文献１等に記載されたものがある。特許文献１に記載された分散型マルチメディアサーバシステムは、通信サーバモジュール、２個の蓄積サーバモジュールおよびローカルエリアネットワークを有している。マルチメディア情報の配信は次の手順で行われる。通信サーバモジュールが端末からの読み取り要求を受信し、要求されたマルチメディア情報の読み取り要求をローカルエリアネットワークを介して蓄積サーバモジュールに対して送信する。この読み出し要求を受信した蓄積サーバモジュールは、要求されたマルチメディア情報をローカルエリアネットワークを介して通信サーバモジュールに送信する。それを受信した通信サーバモジュールは、マルチメディア情報をくみ上げ、配信用のネットワークを通じて端末へ送信する。同様に、通信サーバモジュールはマルチメディア情報の読み出し要求を他方の蓄積サーバモジュールに対して送信し、蓄積サーバモジュールは要求されたマルチメディア情報を通信サーバモジュールに送信し、これを繰り返す。

非特許文献１、２（執筆者に本発明者の一部が含まれている）には、複数のバッファサーバと複数のディスクサーバをＩｎｆｉｎｉＢａｎｄ（非特許文献３参照）を用いた相互結合網で接続した分散型マルチメディアサーバシステムが記載されている。この分散型マルチメディアサーバシステムでは、マルチメディア情報の配信は次の手順で行われる。送信開始メッセージを受信したバッファサーバは先頭の映像フレームを格納しているディスクサーバに対して読み出し要求メッセージを送信する。読み出し要求を受信したディスクサーバはＲＡＩＤ（Redundant Array of Inexpesive Disk）から映像フレームを読み出し、ディスクサーバ内のバッファメモリにその映像フレームを格納し、バッファサーバに対して映像フレームを格納しているメモリ情報を応答メッセージにのせて通知する。以降、ディスクサーバは、疑似リアルタイムモジュールの機能を使って一定時間間隔で、自律的にＲＡＩＤからデータ読み出しを実行する。バッファサーバは、ディスクサーバから送られてきたメモリ情報を元に映像フレームをＲＤＭＡ（遠隔ダイレクトメモリアクセス）を使ってディスクサーバから読み出す。この処理と平行して、疑似リアルタイム制御モジュールの機能を使って、一定時間間隔で、映像フレームをパケット化して再生用の端末に送信する。疑似リアルタイム制御モジュールの機能により、一定時間後に、次の映像フレームが格納されているディスクサーバに対して読み出しの要求を行う。これを繰り返す。

特許第３４６１２７８号公報 小倉毅外５名、「ＩｎｆｉｎｉＢａｎｄを用いたＰＣクラスタ型高速ストリームサーバアーキテクチャ」、信学技報、Ｖｏｌ.１０５、Ｎｏ.８６、ｐｐ.３３−３６、発表日２００５／５／２７ 君山博之外５名、「ＰＣクラスタを用いたＩＰネットワークベースの非圧縮ＨＤＴＶ１０多重ストリームサーバ」、マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２００５）シンポジュウム予稿集、ｐｐ.７９７−８００（巻数、号なし）、発表日２００５／５／７ ＩＮＦＩＮＩＢＡＮＤ（ＳＭ） ＴＲＡＤＥ ＡＳＳＯＣＩＡＴＩＯＮ、[online]、［平成１７年５月６日検索］、インターネット＜http://www.Infinibandta.org/events/past/it_roadshow/fabric_tco_ibm.pdf＞ Ｍｙｒｉｎｅｔ Ｏｖｅｒｖｉｅｗ、[online]、［平成１７年５月６日検索］、インターネット＜http://www.myrinet.com/myrinet/overview/＞ 独立行政法人 産業技術総合研究所 先端情報計算センター、"ＡＩＳＴスーパークラスタ"、[online]、［平成１７年５月６日検索］、インターネット＜http://unit.aist.go.jp/tacc/superc1uster.html＞ Katsuhiko Fukazawa外３名、「Distributed Video Server Using New Striping Technique」、Proc. of SPIE Voice, Video and Data Communications、Ｖｏｌ．３２２８、ｐｐ．１４７−１５７、発表日１９９７／１１／４

非特許文献１、２、６に記載された分散型マルチメディアサーバシステムでは、複数のコンピュータ（サーバ）を高速な内部結合ネットワークで結んだクラスタ型の構成を採用している。そのため収容ユーザ数の増加などによりシステムの能力が不足した場合、システム全体の入れ替えではなく、システムを構成するディスクサーバ（非特許文献６ではStorage Server）とバッファサーバ（非特許文献６ではCommunication Server）をそれぞれ増やすことによって、その能力を増強することができるというメリットがある。

しかし、これらの文献に記載されているシステムでは、ディスクサーバに、どのような順番で蓄積するかを決定する手順を持ち合わせていないため、システム設定時に決定した順番に従ってその蓄積処理を行わなければならない。

そのため、システム設置時から収容ユーザが全体の能力を増強するために、これらのサーバを増やした場合、あらたに蓄積する順番を決定しなおすとともに、蓄積したマルチメディア情報を、再度、蓄積しなおす必要があり、簡単にサーバを増設することができなかった。

本発明の目的は、ディスクサーバの増設が簡単に実現できる分散型マルチメディアサーバシステムおよびそのマルチメディア情報蓄積・配信方法を提供することにある。

本明細書において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

第１の発明は、マルチメディア情報を蓄積し、端末からの再生要求に応じて、要求されたマルチメディア情報を配信する分散型マルチメディアサーバシステムであって、ネットワークまたはバスシステムによって互いに接続された第１のサーバと第２のサーバを有し、各第１のサーバは、それぞれ、使用する第２のサーバに対して、使用する第２のサーバの個数と当該第２のサーバが何番目であるのかを含む初期化要求を通知し、初期化要求を通知された第２のサーバは、該初期化要求に基づいて該第２のサーバ自体を初期化し、該初期化要求を通知した第１のサーバにＯＫを応答し、各第１のサーバは、それぞれ、使用する第２のサーバの個数と順番を管理し、各第１のサーバは、端末から受信したマルチメディア情報を、当該第１のサーバが管理する個数の第２のサーバに対して、当該第１のサーバが管理する順番で、循環的に転送し、第２のサーバは、第１のサーバから転送されたマルチメディア情報を記憶装置に蓄積する、ことを特徴とする。

第２の発明は、第１の発明において、各第１のサーバは、当該第１のサーバが管理する個数の第２のサーバから、当該第１のサーバが管理する順番で、循環的にマルチメディア情報の転送を受け、端末に配信し、第２のサーバは、記憶装置に蓄積されたマルチメディア情報を読み込み、第１のサーバに転送する、ことを特徴とする。

第３の発明は、第１または第２の発明において、第１のサーバの増設時に、増設された第１のサーバがその時点における第２のサーバの個数と順番を管理することを特徴とする。

第４の発明は、第１〜第３の発明において、第１のサーバと第２のサーバを接続する前記ネットワークまたはバスシステムは遠隔ダイレクトメモリアクセス機能を有し、第１のサーバと第２のサーバ間のマルチメディア情報の転送は、前記ネットワークまたはバスシステムによる遠隔ダイレクトメモリアクセス機能により行われる、ことを特徴とする。

第５の発明は、第１〜第４の発明において、第１のサーバと第２のサーバ間のマルチメデイア情報の転送は、分割したマルチメディア情報である分割マルチメディア情報単位で行われ、第２のサーバは、分割マルチメディア情報単位で前記記憶装置に蓄積する、ことを特徴とする。

第６の発明は、分散型マルチメディアサーバシステムにおけるマルチメディア情報蓄積・配信方法であって、第１の発明と同様な特徴を有する。

本発明により、ディスクサーバの増設が簡単に実現できる分散型マルチメディアサーバシステムを得ることができる。

以下、本発明を実施例を用いて詳細に説明する。なお、各図において同じ機能を有するものには同じ符号を付け、重複した説明は省略する。

図１は、本発明の実施例の分散型マルチメディアサーバシステムを有する全体のシステムを示す図である。図１において、１０は分散型マルチメディアサーバシステムであり、１１、１２はユーザが操作する端末であり、６１は配信用ネットワークである。図には端末を２個示しているが、何個でもよい。分散型マルチメディアサーバシステム１０は、バッファサーバ（第１のサーバ）とディスクサーバ（第２のサーバ）と記憶装置を備える。すなわち、分散型マルチメディアサーバシステム１０は、バッファサーバ２１（ＢＳ１）、バッファサーバ２２（ＢＳ２）、バッファサーバ２３（ＢＳ３）、…と、ディスクサーバ３１（ＤＳ１）、ディスクサーバ３２（ＤＳ２）、ディスクサーバ３３（ＤＳ３）、…と、ディスク４１、４２、４３、…とを有する。図１ではバッファサーバはＭ個、ディスクサーバはＮ個であるが、バッファサーバとディスクサーバの個数は何個でもよく、またバッファサーバとディスクサーバの個数が同じでも異なっていてもよい。５１はクラスタ間接続ネットワークであり、１８はローカルエリアネットワークである。

バッファサーバ２１、２２、２３、…は、端末１１、１２からの要求を受けて、マルチメディア情報の送信または受信を行うサーバである。ディスクサーバ３１、３２、３３、…は、マルチメディア情報を例えば１フレーム毎に分割して格納するディスク４１、４２、４３、…をそれぞれ持っており、ディスク４１、４２、４３、…からのマルチメディア情報の読み出し、またはディスク４１、４２、４３、…への書き込みを行う。なお、マルチメディア情報の分割の単位は１フレーム毎に限定されない。

バッファサーバ２１、２２、２３、…とディスクサーバ３１、３２、３３、…との間は、遠隔ダイレクトメモリアクセス機能が利用できるネットワーク、またはバスシステムで接続されている。図１ではクラスタ間接続ネットワーク５１で接続されている。バッファサーバ２１、２２、２３、…とディスクサーバ３１、３２、３３、…とは、遠隔ダイレクトメモリアクセス機能を用いて、お互いのバッファメモリ中のデータを参照することが可能である。本実施例では、ネットワーク５１として並列計算機用のクラスタ間接続ネットワークを利用することを目的としているため、メッセージ通信の機能は備えているものとする。しかし、それが不可能な場合などの場合は、後述する分割マルチメディア情報再生要求やその応答などのメッセージの交換用に、例えば図１に示すようなローカルエリアネットワーク５２を利用することも可能である。この場合は、バッファサーバ２１、２２、２３、…とディスクサーバ３１、３２、３３、…は、遠隔ダイレクトメモリアクセス機能を用いることができるネットワーク５１と遠隔ダイレクトメモリアクセス機能を用いることができないローカルエリアネットワーク５２の両方で接続される。端末１１、１２と分散型マルチメディアサーバシステム１０の間はワイドエリアネットワークなどの配信用ネットワーク６１で結ばれている。

本実施例においてクラスタ間接続ネットワーク５１として使用する並列計算機を構成するためのクラスタ間接続ネットワークの具体例としては、例えば非特許文献３、非特許文献４、非特許文献５などがある。本実施例では非特許文献３のＩｎｆｉｎｉＢａｎｄを用いてクラスタ間接続ネットワークを構成する。このネットワークは、ハードウェアで通信の信頼性の確保を実現しているため、高速低負荷、低コストである反面、サーバ間のメッセージの送受信やメモリ共有に使う目的で設計されているため、映像データのようなストリームの転送機能は持ち合わせていない。しかし、この遠隔ダイレクトメモリアクセス機能と呼ばれるメモリ共有機能は、このクラスタ間接続ネットワークにより接続されたサーバのメモリを他のサーバから自由にアクセス出来るようにする機能で、ほとんどの処理をネットワークカードのハードウェアで実現しており、サーバのＣＰＵに負荷をほとんどかけずにデータの転送を行うことが出来る。さらに、この遠隔ダイレクトメモリアクセス機能では、相手側のアドレスを得てしまえば、相手側が何もしなくてもデータの転送が行えるため、例えば、ＴＣＰ／ＩＰを使った処理では相手側はsend()などのシステムコールを呼び出さなければならないが、この機能を使うことによって、余計な処理を相手側で行わずにデータの転送が実現出来る。このネットワークを使うことが出来れば、低負荷でデータの転送が出来るため、高価でハイスペックなサーバシステムを導入することなく、低コストなサーバにより高い転送能力を持つサーバシステムを構築することが出来、サーバと内部結合ネットワークのコストを削減することが出来る。

分散型マルチメディアサーバシステム１０が、例えばバッファサーバ２１（ＢＳ１）が端末１１から蓄積要求を受信した場合は、ＢＳ１は端末１１から配信用ネットワーク６１を介して受信したマルチメディア情報を例えば１フレーム毎に分割し、分割マルチメディア情報をクラスタ間接続ネットワーク５１を介して遠隔ダイレクトメモリアクセス機能によりディスクサーバ３１、３２、３３、…（ＤＳ１〜ＤＳＮ）に循環的に転送する。すなわち、フレーム＃１をＤＳ１に転送し、フレーム＃２をＤＳ２に転送し、フレーム＃３をＤＳ３に転送し、…、ＤＳＮにフレーム＃Ｎを転送し、ＤＳ１にフレーム＃Ｎ＋１を転送し、ＤＳ２にフレーム＃Ｎ＋２を転送し、ＤＳ３にフレーム＃Ｎ＋３を転送し、これを繰り返す。ＤＳ１、ＤＳ２、ＤＳ３、…は転送された分割マルチメディア情報をそれぞれディスク４１、４２、４３、…に蓄積する。これにより、図１に示すように、ディスク４１にフレーム＃１、＃Ｎ＋１、…、ディスク４２にフレーム＃２、＃Ｎ＋２、…、ディスク４３にフレーム＃３、＃Ｎ＋３、…が蓄積される。

分散型マルチメディアサーバシステム１０は、例えばバッファサーバ２１（ＢＳ１）が端末１１から再生要求を受信した場合は、ＢＳ１はディスクサーバ３１、３２、３３、…（ＤＳ１〜ＤＳＮ）から循環的に分割マルチメディア情報をクラスタ間接続ネットワーク５１を介して遠隔ダイレクトメモリアクセス機能により転送を受け、転送されたマルチメディア情報を配信用ネットワーク６１を介して端末１１に配信する。すなわち、ＤＳ１がディスク４１からフレーム＃１を読み込みこれをＢＳ１に転送し、ＤＳ２がディスク４２からフレーム＃２を読み込みこれをＢＳ１に転送し、ＤＳ３がディスク４３からフレーム＃３を読み込みこれをＢＳ１に転送し、…、ＤＳＮがディスクからフレーム＃Ｎを読み込みこれをＢＳ１に転送し、ＤＳ１がディスク４１からフレーム＃１を読み込みこれをＢＳ１に転送し、これを繰り返す。

この蓄積、再生の動作は非特許文献１、２に示す従来技術でも同様であるが、従来技術では、分散型マルチメディアサーバシステム１０全体でディスクサーバの個数Ｎを管理し、全てのマルチメディア情報を管理しているＮ個のディスクサーバで分割して保存しているため、ディスクサーバを増設するとなると、全マルチメディア情報を再配分する必要が生じ、簡単にディスクサーバの増設ができなかった。

これに対して、本実施例の分散型マルチメディアサーバシステム１０では、各バッファサーバ２１、２２、２３、…（ＢＳ１〜ＢＳＮ）毎に使用するディスクサーバの個数と順番を管理する。その上で、ディスクサーバ起動時に各ディスクサーバに対してコネクションを設定する際に、各ディスクサーバに対して、そのバッファサーバが使用するディスクサーバの個数と何番目のディスクサーバであるのかを通知する。これにより、本実施例の分散型マルチメディアサーバシステム１０では、ディスクサーバの増設が簡単に実現できる。また、各マルチメディア情報に対する使用ディスクサーバ数を、固定管理する必要なく、ディスクサーバの増設が実現できる。

図２、図３は、本実施例の分散型マルチメディアサーバシステム１０がディスクサーバの増設に柔軟に対応できることを説明するための図である。図２はディスクサーバの増設前であり、図３はディスクサーバの増設後である。

ディスクサーバ増設前の図２では、分散型マルチメディアサーバシステム１０は、バッファサーバ２１（ＢＳ１）と、ディスクサーバ３１（ＤＳ１）とこれに接続されたディスク４２と、ディスクサーバ３２（ＤＳ２）とこれに接続されたディスク４２と、を有している。なお、図２の分散型マルチメディアサーバシステム１０は、１個のバッファサーバと２個のディスクサーバを有しているが、より多くのバッファサーバ、ディスクサーバを有してもよい。

図２において、ＢＳ１は、端末からのマルチメディア情報Ｃ１の蓄積要求を受けて、マルチメディア情報Ｃ１を１フレームずつＤＳ１、ＤＳ２に循環的に（図２ではディスクサーバが２個であるから交互に）転送し、ＤＳ１、ＤＳ２は転送されたマルチメディア情報をそれぞれディスク４１、４２に蓄積する。その結果、ディスク４１にはマルチメディア情報Ｃ１のフレーム＃１、＃３、…が蓄積され、ディスク４２にはマルチメディア情報Ｃ１のフレーム＃２、＃４が蓄積される。

ＢＳ１が、端末からマルチメディア情報Ｃ１の再生要求を受けると、マルチメディア情報Ｃ１を１フレームずつＤＳ１、ＤＳ２から循環的に（図２ではディスクサーバが２個であるから交互に）転送を受け、マルチメディア情報Ｃ１を端末に配信する。

ディスクサーバ増設後の図３では、分散型マルチメディアサーバシステム１０には、ディスクサーバ３３（ＤＳ３）とこれに接続されたディスク４３が増設されている。また、本実施例では、ディスクサーバの増設と共に、バッファサーバも増設する。２２は増設されたバッファサーバ（ＢＳ２）である。図３では、ディスクサーバを１個増設し、バッファサーバを１個増設しているが、それぞれ何個増設してもよい。

図３において、ＢＳ１は、端末からのマルチメディア情報Ｃ２の蓄積要求を受けて、マルチメディア情報Ｃ２を１フレームずつＤＳ１、ＤＳ２、ＤＳ３に循環的に転送し、ＤＳ１、ＤＳ２、ＤＳ３は転送されたマルチメディア情報をそれぞれディスク４１、４２、４３に蓄積する。その結果、ディスク４１にはマルチメディア情報Ｃ２のフレーム＃１、＃４、…が蓄積され、ディスク４２にはマルチメディア情報Ｃ２のフレーム＃２、＃５、…が蓄積され、ディスク４３にはマルチメディア情報Ｃ２のフレーム＃３、＃６、…が蓄積される。

ＢＳ２が、端末からマルチメディア情報Ｃ２の再生要求を受けると、マルチメディア情報Ｃ２を１フレームずつＤＳ１、ＤＳ２、ＤＳ３から循環的に転送を受け、マルチメディア情報Ｃ２を端末に配信する。

前述のように、本実施例の分散型マルチメディアサーバシステム１０では、ディスクサーバ起動時に、各ディスクサーバに対して、そのバッファサーバが使用するディスクサーバの個数と何番目のディスクサーバであるのかを通知する。この部分のシーケンスを図４に示す。

図４（Ａ）は図２の場合すなわち増設前の初期化のシーケンス図である。ＢＳ１は起動すると、ＤＳ１に対して初期化要求（１／２）を送信する（段階１０１）。ここで、初期化要求（ａ／ｂ）はｂがディスクサーバの個数を意味し、ａが何番目のディスクサーバであるのかを意味している。すなわち、ＢＳ１は、段階１０１の初期化要求により、ＤＳ１に対して、ＤＳ１は個数２個のディスクサーバのうち１番目のディスクサーバであることを通知する。ＤＳ１はＯＫを応答する（段階１０２）。ＢＳ１はＤＳ２に対して初期化要求（２／２）を送信する（段階１０３）。すなわち、ＢＳ１は、段階１０３の初期化要求により、ＤＳ２に対して、ＤＳ２は個数２個のディスクサーバのうち２番目のディスクサーバであることを通知する。ＤＳ２はＯＫを応答する（段階１０４）。

ＢＳ１はディスクサーバの個数が２個であり、ＤＳ１が１番目であり、ＤＳ２が２番目であることを管理する。ＤＳ１はディスクサーバの個数が２個であり、自分が１番目であることを記憶しておく。ＤＳ２はディスクサーバの個数が２個であり、自分が２番目であることを記憶しておく。

以上の初期化の後、ＢＳ１は、ＤＳ１、ＤＳ２、ＤＳ１、ＤＳ２…の順で、すなわち個数２個のＤＳ１〜ＤＳ２に対して循環的にマルチメディア情報の蓄積、再生を行う。

図４（Ｂ）は図３の場合すなわち増設後の初期化のシーケンス図である。ＢＳ２は起動すると、ＤＳ１に対して初期化要求（１／３）を送信する（段階２０１）。すなわち、ＢＳ２は、段階２０１の初期化要求において、ＤＳ１に対して、ＤＳ１は個数３個のディスクサーバのうち１番目のディスクサーバであることを通知する。ＤＳ１はＯＫを応答する（段階２０２）。ＢＳ２はＤＳ２に対して初期化要求（２／３）を送信する（段階２０３）。すなわち、ＢＳ１は、段階２０３の初期化要求より、ＤＳ２に対して、ＤＳ２は個数３個のディスクサーバのうち２番目のディスクサーバであることを通知する。ＤＳ２はＯＫを応答する（段階２０４）。ＢＳ２はＤＳ３に対して初期化要求（３／３）を送信する（段階２０５）。すなわち、ＢＳ２は、段階２０５の初期化要求より、ＤＳ３に対して、ＤＳ３は個数３個のディスクサーバのうち３番目のディスクサーバであることを通知する。ＤＳ３はＯＫ応答する（段階２０６）。

ＢＳ１はディスクサーバの個数が３個であり、ＤＳ１が１番目であり、ＤＳ２が２番目であり、ＤＳ３が３番目であることを管理する。また、ＤＳ１は個数が３個であり、自分が１番目であることを記憶しておく。ＤＳ２は個数が３個であり、自分が２番目であることを記憶しておく。ＤＳ３は個数が３個であり、自分が３番目であることを記憶しておく。

以上の初期化の後、ＢＳ２は、ＤＳ１、ＤＳ２、ＤＳ３、ＤＳ１、ＤＳ２、ＤＳ３、…の順番で、すなわち個数３個のＤＳ１〜ＤＳ３に対して循環的にマルチメディア情報の蓄積、再生を行う。一方、ＢＳ１は、増設前と同様に、ＤＳ１、ＤＳ２、ＤＳ１、ＤＳ２、…の順で、すなわち個数２個のＤＳ１〜ＤＳ２に対して循環的にマルチメディア情報の蓄積、再生を行う。

次に、分散型マルチメディアサーバシステム１０の蓄積、再生シーケンスについて説明する。

図５は、図２に示す増設前のＢＳ１による初期化および蓄積シーケンスを示す図である。段階１０１〜１０４の初期化シーケンスは図４（Ａ）と同じである。バッファサーバＢＳ１は、ディスクサーバの個数２個と、ＤＳ１が１番目でありＤＳ２が２番目であるという順番を管理する。

まず、ユーザが端末を使って、マルチメディア情報Ｃ１蓄積要求をＢＳ１に対して送信する（段階１０５）。それを受け取ったＢＳ１は、分割マルチメディア情報蓄積要求をＤＳ１に対して送信する（段階１０６）。この要求を受け取ったＤＳ１は、ＢＳ１から分割マルチメディア情報を受け取るための自モジュール内のバッファメモリに関する情報（メモリ情報）を応答として返す（段階１０７）。その応答を受信したＢＳ１は、マルチメディア情報Ｃ１を受信し、分割するとともに（段階１０８）、分割したマルチメディア情報Ｃ１のフレーム＃１を遠隔ダイレクトメモリアクセス機能を使って、分割マルチメディア情報蓄積要求に対する応答中に含まれているメモリ情報を元に、ＤＳ１内のバッファに転送する（段階１０９）。ＤＳ１は、転送されたマルチメディア情報Ｃ１のフレーム＃１をディスク４１に蓄積する（段階１１０）。

ＢＳ１は、分割マルチメディア情報蓄積要求をＤＳ２に対して送信する（段階１１１）。この要求を受け取ったＤＳ２は、ＢＳ１から分割マルチメディア情報を受け取るための自モジュール内のバッファメモリに関する情報（メモリ情報）を応答として返す（段階１１２）。その応答を受信したＢＳ１は、マルチメディア情報Ｃ１を受信し、分割するとともに（段階１１３）、分割したマルチメディア情報Ｃ１のフレーム＃２を遠隔ダイレクトメモリアクセス機能を使って、分割マルチメディア情報蓄積要求に対する応答中に含まれているメモリ情報を元に、ＤＳ２内のバッファに転送する（段階１１４）。ＤＳ２は、転送されたマルチメディア情報Ｃ１のフレーム＃２をディスク４２に蓄積する（段階１１５）。

ＢＳ１は、分割マルチメディア情報蓄積要求をＤＳ１に対して送信し（段階１１６）、段階１０６〜１１５を繰り返し実行する。

このように、バッファサーバＢＳ１は自身が管理している個数２個のバッファサーバＢＳ１、ＢＳ２に対して循環的に（この場合は個数が２個であるから交互に）、マルチメディア情報Ｃ１を１フレーム毎転送し、バッファサーバＢＳ１、ＢＳ２は転送されたマルチメディア情報Ｃ１を１フレーム毎ディスクに記憶する。それにより、ディスク４１にはマルチメディア情報Ｃ１のフレーム＃１、＃３、…が蓄積され、ディスク４２にはマルチメディア情報Ｃ１のフレーム＃２、＃４、…が蓄積される。

図６は、図３に示す増設後のＢＳ２による初期化および蓄積シーケンスを示す図である。段階２０１〜２０６の初期化シーケンスは図４（Ｂ）と同じである。バッファサーバＢＳ２は、ディスクサーバの個数３個と、ＤＳ１が１番目でありＤＳ２が２番目でありＤＳ３が３番目であるという順番を管理する。

まず、ユーザが端末を使って、マルチメディア情報Ｃ２蓄積要求をＢＳ２に対して送信する（段階２０７）。それを受け取ったＢＳ２は、分割マルチメディア情報蓄積要求をＤＳ１に対して送信する（段階２０８）。この要求を受け取ったＤＳ１は、ＢＳ２から分割マルチメディア情報を受け取るため自モジュール内のバッファメモリに関する情報（メモリ情報）を応答として返す（段階２０９）。その応答を受信したＢＳ２は、マルチメディア情報Ｃ２を受信し、分割するとともに（段階２１０）、分割したマルチメディア情報Ｃ２のフレーム＃１を遠隔ダイレクトメモリアクセス機能を使って、分割マルチメディア情報蓄積要求に対する応答中に含まれているメモリ情報を元に、ＤＳ１内のバッファに転送する（段階２１１）。ＤＳ１は、転送されたマルチメディア情報Ｃ２のフレーム＃１をディスク４１に蓄積する（段階２１２）。

ＢＳ２は、分割マルチメディア情報蓄積要求をＤＳ２に対して送信する（段階２１３）。この要求を受け取ったＤＳ２は、ＢＳ２から分割マルチメディア情報を受け取るための自モジュール内のバッファメモリに関する情報（メモリ情報）を応答として返す（段階２１４）。その応答を受信したＢＳ２は、マルチメディア情報Ｃ２を受信し、分割するとともに（段階２１５）、分割したマルチメディア情報Ｃ２のフレーム＃２を遠隔ダイレクトメモリアクセス機能を使って、分割マルチメディア情報蓄積要求に対する応答中に含まれているメモリ情報を元に、ＤＳ２内のバッファに転送する（段階２１６）。ＤＳ２は、転送されたマルチメディア情報Ｃ２のフレーム＃２をディスク４２に蓄積する（段階２１７）。

ＢＳ２は、分割マルチメディア情報蓄積要求をＤＳ３に対して送信する（段階２１８）。この要求を受け取ったＤＳ３は、ＢＳ２から分割マルチメディア情報を受け取るための自モジュール内のバッファメモリに関する情報（メモリ情報）を応答として返す（段階２１９）。その応答を受信したＢＳ２は、マルチメディア情報Ｃ２を受信し、分割するとともに（段階２２０）、分割したマルチメディア情報Ｃ２のフレーム＃３を遠隔ダイレクトメモリアクセス機能を使って、分割マルチメディア情報蓄積要求に対する応答中に含まれているメモリ情報を元に、ＤＳ３内のバッファに転送する（段階２２１）。ＤＳ３は、転送されたマルチメディア情報Ｃ２のフレーム＃３をディスク４３に蓄積する（段階２２２
）。

ＢＳ２は、分割マルチメディア情報蓄積要求をＤＳ１に対して送信し（段階２２３）、段階２０８〜２２２を繰り返し実行する。

このように、バッファサーバＢＳ２は自身が管理している個数３個のディスクサーバＤＳ１、ＤＳ２、ＤＳ３に対して、管理している順番で循環的に、マルチメディア情報Ｃ２を１フレーム毎転送し、ディスクサーバＤＳ１、ＤＳ２、ＤＳ３は転送されたマルチメディア情報Ｃ２を１フレーム毎ディスクに記憶する。それにより、ディスク４１には、マルチメディア情報Ｃ２のフレーム＃１、＃４、…が蓄積され、ディスク４２にはマルチメディア情報Ｃ２のフレーム＃２、５、…が蓄積され、ディスク４３にはマルチメディア情報Ｃ２のフレーム＃３、＃６、…が蓄積される。

図７は、図３に示す増設後のＢＳ１による再生シーケンスを示す図である。まず、ユーザが端末から視聴したいマルチメディア情報Ｃ１を要求するためにＢＳ１に対してマルチメディア情報Ｃ１再生要求を送信する（段階２３１）と、その要求を受信したＢＳ１は、要求されたマルチメディア情報Ｃ１の先頭（フレーム＃１）が格納されているディスク４１が接続されているＤＳに対して、分割マルチメディア情報再生要求を送信する（段階２３２）。その要求を受けたＤＳ１は、ディスク４１から該当する分割マルチメディア情報をＤＳ１内のバッファメモリ中に読み込み（段階２３３）、そのバッファメモリのアドレスやメモリ中のデータのサイズなどこのバッファメモリに関する情報（メモリ情報）を応答として返す（段階２３４）。この情報を元に、ＢＳ１は、マルチメディア情報Ｃ１のフレーム＃１を、遠隔ダイレクトメモリアクセス機能を使用することによってＤＳ１内から読み出し（段階２３５）、マルチメディア情報Ｃ１再生要求により指定された端末へ配信用ネットワーク６１を使用して送信する（段階２３６）。送信先は、最初の要求を発した端末でももちろん構わない。

ＢＳ１は、次の分割マルチメディア情報を読み出すための分割マルチメディア情報再生要求を次の分割マルチメディア情報（フレーム＃２）が格納されているディスク４２が接続されているＤＳ２に対して送信する（段階２３７）。その要求を受けたＤＳ２は、ディスク４２から該当する分割マルチメディア情報をＤＳ２内のバッファメモリ中に読み込み（段階２３８）、そのバッファメモリのアドレスやメモリ中のデータのサイズなどこのバッファメモリに関する情報（メモリ情報）を応答として返す（段階２３９）。この情報を元に、ＢＳ１は、マルチメディア情報Ｃ１のフレーム＃２を、遠隔ダイレクトメモリアクセス機能を使用することによってＤＳ２内から読み出し（段階２４０）、マルチメディア情報Ｃ１再生要求により指定された端末へ配信用ネットワーク６１を使用して送信する（段階２４１）。

ＢＳ１は、次の分割マルチメディア情報を読み出すための分割マルチメディア情報再生要求を次の分割マルチメディア情報（フレーム３）が格納されているディスク４１が接続されているＤＳ１に対して送信する（段階２４２）。以降、段階２３２〜２４０と同じ処理を繰り返す。

このように、ＤＳ３が増設された後であっても、バッファサーバＢＳ１は自身が管理している個数２個のディスクサーバＤＳ１、ＤＳ２から循環的に（この場合は個数が２個であるから交互に）、マルチメディア情報Ｃ１を１フレーム毎転送を受け、端末に配信する。また、シーケンス図は示さないが、バッファサーバＢＳ１は、ＤＳ３が増設された後にマルチメディア情報蓄積要求を受けた場合も、自身が管理している個数２個のディスクサーバＤＳ１、ＤＳ２に対して循環的にマルチメディア情報を転送する。

図８は、図３に示す増設後のＢＳ２による再生シーケンスを示す図である。まず、ユーザが端末から視聴したいマルチメディア情報Ｃ２を要求するためにＢＳ２に対してマルチメディア情報Ｃ２再生要求を送信する（段階２５１）と、その要求を受信したＢＳ２は、要求されたマルチメディア情報Ｃ２の先頭（フレーム＃１）が格納されているディスク４１が接続されているＤＳ１に対して、分割マルチメディア情報再生要求を送信する（段階２５２）。その要求を受けたＤＳ１は、ディスク４１から該当する分割マルチメディア情報をＤＳ１内のバッファメモリ中に読み込み（段階２５３）、そのバッファメモリのアドレスやメモリ中のデータのサイズなどこのバッファメモリに関する情報（メモリ情報）を応答として返す（段階２５４）。この情報を元に、ＢＳ２は、マルチメディア情報Ｃ２のフレーム＃１を、遠隔ダイレクトメモリアクセス機能を使用することによってＤＳ１内から読み出し（段階２５４）、マルチメディア情報Ｃ２再生要求により指定された端末へ配信用ネットワーク６１を使用して送信する（段階２５５）。送信先は、最初の要求を発した端末でももちろん構わない。

ＢＳ２は、次の分割マルチメディア情報を読み出すための分割マルチメディア情報再生要求を次の分割マルチメディア情報（フレーム＃２）が格納されているディスク４２が接続されているＤＳ２に対して送信する（段階２５６）。その要求を受けたＤＳ２は、ディスク４２から該当する分割マルチメディア情報をＤＳ２内のバッファメモリ中に読み込み（段階２５７）、そのバッファメモリのアドレスやメモリ中のデータのサイズなどこのバッファメモリに関する情報（メモリ情報）を応答として返す（段階２５８）。この情報を元に、ＢＳ２は、マルチメディア情報Ｃ２のフレーム＃２を、遠隔ダイレクトメモリアクセス機能を使用することによってＤＳ２内から読み出し（段階２５９）、マルチメディア情報Ｃ２再生要求により指定された端末へ配信用ネットワーク６１を使用して送信する（段階２６０）。

ＢＳ２は、次の分割マルチメディア情報を読み出すための分割マルチメディア情報再生要求を次の分割マルチメディア情報（フレーム＃３）が格納されているディスク４３が接続されているＤＳ３に対して送信する（段階２６１）。その要求を受けたＤＳ３は、ディスク４３から該当する分割マルチメディア情報をＤＳ３内のバッファメモリ中に読み込み（段階２６２）、そのバッファメモリのアドレスやメモリ中のデータのサイズなどこのバッファメモリに関する情報（メモリ情報）を応答として返す（段階２６３）。この情報を元に、ＢＳ２は、マルチメディア情報Ｃ２のフレーム＃３を、遠隔ダイレクトメモリアクセス機能を使用することによってＤＳ３内から読み出し（段階２６４）、マルチメディア情報Ｃ２再生要求により指定された端末へ配信用ネットワーク６１を使用して送信する（段階２６５）。

ＢＳ２は、次の分割マルチメディア情報を読み出すための分割マルチメディア情報再生要求を次の分割マルチメディア情報（フレーム＃４）が格納されているディスク４１が接続されているＤＳ１に対して送信する（段階２６６）。以降、段階２５２〜２６４と同じ処理を繰り返す。

このように、バッファサーバＢＳ２は自身が管理している個数３個のディスクサーバＤＳ１、ＤＳ２、ＤＳ３から循環的に、マルチメディア情報Ｃ２を１フレーム毎転送を受け、端末に配信する。

以上説明した本実施例の分散型マルチメディアサーバシステム１０においては、端末がマルチメディア情報の再生を行うときには、マルチメディア情報再生要求をそのマルチメディア情報の蓄積を行ったバッファサーバに対して送信する必要がある。

また、各バッファサーバが管理するディスクサーバの個数は、その時点において分散型マルチメディアサーバシステム１０が有する全てのディスクサーバの個数であっても、それ以下であってもよい。また、順番もどのような順番でもよい。図３において、本実施例では、ＢＳ２は、その時点で利用可能な全てのディスクサーバＤＳ１、ＤＳ２、ＤＳ３の個数３個とＤＳ１、ＤＳ２、ＤＳ３の順番を管理しているが、例えば、ＤＳ２が、使用するディスクサーバの個数を２個とし、１番目がＤＳ３であり、２番目がＤＳ１とし、その個数２個とＤＳ３、ＤＳ１の順番を管理してもよい。この場合は、ディスク４３にＣ２−＃１、Ｃ２−＃２、…が蓄積され、ディスク４１にＣ２−＃２、Ｃ２−＃４、…が蓄積されることになる。

図９に第２の実施例を示す。分散型マルチメディアサーバシステム１０は、第１の実施例の説明で用いた図１の装置に、第３のサーバであるインデクスサーバ７１（第３のサーバ）を加えた構成をとる。このインデクスサーバは、蓄積されたマルチメディア情報のメタデータ（ＩＤやマルチメディア情報の時間的な長さ、撮影日などの情報）とともに、マルチメディア情報が格納されているディスクが接続されているディスクサーバと、その格納順序を示す情報が保存されているサーバである。それ以外の分散型マルチメディアサーバシステム１０を構成する装置は、実施例１に示す通りである。ただし、本実施例では、各バッファサーバ２１、２２、２３、…では、実施例１のようなディスクサーバの個数と順番の管理を行わずに、以下に示す方式を用いる。

図１０に、本実施例を用いて、マルチメディア情報を端末から図２の構成の分散型マルチメディアサーバへ蓄積する場合のシーケンス例を示す。図５に示したシーケンスと同様にバッファサーバ１台と、ディスクサーバ２台のシステム構成による例である。

まず、システム起動時に初期化処理を行う。この際、バッファサーバＢＳ１は、インデクスサーバＩＳ１に対して、現時点でのディスクサーバの台数、および、蓄積順序の問い合わせを、サーバ構成要求として実行する（段階１５１）。次に、実施例１と同様に初期化処理を実行する。実施例１とは異なり、この初期化処理により、蓄積時の順序のみが設定される。なお、本実施例では、インデクスサーバからディスクサーバの台数や順序を取得したが、バッファサーバおよびディスクサーバ内の初期設定ファイルにその情報を予め設定しておくことも可能である。この場合は、段階１５１は省略することは可能である。

ユーザからのマルチメディア情報Ｃ１の蓄積要求をバッファサーバＢＳ１が受信する（段階１０５）と、インデクスサーバＩＳ１に対してメタデータをメタデータ蓄積要求として送信する（段階１５２）。このメタデータとして端末から蓄積要求と一緒に送られてくるものや映像中に含まれているものを利用することが可能である。この要求を受信したインデクスサーバＩＳ１は、このメタデータとともに、使用するディスクサーバとその順序、台数を一緒に保存する。図１１に保存した情報のイメージを示す。なお、この図は、一例であり、保存方法に関する制限は本実施例にはない。メタデータの蓄積が完了した後、実施例１と同様に蓄積が実行される。本実施例では、バッファサーバが端末からの要求を受信したが、インデクスサーバが先に受信し、メタデータとディスクサーバとその台数や順序を保存した後、バッファサーバへその要求を転送することももちろん可能である。

以上が、蓄積時の処理である。図２から図３のようにディスクサーバを増設し、マルチメディア情報Ｃ２を蓄積した場合も同じ処理で蓄積することが可能である。この場合、インデクスサーバへ保存された情報は図１２のようになる。

次に、図３の構成の分散型マルチメディアサーバに対して、端末からマルチメディア情報Ｃ１に対する再生要求が行われた場合の処理の例を図１３に示す。

まず、端末からの再生要求を受信したバッファサーバＢＳ１は、インデクスサーバに対して、蓄積に使用したディスクサーバとその順序に関する情報を、ディスクサーバ情報要求メッセージを送信することにより要求する（段階２７１）。その要求を受信したインデクスサーバＩＳ１は、マルチメディア情報Ｃ１を蓄積したときに使用したディスクサーバとその順序に関する情報をディスクサーバ情報応答としてバッファサーバＢＳ１に送信する（段階２７２）。この情報を元にバッファサーバＢＳ１はディスクサーバＤＳ１およびＤＳ２に対して、分割マルチメディア情報再生要求をそれぞれ送信し、以降の処理は、実施例１で記述した通りである。

蓄積時と同様にインデクスサーバＩＳ１に対してバッファサーバＢＳ１からディスクサーバ情報を要求しているが、端末がバッファサーバではなくインデクスサーバにマルチメディア情報再生要求を送信し、その要求にディスクサーバ情報を付加してバッファサーバに転送することも可能である。

本実施例では、実施例１と比べてインデクスサーバが１台増えるものの、ディスクサーバ増設時にバッファサーバを増やす必要がなく、サーバの構成を柔軟に変更することができる。さらに、実施例１では、例えば、マルチメディア情報Ｃ２への再生要求が大量に発生した場合、バッファサーバＢＳ１の負荷は上がらずに、ＢＳ２の負荷のみが増大し、システム全体では余力はあっても要求を受け付けることができなくなる。実施例２では、バッファサーバとマルチメディア情報とを結びつけないため、特定のマルチメディア情報に対する要求による、特定のバッファサーバの負荷の偏りを防止することができる。

遠隔ダイレクトメモリアクセス機能を用いて、インデクスサーバに保存されている情報を、複数のインデクスサーバで共有することが可能である。この方法を用いれば、インデクスサーバを複数設置し、システムの規模が大きくなった場合の負荷の増大にも対応することができる。

以上説明した各サーバは、それぞれの機能、動作、段階を実現するための手段を有しており、それらの手段はコンピュータとプログラムによって構成することができ、そのプログラムは記憶媒体に記憶することができる。また、プログラムを用いる代わりに、その一部または全部をハードウェアで構成することもできる。

以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例の分散型マルチメディアサーバシステムを有する全体のシステムを示す図である。 本実施例がディスクサーバの増設に柔軟に対応できることを説明するための図（増設前）である。 本実施例がディスクサーバの増設に柔軟に対応できることを説明するための図（増設後）である。 初期化のシーケンス図である。 増設前のＢＳ１による初期化および蓄積シーケンスを示す図である。 増設後のＢＳ２による初期化および蓄積シーケンスを示す図である。 増設後のＢＳ１による再生シーケンスを示す図である。 増設後のＢＳ２による再生シーケンスを示す図である。 本発明の第２の実施例の分散型マルチメディアサーバシステムを有する全体のシステムを示す図である。 第２の実施例の初期化および蓄積シーケンスを示す図である。 インデクスサーバ内に保存されている情報を示す図である。 ディスクサーバ増設後のインデクスサーバ内に保存されている情報を示す図である。 第２の実施例の再生シーケンスを示す図である。

符号の説明

１０…分散型マルチメディアサーバシステム、１１、１２…端末、２１，２２，２３…バッファサーバ、３１，３２，３３…ディスクサーバ、４１，４２，４３…ディスク、５１…クラスタ間接続ネットワーク、５２…ローカルエリアネットワーク、６１…配信用ネットワーク、７１…インデクスサーバ

Claims (6)

1. マルチメディア情報を蓄積し、端末からの再生要求に応じて、要求されたマルチメディア情報を配信する分散型マルチメディアサーバシステムであって、
   ネットワークまたはバスシステムによって互いに接続された第１のサーバと第２のサーバを有し、
   各第１のサーバは、それぞれ、使用する第２のサーバに対して、使用する第２のサーバの個数と当該第２のサーバが何番目であるのかを含む初期化要求を通知し、
   初期化要求を通知された第２のサーバは、該初期化要求に基づいて該第２のサーバ自体を初期化し、該初期化要求を通知した第１のサーバにＯＫを応答し、
   各第１のサーバは、それぞれ、使用する第２のサーバの個数と順番を管理し、
   各第１のサーバは、端末から受信したマルチメディア情報を、当該第１のサーバが管理する個数の第２のサーバに対して、当該第１のサーバが管理する順番で、循環的に転送し、
   第２のサーバは、第１のサーバから転送されたマルチメディア情報を記憶装置に蓄積する、
   ことを特徴とする分散型マルチメディアサーバシステム。
2. 請求項１に記載の分散型マルチメディアサーバシステムであって、
   各第１のサーバは、当該第１のサーバが管理する個数の第２のサーバから、当該第１のサーバが管理する順番で、循環的にマルチメディア情報の転送を受け、端末に配信し、
   第２のサーバは、記憶装置に蓄積されたマルチメディア情報を読み込み、第１のサーバに転送する、
   ことを特徴とする分散型マルチメディアサーバシステム。
3. 請求項１または２に記載の分散型マルチメディアサーバシステムであって、
   第１のサーバの増設時に、増設された第１のサーバがその時点における第２のサーバの個数と順番を管理することを特徴とする分散型マルチメディアサーバシステム。
4. 請求項１ないし３のうちいずれか１項に記載の分散型マルチメディアサーバシステムであって、
   第１のサーバと第２のサーバを接続する前記ネットワークまたはバスシステムは遠隔ダイレクトメモリアクセス機能を有し、
   第１のサーバと第２のサーバ間のマルチメディア情報の転送は、前記ネットワークまたはバスシステムによる遠隔ダイレクトメモリアクセス機能により行われる、
   ことを特徴とする分散型マルチメディアサーバシステム。
5. 請求項１ないし４のうちいずれか１項に記載の分散型マルチメディアサーバシステムであって、
   第１のサーバと第２のサーバ間のマルチメディア情報の転送は、分割したマルチメディア情報である分割マルチメディア情報単位で行われ、
   第２のサーバは、分割マルチメディア情報単位で前記記憶装置に蓄積する、
   ことを特徴とする分散型マルチメディアサーバシステム。
6. マルチメディア情報を蓄積し、端末からの再生要求に応じて、要求されたマルチメディア情報を配信する分散型マルチメディアサーバシステムにおけるマルチメディア情報蓄積・配信方法であって、
   前記分散型マルチメディアサーバシステムは、ネットワークまたはバスシステムによって互いに接続された第１のサーバと第２のサーバを有し、
   各第１のサーバは、それぞれ、使用する第２のサーバに対して、使用する第２のサーバの個数と当該第２のサーバが何番目であるのかを含む初期化要求を通知し、
   初期化要求を通知された第２のサーバは、該初期化要求に基づいて該第２のサーバ自体を初期化し、該初期化要求を通知した第１のサーバにＯＫを応答し、
   各第１のサーバは、それぞれ、使用する第２のサーバの個数と順番を管理し、
   各第１のサーバは、端末から受信したマルチメディア情報を、当該第１のサーバが管理する個数の第２のサーバに対して、当該第１のサーバが管理する順番で、循環的に転送し、
   第２のサーバは、第１のサーバから転送されたマルチメディア情報を記憶装置に蓄積する、
   ことを特徴とするマルチメディア情報蓄積・配信方法。

Images