JP5172594B2 - 情報処理システム及び情報処理システムの運用方法 - Google Patents

Description

本発明は情報処理システム及び情報処理システムの運用方法に係わり、特に複数の制御部によって実行されるデータ送信処理においてリソースを有効に使用することができる情報処理システム及び情報処理システムの運用方法に関する。

近年、マルチコアプロセッサの普及などにより、単独の装置であっても複数の制御部（プロセッサ）によって制御されることが多くなってきた。メモリ領域やハードウェアデバイスなど装置に搭載されているリソースは、制御部が単独であれば必然的に制御部により一元管理することができた。
しかし、制御部が複数になると各制御部にリソースを分割して割り当てる必要があるため、例えばある装置で必要なリソースが他の制御部に割り当てられていて利用できないなどといった、いわゆる分割損の発生が問題となっている。

代表的な既存の分割損対策技術として、例えばリソースが不足する場合には、他の制御部に処理を依頼する方式がある（特許文献１参照）。
特開平１１−１２００１４号公報

しかし、動画像や音声ストリームのような大容量データを配信するコンテンツ配信装置においては、以下に述べる問題があるため既存技術だけでは分割損を解消〜低減することができない。

第一にコンテンツ配信装置は、あらかじめディスク装置に格納された映像データをネットワークに送出するという動作をするため、ディスクの読み出し性能が不足した場合には、他のディスクに当該映像データを複製しなければリソース不足を解消できない。すなわちリソースが不足してからでは、リソース不足を解消するためのリソースが得られないためリソース分割損を解消できないという問題がある。

そして第二に、第一の問題を解決するために、全てのコンテンツをあらかじめ全てのディスク装置に格納したのでは、一般に動画像コンテンツのデータサイズは大きいためディスク容量面で無駄（分割損）が大きくなってしまうという問題がある。特に動画像コンテンツは、タイトルによって人気度（アクセス頻度）が大きく異なり、この人気度は時間とともに変化していくため、特定のコンテンツへのアクセス集中を事前に完全に予測することは困難である。

すなわち、従来技術あるいはその組み合わせでは、特に映像ストリームや音声ストリームのような大容量データの配信において、マルチコアプロセッサなど装置内に制御部が複数あるとき、リソースを各制御部に分割することにより生じるリソース分割損を解消することができないという問題があった。

前記の、及び他の課題を解決するための本発明の一態様は、外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータを前記外部装置へ送信する情報処理システムであって、前記データ送信要求の対象であるデータを各々格納している複数の記憶装置と、前記外部装置からデータ送信要求を受け付けて当該データ送信要求の対象であるデータを、各々に割り当てられている前記記憶装置から読み出して前記外部装置に送信する複数の制御部と、前記複数の制御部のいずれかが自身に割り当てられている前記記憶装置から読み出したデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えている、制御装置と、前記外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータが格納されている前記記憶装置が割り当てられている前記制御部を前記外部装置のデータ送信要求先として割り当てる管理装置と、を備え、前記複数の制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置に格納されている当該データに関する関連データを、他の前記制御部に割り当てられている他の前記記憶装置に複製すると共に、当該関連データが他の前記記憶装置に複製された旨前記管理装置に通知することを特徴とする情報処理システムである。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための最良の形態の欄、及び図面により明らかにされる。

本発明によれば、複数の制御部によって実行されるデータ送信処理においてリソースを有効に使用することができる。

以下、図面を参照しつつ実施の形態について説明する。

＝＝第１実施形態＝＝
本発明の第１実施形態に係る情報処理システム１について、図１を参照して説明する。図１は、情報処理システム１のシステム構成を示す。

情報処理システム１は、コンテンツ配信装置１０（制御装置）、端末装置３０、及びポータルサーバ４０（管理装置、コンテンツ配信要求割当て装置）を備え、コンテンツ配信装置１０はネットワーク２０を介して端末装置３０及びポータルサーバ４０と通信可能に接続されている。ネットワーク２０は、例えばインターネット等の通信ネットワークである。

コンテンツ配信装置１０は、複数の制御部１１０〜１１３、各制御部１１０〜１１３が管理するネットワークインターフェイス１５０〜１５３、ディスク装置１２０〜１２３、及びメモリ１４０を備える。制御部１１０〜１１３は、それぞれ１つのＣＰＵを有し、各ＣＰＵをバスで接続してなるマルチプロセッサを構成している。各制御部１１０〜１１３には、各ネットワークインターフェイス１５０〜１５３、各ディスク装置１２０〜１２３、及び前記メモリ１４０に設定されているキャッシュ領域１３０〜１３３（これについては後述する。）のそれぞれが割り当てられている。

ネットワークインターフェイス（ネットワークＩＦ）１５０〜１５３は、各制御部１１０〜１１３が端末装置３０及びポータルサーバ４０とネットワーク２０を介して通信するための通信アダプタである。

メモリ１４０は、制御部１１０〜１１３にバス等の通信路を通じて接続されているメインメモリである。メモリ１４０上には配信プログラム１４２、データ複製プログラム１４３、複製先決定プログラム１４４、及びキャッシュ管理プログラム１４５が、例えば後述のディスク装置１２０〜１２３に格納されている状態から各制御部１１０〜１１３のＣＰＵによって読み出されて展開、実行され、それぞれ本実施形態における配信部、データ複製部、複製先決定部、及びキャッシュ管理部としての処理を実行する。

メモリ１４０にはまた、各制御部１１０〜１１３がディスク装置１２０〜１２３から読み出したデータを一時記憶させておくためのキャッシュ領域１４１が設けられている。キャッシュ領域１４１は、各制御部１１０〜１１３がそれぞれ管理する領域１３０〜１３３に分割されており、各制御部１１０〜１１３は、それぞれ自身に割り当てられているキャッシュ領域１３０〜１３３をディスクキャッシュとして使用している。

ディスク装置１２０〜１２３は、例えばハードディスクドライブ等の記憶デバイスであり、配信プログラム等の前記各種処理プログラム及び動画像データ、音声データ等のコンテンツデータが格納されている。各ディスク装置１２０〜１２３には、テンポラリ領域１２５〜１２８が設けられている。

テンポラリ領域１２５〜１２８はデータを一時的に保持するための領域であり、ＬＲＵ（Least Recently Used）などのアルゴリズムに従って古いデータを新しいデータで上書きして反復利用する。テンポラリ領域１２５〜１２８はディスク装置１２０〜１２３上の固定サイズの領域として確保されてもよいし、明確な領域を設けず単純にディスク装置１２０〜１２３の空き領域を利用してもよい。

端末装置３０はＷｅｂブラウザ、動画像再生ソフトウェアなどのアプリケーションと、ネットワーク２０を介してコンテンツ配信装置１０と通信するためのネットワークＩＦを備えたコンピュータであり、コンテンツ配信装置１０に格納されている動画像データ、音声データ等をネットワーク２０経由で受信してユーザの視聴に供する。

ポータルサーバ４０は、後述するように端末装置３０からコンテンツ配信装置１０へのアクセス負荷を分散する機能を備えており、コンテンツ配信装置１０と同様に、ネットワークＩＦ４１、制御部４２、及びメモリ４３を有する。

ネットワークインターフェイス４１は、制御部４２が端末装置３０及びコンテンツ配信装置１０とネットワーク２０を介して通信するための通信インターフェイスである。

制御部４２は、後述の負荷分散プログラム４４等を実行するＣＰＵ等を含む。メモリ４３は例えばＲＡＭ、ＲＯＭ等の記憶デバイスであり、制御部４２のＣＰＵのメインメモリとして機能する。メモリ４３上には、制御部４２によって図示を省略する補助記憶装置等に格納されている負荷分散プログラム４４が読み出されて展開、実行されることで、本実施形態に係る負荷分散処理部の機能が実現される。

次に、以上の構成を有する本実施形態の情報処理システム１におけるコンテンツデータ配信処理について説明する。図２は、コンテンツ配信装置１０、端末装置３０、ポータルサーバ４０間でのコンテンツ配信処理の流れを示すシーケンス図である。この図で、下向きの太矢印は、それぞれ本実施形態の情報処理システム１における構成要素を表しており、例えば左端の矢印はコンテンツ配信装置１０のディスク装置１２０を示している。また、下方に向かって時間ｔが経過していくことを示しており、各太矢印間を水平に結ぶ矢印は、それぞれ各要素間での情報（データ）送受信処理を示している。この図示法は、後出の図４、図６、図１５についても同様である。

まずステップ２０１で、端末装置３０からポータルサーバ４０に、端末装置３０のユーザが視聴したいコンテンツを一意に識別するためのＩＤであるコンテンツ名が送出される。

次にステップ２０２で、上記端末装置３０から要求されたコンテンツが格納されているディスク装置１２０〜１２３を管理している制御部１１０〜１１３に対応しているネットワークＩＦ１５０〜１５３のアクセス先アドレスが、データ送信要求先（コンテンツデータ配信要求先）として端末装置３０に返信される。図２の例では、ユーザ所望のコンテンツであるコンテンツデータがディスク装置１２０に格納されている場合を示している。

ステップ２０３にて端末装置３０は取得したアクセス先に接続して、次にステップ２０４で所望のコンテンツを受信する。図２の例では、コンテンツ配信装置１０は、ネットワークＩＦ１５０がアクセス先であるので、ディスク装置１２０からキャッシュ領域１３０へ、端末装置３０から受け取ったコンテンツ名を用いてコンテンツデータを読み込み、キャッシュ領域１３０に一時格納された当該コンテンツデータをネットワークＩＦ１５０から送出する。

この一連の処理は、メモリ１４０上にある配信プログラム１４２を制御部１１０が実行することによって実現される配信部が行う。このとき、さらに別の端末装置３０から同じコンテンツ名で特定されるコンテンツへのアクセスがあり、まだキャッシュ領域１３０に当該コンテンツデータが残っていればキャッシュヒットとなる。このような場合には、ディスク装置１２０からキャッシュ領域１３０への当該コンテンツデータの読み込みは省略される。

また、コンテンツ配信が開始されると、次のステップ２０５でコンテンツ配信装置１０の制御部１１０は、ポータルサーバ４０へ端末装置３０からのアクセスがあった旨通知する。この際、制御部１１０は、ポータルサーバ４０に自身が処理しているアクセスの状況を示す情報をあわせて通知する。この情報には、図１３に関して後述する各種情報、あるいは自身が処理しているセッション数、アクセスされているコンテンツの種類などを含めることができる。これにより、ポータルサーバ４０ではアクセス先（制御部１１０〜１１３）ごとに、発生しているアクセス状況を把握できるため精度の高い負荷分散が可能となる。

次に、ディスク装置１２０〜１２３でのコンテンツデータ３０３の格納状態を説明する。図３に、ディスク装置１２０〜１２３に、コンテンツデータ３０３がどのように格納されているかを模式的に示す。

ディスク装置１２０〜１２３上のディスク領域３００には、ブロックサイズ３０１単位でデータの読み書きができる。原則として、ディスク領域３００に書き込まれるデータは必ずしも連続したブロックに記録されないが、エクステントをもつファイルシステムを用いた場合には、少なくともエクステントサイズ３０２の長さはデータが連続したブロックに記録されることを保証することができる。

周知のように、エクステントとは、ハードディスクなどの外部記憶装置に記録された、論理的に連続した記憶領域のことであり、例えばＸＦＳファイルシステムを備えたLinux（登録商標）で利用することができる。したがって、コンテンツデータ３０３は最も断片化した場合には、複数のエクステントサイズ３０２の断片とエクステントサイズに満たない端数データ１つに分割されてディスク領域３００に記録されることになる。ディスク領域３００のうち、テンポラリ領域１２５〜１２８にコンテンツデータを格納する場合も同様である。

次に、本実施形態におけるコンテンツデータの複製処理について説明する。図４は、端末装置３０からのアクセスに対してコンテンツ配信装置１０内でキャッシュヒットが発生したとき、他の制御部１１０〜１１３が管理するディスク装置１２０〜１２３にコンテンツデータの複製を作成する手順を示したシーケンス図である。

まず、ディスク装置１２０からキャッシュ領域１３０に当該コンテンツデータが読み込まれている状態を初期状態とする（ステップ４０１）。このとき、キャッシュヒットが発生すると、制御部１１０は、他の制御部１１１（制御部１１０以外の制御部１１１〜１１３のいずれかでよいが、ここでは制御部１１１とする。）にキャッシュ領域１３０上のコンテンツデータを制御部１１１が管理するキャッシュ領域１３１に複製するよう指示する（ステップ４０２）。複製先の制御部１１１に複製処理を実行させるのは、複製元の制御部１１０が現に端末装置３０からのアクセスを処理しているので、その処理負荷が増加するのを避けるためである。

他の制御部１１１〜１１３のうち制御部１１１を選択する処理は、メモリ１４０上の複製先決定プログラム１４４を制御部１１０が実行することにより実現される複製先決定部が行う。

制御部１１１は、当該コンテンツデータをキャッシュ領域１３０からキャッシュ領域１３１へ複製し（ステップ４０３）、ディスク装置１２１上のテンポラリ領域１２６に書き込む（ステップ４０４）。この一連の手順はメモリ１４０上のデータ複製プログラム１４３を制御部１１１が実行することにより実現されるデータ複製部が行う。

そして複製の完了を制御部１１０へ通知する（ステップ４０５）。また、当該コンテンツデータが、制御部１１１が管理するディスク装置１２１のテンポラリ領域１２６に複製されたことをポータルサーバ４０へ通知する（ステップ４０６）。

これにより、ポータルサーバ４０は、次に端末装置３０から当該コンテンツへの要求があった場合には、制御部１１０の管理するネットワークＩＦ１５０だけでなく、制御部１１１の管理するネットワークＩＦ１５１もアクセス先として通知することができる。結果としてアクセスが複数の制御部１１０〜１１３に分散するため、当該コンテンツデータの制御部１１０〜１１３ごとのキャッシュヒット率は下がる。

前記キャッシュヒットしたコンテンツデータの複製に関して、当該コンテンツデータのキャッシュ領域１３０〜１３３に格納されているデータのみを複製してもよいし、キャッシュヒットしたデータを含むファイル全体のデータを複製してもよい。あるいは、コンテンツデータが複数のデータファイルに分割されて格納されている場合に、１つのコンテンツデータを構成する一部として互いに関連づけられている複数のデータファイルを複製することもできる。なお、本明細書においては、キャッシュヒットしたデータを含めてディスク装置１２０〜１２３に格納されているコンテンツデータ及び当該コンテンツデータの再生等に使用されるデータであって、当該コンテンツデータと関連づけられているデータを「関連データ」と総称することがある。

このようなコンテンツデータの複製処理は、キャッシュ領域１３０に当該コンテンツデータ全体が格納可能となる場合にももちろん効果を発揮する。一方、例えば、ストリーミング方式で配信される、動画像データ等のデータ（データの内容としては、映画コンテンツなどに代表される。）であって、キャッシュ領域１３０に当該コンテンツデータの一部しか格納できないような、サイズが大きいデータを制御部１１０が配信する場合に、当該制御部１１０に割り当てられているディスク装置１２０に端末装置３０からのアクセスが集中するのを防止して、制御部１１０の配信負荷を軽減させるという顕著な効果を奏する。

なお、ステップ４０５〜ステップ４０６のポータルサーバ４０への通知については、例えば複製元の制御部１１０〜１１３から複製先の制御部１１０〜１１３への複製指示が発せられた時点で、データ複製完了前に前倒しで通知を実行してもよい。また、当該コンテンツデータがキャッシュ領域１３０からキャッシュ領域１３１へ複製された時点で、当該データが利用可能となったことをポータルサーバ４０に通知してもよい。

次に、ディスク装置１２０〜１２３の変形例について説明する。図５に、１つの制御部１１０〜１１３に接続されているディスク装置１２０〜１２３が単独のボリュームではなく、複数のボリューム５０１〜５０３を備えている場合の構成を示す。１つの制御部１１０に複数のボリューム（ディスク領域）５０１〜５０３が設定されている場合には、ボリューム５０１〜５０３のそれぞれがテンポラリ領域５０５〜５０７を備える。コンテンツデータの複製先として利用できる記憶領域が減少することにはなるが、全てのボリューム５０１〜５０３にテンポラリ領域５０５〜５０７がなくても本実施形態としての動作は可能である。

次に、１つの制御部１１０が管理する複数のボリューム５０１〜５０３間で、キャッシュヒットを契機におこなわれるコンテンツデータの複製処理を説明する。図６は、１つの制御部１１０の管理する複数のボリューム５０１〜５０３間でキャッシュヒットを契機にコンテンツデータの複製を作成する手順を示すシーケンス図である。

ボリューム５０１上のコンテンツデータがキャッシュ領域１３０に読み込まれている状態を初期状態とする（ステップ６０１）。このとき端末装置３０からのアクセスによってキャッシュヒットが発生すると、キャッシュ領域１３０上のコンテンツデータはボリューム５０２上のテンポラリ領域５０６に書き込まれる。この一連の手順はメモリ１４０上のデータ複製プログラム１４３を制御部１１０が実行することにより実現されるデータ複製部が行う。

データの複製が行われたことは、制御部１１０が複製先決定プログラム１４４を実行することで実現される複製先決定部が管理する。このために、ボリューム５０２にデータの複製が行われた旨、他の制御部１１１〜１１３にも通知する（ステップ６０３）。また、負荷分散処理を行うポータルサーバ４０にも同様に複製が行われた旨通知する（ステップ６０４）。これにより、各制御部１１０〜１１３は、あるコンテンツデータがどの記憶装置１２０〜１２３のどのボリューム５０１〜５０３に格納されているかの情報を保持しておくことができる。

なお、ステップ６０４の通知は、制御部１１０〜１１３間での通信の実行に限らず、制御部１１０〜１１３が共用する共有メモリ領域を設ける等の方法で、以下に述べるコンテンツデータ複製管理テーブル７００を制御部１１０〜１１３間で共有することにより実現してもよい。

図７は、複製先決定プログラム１４４の実行により管理されるコンテンツデータ複製管理テーブル７００の一例である。コンテンツデータ複製管理テーブル７００は、ディスク装置１２０〜１２３に格納されているコンテンツデータごとに個別のテーブル７００が作成される。

コンテンツデータ複製管理テーブル７００には、制御部識別番号７０１、ボリューム識別番号７０２、及び複製有無フラグ７０３の項目が記録されている。制御部識別番号７０１は、各制御部１１０〜１１３を一意に識別するためのＩＤである。ボリューム識別番号７０２は、当該制御部１１０〜１１３が管理するボリューム５０１〜５０３を一意に識別するためのＩＤである。複製有無フラグ７０３は、ボリューム識別番号７０２で特定されるボリューム５０１〜５０３ごとに、当該ボリューム５０１〜５０３のテンポラリ領域５０５〜５０７にコンテンツデータが複製されているかを区別して示すフラグである。

コンテンツデータ複製管理テーブル７００を参照することで、複製先決定プログラム１４４の実行により実現される複製先決定部は、すでに複製のあるテンポラリ領域５０５〜５０７と複製のないテンポラリ領域５０５〜５０７とを区別することができる。

コンテンツデータ複製管理テーブル７００はメモリ１４０に保持してもよいし、ディスク装置１２０〜１２３に保持してもよいし、ディスク上のファイル位置を記録したメタデータなどから必要に応じて動的に構成してもよい。

次に、本実施形態における複製先ボリューム選択処理について説明する。図８は、複製先決定プログラム１４４の実行によって複製先ボリュームが選択される手順を示す。制御部１１０〜１１３が管理するキャッシュ領域１３０〜１３３にあるコンテンツデータのキャッシュヒットを契機にコンテンツデータの複製が実行され、複製先ボリュームの選択が開始される（ステップ８００）。

まず、複製先決定部は、前記した適宜の場所に格納されているコンテンツデータ複製管理テーブル７００を参照して、他の制御部１１１〜１１３の管理するボリューム５０１〜５０３について、まだ複製のないテンポラリ領域５０５〜５０７があるか確認する。（ステップ８０１）。

該当するテンポラリ領域５０５〜５０７がなければ（ステップ８０１、Ｎｏ）、自制御部１１０の管理するボリューム５０１〜５０３について、まだ複製のないテンポラリ領域５０５〜５０７があるか確認する（ステップ８０２）。どちらにも、該当するテンポラリ領域５０５〜５０７がなければ（ステップ８０２、Ｎｏ）、複製先が無い旨を制御部１１０に通知して複製を行わない（ステップ８０３）。該当するテンポラリ領域が見つかった場合には（ステップ８０２、Ｙｅｓ）、当該複製先テンポラリ領域５０５〜５０７を制御部１１０に通知して、コンテンツデータの複製を実行する（ステップ８０４）。

この複製先ボリューム選択処理により、すでにあるコンテンツデータが格納されている（複製されている）テンポラリ領域５０５〜５０７に同一のコンテンツデータを重複して格納することを防ぐことができる。

次に、キャッシュヒット管理テーブル９００について説明する。図９に、キャッシュ管理プログラム１４５の実行により実現されるキャッシュ管理部が管理するキャッシュヒット管理テーブル９００の一例を示す。キャッシュヒット管理テーブル９００には、各コンテンツデータ３０３について、過去における利用履歴に関する情報が記録されている。キャッシュ管理プログラム１４５（キャッシュ管理部）は、コンテンツデータの複製を開始する条件の設定、及びコンテンツデータ複製の開始判定を行う。

キャッシュ管理プログラム１４５は、キャッシュヒット管理テーブル９００を保持しており、当該キャッシュヒット管理テーブル９００には、ブロック番号９０１、キャッシュヒット回数（ヒット回数）９０２、測定時間９０３、キャッシュヒット率の順位（ヒット率順位）９０４、及び経過時間の平均値（ヒット間隔）９０５が記録される。

ブロック番号９０１は、メモリ１４０に設定されたキャッシュ領域１３０〜１３３に対応したブロック番号である。キャッシュヒット回数９０２は、当該ブロック番号によって特定されるブロック上に書き込まれているデータがキャッシュヒットした回数である。測定時間９０３は、キャッシュヒット回数９０２をカウントするために適宜の長さに設定される測定時間であり、例えば１秒などと記録される。キャッシュヒット率順位９０４は、単位時間あたりのキャッシュヒット率、すなわち（キャッシュヒット回数９０２／測定時間９０３）の値を、ブロック番号が大きい順にソートしたときの順位である。経過時間の平均値９０５は、前回のキャッシュヒットからの経過時間の平均値であり、キャッシュヒットが発生する時間間隔の平均値を代表する。キャッシュヒット率順位９０４が高いほど、経過時間の平均値９０５が小さいほど、端末装置３０からの配信要求頻度が高い、人気コンテンツデータであると判断することができる。

単純にキャッシュヒットがあったことを契機としてデータ複製を開始する場合は、ヒット回数９０２が増えた場合に必ずデータ複製開始を実行することで実現する。ヒット回数ｎ回以上で複製を開始するよう条件を変更したり、ヒット率順位９０４が一定値以上の場合についてだけ複製を開始するように条件を変更したり、ヒット間隔９０５が一定値以下になった場合に複製を開始するなど、必要に応じて自由にキャッシュヒットに付帯する条件、すなわち本発明におけるキャッシュヒットの定義をカスタマイズすることができる。

次に、ファイルシステムによるデータ複製処理について説明する。図１０に、ファイルシステムを用いてデータ複製する手順を模式的に示す。ディスク装置１２０上のコンテンツデータ３０３は制御部１１０によってファイルオープンされた後、メモリ１４０に設定されているキャッシュ領域１４１に読み込まれる。このとき、さらに別途の端末装置３０からのアクセスに基づいて同一コンテンツデータ３０３がファイルオープンされると、既にキャッシュ領域１４１に当該コンテンツデータ３０３が保持されているためキャッシュヒットする。

このとき、当該コンテンツデータ３０３のうちのキャッシュヒットしたブロックだけでなく、コンテンツデータ３０３全体がデータ複製の対象となる。コンテンツデータ３０３のうちキャッシュ領域１４１上に保持されていないブロックがあれば、ディスク装置１２０〜１２３から新たに当該データを読み込んでデータ複製を行う。

一般にキャッシュ領域１４１上に保持されているデータは、ＬＲＵなどのアルゴリズムで新しいデータによって上書きされていく。動画像データ等のコンテンツデータ３０３はデータサイズが大きいためデータが部分的にしかキャッシュ領域１４１に残らず、後続の同一コンテンツデータ３０３に対するファイルオープンの動作タイミングによってはキャッシュヒットが起こらず適切にデータ複製を開始できない可能性がある。

本実施形態では、この問題を解消するために、当該コンテンツデータを構成するファイルの先頭ブロック１００１を最優先でキャッシュ領域１４１に残す制御を行っている。この制御を行うことで、特に映画コンテンツなどでは当該コンテンツデータのファイルの先頭からアクセスが開始されると考えられるので、キャッシュヒット率が向上すると期待できる。また、ファイル先頭からアクセスされないタイプのコンテンツデータであっても、当該コンテンツデータのファイルオープン時にファイルの先頭ブロック１００１がキャッシュ領域１４１にあるかチェックし、存在する場合にはキャッシュヒット扱いにするといった対策をとることで、実質的にキャッシュヒット率向上を図ることができる。

次に、ファイルシステムを使用しないデータ複製処理について説明する。図１１に、ファイルシステムを使用しないでデータ複製する手順を模式的に示す。このファイルシステムを使用しないデータ複製処理は、ディスク装置１２０〜１２３の内部に機能を実装するなど、ハードウェア側での実装に適している。

複数のボリューム１１２１〜１１２２をもつディスク装置１２０上に格納されているコンテンツデータ３０３は、ディスク装置１２０に実装されたメモリ（図示省略）に設定されているキャッシュ領域１１１０に読み込まれる。当該コンテンツデータへのアクセスがありキャッシュヒットすると、当該コンテンツデータはディスク装置１２０内の別ボリューム１１２２に設定されているテンポラリ領域１１２２１へと複製される。

なお、ファイルシステムを用いないため、例えば同時に複数のファイルを読み込んだ場合、どのブロックがどのファイルの一部なのかを判別して管理するための処理オーバヘッドが大きいという問題がある。この問題による影響を排除ないし軽減するために、データが連続したブロックに記録されていることが論理的に保証されるエクステントサイズごとに、キャッシュヒット判定やデータ複製処理を行う。ファイル単位でのデータ複製と同様に、各エクステントの先頭ブロック１１０１〜１１０５を最優先でキャッシュ領域１１１０に残して、適切にキャッシュヒットが発生するように制御する。

ディスク装置１２０がエクステント単位の複製を行うことにより、データ複製プログラム１４３実行により実現される複製処理は、全てのエクステントが複製済みかチェックし、不足しているエクステントがあれば当該エクステントのみを複製するという処理ですむようになり、ディスク装置１２０とこれを管理する制御部１１０が管理するキャッシュ領域１４１間のデータ送信に要する帯域を節約することができる。上記不足しているエクステントの有無をチェックするには、以下に説明するファイルとエクステントとの対応関係を示すファイル−エクステント対応管理テーブル１２００を用いる。

図１２に、ファイル−エクステント対応管理テーブル１２００の一例を示す。ファイル−エクステント対応管理テーブル１２００はファイル毎に生成されるものであり、これには、コンテンツデータのファイルを構成しているデータブロックに付与されたブロック番号１２０１と、各ブロック番号１２０１で特定されるブロックの長さ１２０２が記録される。ファイルを構成する各エクステントの開始ブロック番号１２０１とエクステントサイズであるブロック長さ１２０２を対応させて記録しておくことにより、各ファイルがどのようなエクステントで構成されているか把握することができる。

なお、このファイル−エクステント対応管理テーブル１２００と同様の形式のテーブルを用いてキャッシュ領域１１１０の節約をすることができる。ファイルの先頭ブロック１１０１〜１１０５など、キャッシュ領域１１１０に残しておきたいデータが、キャッシュ領域１１１０の領域不足により残せないような場合でも、当該ファイル−エクステント対応管理テーブル１２００を流用してキャッシュ領域１１１０上にあると見なしてデータ複製を開始するブロック番号１２０１の一覧として記録しておくことで、キャッシュされている場合と同様の動作をさせることができる。

次に、ポータルサーバ４０による負荷分散処理について説明する。図１３に、ポータルサーバ４０で制御部４２が実行する負荷分散プログラム４４が保持するアクセス状況管理テーブル１３００を示す。

アクセス状況管理テーブル１３００は、配信装置アドレス１３０１ごとに、当該アクセス先から配信可能なコンテンツ一覧１３０２、各コンテンツのビットレート一覧１３０３、当該アクセス先の配信可能帯域１３０４、及び当該アクセス先の各コンテンツのアクセス数１３０５を記録している。

コンテンツ一覧１３０２、各コンテンツのビットレート一覧１３０３、当該アクセス先の配信可能帯域１３０４、及び当該アクセス先の各コンテンツのアクセス数１３０５は、各配信装置アドレス１３０１が割り当てられている前記コンテンツ配信装置１０の制御部１１０〜１１３から、ポータルサーバ４０へ定期的に通知され、これに対応してアクセス状況管理テーブル１３００が更新される。

ポータルサーバ４０による負荷分散処理は、制御部４２が負荷分散プログラム４４を実行する際に、このアクセス状況管理テーブル１３００を参照して、端末装置３０が要求するコンテンツを配信可能なアクセス先の中で最も配信可能帯域に余力のあるアクセス先を選択することで実現する。

次に、ポータルサーバ４０によって行われる負荷分散処理の処理フローについて説明する。図１４に、この負荷分散処理の処理フローの一例を示す。まず、端末装置３０からアクセス先問い合わせがあると（ステップ１４００）、制御部４２は、アクセス状況管理テーブル１３００からアクセス先を１つ選択する（ステップ１４０１）。

選択したアクセス先に端末装置３０の要求するコンテンツがあるか確認し（ステップ１４０２）、当該コンテンツがあり（ステップ１４０２、Ｙｅｓ）、さらに配信帯域に余裕があれば（ステップ１４０３）、選択したアクセス先を端末装置３０に通知する（ステップ１４０５）。配信帯域に余裕があるかは、端末装置３０から配信要求があったコンテンツのビットレートと、当該アクセス先の制御部１１０〜１１３の配信可能帯域とを比較して決定する。

アクセス先のコンテンツ配信装置１０に該当コンテンツがない（ステップ１４０２、Ｎｏ）、あるいは当該コンテンツ配信装置１０の配信帯域に余裕がない（ステップ１４０３、Ｎｏ）と判定された場合には、まだチェックしていないアクセス先が残っていれば、ステップ１４０１に戻って次のアクセス先を選択して、ステップ１４０２〜１４０３の処理を繰り返す。全てのアクセス先をチェックした結果、条件を満たすアクセス先が選択できないと判定された場合には（ステップ１４０４、Ｎｏ）、制御部４２は、コンテンツを要求してきた端末装置３０にいずれのコンテンツ配信装置１０も混雑中で要求されたコンテンツを配信することができない旨のエラーメッセージを通知する（ステップ１４０６）。

なお、ステップ１４０６では、端末装置３０へのエラー通知に加えて、コンテンツデータの複製によりアクセス先候補を増やす余地がある場合には、コンテンツ配信装置１０に強制的にコンテンツデータの複製を促す指示を送出することとしてもよい。このようにすれば、端末装置３０からのコンテンツ配信要求に対応できない事態を回避することができる。

次に、本来格納されていたディスク装置１２０から一旦他のディスク装置１２１へ複製したデータをさらに他のディスク装置１２２に複製するデータ複製処理について説明する。図１５に、図４に示した手順で制御部１１１が管理するディスク装置１２１のテンポラリ領域１２６に複製したデータを、さらに他のディスク装置１２２に複製する場合の手順の一例を示す。

ディスク装置１２１のテンポラリ領域１２６に格納されているコンテンツデータ３０３が、メモリ１４０のキャッシュ領域１３１に読み込まれている状態を初期状態とする（ステップ１５０１）。

端末装置３０からの要求に基づいてキャッシュ領域１３１に格納されているコンテンツデータ３０３がキャッシュヒットすると、制御部１１１はコンテンツ複製先をコンテンツデータ３０３複製元である制御部１１０に問い合わせる（ステップ１５０２）。

制御部１１１は、制御部１１０から複製先のテンポラリ領域１２７を特定する情報を取得すると（ステップ１５０３）、テンポラリ領域１２７が設定されているディスク装置１２２を管理する制御部１１２にデータ複製を指示する（ステップ１５０４）。制御部１１０に複製先を問い合わせるのは、本来コンテンツデータ３０３が格納されていた制御部１１０が必ず複製先決定処理（図８）を実行することにより、他の制御部１１１〜１１３と複製先決定処理が競合して実行されることになるのを防ぐためである。

制御部１１２は、キャッシュ領域１３１からキャッシュ領域１３２にコンテンツデータ３０３を複製して（ステップ１５０５）、その複製したコンテンツデータ３０３をディスク装置１２２のテンポラリ領域１２７に書き込む（ステップ１５０６）。制御部１１２は、コンテンツデータ３０３の複製が完了したときに、制御部１１１にその旨を通知する（ステップ１５０７）。通知を受けた制御部１１１は、制御部１１０にコンテンツデータ３０３の複製が完了した旨通知する（ステップ１５０８）。なお、図示を省略しているが、複製完了通知は、制御部１１３に対しても行われる。

また、制御部１１２は、ポータルサーバ４０にもコンテンツデータ３０３の複製が完了した旨通知する（ステップ１５０９）。なお、ステップ１５０７〜ステップ１５０９の複製完了通知は、データ複製完了前に前倒しで実行してもよい。

次に、制御部１１０〜１１３相互間で、それぞれが管理しているキャッシュ領域１３１〜１３３に保持されているデータを複製する処理について説明する。図１６に、図４ステップ４０３〜ステップ４０４に記載したような、制御部１１０〜１１３間でキャッシュ領域１３１〜１３３の内容を複製する手順を示す。

単純に異なるキャッシュ領域１３１〜１３３間でデータを複製するとメモリ間コピーが発生するため制御部１１０〜１１３の負荷が増大して好ましくない。そこで、本実施形態では、例えば制御部１１０〜１１３の機能の１つとして実装されている仮想記憶機能を利用して問題を解決している。

仮想記憶機能では、物理メモリ１６００がページ１６０１単位で管理されている。それらのページ１６０１を任意に仮想記憶領域に割り当てることにより、仮想メモリ１６０２を実現する。例えば、仮想メモリ１６０２のページ１６０４に新たにアクセスするとき、物理メモリ１６００のうち未使用のページ１６０３を割り当てるといった動作をする。

キャッシュ領域１３０のページ１６０６に格納されているデータをキャッシュ領域１３１のページ１６０７に複製する場合、ページ１６０６に対応する物理メモリ１６００がページ１６０５であれば、実アドレスであるこの物理メモリ１６００のページ１６０５を仮想アドレスとしてのページ１６０６及びページ１６０７の両方に割り当てることにより、物理的に複製元のページ１６０５に格納されている複製対象のデータを複製することなく、当該データをキャッシュ領域１３０〜１３３間で複製することができる。

なお、本実施形態の情報処理システム１では、コンテンツ配信装置１０及びポータルサーバ４０がそれぞれ別の装置であるとしているが、コンテンツ配信装置１０が有する制御部１１０〜１１３のうちの１つをポータルサーバ４０の制御部４２として用いてもよい。

また、本実施形態では、ディスク装置１２０〜１２３はコンテンツ配信装置１０に内蔵されているが、ホストとしてのコンテンツ配信装置１０をＳＡＮ（Storage Area Network）などのネットワークを介してディスク装置１２０〜１２３と接続する構成を採用してもよい。

さらに、本実施形態では、ポータルサーバ４０に１台のコンテンツ配信装置１０が接続されているが、１台のポータルサーバ４０に複数のコンテンツ配信装置１０を接続してもかまわない。

また、本実施形態では、データ複製プログラム１４３、複製先決定プログラム１４４、及びキャッシュ管理プログラム１４５をコンテンツ配信装置１０が有する制御部１１０〜１１３によって実行しているが、これらのプログラムで実現される一部又は全部の処理をポータルサーバ４０の制御部４２によって実行してもかまわない。

なお、本実施形態では、コンテンツ配信において生じる、ディスク性能不足に起因するリソース分割損の解消を目的としているが、本発明の達成しようとする目的はこれに限定されない。本発明は、例えばネットワークから送られてくる映像データを受信してディスク装置に記録するといった監視システム用途にも好適に適用することができる。

以上説明した本発明の一実施形態によれば、キャッシュヒットを契機にすることにより人気のあるコンテンツデータを自動的に検出することができるため、ディスク読み出し性能不足が発生する前にコンテンツデータを他のディスク装置に複製することができ、制御部が複数あることによるリソース分割損の発生を防ぐことができる。

以上、本願発明を、その実施形態に即して添付図面を参照しながら説明したが、本願発明は、これらの実施形態に限定されるものではない。また、本願発明の趣旨を逸脱しないいかなる変形例、均等物も本願発明の範囲内のものである。

本発明の一実施形態に係る情報処理システム１を示す図である。 情報処理システム１の全体動作プロセスを示す図である。 ディスク領域３００と格納されるデータのサイズの関係を示す模式図である。 情報処理システム１によるデータ複製動作プロセスを示す図である。 １つの制御部１１０〜１１３に複数のボリューム５０１〜５０３が接続されている構成を示す模式図である。 １つの制御部１１０〜１１３に接続されたボリューム５０１〜５０３間のデータ複製動作プロセスを示す図である。 コンテンツデータ複製管理テーブル７００の一例を示す図である。 複製先ボリューム決定プロセスを示す図である。 キャッシュヒット管理テーブル９００の一例を示す図である。 ファイルシステムを使用してデータ複製するプロセスを示す図である。 ファイルシステムを使用しないでデータ複製するプロセスを示した図である。 ファイル−エクステント対応関係テーブル１２００の一例を示した図である。 アクセス状況管理テーブル１３００の一例を示す図である。 ポータルサーバ４０が行う負荷分散処理の動作プロセスを示した図である。 ディスク装置１２０〜１２３のテンポラリ領域１２６からテンポラリ領域１２７へのデータ複製動作プロセスを示す図である。 制御部１１０〜１１３間でキャッシュ領域１３１〜１３３に保持されているデータを複製するプロセスを示す図である。

符号の説明

１０ コンテンツ配信装置（制御装置）
２０ ネットワーク
３０ 端末装置（外部装置）
４０ ポータルサーバ（管理装置、コンテンツデータ配信要求割当て装置）
４１、１５０、１５１、１５２、１５３ ネットワークＩＦ
４２、１１０、１１１、１１２、１１３ 制御部
４３、１４０ メモリ
４４ 負荷分散プログラム（負荷分散処理部）
１２０、１２１、１２２、１２３ ディスク装置（記憶装置）
１２５、１２６、１２７、１２８ テンポラリ領域（一時記憶領域）
１３０、１３１，１３２、１３３、１４１ キャッシュ領域
１４２ 配信プログラム（配信部）
１４３ データ複製プログラム（データ複製部）
１４４ 複製先決定プログラム（複製先決定部）
１４５ キャッシュ管理プログラム（キャッシュ管理部）

Claims (15)

1. 外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータを前記外部装置へ送信する情報処理システムであって、
   前記データ送信要求の対象であるデータを各々格納している複数の記憶装置と、
   前記外部装置からデータ送信要求を受け付けて当該データ送信要求の対象であるデータを、各々に割り当てられている前記記憶装置から読み出して前記外部装置に送信する複数の制御部と、
   前記複数の制御部のいずれかが自身に割り当てられている前記記憶装置から読み出したデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えている、制御装置と、
   前記外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータが格納されている前記記憶装置が割り当てられている前記制御部を前記外部装置のデータ送信要求先として割り当てる管理装置と、を備え、
   前記複数の制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置に格納されている当該データに関する関連データを、他の前記制御部に割り当てられている他の前記記憶装置に複製すると共に、当該関連データが他の前記記憶装置に複製された旨前記管理装置に通知する、
   ことを特徴とする情報処理システム。
2. 請求項１に記載の情報処理システムであって、前記管理装置は、前記制御装置の前記各制御部からそれらの負荷状況に関する情報を取得し、前記外部装置から前記データ送信要求を受け付けたときに、当該データが格納されている前記記憶装置が割り当てられている前記制御部の前記負荷状況に関する情報に基づいて前記データ送信要求先となる前記制御部を選択する
   ことを特徴とする情報処理システム。
3. 請求項１に記載の情報処理システムであって、前記管理装置が取得する、前記負荷状況に関する情報は、前記データ送信要求の対象であるデータの送信速度、前記データ送信要求先である前記制御部においてデータ送信に使用可能な帯域、及び前記データ送信要求先において発生している前記データに対するアクセス数のうちの少なくともいずれかを含んでいることを特徴とする情報処理システム。
4. 請求項１に記載の情報処理システムであって、前記データ送信要求の対象であるデータが、データ送信要求元の前記外部装置にストリーミング方式で配信されるデータであることを特徴とする情報処理システム。
5. 請求項１に記載の情報処理システムであって、前記制御部は、前記関連データを自身に割り当てられている前記記憶装置から他の前記制御部に割り当てられている他の前記記憶装置に複製する処理に先立って、他の前記記憶装置に、当該関連データがすでに格納されているかを判定し、当該他の記憶装置に格納されていないと判定した場合に、当該他の記憶装置を前記関連データの複製先に選定することを特徴とする情報処理システム。
6. 請求項５に記載の情報処理システムであって、前記制御部の各々は、前記他の記憶装置に、当該データが格納されていると判定した場合に、自身に割り当てられている前記記憶装置に当該関連データが格納されていない記憶領域があるかを判定し、当該記憶領域があると判定した場合に、当該記憶領域を前記データの複製先に選定することを特徴とする情報処理システム。
7. 請求項１に記載の情報処理システムであって、前記制御部の各々は、前記関連データを自身に割り当てられている前記記憶装置から他の前記記憶装置に複製する処理が完了する前に、前記関連データが前記他の記憶装置に複製されたことを前記管理装置に通知することを特徴とする情報処理システム。
8. 請求項１に記載の情報処理システムであって、前記制御部の各々が前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータが前記キャッシュメモリにおいてキャッシュヒットしたかを判定する処理は、当該データ送信要求の対象であるデータの利用履歴に関する情報に基づいて実行されることを特徴とする情報処理システム。
9. 請求項８に記載の情報処理システムであって、前記データ送信要求の対象であるデータの利用履歴に関する情報は、当該データが前記キャッシュメモリにおいてキャッシュヒットした回数、所定の単位時間あたりの前記キャッシュヒット回数、及び当該データがキャッシュヒットした平均時間間隔のうちの少なくともいずれかを含むことを特徴とする情報処理システム。
10. 請求項１に記載の情報処理システムであって、前記制御部の各々が前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータが前記キャッシュメモリにおいてキャッシュヒットしたかを判定する処理において、当該データに含まれる所定のブロックがキャッシュヒットした場合に、当該ブロックが含まれるデータに関するファイル全体を複製することを特徴とする情報処理システム。
11. 請求項１に記載の情報処理システムであって、前記制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータが前記キャッシュメモリにおいてキャッシュヒットしたかを調べ、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置から他の前記記憶装置に複製された前記関連データを、さらに他の前記記憶装置に複製することを特徴とする情報処理システム。
12. 請求項１に記載の情報処理システムであって、前記関連データを前記記憶装置のいずれかから他の前記記憶装置に複製する処理を、他の前記記憶装置が割り当てられている他の前記制御部が実行することを特徴とする情報処理システム。
13. 請求項１に記載の情報処理システムであって、他の前記記憶装置には、前記データを一時的に格納する記憶領域である一時記憶領域が設定されており、前記関連データは当該一時記憶領域に複製されることを特徴とする情報処理システム。
14. 外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータを前記外部装置へ送信する情報処理システムの運用方法であって、
    前記情報処理システムは、
    前記データ送信要求の対象であるデータを各々格納している複数の記憶装置と、
    前記外部装置からデータ送信要求を受け付けて当該データ送信要求の対象であるデータを、各々に割り当てられている前記記憶装置から読み出して前記外部装置に送信する複数の制御部と、
    前記複数の制御部のいずれかが自身に割り当てられている前記記憶装置から読み出したデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えている、制御装置と、
    前記外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータが格納されている前記記憶装置が割り当てられている前記制御部を前記外部装置のデータ送信要求先として割り当てる管理装置と、を備え、
    前記複数の制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置に格納されている当該データに関する関連データを、他の前記制御部に割り当てられている他の前記記憶装置に複製すると共に、当該関連データが他の前記記憶装置に複製された旨前記管理装置に通知する、
    ことを特徴とする情報処理システムの運用方法。
15. 外部装置からのコンテンツデータ配信要求を受け付けて、当該コンテンツデータ配信要求の対象であるコンテンツデータを前記外部装置へ配信するコンテンツ配信システムであって、
    前記コンテンツデータを各々格納している複数のディスク装置と、
    各々前記外部装置からコンテンツデータ配信要求を受け付けて当該コンテンツデータ配信要求の対象であるコンテンツデータを、自身に割り当てられている前記ディスク装置から読み出して前記外部装置に送信する複数の制御部と、
    前記複数の制御部の各々が、自身に割り当てられている前記ディスク装置から読み出したコンテンツデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えているコンテンツ配信装置と、
    前記外部装置からのコンテンツデータ配信要求を受け付けて、当該コンテンツデータ配信要求の対象であるデータが格納されている前記複数の制御部のいずれかを前記外部装置のコンテンツデータ配信要求先として割り当てるコンテンツ配信要求割当て装置とを備え、
    前記複数の制御部の各々は、前記外部装置からのコンテンツデータ配信要求を受け付けたときに、当該コンテンツデータ配信要求の対象であるコンテンツデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、当該コンテンツデータを自身に割り当てられている前記ディスク装置から他の前記制御部に割り当てられている他の前記ディスク装置に複製すると共に、当該コンテンツデータが他の前記制御部に割り当てられている他の前記ディスク装置に複製された旨前記コンテンツ配信要求割当て装置に通知し、
    前記コンテンツ配信要求割当て装置は、前記コンテンツ配信装置の前記各制御部からそれらの負荷状況に関する情報を取得し、前記外部装置から前記コンテンツデータ配信要求を受け付けたときに、当該コンテンツデータを格納している前記ディスク装置が割り当てられている前記制御部の前記負荷状況に関する情報に基づいて前記コンテンツデータ配信要求先となる前記制御部を選択する
    ことを特徴とするコンテンツ配信システム。

Images