JP5797769B2 - データ送受信システム - Google Patents

データ送受信システム Download PDF

Info

Publication number
JP5797769B2
JP5797769B2 JP2013542878A JP2013542878A JP5797769B2 JP 5797769 B2 JP5797769 B2 JP 5797769B2 JP 2013542878 A JP2013542878 A JP 2013542878A JP 2013542878 A JP2013542878 A JP 2013542878A JP 5797769 B2 JP5797769 B2 JP 5797769B2
Authority
JP
Japan
Prior art keywords
data
unit
client terminal
content data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013542878A
Other languages
English (en)
Other versions
JPWO2013069329A1 (ja
Inventor
秀俊 青柳
秀俊 青柳
善久 橋本
善久 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Priority to JP2013542878A priority Critical patent/JP5797769B2/ja
Publication of JPWO2013069329A1 publication Critical patent/JPWO2013069329A1/ja
Application granted granted Critical
Publication of JP5797769B2 publication Critical patent/JP5797769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1061Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1063Discovery through centralising entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • H04L67/108Resource delivery mechanisms characterised by resources being split in blocks or fragments

Description

本発明は,データ送受信システムに関する。具体的に説明すると,本発明のデータ送受信システムは,複数のサーバ装置で構成されたサーバ手段と複数のクライアント端末が通信ネットワークを介して接続されており,相互にデータの送受信が可能なシステムに関するものである。
従来から,コンテンツデータをサーバにおいて管理し,クライアント端末が,必要に応じて当該コンテンツデータをサーバからダウンロードするサーバクライアントシステムが知られている。このようなサーバクライアントシステムは,例えば,インターネット・プロトコル技術を利用してコンピュータが相互接続されたインターネットや,それを社内などの組織内ネットワークに使用したイントラネットにおいて構築されている。
例えば,ソフトウェアの開発現場では,ソフトウェアの構成管理や開発中ファイルの更新管理をサーバ装置において一元管理しながら,サーバに接続された各クライアント端末が,適宜必要なときに,サーバ装置からソースファイルやコンテンツをダウンロードし,ダウンロードしたコンテンツの様々な編集作業を行う。このように,サーバクライアントシステムを利用することで,サーバ内のコンテンツデータを常に最新に維持しながら,それを各クライアント端末で共有することができるというメリットがある。
また,従来から,コンピュータなどの情報処理装置を相互に接続し,相手の装置にデータを送信する通信技術として,ピアツーピア(Peer to Peer; 以下,P2Pという)の通信技術が知られている。P2P型の通信では各パーソナルコンピュータが対等なものとなり,専用のサーバが不要であるため,比較的に容易に通信網を構成することができる。P2P型の通信は,例えば4台〜6台程度のパーソナルコンピュータを用いる小規模LANの構築に適しており,直接相手に対して送信を行うために通信量(トラフィック)を小さくすることができるというメリットがある。
さらに,例えば,特許文献1には,サーバクライアントシステムにおいて,サーバを経由するトラフィックを軽減して,コンテンツデータを処理装置間で効率よく伝送し,各情報処理装置の利用者間における円滑且つ多様なコミュニケーションを実現するための通信技術が開示されている。この特許文献1に開示された技術によれば,クライアント・サーバ型の接続からP2P型の接続へ遷移させることによって,サーバに対するトラフィックの一局集中を避けることができ,システム全体としてのトラフィックの最適化を図ることができるとされている。
特開2003−203023号公報
上述した通り,従来のクライアントサーバシステムは,サーバによってコンテンツデータを一元管理し,それを適宜各クライアント端末にダウンロードして作業を行うものであるが,サーバからクライアント端末へのデータ転送の待ち時間は,コンテンツデータが大量であるほど,データを扱う処理の作業効率を低下させることとなる。特に,テラバイトクラスの動画等を含むデジタルアセットを日常的に扱うデジタルコンテンツ業界では,クライアント端末からのダウンロード要求がサーバに集中すると,データ転送に際してボトルネックが発生し,作業効率の低下を招く恐れがあった。
また,例えば,映像制作業界やデジタルエンターテイメント業界では,一般的に,クリエイタの出社時間帯に,複数のクライアント端末からサーバに対して一斉にコンテンツデータの要求が行われる。このため,この出社時間帯においては,サーバにアクセスが集中し,サーバから各クライアント端末に対してコンテンツデータを送信するデータ転送速度が著しく低下する恐れがある。また,サーバにおいては,各種アセットやソースコードを日常的にビルドし生成する必要があるため,各クライアント端末においてコンテンツデータのレンダリング作業等が終わり,クリエイタの退社時間帯になると,複数のクライアント端末からサーバに対して一斉に編集後のコンテンツデータがアップロードされる。このため,退社時間帯においても,サーバにアクセスが集中することとなり,各クライアント端末からサーバに対してコンテンツデータを送信するデータ転送速度が著しく低下する可能性がある。このように,従来のクライアントサーバシステムにおいては,イントラネットや外部サーバにおけるトラフィックが増加し,ボトルネックが日常的に発生するというという問題があった。
また,従来のクライアントサーバシステムにおいては,各クライアント端末間のデータ送受信の場合にも,サーバを介してデータを送る必要がある。このため,各クライアント端末間でデータが大量となる動画を転送したり,接続するクライアントの数が増加した場合において,サーバを経由するデータトラフィックが増大化して,データ送信の低速化やボトルネックが発生するという不具合があった。
また,特許文献1に記載の通信技術は,各クライアント端末がサーバにアクセスし,サーバクライアント型通信においてコンテンツデータを取得するか,P2P通信が可能なクライアント端末を特定して,その特定したクライアント端末との間のP2P型通信において,コンテンツデータを取得するものである。しかしながら,特許文献1の技術では,クライアント端末とサーバ,又はクライアント端末とクライアント端末が,一対一の関係でコンテンツデータの送受信を行うものであるため,結局,一つの情報処理装置に対するトラフィックが増大した場合に,データ送信の低速化やボトルネックが発生する可能性があるという問題を有するものであった。すなわち,特許文献1に記載の技術は,クライアント端末同士が通信を行う場合に,サーバクライアント型通信からP2P型通信に遷移させることにより,サーバクライアント型通信においてサーバにトラフィックが集中することを回避したものに過ぎず,サーバからクライアント端末へ,又はクライアント端末からクライアント端末へデータを送信する際の通信障害を解消することはできなかった。
このため,現在では,サーバクライアントシステムにおいて,各クライアント端末にコンテンツデータを配信する際に,サーバにトラフィックが集中し,ボトルネックが発生する不具合を解消しつつ,コンテンツデータを要求しているクライアント端末に対し,マルチパスでデータを配信することにより,データ伝送の高速化を実現することのできるデータ送受信システムが求められている。
そこで,本発明の発明者らは,上記の従来発明の問題点を解決する手段について鋭意検討した結果,コンテンツデータを複数のデータに分割し,クライアント端末からあるコンテンツデータのダウロード要求があった際には,そのクライアント端末に対して,当該コンテンツデータを保有するサーバからだけでなく,当該コンテンツデータの分割データがキャッシュ領域に残存している他のクライアント端末から,P2P通信網を介して当該コンテンツデータの分割データを転送し,クライアント端末内にてコンテンツデータを再構築させることにより,サーバにトラフィックが集中するボトルネックを解消しつつ,マルチパスによってデータ転送速度の高速化を実現することができるという知見を得た。そして,本発明者らは,上記知見に基づけば,従来技術の課題を解決できることに想到し,本発明を完成させた。
具体的に本発明は,以下の構成を有する。
本発明は,データ送受信システムに関する。
本発明のデータ送受信システムは,一又は複数のサーバ装置により構成されるサーバ手段と,複数のクライアント端末とを有している。サーバ手段とクライアント端末,及び複数のクライアント端末同士は,通信ネットワークを介してデータの授受ができるように接続されている。
サーバ手段は,コンテンツ記憶部と,データ分割部と,送信部を有する。
コンテンツ記憶部は,一又は複数の任意のコンテンツデータを記憶している。コンテンツデータの例は,画像データ,動画データ,音声データ,及び文字データであるが,これらのものに限定されず,クライアント端末において記憶,演算される種々のデータを含む。
データ分割部は,コンテンツ記憶部に記憶されているコンテンツデータを分割して分割データを生成するための機能を有する。
サーバの送信部は,データ分割部により生成された分割データを,クライアント端末に対して送信するための機能を有する。
一方,複数のクライアント端末のそれぞれは,サーバ通信部と,受信部と,キャッシュ領域を有する。
サーバ通信部は,サーバ手段に対して,コンテンツデータのダウンロード要求を送信するための機能を有する。
受信部は,サーバ通信部を介したダウンロード要求に応じてサーバ手段から送信されたコンテンツデータの分割データをダウンロードするための機能を有する。
キャッシュ領域は,受信部によってダウンロードした分割データを一時的に記憶するための機能を有する。
また,サーバ手段は,さらに,メタデータデータベースを備えている。このメタデータデータベースは,各クライアント端末のキャッシュ領域に記憶されている分割データに関するメタデータを記憶しており,少なくとも,分割データの種類に応じて,どの分割データが,どのクライアント端末のキャッシュ領域に記憶されているかについてのメタデータが記憶されている。
また,複数のクライアント端末のそれぞれは,さらに,メタデータ取得部と,P2P通信部,再構築部と,データ記憶部を有する。
メタデータ取得部は,コンテンツデータのダウンロード要求をサーバ手段に送信した際,メタデータデータベースを参照し,分割データに関するメタデータに基づいて,当該コンテンツデータの分割データを記憶している他のクライアント端末に関する情報を取得する機能を有する。
P2P通信部は,メタデータ取得部によって取得した他のクライアント端末に関する情報に基づいて,当該他のクライアント端末のキャッシュ領域から,コンテンツデータの分割データをダウンロードするための機能を有する。
再構築部は,受信部によってダウンロードした分割データ及びP2P通信部によってダウンロードした分割データの両方又はいずれか一方を統合して,コンテンツデータを再構築するための機能を有する。
データ記憶部は,再構築部により再構築したコンテンツデータを記憶する。
上記のように,本発明のデータ送受信システムでは,あるクライアント端末によるコンテンツデータのダウンロード要求に応じて,コンテンツデータを保有するサーバ手段からだけでなく,当該コンテンツデータがキャッシュ領域に記憶されている他のクライアント端末からも,ダウンロード要求を行ったクライアント端末に対して,コンテンデータの一部又は全部を転送することができる。このため,複数のクライアント端末に対するデータ転送が,特定のサーバ装置に一局集中する事態を回避することができ,データ転送に際して生じるボトルネックの問題を解消することができる。また,あるクライアント端末が,サーバ手段に格納されているデータを要求するとき,そのクライアント端末の近傍の他のクライアント端末に要求データの分割データがある場合には,これを活用することでデータの全量をサーバ手段から取得せずに済むため,サーバ手段の負荷の低減と,サーバ手段との通信経路上のボトルネックの軽減が達成される。さらに,本発明のデータ送受信システムでは,あるクライアント端末に対し,コンテンツデータを,サーバ手段及び他のクライアント端末から分割データとして転送することが可能である。このように,本発明は,コンテンツデータの要求を行ったクライアント端末に対して,マルチパスで,コンテンツデータをダウンロードさせることができ,データ転送速度の高速化を実現できる。
本発明において,サーバ手段は,複数のサーバ装置により構成されるものとし,複数のサーバ装置のそれぞれは,コンテンツ記憶部を冗長化したストレージを有することとしてもよい。この場合,サーバ手段のデータ分割部は,ストレージに記憶されているコンテンツデータを分割して分割データを生成し,サーバ手段の送信部は,クライアント端末からのダウンロード要求に応じて,データ分割部により生成された分割データをクライアント端末に対して送信する。
このように,コンテンツデータを記憶しているコンテンツ記憶部を冗長化し,各サーバ装置のストレージに記憶させることにより,複数のサーバ装置から,コンテンツデータを要求するクライアント端末に対して,コンテンツデータの分割データを転送することができる。このように,複数のサーバ装置のストレージに冗長化され保存されているデータが,マルチパスで,クライアント端末に送信されるため,1コネクションあたりの通信速度が原因で通信完了までの速度が遅くなる問題を解決することができる。さらに,複数のストレージに冗長化され保存されている分割データ(たとえば同一ファイルの異なるブロック)が並列処理,かつ,マルチパスでクライアント端末に送信されるため,データ転送の更なる高速化を実現できる。
本発明において,サーバ手段は,複数のサーバ装置により構成されるものとし,複数のサーバ装置のそれぞれは,データ分割部により生成された分割データを記憶するストレージを有するものであることが好ましい。この場合,サーバ手段の送信部は,クライアント端末からのダウンロード要求に応じて,分割データを記憶するストレージにより記憶されている当該分割データを,前記クライアント端末に対して送信する。
このように,複数のサーバ装置のそれぞれが,コンテンデータの分割データを記憶するストレージを有することによっても,クライアント端末に対して,コンテンツデータをマルチパスで送信することができる。このため,サーバ手段とクライアント端末の間において通信速度が低下することを防止することができ,データ転送の更なる高速化を実現できる。また,各サーバ装置のストレージには,コンテンツデータの全てではなく,その一部(分割データ)を記憶させればよいため,ストレージの記憶容量を節約することもできる。
本発明においては,コンテンツデータの配信処理を自動化することとしてもよい。
すなわち,まず,クライアント端末のそれぞれは,当該クライアント端末によって編集した編集後のコンテンツデータをサーバ手段のコンテンツ記憶部にアップロードするアップロード部をさらに備える。
また,サーバ手段は,各クライアント端末からアップロードされた編集後のコンテンツデータに関する情報を記憶するリポジトリストレージと,リポジトリストレージに記憶された編集後のコンテンツデータに関する情報を基に,コンテンツ記憶部に記憶されているコンテンツデータのビルド処理を行うビルド処理部をさらに備える。ビルド処理は,ソースコードファイルを独立したソフトウェア生成物に変換する処理である。
そして,クライアント端末のそれぞれは,サーバ手段のビルド処理部によってビルド処理が施されたビルド後のコンテンツデータと,編集後のコンテンツデータを比較し,ビルド後のコンテンツデータのバージョンが,編集後のコンテンツデータのバーションよりも新しい場合には,サーバ通信部を介して,サーバ手段に対し,編集後のコンテンツデータのダウンロード要求を送信する。
上記構成を有することにより,クライアント端末においてデータの編集作業が完了し,サーバ手段においてビルド処理が行われた後,クライアント端末は,最新のバージョンのデータをサーバ手段からダウンロードすることができる。例えば,コンテンツデータの編集作業(レンダリング等)を行うクリエイタの退社後や休日においては,サーバ手段へのアクセスが緩和される。このため,退社後の時間帯や休日のうちに,サーバ手段から,各クライアント端末に対して最新バージョンのコンテンツデータを配信しておけば,クリエイタの出社時間帯にサーバ手段へアクセスが集中する問題を解消できる。また,例えば,サーバ手段において,クリエイタの退社後の時間帯にビルド処理を行い,その生成物と各クライアント端末内のコンテンツデータを比較し,クライアント端末において,コンテンツデータが最新でないと判断した場合に,最新のコンテンツデータのダウンロード要求を送信させる。このため,例えばサーバ手段のCPU使用量が低下する時間帯に,サーバ手段から,各クライアント端末に対して最新バージョンのコンテンツデータを配信しておくことが可能になる。
また,サーバ手段は,リポジトリストレージに記憶された編集後のコンテンツデータに関する情報を基に,各コンテンツデータのバージョン管理を行う構成管理システムを,さらに備えるものであってもよい。構成管理システムは,サーバ手段が,クライアント端末から,コンテンツデータのダウンロード要求を受信した際,サーバ手段の前記コンテンツ記憶部に記憶されている当該コンテンツデータのバージョンと,当該クライアント端末のデータ記憶部に記憶されている当該コンテンツデータのバージョンを比較し,その差分データを抽出する差分抽出部を有する。そして,構成管理システムは,送信部を介して,差分抽出部において抽出した差分データを,クライアント端末に対して送信する。この場合,クライアント端末の再構築部は,サーバ手段の送信部から送信された差分データを,データ記憶部に記憶されているコンテンツデータに適用し(パッチ当てを行い),コンテンツデータを再構築する。
このように,サーバ手段の構成管理システムにおいて,サーバ手段に格納されている最新のバージョンのデータと,各クライアント端末に記憶されているコンテンツデータを比較し,バイナリ単位での変更箇所を差分データとして抽出することにより,サーバ手段と各クライアント端末間の通信が差分データ分のみで完了するため,データの転送量を減らし,転送の際に生じるボトルネックを解消することができる。
以上の通り,本発明のデータ転送システムによれば,各クライアント端末にコンテンツデータを配信する際に,サーバにトラフィックが集中し,ボトルネックが発生する不具合を解消しつつ,コンテンツデータを要求しているクライアント端末に対し,マルチパスでデータを配信することにより,データ伝送の高速化を実現することができる。
図1は,本発明のデータ送受信システムの全体構成を示した図である。 図2は,本発明のデータ送受信システムの構成の例を示すブロック図である。 図3は,本発明の実施形態におけるデータの流れを模式的に示した図である。 図4は,本発明の実施形態おける処理を示すフロー図である。 図5は,本発明の他の実施形態におけるデータの流れを模式的に示した図である。 図6は,本発明の他の実施形態におけるデータの流れを模式的に示した図である。 図7は,本発明の他の実施形態おける処理を示すフロー図である。 図8は,本発明の他の実施形態おける処理を示すフロー図である。
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものを含む。
(1.データ送受信システム)
図1は,本発明に係るデータ送受信システムのシステム構成を示す概略図である。図1に示されるように,データ送受信システム1は,複数のサーバ装置11によって構成されたサーバ手段10,及び複数のクライアント端末20が,通信ネットワークを介して相互に接続されている。すなわち,各サーバ装置11同士,サーバ装置11とクライアント端末20,及び各クライアント端末20同士は,通信ネットワークを利用して,互いにデータの送受信を行うことができる。本発明のデータ送受信システムは,インターネットを介したネットワーク網で構築されるものであってもよいし,例えば会社内のような限定された範囲に構築されたイントラネットワーク網で構築されるものであってもよい。データ送受信システム1において,サーバ手段10及び複数のクライアント端末20間における通信は,有線によるものだけでなく,公知の無線通信手段によるものであってもよい。
図2は,サーバ手段10と各クライアント端末20を構成する要素を概念的に示したものである。図2に示された各要素は,サーバ手段10及びクライアント端末20が保有する機能に従って分類したものである。基本的に,サーバ手段10を構成するサーバ装置11や,各クライアント端末20は,入出力装置,制御装置,演算装置,及び記憶装置等のハードウェアを有し,これらのハードウェアがバスなどによって接続されている。すなわち,入力装置から所定の情報が入力されると,制御装置は,記憶装置のメインメモリに格納されている制御プログラムを読み出す。また,制御装置は,制御プログラムの指令に従って,適宜記憶部に記憶されたデータを読み出し,演算装置にて所定の演算を行う。そして,演算結果を記憶装置に一時的に記憶して,出力部から情報を出力することができるようになっている。以下に説明するサーバ手段10と各クライアント端末20に含まれる要素は,これらの入出力装置,制御装置,演算装置,及び記憶装置等を利用して,コンピュータに所定の機能を実行させるための要素である。
以下では,図2を参照しながら,データ送受信システム1に含まれるサーバ手段10,及びクライント端末20の各部構成について説明する。
(1−1.サーバ手段)
サーバ手段10は,コンテンツデータを各クライアント端末20に対して配信するための機能と,データ送受信システムの構成やコンテンツデータを管理する機能を有する。図2に示された実施形態において,サーバ手段10は,複数のサーバ装置11により構成されている。サーバ手段10は,コンテンツ記憶部110,データ分割部120,送信部130,メタデータデータベース140,リポジトリストレージ150,ビルド処理部160,構成管理システム170,及びクライアント通信部180を含むものであることが好ましく,その他にも適宜有用な機能を付加することも可能である。サーバ手段10を構成するこれらの要素は,単一のサーバ装置11に集約されたものであってもよいし,複数のサーバ装置11に分散して機能するものであってもよい。
サーバ手段10を構成するサーバ装置11としては,クライアント端末20からの要求に応じて,所定の処理や情報を提供することができる公知のものを採用することが可能である。例えばサーバ装置11としては,例えば,UNIXサーバ(登録商標),ミッドレンジサーバ,又はメインフレームサーバ等を必要に応じて利用することができる。
コンテンツ記憶部110は,任意のコンテンツデータを記憶している。サーバ手段10が複数のサーバ装置11により構成される場合,コンテンツ記憶部110の実体は,ネットワーク上の複数ノードにわたって配備される複数のサーバ装置11のストレージ111により構成される。コンテンツ記憶部110に記憶されるコンテンツデータの例は,画像データ,動画データ,音声データ,及び文字データであるが,これらのものに限定されず,クライアント端末に入力,記憶,演算,又は出力される種々のデータを含む。コンテンツデータとしては,例えば,MPEG(moving pictureexperts group)方式で圧縮されたカラー動画映像ファイル,MP3(MPEG audio layer3)方式で圧縮された音声ファイル,又はJPEG(joint photographic experts group)方式で圧縮されたカラー静止画像ファイルが挙げられる。また,例えば,ゲームソフト開発現場においては,開発を行う際に用いるソースコードやその他のデジタルコンテンツが,コンテンツ記憶部110に記憶される。コンテンツ記憶部110に格納されているデータは,クライアント端末20からのダウンロード要求に応じて適宜配信される。コンテンツ記憶部110は,例えば複数のストレージノードに接続された複数の磁気記憶装置の集合により構成されているものであってもよいし,単一の磁気記憶装置により構成されているものであってもよい。
データ分割部120は,コンテンツ記憶部110に記憶されているコンテンツデータを,データの種類やデータの容量に応じて,複数の分割データに分割する。データ分割部120は,例えば,コンテンツデータを予め定めるデータ量の分割データ(データブロック)に分割する。また,例えば,コンテンツデータをシリアル送信する順番に,予め定めるデータ量となるように分割して,分割データを生成することとしてもよい。データ分割部11には,例えばCPU内部のデータバスが接続され,このデータバスを介してコンテンツ記憶部110から所定のデータが与えられる。そして,データ分割部120は,データバス幅をデータブロックとして区切る。具体的には,CPU内部のデータバスを介してパラレルデータが伝送されると,データ分割部120は,データバス幅分のデータ量のパラレルデータを1つの分割データとして,データバッファに記憶する。また,データ120部により分割された分割データは,サーバ手段10を構成する複数のサーバ装置11のそれぞれに備えられたストレージ111に分散して格納されることとしてもよい。
送信部130は,データ分割部120により生成された分割データを,クライアント端末20に対して送信するための出力部である。送信部130には,公知のインターフェイスを採用することができる。
メタデータデータベース140は,各クライアント端末20のキャッシュ領域230に記憶されている分割データに関するメタデータ(以下,分割キャッシュ情報ともいう)を記憶している。メタデータは,情報を整理するために用いられる情報に関する情報であり,例えば,分割データが記憶されているキャッシュ領域230を有するクライアント端末20の所在を示す情報(IPアドレス)や,分割データの種類に関する情報等である。サーバ20の構成管理システム170は,クライアント通信部180を介して,定期的に各クライアント端末20にアクセスし,各クライアント端末20のキャッシュ領域230に記憶されている分割データから,そのメタデータを取得して,メタデータデータベース140を更新する。このため,サーバ手段10やクライアント端末20は,メタデータデータベース140に記憶されているメタデータを参酌することにより,分割データの所在を把握することができる。
リポジトリストレージ150は,各クライアント端末からアップロードされた編集後のコンテンツデータに関する情報を記憶する。リポジトリストレージ150は,ソフトウェア開発および保守における各工程の様々な情報を一元管理する機能を有しており,ソフトウェア開発の各工程での成果物をメタ情報として記憶することができるようになっている。
このため,リポジトリストレージ150は,後述するビルド処理に際して参酌される。また,リポジトリストレージ150は,バージョン管理システムによってサーバにプログラムを溜めておくことができる。クライアント端末20は,コンテンツデータをコピーして編集作業が終わったら,コンテンツ記憶部110に編集後のコンテンツデータをアップロードすると共に,リポジトリストレージ150にコミットし,リポジトリストレージに編集後の差分情報を記憶させることができる。このため,リポジトリストレージ150を参酌することにより,各コンテンツデータのバージョン管理を行うことが可能になる。本実施の形態において,各コンテンツデータのバージョン管理は,構成管理システム170により行われる。
ビルド処理部160は,リポジトリストレージ150を参酌して,コンテンツ記憶部110に記憶されているコンテンツデータのビルド処理を行う。ビルド処理部160は,リポジトリストレージ150で管理されているソースコードを読み出し,バイナリコードにコンパイルすることによって,独立したソフトウェア生成物に変換する。例えば,ビルド処理160には,ソースコードをバイナリコードにコンパイルした後,バイナリコードのパッケージ化や,テストの実行,生産システムの配備,文書やリリースノートの作成等の工程が含まれる。ビルド処理は,システム管理者が任意の時間帯に実行することとしてもよいし,リポジトリストレージ150にソースファイルの変更がコミットされるたびに自動的に実行することとしてもよい。特に,ビルド処理は,夜間などのCPU使用率が低下した時間帯に実行する(ナイトリービルドを行う)ことが好ましい。
構成管理システム170は,コンテンツ記憶部110に記憶されているコンテンツデータの最新版や変更履歴といったバージョンの管理や,各クライアント端末20に記憶されている分割データのメタデータを取得しメタデータデータベース140の更新を行う等,システム全体の構成管理を行う機能を担う。構成管理システム170は,例えば,差分抽出部171を備える。差分抽出部171は,サーバ手段10がクライアント端末20から,コンテンツデータのダウンロード要求を受信した際,リポジトリストレージ150を参酌して,サーバ手段10のコンテンツ記憶部110に記憶されているコンテンツデータのバージョンと,当該クライアント端末20に記憶されている当該コンテンツデータのバージョンを比較し,その差分データを抽出することができる。差分データは,例えばバイナリ単位で取得することが好ましい。このように,構成管理システム170は,差分抽出部171によって差分データを抽出することにより,差分データによってコンテンツデータのバージョン管理を行うことができる。ただし,構成管理システム170は,各バージョンごとに,コンテンツデータの実データを生成して,この実データを記憶しておくことにより,コンテンツデータのバージョン管理を行うものであってもよい。
クライアント通信部180は,各クライアント端末20との情報の授受に使用される。例えば,クライアント通信部180は,各クライアント端末20からのコンテンツデータのダウンロード要求を受信する等,サーバ手段10と各クライアント端末20との情報のやり取りに際して利用される。また,例えば,クライアント通信部180によって受信した各クライアント端末20からの要求は,構成管理システム170に伝えられ,構成管理システム170は,サーバ手段10の各要素に対して処理命令を伝達する。
サーバ手段10は,トラッカーサーバ190を含むものであってもよい。トラッカーサーバ190は,クライアント端末20のP2P通信部250との間で情報の授受が可能なように接続されており,P2P通信網の新規接続者にP2P通信において使用するIPアドレスを割り振る。すなわち,クライアント端末20は,P2P通信を開始する際,トラッカーサーバ190にアクセスし,IPアドレスを受取り,他のクライアント端末との間でデータの送受信を開始する。
また,サーバ手段10を構成する複数のサーバ装置11のそれぞれは,コンテンツデータを記憶するためのストレージ111を有することが好ましい。各ストレージ111には,コンテンツ記憶部110と同一のコンテンツデータが格納され,冗長化したものであることが好ましい。また,各ストレージ111は,コンテンツデータの分割データが分散して格納されたものであってもよい。複数のサーバ装置11のそれぞれは,各クライアント端末20と通信ネットワークを介して接続されているため,各ストレージ111に,コンテンツデータを冗長化又は分散して格納することにより,クライアント端末20からのダウンロード要求に応じて,マルチパスで,コンテンツデータを送信することができるようなる。
(1−2.クライアント端末)
クライアント端末20は,サーバ手段10に接続され,サーバ手段10からダウンロードしたコンテンツデータの編集作業を行う機能を有する。コンテンツデータの編集作業は,クライアント端末20が有する種々のアプリケーションによって実行される。また,本発明において,複数のクライアント端末20は,P2P型の通信によってそれぞれ接続されており,データの授受が可能になっている。図2に示された実施形態において,各クライアント端末20は,サーバ通信部210,クライアント端末20の受信部220,キャッシュ領域230,メタデータ取得部240,P2P通信部250,再構築部260,データ記憶部270,及びアップロード部280を含むことが好ましく,その他にも適宜有用な機能を付加することも可能である。
サーバ通信部210は,サーバ手段10に対して,所望のコンテンツデータのダウンロード要求を送信する。つまり,クライアント端末20は,入力装置,制御装置,演算装置,記憶装置,及び出力装置を備え,端末のユーザが入力装置を介してコンテンツデータのダウンロード要求を入力すると,制御装置は,記憶装置のメインメモリに格納されている制御プログラムの指令に従って,演算装置にて所定の演算を行い,出力部であるサーバ通信部210を介して,ダウンロード要求をサーバ手段10に送信する。また,サーバ通信部210は,その他種々の情報をサーバ手段10に送信することが可能であり,例えば,サーバ手段10のメタデータデータベースに記憶されているメタデータのダウンロード要求を,サーバ手段10に送信することも可能である。
クライアント端末20の受信部220は,サーバ手段10から送信されたコンテンツデータの分割データを受信することができる。なお,クライアント端末20の受信部220は,例えば,サーバ手段10から,あるコンテンツデータを構成する全ての分割データを受信するものであってもよいし,また,分割されていない状態のコンテンツデータを受信するものであってもよい。クライアント端末20の受信部220により受信されたコンテンツデータの分割データは,例えば一時的にキャッシュメモリ(図示しない)に記憶される。
キャッシュ領域230は,サーバ手段10や他のクライアント端末20からダウンロードした,コンテンツデータの分割データを一時的に記憶する記憶装置の領域である。キャッシュ領域230は,例えば,クライアント端末20の主記憶装置とCPUなどの演算装置との間に構成され,演算装置の演算処理に必要なデータや状態,設定などの属性情報をコピーし保持することで,本来アクセスすべき主記憶装置に代わってデータが入出力される。例えば,CPUからの転送要求があり,そのデータが既にキャッシュ230に格納されている場合は,主記憶装置からの転送は行わずキャッシュが転送を代行する。このため,コンテンツデータの分割データをキャッシュ領域230に一時保存することで,他の装置から当該分割データの要求が合った際,要求された分割データをキャッシュ領域230から読み出し,迅速にデータ転送を行うことができる。
メタデータ取得部240は,コンテンツデータのダウンロード要求をサーバ手段10に送信した際,メタデータデータベース140に記憶されているメタデータに基づいて,コンテンツデータの分割データを記憶している他のクライアント端末に関する情報(分割キャッシュ情報)を取得する。ここにいう分割キャッシュ情報には,他のクライアント端末の所在を把握するための情報が含まれ,具体的には,他のクライアント端末のP2P通信におけるIPアドレス等の情報が含まれる。メタデータ取得部20は,サーバ手段10のメタデータデータベース140に記憶されているメタデータの一部を取得して,コンテンツデータの分割データを記憶している他のクライアント端末の所在を把握するものであってもよいし,サーバ手段10のメタデータデータベース140に記憶されているメタデータの全部を取得するものであってもよい。メタデータ取得部240が,サーバ手段10のメタデータデータベース140に記憶されているメタデータの全部を取得した場合,クライアント端末20にも,メタデータデータベースを構築することとしてもよい。クライアント端末20にメタデータデータベースを構築することにより,他のクライアント端末20は,サーバ手段10にアクセスしなくても,分割キャッシュ情報を取得することができる。
P2P通信部250は,あるクライアント端末20と,他のクライアント端末20の間において,P2P通信を可能にするための機能を有する。P2P通信は,ネットワークに接続されたクライアント端末(ピア)の各々が,あるときは他のピアに対して所定のサービスを提供してサーバのように動作し,あるときは他のピアが提供するサービスを利用してクライアントのように動作し,各ピアが対等な関係となる。P2P通信部250は,各クライアント端末20において通信を行う際,各クライアント端末20が有する共通のコミュニケーションアプリケーションを起動させ,各クライアント端末20の間に設けられた通信路を用いて,各クライアント端末20を接続する。あるクライアント端末20から,分割データのダウンロード要求を受けた他のクライアント端末20は,キャッシュ領域230から分割データを読み出し,P2P通信部250を介して,あるクライアント端末20に送信する。P2P通信の接続形態としては,クライアント端末間で一対一のコミュニケーションを行う一対一型通信であってもよいし,クライアント端末間のノード接続をカスケード状に多段階層化して,ツリー構造を形成した放送型通信であってもよい。
このようなP2P通信網は,インターネットやイントラネットに構築することができ,各クライアント端末20に付与されたIPアドレスを用いて,端末の所在を把握する。P2P通信は,複数のクライアント端末を相互に接続することが可能であり,その場合には最短経路である通信路を介してクライアント端末同士を接続すれば良い。P2P通信部235は,メタデータ取得部240によって取得した分割キャッシュ情報に基づいて,一又は複数のクライアント端末20のキャッシュ領域230に記憶されている分割データを,P2P通信によって相互に送受信させる。P2P通信部235によって受信した分割キャッシュデータは,一時的にキャッシュ領域230に記憶される。
再構築部260は,クライント端末20の受信部220によってサーバ手段20から受信した分割データ,及び/又は,P2P通信部250によって他のクライアント端末から受信した分割データを,キャッシュ領域230から読み出し,読み出した分割データを統合してコンテンツデータを再構築する。そして,再構築部260により再構築されたコンテンツデータは,データ記憶部270に記憶される。
また,クライント端末20は,所定の編集作業を行った編集後のコンテンツデータを,サーバ手段10のコンテンツ記憶部110にアップロードするアップロード部280を備えている。すなわち,クライント端末20は,制御プログラムの指令に従って,適宜記憶部にデータ記憶部270に記憶されたコンテンツデータを読み出し,レンダリングアプリケーション等を起動して,コンテンツデータの編集処理を行うことができる。アップロード部280は,この編集後のコンテンツデータを,サーバ手段10のコンテンツ記憶部110にアップロードすることができるようになっている。コンテンツ記憶部110にアップロードされた編集後のコンテンツデータは,ソフトウェア開発の各工程でのメタ情報がリポジトリストレージ150に記憶され,サーバ手段10の構成管理システム170によって,コンテンツデータの最新版や変更履歴といったバージョンの管理が行われる。
(2.データ送受信システムの処理フロー)
次に,図3及び図4を参照して,本発明の実施形態に係るデータ送受信システムの処理フローについて説明する。まず,図3及び図4は,送受信システムのある実施形態に処理フローを示したものである。図3はデータの送受信の流れを概念的に示したものであり,図4はシステムのフローチャートの例を示している。
図4に示されるように,サーバ手段10は,データ分割部120によって,予めコンテンツデータを分割する(ステップS1)。分割部120によって分割された分割データは,コンテンツ記憶部110に記憶される(ステップS2)。例えば,図3に示されるように,あるコンテンツデータは,データA,データB,及びデータCの分割データに分割されコンテンツ記憶部110に記憶されている。
図4に示されるように,あるクライアント端末20は,サーバ通信部210を通じて,サーバ手段10に対し,コンテンツデータのダウンロード要求を送信する(ステップS3)。例えば,図3に示された例では,複数のクライアント端末のうち,あるクライアント端末20aが,データA,データB,及びデータCから構成されるコンテンツデータのダウンロード要求を,サーバ手段10に送信している。
図4に示されるように,あるクライアント端末20aは,コンテンツデータのダウンロード要求をサーバ手段10に送信した際,サーバ手段10のメタデータデータベース140を参照し,メタデータ取得部240によって,メタデータデータベース140に記憶されているメタデータに基づいて,分割キャッシュ情報を取得する(ステップS4)。分割キャッシュ情報は,所望のコンテンツデータの分割データを記憶している他のクライアント端末に関する情報であり,例えば,他のクライアント端末のP2P通信におけるIPアドレス等の情報が含まれる。
図3に示された例においては,あるクライアント端末20aがダウンロード要求を行ったコンテンツデータの分割データを,サーバ手段10の他に,他のクライアント端末20b及び2cが保有している。すなわち,図3に示された例では,他のクライアント端末20bのキャッシュ領域230にはデータBが記憶され,他のクライアント端末20cのキャッシュ領域230にはデータCが記憶されている。これらの情報は,分割キャッシュ情報として,メタデータデータベース140に記憶されている。このため,あるクライアント端末20aは,メタデータデータベース140から分割キャッシュ情報を取得することにより,データBを保有する他のクライアント端末20bの所在と,データCを保有する他のクライアント端末20cの所在とを把握することができる。
次に,図4に示されるように,あるクライアント端末20は,分割キャッシュ情報に基づいて,分割データの要求先を特定する(ステップS5)。そして,クライアント端末20は,特定した要求先に対して,分割データのダウンロード要求を送信する(ステップS6)。基本的に,サーバ手段10へのトラフィックが増大化することを防止するために,クライアント端末20が保有する分割データについては,当該クライアント端末に対してダウンロード要求を送信することを優先することが好ましい。このため,あるクライアント端末20は,基本的に,他のクライアント端末が分割データを保有する場合には,当該分割データについては当該他のクライアント端末に対してダウンロード要求を送信することを優先し,他のクライアント端末が保有していない分割データのみについて,サーバ手段10に対してダウンロード要求を行うことが好ましい。
ただし,クライアント端末20は,分割キャッシュ情報に基づいて,例えば,分割データを保有する他のクライアント端末がP2P通信可能な状態にあるかどうかや,自己と他のクライアント端末の接続距離が近いかどうかを判断することができる。図3の例を参照して説明すると,あるクライアント端末20aは,他のクライアント端末20cの電源が切れている場合等,他のクライアント端末20cとの間でP2P通信が不可能な状態にあると判断した場合には,他のクライアント端末20cが保有している分割データ(データC)については,サーバ手段10に対してダウンロード要求を送信すれば良い。また,例えば,あるクライアント端末20aは,自己と他のクライアント端末20cを接続する際に通過するノードの数などによって,自己と他のクライアント端末20c接続距離を把握し,自己と他のクライアント端末20c接続距離が所定距離以上離れていると判断した場合には,他のクライアント端末20cが保有している分割データ(データC)については,サーバ手段10に対してダウンロード要求を送信することもできる。この際,あるクライアント端末20aは,分割データ(データC)を,他のクライアント端末20cから受信するのに必要な時間と,サーバ手段10から受信するのに必要な時間を比較し,受信するための時間が短い方に対し,分割データ(データC)のダウンロード要求を送信することとしてもよい。
図4に示されるように,あるクライアント端末20から分割データのダウンロード要求を受信したサーバ手段10及び/又は他のクライアント端末20は,ダウンロード要求された分割データを,当該クライアント端末20に対して送信する(ステップS7)。例えば,図3の例を参照して説明すると,あるクライアント端末20aから,分割データ(データA)のダウンロードを要求されたサーバ手段10は,コンテンツ記憶部110から分割データ(データA)を読み出して,送信部130を介して,あるクライアント端末20aに送信する。また,あるクライアント端末20aから,分割データ(データB)のダウンロードを要求された他のクライアント端末20bは,キャッシュ領域230からデータBを読み出して,P2P通信部250を介して,あるクライアント端末20aに送信する。同様に,あるクライアント端末20aから,分割データ(データC)のダウンロードを要求された他のクライアント端末20cは,キャッシュ領域230からデータCを読み出して,P2P通信部250を介して,あるクライアント端末20aに送信する。なお,図3に示された例において,あるクライアント端末20aは,サーバ手段10と他のクライアント端末20b,20cのそれぞれから,分割データ(データA,B,C)をダウンロードすることとしているが,あるクライアント端末20aは,分割データ(データA,B,C)を一括して,サーバ手段10からダウンロードすることや,他の一のクライアント端末からダウンロードすることもできる。あるクライアント端末20aは,サーバ手段10及び/又は他のクライアント端末20からダウンロードした分割データを,一時的にキャッシュ領域230に記憶する。
次に,クライアント端末20は,再構築部260によって,サーバ手段10及び/又は他のクライアント端末20からダウンロードした分割データを統合し,コンテンツデータを再構築する(ステップS8)。そして,クライアント端末20は,再構築したコンテンツデータをデータ記憶部270記憶する(ステップS9)。このようにして,クライアント端末20は,所望のコンテンツデータを取得することが可能になる。
以上のように,本発明のデータ送受信システムでは,あるクライアント端末によるコンテンツデータのダウンロード要求に応じて,コンテンツデータを保有するサーバ手段からだけでなく,当該コンテンツデータがキャッシュ領域に記憶されている他のクライアント端末からも,ダウンロード要求を行ったクライアント端末に対して,コンテンデータの一部又は全部を転送される。このため,複数のクライアント端末に対するデータ転送が,特定のサーバ装置に一局集中する事態を回避することができ,データ転送に際して生じるボトルネックの問題を解消することができる。また,あるクライアント端末が,サーバ手段に格納されているデータを要求するとき,そのクライアント端末の近傍の他のクライアント端末に要求データの分割データがある場合には,これを活用することでデータの全量をサーバ手段から取得せずに済むため,サーバ手段の負荷の低減と,サーバ手段との通信経路上のボトルネックの軽減が達成される。さらに,あるクライアント端末に対し,コンテンツデータを,サーバ手段及び他のクライアント端末から分割データとして転送することが可能であるため,コンテンツデータの要求を行ったクライアント端末に対して,マルチパスで,コンテンツデータをダウンロードさせることができ,データ転送速度の高速化を実現できる。
(2−1.冗長化/分散化)
次に,データ送受信システムの好ましい形態について説明する。
図5には,サーバ手段10を構成する複数のサーバ装置11が,コンテンツ記憶部110を冗長化したストレージ111を有している形態の例を示している。図5に示された例では,コンテンツ記憶部110にデータA,データB,及びデータCからなるコンテンツデータが含まれている。そして,コンテンツ記憶部110が冗長化され,各サーバ装置11のストレージ111にも,データA,データB,及びデータCからなるコンテンツデータが記憶されている。
図5に示されるように,各サーバ装置11のストレージ111に記憶されているコンテンツデータは,データ分割部130によって,データA,データB,及びデータCの分割データに分割される。複数のサーバ装置11とクライアント端末20はそれぞれ通信ネットワークによって接続されている。このため,あるクライアント端末20aが,データA,データB,及びデータCからなるコンテンツデータのダウンロードを要求すると,サーバ手段10は,ダウンロード要求に従い,クライアント端末20aに対して,コンテンツデータの分割データを送信する。このとき,サーバ手段10は,複数のサーバ装置11を介して,クライアント端末20aに対し,コンテンツデータの分割データを送信することができる。例えば,図5に示されるように,サーバ装置11aからは,クライアント端末20aに対し,データAが送信される。また,サーバ装置11bからは,クライアント端末20aに対し,データBが送信される。同様に,サーバ装置11cからはクライアント端末20aに対し,データCが送信される。このように,複数のサーバ装置11に,コンテンツ記憶部110を冗長化したストレージ111を備えることにより,ストレージ111に冗長化され保存されているコンテンツデータを,マルチパスで,クライアント端末20に送信することができるため,1コネクションあたりの通信速度が原因で通信完了までの速度が遅くなる問題を解消できる。また,並列処理かつマルチパスで,クライアント端末20にコンテンツデータの分割データを送信できるため,通信処理の更なる高速化を実現できる。
図6は,サーバ手段10を構成する複数のサーバ装置11のストレージ111に,コンテンツ記憶部110の記憶されているコンテンツデータが,分散して格納されている例を示している。図5に示された例では,コンテンツ記憶部110にデータA,データB,及びデータCからなるコンテンツデータが含まれている。そして,コンテンツ記憶部110のコンテンツデータが,データ分割部120により分割されて,各サーバ装置11のストレージ111に分散して記憶されている。すなわち,図5に示された例では,データAがサーバ装置11aのストレージ111に,データBがサーバ装置11bのストレージ111に,データCがサーバ装置11cのストレージ111に,それぞれ格納されている。
この場合において,あるクライアント端末20aが,データA,データB,及びデータCからなるコンテンツデータのダウンロードを要求すると,サーバ手段10は,ダウンロード要求に従い,クライアント端末20aに対して,コンテンツデータの分割データを送信する。このとき,サーバ手段10は,複数のサーバ装置11を介して,クライアント端末20aに対し,コンテンツデータの分割データを送信する。例えば,図5に示されるように,サーバ装置11aからは,クライアント端末20aに対し,データAが送信される。また,サーバ装置11bからは,クライアント端末20aに対し,データBが送信される。同様に,サーバ装置11cからはクライアント端末20aに対し,データCが送信される。このように,複数のサーバ装置11のストレージ111に,コンテンツデータの分割データを分散して記憶させておくことにより,複数のサーバ装置11のストレージ111に保存されているコンテンツデータを,マルチパスで,クライアント端末20に送信することができるため,1コネクションあたりの通信速度が原因で通信完了までの速度が遅くなる問題を解消できる。また,並列処理かつマルチパスで,クライアント端末20にコンテンツデータの分割データを送信できるため,通信処理の更なる高速化を実現できる。
上記のように,コンテンツ記憶部110におけるコンテンツデータの格納を,複数台のサーバ装置11にわたっては冗長化,及び/又は分散化させることが好ましい。コンテンツデータの格納の冗長化と分散化は互いに排他的なものではなく,コンテンツデータの格納を冗長化させたサーバ装置11と,分散化させたサーバ装置11を併存させることとしてもよい。また,コンテンツデータの格納を冗長化及び/又は分散化させた場合であっても,コンテンツデータのダウンロード要求を行ったあるクライアント端末20は,他のクライアント端末20からP2P通信網を介して,分割データを取得することができる。
(2−2.コンテンツデータの自動配信)
次に,図7を参照して,クライアント端末に対して,最新のコンテンツデータを自動で配信するための処理フローについて説明する。
図7に示されるように,本システムに含まれる複数のクライアント端末は,それぞれ,データ記憶部270に記憶されているコンテンツデータ読み出した,読み出したコンテンツデータを編集する(ステップS10)。編集後のコンテンツデータは,サーバ手段10に集積され,構成管理システム170によって最新版や変更履歴といったバージョンの管理が行われる。このため,本システムに含まれる各クライアント端末は,編集後のコンテンツデータを,アップロード部280を介して,サーバ手段10にアップロードする(ステップS11)。
各クライント端末20によってアップロードされた編集後のコンテンツデータは,サーバ手段10のコンテンツ記憶部110に記憶される(ステップS12)。また,このとき,サーバ手段10にアップロードされた編集後のコンテンツデータに関し,ソフトウェア開発の各工程で生成されたソースコード等の成果物が,リポジトリストレージ150に記憶される。また,リポジトリストレージ150にコミットされた際,リポジトリストレージに編集後のコンテンツデータの差分情報がアップデートされるため,構成管理システム170は,リポジトリストレージ150を参酌することにより,各コンテンツデータのバージョン管理を行うことが可能になる。
次に,ビルド処理部160は,リポジトリストレージ150を参酌して,コンテンツ記憶部110に記憶されているコンテンツデータのビルド処理を行う。ビルド処理部160は,リポジトリストレージ150で管理されているソースコードを読み出し,バイナリコードにコンパイルすることによって,独立したソフトウェア生成物に変換する。例えば,ビルド処理160には,ソースコードをバイナリコードにコンパイルした後,バイナリコードのパッケージ化や,テストの実行,生産システムの配備,文書やリリースノートの作成等の工程が含まれる。ビルド処理は,システム管理者が任意の時間帯に実行することとしてもよいし,リポジトリストレージ150にソースファイルの変更がコミットされるたびに自動的に実行することとしてもよい。特に,ビルド処理は,夜間などのCPU使用率が低下した時間帯に実行する(ナイトリービルドを行う)ことが好ましい。
構成管理システム170は,ビルド処理後のコンテンツデータを再びコンテンツ記憶部110に格納するとともに,コンテンツデータのバージョンを最新ものに更新する(ステップS14)。このとき,構成管理システム170は,差分データによってコンテンツデータのバージョン管理を行うこととしてもよいし。各バージョンごとに,コンテンツデータの実データを生成して,この実データを記憶しておくことにより,コンテンツデータのバージョン管理を行うものであってもよい。
その後,サーバ手段は,上記ステップS1及びステップS2と同じく,データ分割部120によって,コンテンツ記憶部110に記憶されているコンテンツデータを分割して,分割データを生成し,記憶しておく(ステップS15,ステップS16)。
次に,各クライント端末20は,自己のデータ記憶部270に記憶されている編集後のコンテンツデータのバージョンと,サーバ手段10のコンテンツ記憶部110に記憶されているビルド処理後のコンテンツデータのバージョンを比較する(ステップS17)。上述した通り,構成管理システム170によって,各コンテンツデータのバージョン管理が行われているため,各クライント端末20は,構成管理システム170にアクセスすることにより,編集後のコンテンツデータのバージョンとビルド処理後のコンテンツデータのバージョンの差分を把握できる。この比較処理は,サーバ手段10が,ビルド処理が完了したことの情報を各クライアント端末20に伝達し,この完了情報を受けったことを契機として,各クライアント端末20が自動で行うこととしてもよい。また,構成管理システム170によりクライアント端末ごとの比較処理を行う時間を管理しておき,構成管理システム170の指示に従って,クライアント端末ごとに異なる時間帯に比較処理を開始することとしてもよい。
各クライント端末20は,上記比較処理の結果,サーバ手段10のコンテンツ記憶部110に記憶されているビルド処理後のコンテンツデータのバージョンが,自己のデータ記憶部270に記憶されている編集後のコンテンツデータのバージョンよりも新しいものであると判断した場合には,サーバ手段10に対し,最新のバージョンのコンテンツデータのダウンロード要求を行う(ステップS18)。その後,図4に記載されたステップS4〜ステップS9と同様の処理を行う。これにより,各クライアント端末20は,編集後のコンテンツデータをアップロードした後,自動的に最新バージョンのコンテンツデータをダウンロードすることができるようになる。例えば,ビルド処理は,夜間などのCPU使用率が低下した時間帯に実行することにより,夜間のうちに,各クライアント端末20に,最新のコンテンツデータが配信される。このため,例えば,コンテンツデータの編集作業を行うクリエイタが出社したときには,すでに自己のクライアント端末に,必要なコンテンツデータの最新バージョンがダウンロードされているという状況を作ることも可能になる。
(2−3.差分データの活用)
次に,図8を参照して,クライアント端末に対して,コンテンツデータの差分データを配信するための処理フローについて説明する。各クライアント端末20のデータ記憶部270に格納されているコンテンツデータと,サーバ手段10のコンテンツ記憶部110に記憶されているコンテンツデータの差分データの抽出し,この差分データのみをクライアント端末に対して送信することにより,データの転送量を減らし,転送の際に生じるボトルネックを解消することができる。
図8に示されるように,クライアント端末20は,サーバ手段10に対し,所望のコンテンツデータのダウンロード要求を行う(ステップS19)。そして,コンテンツデータのダウンロード要求を受信したサーバ手段10は,サーバ手段10のコンテンツ記憶部110に記憶されている当該コンテンツデータのバージョンと,当該クライアント端末のデータ記憶部270に記憶されている当該コンテンツデータのバージョンを比較する(ステップS20)。このとき,クライアント端末20のデータ記憶部270に,ダウンロード要求の対象となっているコンテンツデータが存在していない場合には,図4に示された処理フローのステップS4〜ステップS9を実行する。
一方,クライアント端末20のデータ記憶部270に,ダウンロード要求の対象となっているコンテンツデータが既に存在している場合には,サーバ手段10の構成管理システム170は,差分抽出部171によって,例えばバイナリ単位で,サーバ手段10のコンテンツ記憶部110に記憶されているコンテンツデータと,クライアント端末のデータ記憶部270に記憶されているコンテンツデータの差分データを抽出する(ステップS21)。差分抽出部171によって抽出された差分データは,一時的にキャッシュメモリ(図示しない)に記憶される。
その後,サーバ手段10は,差分抽出部171によって抽出した差分データのみを,送信部130を介して,クライアント端末20に対して送信する(ステップS22)。
差分データを受信したクライアント端末20は,再構築部260によって,受信した差分データを,前記データ記憶部に記憶されている前記コンテンツデータに適用する(ステップS23)。これにより,受信した差分データに基づいて,クライアント端末20が記憶するコンテンツデータの一部分を更新することができる。パッチが適用されたコンテンツデータは,クライアント端末20のデータ記憶部270に記憶される。
このような差分データの活用したコンテンツデータ更新処理を行うことにより,コンテンツデータのダウンロードを行うに際し,CPUでの前処理や後処理にコストを掛ける代わりに,サーバ手段10とクライアント端末20間でのデータ転送量を減らすことができるため,転送のボトルネックを解消することができる。また,例えば,クライアント端末20のデータ記憶部270に,ダウンロード要求の対象となっているコンテンツデータが存在していない場合には,図4に示された通常のダウンロード処理を実行し,一方で,ダウンロード要求の対象となっているコンテンツデータが既に存在している場合には,図8に示された差分データのみの転送処理を実行することにより,データ転送が効率化するため,システムのユーザが意識せずともデータの転送を高速化させることができる。
本願明細書では,本発明の内容を表現するために,図面を参照しながら発明の実施形態を通して説明を行った。ただし,本願明細書に記載された事項に基づいて当業者が実施する変更形態又は改良形態が,本発明の趣旨を逸脱するものでない限り,本発明の範囲には,当該変更形態又は当該改良形態が包含される。
1 データ送受信システム
10 サーバ手段
11 サーバ装置
111 ストレージ
110 コンテンツ記憶部
120 データ分割部
130 送信部
140 メタデータデータベース
150 リポジトリストレージ
160 ビルド処理部
170 構成管理システム
171 差分抽出部
180 クライアント通信部
20 クライアント端末
210 サーバ通信部
220 受信部
230 キャッシュ領域
240 メタデータ取得部
250 P2P通信部
260 再構築部
270 データ記憶部
280 アップロード部

Claims (5)

  1. 一又は複数のサーバ装置により構成されるサーバ手段と,複数のクライアント端末とが,通信ネットワークを介してデータの授受ができるように接続されたデータ送受信システムであって,
    前記サーバ手段は,
    任意のコンテンツデータを記憶するコンテンツ記憶部と,
    前記コンテンツ記憶部に記憶されている前記任意のコンテンツデータを複数に分割して複数の分割データを生成するデータ分割部と,
    前記データ分割部により生成された複数の分割データを前記複数のクライアント端末に対して個別的又は一括的に送信する送信部と,を有し,
    前記複数のクライアント端末のそれぞれは,
    前記サーバ手段に対して,前記コンテンツ記憶部に記憶されている前記任意のコンテンツデータのダウンロード要求を送信するサーバ通信部と,
    前記サーバ通信部を介したダウンロード要求に応じて前記サーバ手段から送信された前記コンテンツデータの前記分割データをダウンロードする受信部と,
    前記受信部によってダウンロードした前記分割データを一時的に記憶するキャッシュ領域と,を有し,
    前記サーバ手段は,さらに,
    各クライアント端末の前記キャッシュ領域に記憶されている前記分割データに関するメタデータを記憶するメタデータデータベースを備えており,
    前記複数のクライアント端末のそれぞれは,さらに,
    前記コンテンツデータのダウンロード要求をサーバ手段に送信した際,前記メタデータデータベースを参照し,前記メタデータに基づいて,当該コンテンツデータを構成する分割データを記憶している他のクライアント端末に関する情報を取得するメタデータ取得部と,
    前記メタデータ取得部によって取得した前記他のクライアント端末に関する情報に基づいて,当該他のクライアント端末とP2P通信を行い,当該他のクライアント端末の前記キャッシュ領域から,当該コンテンツデータの分割データをダウンロードするP2P通信部と,
    前記受信部及び前記P2P通信部の両方又はいずれか一方を介してダウンロードした複数の分割データを統合して,前記コンテンツ記憶部に記憶されている前記任意のコンテンツデータを再構築する再構築部と,
    前記再構築部により再構築した前記コンテンツデータを記憶するデータ記憶部を備える
    データ送受信システム。
  2. 前記サーバ手段は,複数のサーバ装置を含み,
    前記複数のサーバ装置のそれぞれは,
    前記コンテンツ記憶部を冗長化したストレージと,
    前記ストレージに記憶されている前記コンテンツデータを分割して分割データを生成するデータ分割部と,
    前記クライアント端末からのダウンロード要求に応じて,前記データ分割部により生成された分割データを前記クライアント端末に対して送信する送信部を有する
    請求項1に記載のデータ送受信システム。
  3. 前記サーバ手段は,複数のサーバ装置を含み,
    前記複数のサーバ装置は,
    前記データ分割部により生成された分割データを記憶するストレージと,
    前記クライアント端末からのダウンロード要求に応じて,前記分割データを記憶するストレージにより記憶されている当該分割データを前記クライアント端末に対して送信する送信部を有する
    請求項1に記載のデータ送受信システム。
  4. 前記クライアント端末のそれぞれは,
    当該クライアント端末によって編集した編集後のコンテンツデータを前記サーバ手段の前記コンテンツ記憶部にアップロードするアップロード部を,さらに備え
    前記サーバ手段は,
    各クライアント端末からアップロードされた編集後のコンテンツデータに関する情報を記憶するリポジトリストレージと,
    前記リポジトリストレージに記憶された前記編集後のコンテンツデータに関する情報を基に,前記コンテンツ記憶部に記憶されているコンテンツデータのビルド処理を行うビルド処理部と,をさらに備え,
    前記クライアント端末のそれぞれは,
    前記サーバ手段の前記ビルド処理部によってビルド処理が施されたビルド後のコンテンツデータと,前記編集後のコンテンツデータを比較し,前記ビルド後のコンテンツデータのバージョンが,前記編集後のコンテンツデータのバーションよりも新しい場合には,前記サーバ通信部を介して,前記サーバ手段に対し,前記編集後のコンテンツデータのダウンロード要求を送信する
    請求項1に記載のデータ送受信システム。
  5. 前記クライアント端末のそれぞれは,
    当該クライアント端末によって編集した編集後のコンテンツデータを前記サーバ手段の前記コンテンツ記憶部にアップロードするアップロード部を,さらに備え
    前記サーバ手段は,
    各クライアント端末からアップロードされた編集後のコンテンツデータに関する情報を記憶するリポジトリストレージと,
    前記リポジトリストレージに記憶された前記編集後のコンテンツデータに関する情報を基に,各コンテンツデータのバージョン管理を行う構成管理システムを,さらに備え,
    前記構成管理システムは,
    前記サーバ手段が,クライアント端末から,コンテンツデータのダウンロード要求を受信した際,前記サーバ手段の前記コンテンツ記憶部に記憶されている当該コンテンツデータのバージョンと,当該クライアント端末のデータ記憶部に記憶されている当該コンテンツデータのバージョンを比較し,その差分データを抽出する差分抽出部を有し,
    前記送信部を介して,前記差分抽出部において抽出した差分データを,前記クライアント端末に対して送信し,
    前記クライアント端末の再構築部は,
    前記送信部から送信された前記差分データを,前記データ記憶部に記憶されている前記コンテンツデータに適用し,コンテンツデータを再構築する
    請求項1に記載のデータ送受信システム。
JP2013542878A 2011-11-10 2012-06-11 データ送受信システム Active JP5797769B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013542878A JP5797769B2 (ja) 2011-11-10 2012-06-11 データ送受信システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011246967 2011-11-10
JP2011246967 2011-11-10
JP2013542878A JP5797769B2 (ja) 2011-11-10 2012-06-11 データ送受信システム
PCT/JP2012/064931 WO2013069329A1 (ja) 2011-11-10 2012-06-11 データ送受信システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015160888A Division JP2016006671A (ja) 2011-11-10 2015-08-18 データ送受信システム及びデータ送受信方法

Publications (2)

Publication Number Publication Date
JPWO2013069329A1 JPWO2013069329A1 (ja) 2015-04-02
JP5797769B2 true JP5797769B2 (ja) 2015-10-21

Family

ID=48289634

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013542878A Active JP5797769B2 (ja) 2011-11-10 2012-06-11 データ送受信システム
JP2015160888A Pending JP2016006671A (ja) 2011-11-10 2015-08-18 データ送受信システム及びデータ送受信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015160888A Pending JP2016006671A (ja) 2011-11-10 2015-08-18 データ送受信システム及びデータ送受信方法

Country Status (6)

Country Link
US (1) US9531802B2 (ja)
EP (1) EP2735972B1 (ja)
JP (2) JP5797769B2 (ja)
KR (1) KR20140100504A (ja)
CN (1) CN103930880B (ja)
WO (1) WO2013069329A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576114B2 (en) * 2012-03-05 2017-02-21 Marvin Marshall System and method for securely retrieving and playing digital media
JP2014211767A (ja) * 2013-04-18 2014-11-13 富士通株式会社 情報処理システム、制御装置及び情報処理システムの制御方法
CN105027498B (zh) * 2013-06-11 2018-05-18 章寅生 一种通过远程分隔和组装数据文件实现安全存储的方法及其系统和装置
JP6303300B2 (ja) * 2013-06-25 2018-04-04 富士通株式会社 制御依頼方法、情報処理装置、システム、およびプログラム
JP6175971B2 (ja) * 2013-08-16 2017-08-09 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP6204775B2 (ja) * 2013-09-27 2017-09-27 任天堂株式会社 情報処理システムおよび情報処理装置
CN104598478A (zh) * 2013-11-01 2015-05-06 株式会社肯博思泰格 利用了分割内容的虚拟面试处理系统及方法
US10084839B2 (en) * 2013-12-27 2018-09-25 Sap Se Upload operation using multiple connections
JP6475455B2 (ja) * 2014-09-26 2019-02-27 任天堂株式会社 コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ配信プログラムおよびコンテンツ配信方法
KR101602170B1 (ko) * 2014-12-12 2016-03-10 한국과학기술정보연구원 효율적인 메모리 사용을 위한 대용량 데이터 공유 시스템 및 방법
US20160261667A1 (en) * 2015-03-06 2016-09-08 LeGuard, Inc. Systems and methods of managing time zone information
GB2537623A (en) * 2015-04-20 2016-10-26 Fujitsu Ltd Content delivery over D2D links
CN104735094B (zh) * 2015-04-21 2018-02-27 南京伍安信息科技有限公司 基于信息分离的数据安全传输系统及方法
CN105554524B (zh) * 2015-12-14 2019-03-12 四川长虹电器股份有限公司 一种播放节目的方法及系统
US10270827B2 (en) * 2015-12-21 2019-04-23 Intel Corporation Telemetry based feedback for improved media streaming
CN106060166A (zh) * 2016-07-12 2016-10-26 安徽天达网络科技有限公司 一种多终端网络文件下载方法
CN111066004A (zh) * 2017-09-14 2020-04-24 索尼公司 信息处理设备、信息处理方法以及程序
US11157568B2 (en) * 2017-11-01 2021-10-26 Sap Se Offline mode for mobile application
US10911337B1 (en) * 2018-10-10 2021-02-02 Benjamin Thaddeus De Kosnik Network activity monitoring service
JP7105675B2 (ja) * 2018-11-02 2022-07-25 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
CN109729519B (zh) * 2019-02-11 2021-02-02 Oppo广东移动通信有限公司 数据下载的方法及相关装置
JP7012051B2 (ja) * 2019-09-19 2022-01-27 本田技研工業株式会社 車両用装置、車両、サーバ、通信システム、車両用装置の動作方法、サーバの動作方法およびプログラム
KR102221638B1 (ko) * 2019-10-29 2021-03-04 데이터비즈 주식회사 대용량 파일 배포 시스템, 방법 및 컴퓨터 프로그램 및 시스템
CN111586112B (zh) * 2020-04-23 2022-04-15 合肥联宝信息技术有限公司 一种数据传输方法、装置以及计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807632B1 (en) * 1999-01-21 2004-10-19 Emc Corporation Content addressable information encapsulation, representation, and transfer
JP2003203023A (ja) 2002-01-09 2003-07-18 Sony Corp 情報処理システム、情報処理装置、情報処理方法、及び情報処理ネットワークプログラム
JP4211282B2 (ja) * 2002-05-14 2009-01-21 ソニー株式会社 データ蓄積方法及びデータ蓄積システム、並びに、データ記録制御装置、データ記録指令装置、データ受信装置及び情報処理端末
JP2004046420A (ja) * 2002-07-10 2004-02-12 Nec System Technologies Ltd 最新リソースの整合方法及びその方式
JP2005107708A (ja) * 2003-09-29 2005-04-21 Canon Inc アプリケーション配布システム
WO2006080083A1 (ja) * 2005-01-28 2006-08-03 Argo-Notes, Inc. BitTorrentプロトコルによるファイルのダウンロード方法
CN1694492A (zh) * 2005-06-23 2005-11-09 北京影立弛技术有限公司 网络中p2p技术在信息家电终端应用的装置及方法
US7725658B2 (en) * 2005-11-29 2010-05-25 Siemens Aktiengesellschaft Self-optimizing caching system and method for data records
CN101090360A (zh) * 2006-06-12 2007-12-19 朗迅科技公司 可记帐的对等式文件下载系统
US20080133767A1 (en) * 2006-11-22 2008-06-05 Metis Enterprise Technologies Llc Real-time multicast peer-to-peer video streaming platform
JP5042800B2 (ja) 2007-01-09 2012-10-03 ドコモ・テクノロジ株式会社 ネットワークデータ分散共有システム
JP2008269527A (ja) * 2007-04-25 2008-11-06 Nec Corp ファイル構成管理支援システム、装置、プログラム、及びファイル構成管理方法
JP2009205197A (ja) * 2008-02-26 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> Cgm配信システムおよびcgm配信方法
WO2009146132A2 (en) * 2008-04-04 2009-12-03 Powerwave Cognition, Inc. Methods and systems for a mobile, broadband, routable internet
US8386622B2 (en) * 2008-05-16 2013-02-26 Palo Alto Research Center Incorporated Method and apparatus for facilitating communication in a content centric network
JP4850218B2 (ja) 2008-07-30 2012-01-11 株式会社ソニー・コンピュータエンタテインメント データ配信システム
US8204915B2 (en) * 2009-02-13 2012-06-19 Alcatel Lucent Apparatus and method for generating a database that maps metadata to P2P content
GB0907922D0 (en) * 2009-05-07 2009-06-24 Skype Ltd Communication system and method
JP2010272973A (ja) * 2009-05-19 2010-12-02 Sharp Corp ネットワークシステム、通信端末、通信方法、および通信プログラム
JP2011180820A (ja) 2010-03-01 2011-09-15 Nec Corp データ転送管理装置、データ転送管理方法およびデータ転送管理プログラム

Also Published As

Publication number Publication date
CN103930880A (zh) 2014-07-16
KR20140100504A (ko) 2014-08-14
WO2013069329A1 (ja) 2013-05-16
JPWO2013069329A1 (ja) 2015-04-02
US20140297735A1 (en) 2014-10-02
JP2016006671A (ja) 2016-01-14
US9531802B2 (en) 2016-12-27
EP2735972A1 (en) 2014-05-28
EP2735972A4 (en) 2015-04-29
CN103930880B (zh) 2016-08-17
EP2735972B1 (en) 2017-11-22

Similar Documents

Publication Publication Date Title
JP5797769B2 (ja) データ送受信システム
US10491523B2 (en) Load distribution in data networks
US10091297B1 (en) Data processing and data movement in cloud computing environment
US20140229582A1 (en) System And Method For Offline Downloading Network Resource Files
US7970856B2 (en) System and method for managing and distributing assets over a network
CN108322496A (zh) 镜像文件分发方法及系统、计算机可读存储介质、电子设备
JP2004185618A (ja) ピアツーピア型コンテンツブロードキャスト転送メカニズム
JP6408433B2 (ja) 負荷分散プログラムおよびサーバ
CN102413185A (zh) 基于bt技术的云平台自动升级系统
Honnutagi The Hadoop distributed file system
US20180293021A1 (en) Method and system for transferring data between storage systems
CN105872856A (zh) 一种流媒体文件分发方法及系统
ITVI20120026A1 (it) Metodi per la condivisione di files relativi al protocollo bit fountain
CN105074688B (zh) 使用对等节点图的基于流的数据去重复
Song et al. Distributed video transcoding based on MapReduce
CN102281312A (zh) 一种数据加载方法、系统和数据处理方法、系统
KR101600717B1 (ko) P2p 방식의 가상머신 운영체제 이미지 다운로드 방법 및 장치
CN107066526A (zh) 一种网络爬虫系统及方法
CN115567547A (zh) 一种镜像分发方法、系统和设备
CN106657195A (zh) 任务处理方法和中继设备
KR101436406B1 (ko) P2p기반 업데이트 클라이언트, 서버 장치, 시스템 및 방법
US10348828B2 (en) Method and apparatus for optimizing data transfers utilizing machine learning
JP6728744B2 (ja) データ提供システム、データ提供方法、データ提供装置、更新対象装置及びコンピュータ・プログラム
KR101523143B1 (ko) 클라우드 컴퓨팅 환경에서의 하둡-기반의 분산 멀티미디어 스트리밍 서비스 제공 시스템 및 스트리밍 서비스의 제공 방법
KR101678743B1 (ko) 분산 멀티미디어 스트리밍 서비스 제공 시스템 및 이의 동작 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150819

R150 Certificate of patent or registration of utility model

Ref document number: 5797769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250