JP6183101B2 - 情報処理システム、制御プログラム及び制御方法 - Google Patents

情報処理システム、制御プログラム及び制御方法 Download PDF

Info

Publication number
JP6183101B2
JP6183101B2 JP2013198139A JP2013198139A JP6183101B2 JP 6183101 B2 JP6183101 B2 JP 6183101B2 JP 2013198139 A JP2013198139 A JP 2013198139A JP 2013198139 A JP2013198139 A JP 2013198139A JP 6183101 B2 JP6183101 B2 JP 6183101B2
Authority
JP
Japan
Prior art keywords
information processing
data
server
file
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013198139A
Other languages
English (en)
Other versions
JP2015064745A (ja
Inventor
孝哉 佐藤
孝哉 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013198139A priority Critical patent/JP6183101B2/ja
Priority to US14/339,821 priority patent/US9882971B2/en
Priority to EP14179298.6A priority patent/EP2860631A3/en
Publication of JP2015064745A publication Critical patent/JP2015064745A/ja
Application granted granted Critical
Publication of JP6183101B2 publication Critical patent/JP6183101B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/30Compression, e.g. Merkle-Damgard construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、データ転送技術に関する。
HPC(High Performance Computing)システムにおいては、多数の計算サーバを管理して並列に動作させることで、システム全体の演算性能を高めている。このようなHPCシステムにおいては、多数の計算サーバを管理する上で、制御サーバからファイル等のデータを多数の計算サーバから収集する場合がある。
しかしながら、少数の制御サーバが、多数の計算サーバからファイルを収集する場合には、計算サーバが送信するファイル数倍の通信負荷が制御サーバ側に掛かるという問題がある。
通信負荷の軽減という観点では、転送対象データを全体的に又は部分的に圧縮して通信負荷の低減を図る手法が存在している。具体的には、送信元の圧縮によるCPU(Central Processing Unit)の負荷を考慮し、送信元のCPU負荷と通信負荷との合計が非圧縮時の通信負荷を上回らないようなにするものである。しかしながら、この手法は、送信元のCPU負荷を考慮するものであり、さらに多数の計算サーバから少数の制御サーバへデータを送信するケースを考慮するものではない。
特開2008−176420号公報
従って、本発明の目的は、多数の情報処理装置からデータを収集する際の転送時間を短縮するための技術を提供することである。
本発明の情報処理システムは、複数の情報処理装置と、複数の情報処理装置の各々が有するデータを収集する制御装置とを有する。そして、複数の情報処理装置の各々又は制御装置が、(A)複数の情報処理装置のうちデータの圧縮を行う第1の情報処理装置の第1の数又はデータの圧縮を行わない第2の情報処理装置の第2の数を、制御装置における解凍処理に関係するパラメータに基づき決定し、(B)第1の数の第1の情報処理装置から、圧縮されたデータが制御装置に送信され、(C)第2の数の第2の情報処理装置から、圧縮されていないデータが制御装置に送信される。
多数の情報処理装置からデータを収集する際の転送時間を短縮できるようになる。
図1は、実施の形態に係る情報処理システムの概要を示す図である。 図2は、制御サーバの機能ブロック図である。 図3は、計算サーバの機能ブロック図である。 図4は、第1の実施の形態に係る処理フローを示す図である。 図5は、圧縮処理を実行する計算サーバの数の計算方法を説明するための図である。 図6は、第1の実施の形態に係る処理フローを示す図である。 図7は、第1の実施の形態に係る処理フローを示す図である。 図8は、第2の実施の形態に係る処理フローを示す図である。 図9は、第3の実施の形態に係る情報処理システムの概要を示す図である。 図10は、中継サーバの機能ブロック図である。 図11は、第3の実施の形態に係る処理フローを示す図である。 図12は、第3の実施の形態に係る処理フローを示す図である。 図13は、コンピュータの機能ブロック図である。
[実施の形態1]
本実施の形態に係る情報処理システムの構成例を図1に示す。本実施の形態に係る情報処理システムは、制御サーバ100と、計算サーバ200(図1では210乃至240)と、管理者端末300とを有する。
制御サーバ100は、計算サーバ210乃至240に接続されており、計算サーバ210乃至240の管理を行っている。また、制御サーバ100は、圧縮されたデータを受信した場合には、解凍する(伸張とも呼ぶ)機能も有する。計算サーバ210乃至240は、所定の計算処理を実行し、計算結果や計算処理についてのログデータなどのファイルを格納している。また、計算サーバ210乃至240は、制御サーバ100へ送信すべきファイルを、圧縮する機能を有している。
管理者端末300は、制御サーバ100に接続されており、制御サーバ100に対して指示を入力したり、ファイルなどのデータを計算サーバから収集する場合に用いられるパラメータを入力する。
図2に、制御サーバ100の機能ブロック図を示す。制御サーバ100は、通信処理部101と、パラメータ収集部102と、パラメータ格納部103と、転送制御部104と、指示データ格納部105と、第1データ格納部106と、解凍処理部107と、第2データ格納部108とを有する。
通信処理部101は、計算サーバ210乃至240などの情報処理装置と通信を行う。パラメータ収集部102は、収集すべきファイルに対して圧縮処理を行う計算サーバの数を算出するために用いられるパラメータを収集し、パラメータ格納部103に格納する。
転送制御部104は、パラメータ格納部103に格納されているパラメータに基づき、収集すべきファイルに対して圧縮処理を行う計算サーバの数を算出すると共に、実際に圧縮処理を行う計算サーバを特定する処理を行い、計算サーバに対する指示データを、指示データ格納部105に格納する。通信処理部101は、指示データ格納部105に格納されている指示データに従って、ファイル転送指示を送信する。
また、通信処理部101は、計算サーバからファイルを受信すると、圧縮されたファイルであるか否かを判断し、圧縮されたファイルであれば第1データ格納部106に格納し、圧縮されていないファイルであれば第2データ格納部108に格納する。
解凍処理部107は、予め設定されている並列実行数に従って、第1データ格納部106に格納されている圧縮ファイルを並列に解凍する処理を実行し、解凍後のファイルを第2データ格納部108に格納する。
また、図3に、計算サーバ200における本実施の形態に関係する部分の機能ブロック図を示す。計算サーバ200は、転送制御部201と、圧縮処理部202と、制御サーバ100に送信すべきファイル2030を格納するデータ格納部203とを有する。
転送制御部201は、制御サーバ100からのファイル転送指示に応じて、データ格納部203に格納されているファイル2030を圧縮すべきか否かを判断する。圧縮すべき場合には、転送制御部201は、圧縮処理部202に圧縮処理を実行させ、圧縮されたファイルを制御サーバ100へ送信する。圧縮しない場合には、転送制御部201は、ファイル2030をデータ格納部203から読み出して、制御サーバ100へ送信する。
次に、図4乃至図7を用いて、本実施の形態の処理内容を説明する。
管理者端末300から、ファイル収集指示を受信すると(ステップS1)、制御サーバ100のパラメータ収集部102は、ファイル圧縮を行う計算サーバの数を算出するのに用いられるパラメータの収集処理を実行する(ステップS3)。
ファイル収集指示には、ファイル収集対象の計算サーバの識別子のリストを含み、パラメータ格納部103に格納される。
また、本実施の形態では、圧縮されていないファイルを計算サーバ200から制御サーバ100へ送信するための通信コストt、圧縮された1つのファイルを解凍処理部107で解凍するための解凍コストd、ファイルの圧縮率z、ファイル転送を行う計算サーバ200の数N(ここでは収集すべきファイル数と同一。但し、1の計算サーバ200が複数のファイルを送信する場合もある。)、解凍処理の並列実行数Ncを、収集すべきパラメータとする。
パラメータ収集部102は、これらのパラメータを、管理者端末300から例えば設定ファイルなどによって取得する。但し、ファイル収集対象の計算サーバの識別子のリストから、ファイル転送を行う計算サーバ200の数Nを決定してもよい。また、解凍処理の並列実行数Ncについては、制御サーバ100のCPUコア数と同一である場合もある。
さらに、図4においてステップS4において計算サーバ200に対して、収集すべきファイルを保持しているか否かを問い合わせることでファイル収集対象の計算サーバのリストを生成してその数を特定するようにしてもよい。さらに、圧縮率についても、計算サーバ200側から、実際の値を取得するようにしてもよい。その他のパラメータについても、前もって計算サーバ200と制御サーバ100とが連携し決定するようにしてもよい。
その後、転送制御部104は、取得したパラメータに基づき、圧縮指示を行うか否かを判断する(ステップS5)。例えば、d/tがNより非常に小さいという条件が満たされているかを判断する。これは、Nが余り大きくない場合には、圧縮処理の効果が得られないためである。例えば、N/(d/t)がNc以上であるか否かで判断する。例えば制御サーバ100側のコアを有効活用できるか否かを判断している。
圧縮指示を行わないと判断した場合には、処理は端子Aを介して図7の処理に移行する。
一方、圧縮指示を行う場合には、制御サーバ100の転送制御部104は、パラメータ格納部103に格納されているパラメータを用いて、圧縮処理を実行するサーバの数nを算出し、ファイル収集対象の計算サーバのリストと共に指示データ格納部105に格納する(ステップS7)。
本実施の形態では、ファイル収集対象の計算サーバの一部についてはファイルを圧縮した後に制御サーバ100へ送信し、ファイル収集対象の計算サーバの残りの部分についてはファイルを圧縮せずに制御サーバ100へ送信する。
ここでは、図5に模式的に示すように、圧縮されたファイルを送信する際のコスト(圧縮転送のコスト:一点鎖線の長さ分)と圧縮されていないファイルを送信する際のコスト(通常転送のコスト:実線の長さ分)との和であるサーバ間コストが、圧縮されたファイルを並列実行数Ncで並列に解凍するコストであるサーバ内コスト以下となるように、圧縮処理を実行するサーバの数nを算出する。これは、圧縮転送の回数を増やせばサーバ間コストは減少するがサーバ内コストは増加し、圧縮転送の回数を減らせばサーバ間コストが増加してサーバ内コストが減少するといったように、サーバ間コストとサーバ内コストは基本的に、排他の関係と考えることができるためである。
より具体的には、以下のように表される。
サーバ間コスト=n(t/z)+(N−n)t
サーバ内コスト=d[n/Nc]
なお、[]はガウス記号であり、[x]はx以下の最大の整数を表す。また、n>>Ncという前提がある。ファイル数がNcよりも多い場合には、何回も解凍処理を実施するので、並列で実行される各解凍処理の実行開始時刻のズレは無視できるためである。
上で述べたような関係を当て嵌めると以下のように表される。
n(t/z)+(N−n)t≦d[n/Nc]
このような関係を満たすようにnを決定すればよい。
例えば、n/Ncの小数点以下の部分をδと表せば、以下のように展開される。
n(t/z)+(N−n)t≦d(n/Nc−δ)
n≦{zNcNt+dzNcδ}/{Nct(z−1)+zd}(1)
なお、nがNcの倍数である場合、δ=0であるから、以下のように表される。
n≦zNcNt/{Nct(z−1)+zd}(2)
圧縮処理を実行するサーバの数nが多い場合には、全体コストは、サーバ間コストとほぼ同様となり、以下のように表される。なお、サーバ内処理(解凍処理)は、サーバ間処理(通信処理)とオーバーラップして処理されるため、全体コストに明に影響は現れず、nが大きいときは、各解凍並列処理の開始処理のずれも無視できるためである。
全体コスト=サーバ間コスト
そして、計算サーバの数Nが多い場合には、サーバ間コストが支配的であり、図5に示したように、サーバ内コストは、サーバ間コスト内に収まる。
そうすると、以下のように表される。
全体コスト=n(t/z)+(N−n)t
z>1であるので、できるだけnが大きい方が全体コストが低下する。すなわち、(1)式又は(2)式において最大のnの時、全体コスト最小となることが分かる。但し、nを(1)式又は(2)式で算出した後、他の何らかの要因でnの値を調整する場合もある。
図4の処理の説明に戻って、転送制御部104は、算出されたサーバ数に基づき、ファイル収集対象の計算サーバのリストから、圧縮処理を実行させる計算サーバを特定し、各計算サーバについて圧縮処理の有無を表すデータを指示データ格納部105に格納する(ステップS8)。例えば、リストの上から順番に、算出されたサーバ数の計算サーバを、圧縮処理を実行させる計算サーバとして特定する。但し、リストの中でランダムに計算サーバを選択しても良い。
そして、通信処理部101は、ファイル収集対象の計算サーバのリストに載っている各計算サーバに、ステップS8の処理の結果を基に、圧縮の有無を含むファイル転送指示を送信する(ステップS9)。ステップS8で特定された計算サーバには、圧縮有りのファイル転送指示を送信し、それ以外の計算サーバに対しては、圧縮無しのファイル転送指示を送信する。ファイル転送指示は、収集すべきファイルの指定を含む場合もある。
計算サーバの転送制御部201は、圧縮の有無を含むファイル転送指示を受信すると(ステップS11)、圧縮有りが指示されているか否かを判断する(ステップS13)。圧縮無しの場合には、処理はステップS17に移行する。
一方、圧縮有りの場合には、転送制御部201は、データ格納部203から収集対象のファイル2030を読み出して、圧縮処理部202に対して、所定の圧縮処理を実行させる(ステップS15)。例えば、複数のファイルを圧縮する場合には1つにまとめて圧縮するようにしても良い。
そして、転送制御部201は、圧縮後又は圧縮前のファイルを、制御サーバ100に送信する(ステップS17)。圧縮しない場合には、データ格納部203からファイル2030を読み出して、そのまま送信する。ステップS11乃至S17を、ファイル収集対象の計算サーバの各々について実行する。
これに対して、制御サーバ100の通信処理部101は、いずれかの計算サーバから圧縮後又は圧縮前のファイルを受信し、圧縮前のファイルであれば第2データ格納部108に格納し、圧縮後のファイルであれば第1データ格納部106に格納する(ステップS19)。なお、通信処理部101は、総受信ファイル数を計数しておく。処理は、端子Bを介して図6の処理に移行する。
図6の処理の説明に移行して、解凍処理部107は、並列実行数(Nc)以上の未処理圧縮ファイルが、第1データ格納部106に格納されているか判断する(ステップS21)。並列実行数Nc以上の未処理圧縮ファイルがある場合には、解凍処理部107は、並列実行数Nc分の圧縮ファイルに対して解凍処理を並列に実行し、解凍されたファイルを第2データ格納部108に格納する(ステップS23)。そして処理はステップS25に移行する。
一方、並列実行数未満の未処理圧縮ファイルしか存在していない場合には、解凍処理部107は、通信処理部101において計数されている総受信ファイル数がNに達したか否かを判断する(ステップS27)。総受信ファイル数がNに達していない場合には、処理はステップS25に移行する。一方、総受信ファイル数がNに達した場合には、もはや新たな圧縮ファイルを得ることができないので、処理はステップS23に移行する。
そして、解凍処理部107は、未処理の圧縮ファイルが第1データ格納部106に存在しているか判断する(ステップS25)。未処理の圧縮ファイルが存在する場合には、処理はステップS21に戻る。一方、未処理の圧縮ファイルが存在しない場合には、制御サーバ100は、収集完了を例えば管理者端末300に通知し、管理者端末300からの指示に応じて、第2データ格納部108に格納されているファイルに対する処理を実行する(ステップS27)。
以上のような処理を行うことで、システム全体の転送処理コストを抑えて、早期に転送処理を完了させることができるようになる。
なお、端子Aの後の処理を、図7を用いて説明する。圧縮無しの場合には、転送制御部104は、指示データ格納部105に、ファイル収集対象のいずれの計算サーバについても圧縮無しと設定された計算サーバのリストを格納する。そして、通信処理部101は、指示データ格納部105に格納されている計算サーバのリストに従って、圧縮無しのファイル転送指示を、各計算サーバに送信する(ステップS31)。
これに対して、計算サーバ200の転送制御部201は、制御サーバ100から圧縮無しのファイル転送指示を受信すると(ステップS33)、データ格納部203に格納されているファイル2030を読み出して、そのまま制御サーバ100へ送信する(ステップS35)。
制御サーバ100の通信処理部101は、各計算サーバからファイル2030を受信すると、第2データ格納部108に格納する(ステップS37)。
以上のような処理を行うことで、制御サーバ100は、ファイルを各計算サーバから収集できるようになる。
なお、上では圧縮処理を行う計算サーバの数nを算出していたが、N−nによって圧縮処理を行わない計算サーバの数を算出して、圧縮処理を行わない計算サーバを特定するようにしても良い。
[実施の形態2]
第1の実施の形態では、制御サーバ100側で、いずれの計算サーバ200が圧縮処理を行うのかについて決定していたが、計算サーバ200側で自ら圧縮処理を行うか否かを判断するようにしても良い。
以下で述べるように処理内容が一部異なるが、図2及び図3で示した機能ブロック構成は、本実施の形態でも同様である。
本実施の形態に係る処理を、図8を用いて説明する。
管理者端末300から、ファイル収集指示を受信すると(図8:ステップS41)、制御サーバ100のパラメータ収集部102は、ファイル圧縮を行う計算サーバの数を算出するのに用いられるパラメータの収集処理を実行する(ステップS43及びS44)。これらのステップは、第1の実施の形態のステップS1乃至S4と同様である。
その後、転送制御部104は、取得したパラメータに基づき、圧縮指示を行うか否かを判断する(ステップS45)。このステップも第1の実施の形態のステップS5と同様である。
圧縮指示を行わないと判断した場合には、処理は端子Aを介して図7の処理に移行する。図7の処理は第1の実施の形態と同様であるから、説明を省略する。
一方、圧縮指示を行う場合には、本実施の形態では、制御サーバ100の転送制御部104は、パラメータ格納部103に格納されているパラメータ(圧縮処理を行う計算サーバの数を算出するためのパラメータ)と、ファイル収集対象の計算サーバのリスト(以下、サーバリストと呼ぶ)とを指示データ格納部105に格納する。
そうすると、通信処理部101は、サーバリストに従って、当該サーバリスト及びパラメータを含むファイル転送指示を、各計算サーバに送信する(ステップS47)。
計算サーバ200の転送制御部201は、制御サーバ100からサーバリスト及びパラメータを含むファイル転送指示を受信する(ステップS49)。そうすると、転送制御部201は、受信されたパラメータを用いて、圧縮処理を実行するサーバの数nを算出する(ステップS51)。本ステップは、実行主体は異なるがステップS7と同様である。
そして、転送制御部201は、算出されたサーバ数及びサーバリストに基づき、自らの計算サーバ200が圧縮処理を行うか否かを判断する(ステップS53)。具体的には、サーバリストの上から順番に算出されたサーバ数の計算サーバを、圧縮処理を実行する計算サーバとして特定するというルールに従って、自計算サーバ200が、サーバリストにおいて圧縮処理を実行するサーバの範囲に入っているか否かを判断する(ステップS55)。
ステップS53の処理によって圧縮無しの場合には、処理はステップS59に移行する。
一方、圧縮有りの場合には、転送制御部201は、データ格納部203から収集対象のファイル2030を読み出して、圧縮処理部202に対して、所定の圧縮処理を実行させる(ステップS57)。
そして、転送制御部201は、圧縮後又は圧縮前のファイルを、制御サーバ100に送信する(ステップS59)。圧縮しない場合には、データ格納部203からファイル2030を読み出して、そのまま送信する。ステップS49乃至S59を、ファイル収集対象の計算サーバの各々について実行する。
これに対して、制御サーバ100の通信処理部101は、いずれかの計算サーバから圧縮後又は圧縮前のファイルを受信し、圧縮前のファイルであれば第2データ格納部108に格納し、圧縮後のファイルであれば第1データ格納部106に格納する(ステップS61)。なお、通信処理部101は、総受信ファイル数を計数しておく。処理は、端子Bを介して図6の処理に移行する。図6の処理は、第1の実施の形態と同様であるから、説明を省略する。
以上のような処理を行うことで、制御サーバ100においては、ファイル転送指示だけを送信して、計算サーバ200側で自律的にファイルの圧縮又は非圧縮を行うことができるようになる。すなわち、制御サーバ100側の処理負荷を下げることができる。
[実施の形態3]
上で述べた実施の形態では、制御サーバ100が直接計算サーバ200を管理する形態であったが、図9に示すように、制御サーバ100と、計算サーバ200との間に、中継サーバ400(図9では410及び420)を導入するようにしても良い。中継サーバ400の数は制限がない。
中継サーバ400は、計算サーバ200の機能を有しても良いが、単に以下で述べるように、ファイル転送指示を計算サーバ200側へ中継し、さらに圧縮又は未圧縮のファイルを制御サーバ100側へ中継するだけでもよい。
図10に、中継サーバ400の本実施の形態に係る部分の機能ブロック図を示す。中継サーバ400は、指示転送制御部401と、ファイル転送処理部402とを有する。
指示転送制御部401は、制御サーバ100からファイル転送指示を受信すると、ファイル転送指示をそのまま配下の計算サーバ200へ送信する場合と、ファイル転送指示を加工した上で配下の計算サーバ200へ送信する場合とがある。
ファイル転送処理部402は、計算サーバ200から受信したファイルを、制御サーバ100へ転送する。
次に、本実施の形態に係る処理フローを図11及び図12を用いて説明する。
まず、管理者端末300から、ファイル収集指示を受信すると(図11:ステップS71)、制御サーバ100のパラメータ収集部102は、ファイル圧縮を行う計算サーバの数を算出するのに用いられるパラメータの収集処理を実行する(ステップS73及びS74)。これらのステップは、第1の実施の形態のステップS1乃至S4と同様である。
その後、転送制御部104は、取得したパラメータに基づき、圧縮指示を行うか否かを判断する(ステップS5)。本ステップは、第1の実施の形態におけるステップS5と同様である。
圧縮指示を行わないと判断した場合には、処理は端子Aを介して図7の処理に移行する。図7の処理も第1の実施の形態と同様であるから、説明を省略する。
一方、圧縮指示を行う場合には、制御サーバ100の転送制御部104は、パラメータ格納部103に格納されているパラメータを用いて、圧縮処理を実行するサーバの数nを算出し、ファイル収集対象の計算サーバのリストと共に指示データ格納部105に格納する(ステップS77)。本ステップも、第1の実施の形態に係るステップS7と同様である。
そして、通信処理部101は、中継サーバ400に対して、算出されたサーバ数及びファイル収集対象の計算サーバのリスト(以下、サーバリストと呼ぶ)を含むファイル転送指示を送信する(ステップS79)。
中継サーバ400の指示転送制御部401は、制御サーバ100からサーバリスト及びサーバ数を含むファイル転送指示を受信すると(ステップS81)、配下の計算サーバのうち、サーバリストに含まれている計算サーバ200に対して、受信したファイル転送指示を送信する(ステップS83)。なお、ファイル転送指示をそのまま転送するのではなく、サーバファイルの上から順番に、ファイル転送指示に含まれるサーバ数までに、配下の計算サーバが含まれているか否かを判断し、含まれている場合には圧縮有りのファイル転送指示を送信し、含まれていない場合には圧縮無しのファイル転送指示を送信するようにしても良い。
計算サーバ200の転送制御部210は、中継サーバ400からファイル転送指示を受信する(ステップS85)。その後処理は端子Cを介して図12の処理に移行する。
その後、計算サーバ200の転送制御部201は、ファイル転送指示から圧縮有無を判断する(ステップS87)。ファイル転送指示に、サーバリストとサーバ数を含む場合には、ステップS53のように、自計算サーバ200が、圧縮処理をする計算サーバであるか否かを判断する。一方、ファイル転送指示に、圧縮有り又は圧縮無しの指示が含まれる場合には、当該指示に従って判断する。
ステップS87の処理によって圧縮無しと判断された場合には、処理はステップS93に移行する。
一方、圧縮有りの場合には、転送制御部201は、データ格納部203から収集対象のファイル2030を読み出して、圧縮処理部202に対して、所定の圧縮処理を実行させる(ステップS91)。
そして、転送制御部201は、圧縮後又は圧縮前のファイルを、中継サーバ400に送信する(ステップS93)。圧縮しない場合には、データ格納部203からファイル2030を読み出して、そのまま送信する。ステップS85乃至S93を、ファイル収集対象の計算サーバの各々について実行する。
これに対して、中継サーバ400のファイル転送処理部402は、配下の計算サーバ200から圧縮後又は圧縮前のファイルを受信し、制御サーバ100へ転送する(ステップS95)。
そして、制御サーバ100の通信処理部101は、中継サーバ400から圧縮後又は圧縮前のファイルを受信し、圧縮前のファイルであれば第2データ格納部108に格納し、圧縮後のファイルであれば第1データ格納部106に格納する(ステップS97)。なお、通信処理部101は、総受信ファイル数を計数しておく。処理は、端子Bを介して図6の処理に移行する。図6の処理は、第1の実施の形態と同様であるから、説明を省略する。
以上のように、中継サーバ400が存在する場合であっても、第1の実施の形態と同様に、システム全体の処理負荷を下げることができるようになる。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図2及び図3で示した機能ブロック構成及び図10に示した機能ブロック構成については、一例であって、プログラムモジュール構成やファイル構成が一致しない場合もある。
さらに、処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数ステップを並列実行させるようにしても良い。
なお、サーバ間コストとサーバ内コストを比較することで(1)式及び(2)式を導出したが、通信コストと解凍コストとを比較することで得られるnの算出式を採用しても良い。
なお、上で述べた管理者端末300、制御サーバ100、計算サーバ200及び中継サーバ400は、コンピュータ装置であって、図13に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると、以下のようになる。
本実施の形態に係る情報処理システムは、複数の情報処理装置と、複数の情報処理装置の各々が有するデータを収集する制御装置とを有する。そして、複数の情報処理装置の各々又は制御装置が、(A)複数の情報処理装置のうちデータの圧縮を行う第1の情報処理装置の第1の数又はデータの圧縮を行わない第2の情報処理装置の第2の数を、制御装置における解凍処理に関係するパラメータに基づき決定し、(B)第1の数の第1の情報処理装置から、圧縮されたデータが制御装置に送信され、(C)第2の数の第2の情報処理装置から、圧縮されていないデータが制御装置に送信される。
このようにすれば、データを収集する際に、ボトルネックとなり得る制御装置の解凍処理に関係するパラメータを用いることで、転送時間を短縮させることができるようになる。
ここで、上で述べた制御装置が、第1の数又は前記第2の数を算出した場合には、上記制御装置が、(d1)複数の情報処理装置のうち第1の情報処理装置を選択して第1の情報処理装置に圧縮の指示を送信する処理と、(d2)複数の情報処理装置のうち第2の情報処理装置を選択して第2の情報処理装置に非圧縮の指示を送信する処理とのうち少なくともいずれかを実行するようにしても良い。このようにすれば情報処理装置側では、圧縮又は非圧縮の判断が容易になる。
さらに、上で述べた複数の情報処理装置の各々又は制御装置が、(e)第1の数又は第2の数と、複数の情報処理装置のリストとから、第1の情報処理装置と第2の情報処理装置との少なくともいずれかを特定するようにしても良い。複数の情報処理装置の各々も、ルールを共有していれば、自らが第1の情報処理装置なのか第2の情報処理装置なのかを特定できる。
さらに、上で述べた第1の数又は前記第2の数を、圧縮されたデータについての解凍処理のコストと、圧縮されたデータの通信コストと、圧縮されていないデータの通信コストとの関係式から算出された値に応じて決定される場合もある。このようなコストをまとめてモデル化することで、制御装置の処理負荷を削減するような第1の数及び第2の数を容易に算出できるようになる。
さらに、上で述べたパラメータが、少なくとも解凍処理のコストと、制御装置における解凍処理の並列実行数とを含むようにしても良い。
さらに、上で述べた関係式が、圧縮されたデータについての解凍処理のコストが、圧縮されたデータの通信コストと圧縮されていないデータの通信コストとの和以下であるという式である場合もある。前者は制御装置内のコストであり、後者は全体の通信コストであり、制御装置内のコストを、全体の通信コスト以下に抑えられれば、全体としての転送時間を短縮できるようになる。
なお、上で述べたような処理をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、CD−ROMなどの光ディスク、光磁気ディスク、半導体メモリ(例えばROM)、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、RAM等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
複数の情報処理装置と、
前記複数の情報処理装置の各々が有するデータを収集する制御装置と、
を有し、
前記複数の情報処理装置の各々又は前記制御装置が、
前記複数の情報処理装置のうち前記データの圧縮を行う第1の情報処理装置の第1の数又は前記データの圧縮を行わない第2の情報処理装置の第2の数を、前記制御装置における解凍処理に関係するパラメータに基づき決定し、
前記第1の数の第1の情報処理装置から、圧縮された前記データが前記制御装置に送信され、
前記第2の数の第2の情報処理装置から、圧縮されていない前記データが前記制御装置に送信される
情報処理システム。
(付記2)
前記制御装置が、前記第1の数又は前記第2の数を算出した場合には、
前記制御装置が、
前記複数の情報処理装置のうち前記第1の情報処理装置を選択して前記第1の情報処理装置に圧縮の指示を送信する処理と、
前記複数の情報処理装置のうち前記第2の情報処理装置を選択して前記第2の情報処理装置に非圧縮の指示を送信する処理と、
のうち少なくともいずれかを実行する
付記1記載の情報処理システム。
(付記3)
前記複数の情報処理装置の各々又は前記制御装置が、
前記第1の数又は前記第2の数と、前記複数の情報処理装置のリストとから、前記第1の情報処理装置と前記第2の情報処理装置との少なくともいずれかを特定する
付記1記載の情報処理システム。
(付記4)
前記第1の数又は前記第2の数を、
圧縮された前記データについての前記解凍処理のコストと、圧縮された前記データの通信コストと、圧縮されていない前記データの通信コストとの関係式から算出された値に応じて決定される
付記1乃至3のいずれか1つ記載の情報処理システム。
(付記5)
前記パラメータが、
少なくとも前記解凍処理のコストと、前記制御装置における前記解凍処理の並列実行数とを含む
付記1乃至3のいずれか1つ記載の情報処理システム。
(付記6)
前記関係式が、
圧縮された前記データについての前記解凍処理のコストが、圧縮された前記データの通信コストと圧縮されていない前記データの通信コストとの和以下であるという式である
付記5記載の情報処理システム。
(付記7)
複数の情報処理装置の各々が有するデータを収集する制御装置が、
前記複数の情報処理装置のうち前記データの圧縮を行う第1の情報処理装置の第1の数又は前記データの圧縮を行わない第2の情報処理装置の第2の数を、前記制御装置における解凍処理に関係するパラメータに基づき決定し、
前記第1の数の第1の情報処理装置から圧縮された前記データが送信され且つ前記第2の数の第2の情報処理装置から圧縮されていない前記データが送信されるように、指示を送信する
処理を実行させるための制御プログラム。
(付記8)
複数の情報処理装置の各々と、前記複数の情報処理装置の各々が有するデータを収集する制御装置とを含む情報処理システムが、
前記複数の情報処理装置のうち前記データの圧縮を行う第1の情報処理装置の第1の数又は前記データの圧縮を行わない第2の情報処理装置の第2の数を、前記制御装置における解凍処理に関係するパラメータに基づき決定し、
前記第1の数の第1の情報処理装置から、圧縮された前記データが前記制御装置に送信し、
前記第2の数の第2の情報処理装置から、圧縮されていない前記データが前記制御装置に送信する
処理を実行する制御方法。
100 制御サーバ
101 通信処理部
102 パラメータ収集部
103 パラメータ格納部
104 転送制御部
105 指示データ格納部
106 第1データ格納部
107 解凍処理部
108 第2データ格納部
200 計算サーバ
201 転送制御部
202 圧縮処理部
203 データ格納部

Claims (7)

  1. 複数の情報処理装置と、
    前記複数の情報処理装置の各々が有するデータを収集する制御装置と、
    を有し、
    前記複数の情報処理装置の各々又は前記制御装置が、
    前記複数の情報処理装置のうち前記データの圧縮を行う第1の情報処理装置の第1の数又は前記データの圧縮を行わない第2の情報処理装置の第2の数を、前記制御装置が圧縮された前記データに対して行う解凍処理のコストと、圧縮された前記データの通信コストと、圧縮されていない前記データの通信コストとの関係式に基づき算出された値に応じて決定し、
    前記第1の数の第1の情報処理装置から、圧縮された前記データが前記制御装置に送信され、
    前記第2の数の第2の情報処理装置から、圧縮されていない前記データが前記制御装置に送信される
    情報処理システム。
  2. 前記制御装置が、前記第1の数又は前記第2の数を算出した場合には、
    前記制御装置が、
    前記複数の情報処理装置のうち前記第1の情報処理装置を選択して前記第1の情報処理装置に圧縮の指示を送信する処理と、
    前記複数の情報処理装置のうち前記第2の情報処理装置を選択して前記第2の情報処理装置に非圧縮の指示を送信する処理と、
    のうち少なくともいずれかを実行する
    請求項1記載の情報処理システム。
  3. 前記複数の情報処理装置の各々又は前記制御装置が、
    前記第1の数又は前記第2の数と、前記複数の情報処理装置のリストとから、前記第1の情報処理装置と前記第2の情報処理装置との少なくともいずれかを特定する
    請求項1記載の情報処理システム。
  4. 前記複数の情報処理装置の各々又は前記制御装置が、
    記解凍処理の並列実行数にさらに基づき前記値を算出する
    請求項1乃至3のいずれか1つ記載の情報処理システム。
  5. 前記関係式が、
    記解凍処理のコストが、圧縮された前記データの通信コストと圧縮されていない前記データの通信コストとの和以上であるという式である
    請求項1乃至4のいずれか1つ記載の情報処理システム。
  6. 複数の情報処理装置の各々が有するデータを収集する制御装置が、
    前記複数の情報処理装置のうち前記データの圧縮を行う第1の情報処理装置の第1の数又は前記データの圧縮を行わない第2の情報処理装置の第2の数を、前記制御装置が圧縮された前記データに対して行う解凍処理のコストと、圧縮された前記データの通信コストと、圧縮されていない前記データの通信コストとの関係式に基づき算出された値に応じて決定し、
    前記第1の数の第1の情報処理装置から圧縮された前記データが送信され且つ前記第2の数の第2の情報処理装置から圧縮されていない前記データが送信されるように、指示を送信する
    処理を実行させるための制御プログラム。
  7. 複数の情報処理装置の各々と、前記複数の情報処理装置の各々が有するデータを収集する制御装置とを含む情報処理システムが、
    前記複数の情報処理装置のうち前記データの圧縮を行う第1の情報処理装置の第1の数又は前記データの圧縮を行わない第2の情報処理装置の第2の数を、前記制御装置が圧縮された前記データに対して行う解凍処理のコストと、圧縮された前記データの通信コストと、圧縮されていない前記データの通信コストとの関係式に基づき算出された値に応じて決定し、
    前記第1の数の第1の情報処理装置から、圧縮された前記データ前記制御装置に送信し、
    前記第2の数の第2の情報処理装置から、圧縮されていない前記データ前記制御装置に送信する
    処理を実行する制御方法。
JP2013198139A 2013-09-25 2013-09-25 情報処理システム、制御プログラム及び制御方法 Active JP6183101B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013198139A JP6183101B2 (ja) 2013-09-25 2013-09-25 情報処理システム、制御プログラム及び制御方法
US14/339,821 US9882971B2 (en) 2013-09-25 2014-07-24 Information processing system, control method, and recording medium
EP14179298.6A EP2860631A3 (en) 2013-09-25 2014-07-31 Information processing system, control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013198139A JP6183101B2 (ja) 2013-09-25 2013-09-25 情報処理システム、制御プログラム及び制御方法

Publications (2)

Publication Number Publication Date
JP2015064745A JP2015064745A (ja) 2015-04-09
JP6183101B2 true JP6183101B2 (ja) 2017-08-23

Family

ID=51266119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013198139A Active JP6183101B2 (ja) 2013-09-25 2013-09-25 情報処理システム、制御プログラム及び制御方法

Country Status (3)

Country Link
US (1) US9882971B2 (ja)
EP (1) EP2860631A3 (ja)
JP (1) JP6183101B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375466A (zh) * 2016-09-14 2017-02-01 金蝶软件(中国)有限公司 一种数据文件传输方法及装置
JPWO2019193805A1 (ja) 2018-04-02 2021-03-11 ローム株式会社 スイッチ駆動装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815263B2 (ja) * 1986-12-12 1996-02-14 株式会社日立製作所 データ圧縮復元方法
EP1037134A2 (en) * 1999-03-16 2000-09-20 Matsushita Electric Industrial Co., Ltd. Virtual space control data receiving apparatus and method
US7171444B2 (en) * 2001-11-14 2007-01-30 Sharp Laboratories Of America, Inc. Remote desktop protocol compression system
JP4039086B2 (ja) * 2002-03-05 2008-01-30 ソニー株式会社 情報処理装置および情報処理方法、情報処理システム、記録媒体、並びにプログラム
JP2005150985A (ja) * 2003-11-12 2005-06-09 Sharp Corp 画像情報処理システムおよび画像情報処理方法
JP4757038B2 (ja) * 2006-01-25 2011-08-24 株式会社日立製作所 ストレージシステム及び記憶制御装置
JP2008176420A (ja) 2007-01-16 2008-07-31 Matsushita Electric Ind Co Ltd データ転送方法、データ転送装置およびデバッグ装置
JP2008269050A (ja) * 2007-04-17 2008-11-06 Hitachi Ltd 圧縮制御装置及び方法
EP2028890B1 (en) * 2007-08-12 2019-01-02 LG Electronics Inc. Handover method with link failure recovery, wireless device and base station for implementing such method
WO2011111446A1 (ja) * 2010-03-08 2011-09-15 コニカミノルタホールディングス株式会社 画像形成システム、コントローラ及びラスタライズアクセラレータ
EP2737391A1 (en) * 2011-12-08 2014-06-04 Hitachi, Ltd. Remote copy system and remote copy control method

Also Published As

Publication number Publication date
US9882971B2 (en) 2018-01-30
US20150088991A1 (en) 2015-03-26
EP2860631A3 (en) 2017-02-22
JP2015064745A (ja) 2015-04-09
EP2860631A2 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
CN113569117B (zh) 一种基于工业互联网大数据服务的云平台系统及方法
TWI603203B (zh) 分散式計算之運算參數與叢集系統組態的推薦方法與系統
CN107908465A (zh) 大数据平台的任务调度方法
CN105208135A (zh) 一种文件传输方法和设备
CN109376981B (zh) 数据处理方式的确定方法、装置、服务器和数据处理方法
CN105607606B (zh) 一种基于双主板架构的数据采集装置及方法
TWI672924B (zh) 平台即服務雲端伺服器及其機器學習資料處理方法
JP6183101B2 (ja) 情報処理システム、制御プログラム及び制御方法
CN111400041A (zh) 服务器配置文件的管理方法、装置及计算机可读存储介质
CN112115016A (zh) 应用性能监控系统
CN112948081B (zh) 延时处理任务的方法、装置、设备以及存储介质
CN115396523A (zh) 物联网数据处理方法、装置、设备、介质及物联网软网关
JP6940771B2 (ja) データ送信プログラム、データ送信装置、及びデータ送信方法
JP2014041404A (ja) ターミナルサービス監視装置
CN114172998B (zh) 一种文件传输方法、装置、电子设备及存储介质
JP5565412B2 (ja) 処理ノード選択システム、情報処理ノード、処理ノード決定方法およびプログラム
JP5475736B2 (ja) 運用管理システム及びその監視設定方法
CN104699787A (zh) 一种用户活动状态记录的更新方法及装置
CN112953844B (zh) 一种网络流量优化方法及装置
US11941432B2 (en) Processing system, processing method, higher-level system, lower-level system, higher-level program, and lower-level program
JP2006120036A (ja) トランザクション転送システム
CN111767085B (zh) Storm平台参数配置方法和装置
CN115858279A (zh) 一种日志处理方法、装置、设备以及存储介质
CN118694769A (zh) 基于多重非确定性预取算法的数据下载方法、装置、设备以及存储介质
JP2024041463A (ja) エンジニアリング装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170710

R150 Certificate of patent or registration of utility model

Ref document number: 6183101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150