JP5666634B2 - 分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法 - Google Patents

分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法 Download PDF

Info

Publication number
JP5666634B2
JP5666634B2 JP2013024146A JP2013024146A JP5666634B2 JP 5666634 B2 JP5666634 B2 JP 5666634B2 JP 2013024146 A JP2013024146 A JP 2013024146A JP 2013024146 A JP2013024146 A JP 2013024146A JP 5666634 B2 JP5666634 B2 JP 5666634B2
Authority
JP
Japan
Prior art keywords
processing
external
job
external command
execution means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013024146A
Other languages
English (en)
Other versions
JP2014153982A (ja
Inventor
阿部 直人
直人 阿部
大久保 成隆
成隆 大久保
高橋 秀希
秀希 高橋
晶郁 寺中
晶郁 寺中
伸弥 戸塚
伸弥 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2013024146A priority Critical patent/JP5666634B2/ja
Publication of JP2014153982A publication Critical patent/JP2014153982A/ja
Application granted granted Critical
Publication of JP5666634B2 publication Critical patent/JP5666634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stored Programmes (AREA)

Description

本発明は、分散処理技術に関する。
近年、大規模データを解析して利用することが重要視されている。大規模データを解析するにあたっては高速での処理が求められるため、いかに大規模データを早く処理するかが課題となっている。この課題を解決するため、HadoopやJubatusといった分散処理技術が知られている(非特許文献1,2参照)。
従来の大規模データの分散処理システムは、Master機能部と複数のWorker機能部を有し、Master機能部が依頼されたジョブを複数の処理に分割してWorker機能部それぞれにデータ処理を割り当て、Worker機能部それぞれが割り当てられたデータ処理を実行して結果を返却することで、大規模データを高速に処理していた。
"Welcome to Apache Hadoop!", [online], The Apache Software Foundation, [平成24年12月20日検索], インターネット〈 URL:http://hadoop.apache.org/〉 "Jubatus : Distributed Online Machine Learning Framework - Jubatus -", [online], PFI & NTT, [平成24年12月20日検索], インターネット〈 URL:http://jubat.us/〉
従来の分散処理技術では、Worker機能部におけるデータ処理を高速に行うため、Worker機能部に目的のデータ処理に特化した特定のプログラムを組み込んで実行させていた。そのため、大規模データに対してデータ処理を高速に行うという点において優れていた。
しかしながら、分散処理システムを利用して様々なデータ処理を行いたいというニーズに対しては、Master機能部やWorker機能部にニーズに合った特定のプログラムを組み込む必要があり、汎用的な利用は困難であるという問題があった。例えば、OS上にインストールされた既存のプログラムを実行したい場合、そのプログラムと同じ機能をWorker機能部に組み込む必要がある。
本発明は、上記に鑑みてなされたものであり、簡易な設定で様々な処理に対応可能な分散処理技術を提供することを目的とする。
第1の本発明に係る分散処理システムは、管理装置と複数の処理装置を備え、前記管理装置が受け付けたジョブに対応する処理を前記複数の処理装置それぞれに分割して割り当ててジョブを実行する分散処理システムであって、前記管理装置は、ジョブに応じて必要な外部コマンドの情報と前記処理装置毎に実行可能な外部コマンドの一覧を記載した設定ファイルと、受け付けたジョブに応じた外部コマンドの情報を前記設定ファイルから取得するコマンド取得手段と、前記外部コマンドの一覧に基づいて処理を割り当てる前記処理装置を決めて、前記外部コマンドの情報を当該処理装置に送信して処理を割り当てる割当手段と、を有し、前記処理装置は、前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信する実行手段を有することを特徴とする。
上記分散処理システムにおいて、前記管理装置は、受信したジョブを一時的に保持するキューを有し、前記コマンド取得手段は、前記処理装置が処理可能な場合に、前記キューからジョブを取得することを特徴とする。
上記分散処理システムにおいて、前記割当手段は、前記複数の処理装置毎に異なる処理を割り当てることを特徴とする。
第2の本発明に係る分散処理装置は、受け付けたジョブに対応する処理を分割して複数の実行手段で実行する分散処理装置であって、ジョブに応じて必要な外部コマンドの情報と前記実行手段毎に実行可能な外部コマンドの一覧を記載した設定ファイルと、受け付けたジョブに応じた外部コマンドの情報を前記設定ファイルから取得するコマンド取得手段と、前記外部コマンドの一覧に基づいて処理を割り当てる前記実行手段を決めて、前記外部コマンドの情報を当該実行手段に送信して処理を割り当てる割当手段と、前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信する複数の実行手段と、を有することを特徴とする。
第3の本発明に係る分散処理プログラムは、受け付けたジョブに対応する処理を分割して複数の実行手段で実行する分散処理プログラムであって、受け付けたジョブに応じた外部コマンドの情報をジョブに応じて必要な外部コマンドの情報と前記実行手段毎に実行可能な外部コマンドの一覧を記載した設定ファイルから取得する処理と、前記外部コマンドの一覧に基づいて処理を割り当てる前記実行手段を決めて、前記外部コマンドの情報を当該実行手段に送信して処理を割り当てる処理と、前記実行手段による、前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信する処理と、をコンピュータに実行させ、前記複数の実行手段により、前記外部コマンドを外部の処理手段に実行させて結果を受信する処理を並列して実行させることを特徴とする。
第4の本発明に係る分散処理方法は、受け付けたジョブに対応する処理を分割して複数の実行手段で実行する分散処理方法であって、受け付けたジョブに応じた外部コマンドの情報をジョブに応じて必要な外部コマンドの情報と前記実行手段毎に実行可能な外部コマンドの一覧を記載した設定ファイルから取得するステップと、前記外部コマンドの一覧に基づいて処理を割り当てる前記実行手段を決めて、前記外部コマンドの情報を当該実行手段に送信して処理を割り当てるステップと、前記実行手段による、前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信するステップと、を有し、前記複数の実行手段により、前記外部コマンドを外部の処理手段に実行させて結果を受信するステップは並列して実行させることを特徴とする。
本発明によれば、簡易な設定で様々な処理に対応可能な分散処理技術を提供することができる。
本実施の形態における分散処理装置の構成を示す機能ブロック図である。 分散処理装置がジョブを入力したときの処理の流れを示すフローチャートである。 分散処理装置がジョブを実行するときの処理の流れを示すフローチャートである。
以下、本発明の実施の形態について図面を用いて説明する。
図1は、本実施の形態における分散処理装置の構成を示す機能ブロック図である。図1に示す分散処理装置は、入力部11、Master機能部12、データ取得部13、出力部14、キューDB15、設定ファイル16、および複数のWorker機能部2−1,・・・,2−Nを有する。分散処理装置1が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは分散処理装置1が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。なお、Worker機能部2−1,・・・,2−Nを複数サーバで動作させてもよいし、1サーバ内で動作させてもよい。1サーバ内で動作させる場合、複数のCPUコアに分散させる。いずれの場合でも、Worker機能部2−1,・・・,2−Nにおける処理は並列して実行される。なお、Worker機能部の数Nはシステム利用者が決定する(例えば、サーバ台数やCPUコア数をNとする)。以下、本実施の形態における分散処理装置1の各部について説明する。
入力部11は、処理要求(ジョブ)を受け付けてMaster機能部12に送信する。ジョブは、例えば、http://〜/exec/image?img=○○○などの処理内容(image)と処理対象(○○○)を示す文字列で入力される。
Master機能部12は、入力部11からジョブを受信してキューDB15に格納し、格納した結果を出力部14に要求受付結果として送信する。また、Master機能部12は、キューDB15からジョブを取得し、ジョブの実行に必要な情報を設定ファイル16から読み出して、ジョブに応じた処理をWorker機能部2−1,・・・,2−Nに依頼する。Worker機能部2−1,・・・,2−Nへの処理の依頼および実行結果の受信は、Master機能部12が備える実行連携部121が行う。Worker機能部2−1,・・・,2−Nから返却された実行結果及び実行結果状態は、Master機能部12が出力部14へ送信する。
データ取得部13は、ネットワーク100上にある処理データ(大規模データの全体または一部)を取得し、Master機能部12に送信する。データ取得部13が取得した処理データは、必要であればMaster機能部12により分割され、Worker機能部2−1,・・・,2−Nに送信される。
出力部14は、Master機能部12から受信した要求受付結果を出力する。また、Master機能部12から受信した実行結果及び実行結果状態を要求処理結果として出力する。
キューDB15は、実行されていないジョブを格納する。
設定ファイル16には、ジョブに応じて必要な外部コマンドの情報(外部コマンド名とそのインストール場所)および外部コマンドを実行するために必要な設定情報などが記載されている。例えば、ジョブ名、ジョブの処理内容を示す文字列、外部コマンドの情報などの組みが記載される。
Worker機能部2−1,・・・,2−Nは、コマンド実行部21を備え、実行連携部121から依頼された処理をコマンド実行部21を用いて実行し、コマンド実行部21から実行結果及び実行結果状態を取得して実行連携部121に返却する。コマンド実行部21は、実行連携部121から受信した外部コマンドの情報及び設定情報を利用してコマンド処理部3を呼び出し、外部コマンドを実行させる。
コマンド処理部3は、コマンド実行部21により指定された外部コマンドを実行して結果を返却する。例えば、コマンド処理部3は本分散処理装置1のOSであり、外部コマンドは、そのOS上にインストールされたOS上で実行可能なプログラムである。OS上で実行可能なプログラムは外部コマンドとして全て利用できる。Worker機能部2−1,・・・,2−Nを複数サーバでそれぞれ動作させる場合は、複数サーバそれぞれのOS上にインストールされたプログラムを外部コマンドとして呼び出す。
次に、本実施の形態における分散処理装置の動作について説明する。
まず、ジョブの登録について説明する。図2は、分散処理装置がジョブを入力したときの処理の流れを示すフローチャートである。
入力部11は、ジョブを受け付けると、Master機能部12へ受け付けたジョブを送信する(ステップS11)。
Master機能部12は、入力部11から受信したジョブがキューDB15に登録可能であるか否かキューDB15に問い合わせる(ステップS12)。
ジョブがキューDB15に登録可能である場合(ステップS12のYes)、ジョブをキューDB15に格納し(ステップS13)、出力部14から要求受付結果としてジョブを受け付けた旨のメッセージを送信する(ステップS14)。
一方、ジョブがキューDB15に登録できない場合(ステップS12のNo)、出力部14から要求受付結果としてキューDB15が一杯である旨のメッセージを送信する(ステップS15)。
以上の処理により、ジョブがキューDB15に格納され、要求受付結果が返却される。ジョブをキューDB15に格納し、ジュブの実行完了を待たずに要求受付結果を返却する非同期処理を行うことにより、ジョブの格納が完了すれば次のジョブの受付が可能となるので、大量のジョブをバックグラウンドで利用する用途に適している。
続いて、ジョブの実行について説明する。図3は、分散処理装置がジョブを実行するときの処理の流れを示すフローチャートである。ジョブを実行する処理は、ジョブを受け付ける処理と並行して実行されている。
Master機能部12は、キューDB15を監視し、キューDB15にジョブが存在するか否か確認する(ステップS21)。キューDB15にジョブが存在しない場合は処理を終了する(ステップS21のNo)。
キューDB15にジョブが存在する場合(ステップS21のYes)、Master機能部12は、キューDB15に格納された古い順でジョブを一つ取り出す(ステップS22)。
そして、ジョブ待ち状態のWorker機能部2−1,・・・,2−Nが存在するか否か調べて(ステップS23)、ジョブ待ち状態のWorker機能部2−1,・・・,2−Nが存在しない場合は(ステップS23のNo)、一定時間待ってからステップS23に戻り(ステップS24)、ジョブ待ち状態のWorker機能部2−1,・・・,2−Nの存在を確認する。
ジョブ待ち状態のWorker機能部2−1,・・・,2−Nが存在する場合(ステップS23のYes)、Master機能部12は、データ取得部13を介してネットワーク100上の処理データを取得するとともに、取り出したジョブに対応する外部コマンドの情報およびその設定情報を設定ファイル16から取得する(ステップS25)。
そして、外部コマンドの情報、設定情報、および処理データをジョブ待ち状態のWorker機能部2−1,・・・,2−Nに送信して処理の実行を依頼する(ステップS26)。必要であれば処理データを分割してWorker機能部2−1,・・・,2−Nへ送信する。
Worker機能部2−1,・・・,2−Nからジョブ実行結果が返されて(ステップS27のYes)、実行結果状態が正常終了の場合は(ステップS28のYes)、要求処理結果を出力部14から出力する(ステップS29)。分割して処理された実行結果はMaster機能部12が統合する。
一方、Worker機能部2−1,・・・,2−Nからジョブ実行結果が返されてないか(ステップS27のNo)、実行結果状態がエラー終了の場合は(ステップS28のNo)、処理エラーを示す要求処理結果を出力部14から出力する(ステップS30)。何らかの理由でWorker機能部2−1,・・・,2−Nから実行結果及び実行結果状態が通知されない場合、Master機能部12は、一定時間経っても結果が得られないものに関して処理エラーと判定する。
以上の処理により、キューDB15に格納されたジョブが取り出されて、Worker機能部2−1,・・・,2−Nにおいて分散処理される。例えば、複数のデータに対する処理を行うジョブがキューDB15に格納されている場合、複数のデータの中からデータを1つづつ選択し、選択したデータぞれぞれに対する処理をWorker機能部2−1,・・・,2−Nに分散して行わせる。Master機能部12がWorker機能部2−1,・・・,2−Nの状態をリアルタイムに監視することで、Worker機能部2−1,・・・,2−Nの過負荷状態を避けつつ、ジョブ待ち状態を少なくすることが可能となり、効率良くジョブを実行することができる。また、Master機能部12は、Worker機能部2−1,・・・,2−Nの処理状態だけでなく処理速度等も監視してもよい。それにより、Worker機能部2−1,・・・,2−Nの処理能力に応じて処理データを調整することも可能である。
なお、キューDB15に格納されるジョブに優先度を設定し、Master機能部12が優先度の高い順にキューDB15からジョブを取り出してもよい。さらに、優先度と登録時間を組み合わせて、優先度が高く、かつ古い順にジョブを取り出してもよい。
続いて、Worker機能部の処理について説明する。
Worker機能部2−1,・・・,2−Nのコマンド実行部21は、Master機能部12から受信した外部コマンドの情報で示された外部コマンドを外部呼出しすることで処理データに対する処理を実行する。外部呼出しとは、コマンド処理部3に外部コマンドを実行させることを表し、例えば、OS上にインストールされたプログラムに設定情報、処理データを渡して実行することである。コマンド処理部3に外部コマンドを実行させることで、Worker機能部2−1,・・・,2−N自身に特定のプログラムを組み込んで処理を行う必要がなくなり、分散処理装置において汎用的な外部コマンドによる処理が利用できる。処理内容を変える場合は、設定ファイル16に外部コマンドの情報及び設定情報を登録するだけで対応可能である。また、処理データを変更することで、従来技術と同様に別の処理データに対して同じ処理を行うことも可能である。
コマンド実行部21は、外部呼出し後に返却された実行結果と実行結果状態をWorker機能部2−1,・・・,2−Nに通知する。Worker機能部2−1,・・・,2−Nは、通知された実行結果と実行結果状態を実行連携部121に送信する。その後、Worker機能部2−1,・・・,2−Nはジョブ待ち状態となり、実行連携部121から新たな処理の依頼を受け付ける。
OS上で実行されるプログラムが返却する実行結果状態は、一般的に、処理が正常に終了した場合は特定の番号(例えば0)を返却し、エラー終了した場合は特定の番号以外を返却する一定のルールが存在する。本実施の形態では、このルールを利用して返却された番号に基づいて実行結果状態を判断する。これにより実行連携部121の処理を単純化でき、分散処理の汎用化を行うことができる。
分散処理は、全てのWorker機能部2−1,・・・,2−Nに同じ処理をさせてもよいし、Worker機能部2−1,・・・,2−N毎に異なる処理をさせてもよい。例えば、動画のトランスコード変換を行うジョブの場合、1つの動画をX等分してN個のWorker機能部2−1,・・・,2−Nにトランスコード処理させる。あるいは、動画を映像と音声に分けて、N−1個のWorker機能部2−1,・・・,2−N−1に映像を処理させ、1個のWorker機能部2−Nに音声を処理させてもよい。Worker機能部2−1,・・・,2−N毎に異なる処理をさせる場合、処理の割り当てを設定ファイル16に記載してもよい。この場合、Master機能部12がジョブをキューDB15から取り出した際、設定ファイル16を参照して処理を割り当てるWorker機能部2−1,・・・,2−Nを決定する。例えば、動画を映像と音声に分けてトランスコード変換を行う場合、Worker機能部2−1に映像と音声を分離する処理、Worker機能部2−2,・・・,2−N−1に映像を変換する処理、Worker機能部2−Nに音声を変換する処理を割り当てると記載することで、実行連携部121がWorker機能部2−1,・・・,2−Nに決められた各処理を割り当てることが可能となる。
処理を割り当てるとき、Master機能部12がWorker機能部2−1,・・・,2−Nの処理能力等を管理しておき、Worker機能部2−1,・・・,2−Nの処理能力に応じてジョブを分割して処理を依頼してもよい。例えば、Worker機能部2−1,・・・,2−Nの処理能力に応じて依頼する処理データの量を調整する。
また、設定ファイル16にWorker機能部2−1,・・・,2−N毎の呼び出せる外部コマンド一覧を記載しておき、Master機能部12は、その外部コマンド一覧に基づいてWorker機能部2−1,・・・,2−Nに処理を割り当ててもよい。
なお、Worker機能部2−1,・・・,2−Nに割り当てた全ての処理が完了した後は、Master機能部12が実行結果、例えば処理後の動画、映像や音声を結合し、出力部14から要求処理結果を出力する。
以上説明したように、本実施の形態によれば、Master機能部12がジョブの実行に必要な情報を設定ファイル16から読み出し、設定ファイル16から読み出した外部コマンドの情報に基づいてジョブに応じた処理をWorker機能部2−1,・・・,2−Nに依頼し、Worker機能部2−1,・・・,2−Nのコマンド実行部21が外部コマンドをコマンド処理部3を呼び出して実行させることにより、Worker機能部2−1,・・・,2−Nに特定のプログラムを組み込むことなく、ジョブに対応する外部コマンドの情報を設定ファイル16に記載し、コマンド処理部3上でその外部コマンドを実行させるだけで、所望のジョブを分散処理を行いつつ実行させることが可能となる。また、設定ファイル16の記載を変更するだけで処理内容を変更することができる。このように、Worker機能部2−1,・・・,2−Nに特定のプログラムを組み込まずジョブに応じた外部プログラムを利用するので、1つの分散処理装置に様々なデータ処理を行わせる場合に特に効果的である。
本実施の形態によれば、Master機能部12が受信したジョブをキューDB15に登録して要求受付結果をすぐに返却し、キューDB15から古い順にジョブを取得する非同期処理を行うことにより、大量データをバックグラウンドで処理させることが可能となる。また、Master機能部12がキューDB15からジョブを取得するタイミングを調整することで、受け付けたジョブをリアルタイムに実行して実行結果を返却するか、一定時間後にジョブを実行して実行結果を返却するかをコントロールすることができる。
1…分散処理装置
11…入力部
12…Master機能部
121…実行連携部
13…データ取得部
14…出力部
15…キューDB
16…設定ファイル
2−1,・・・,2−N…Worker機能部
21…コマンド実行部
3…コマンド処理部
100…ネットワーク

Claims (6)

  1. 管理装置と複数の処理装置を備え、前記管理装置が受け付けたジョブに対応する処理を前記複数の処理装置それぞれに分割して割り当ててジョブを実行する分散処理システムであって、
    前記管理装置は、
    ジョブに応じて必要な外部コマンドの情報と前記処理装置毎に実行可能な外部コマンドの一覧を記載した設定ファイルと、
    受け付けたジョブに応じた外部コマンドの情報を前記設定ファイルから取得するコマンド取得手段と、
    前記外部コマンドの一覧に基づいて処理を割り当てる前記処理装置を決めて、前記外部コマンドの情報を当該処理装置に送信して処理を割り当てる割当手段と、を有し、
    前記処理装置は、
    前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信する実行手段を有すること
    を特徴とする分散処理システム。
  2. 前記管理装置は、
    受け付けたジョブを一時的に保持するキューを有し、
    前記コマンド取得手段は、前記処理装置が処理可能な場合に、前記キューからジョブを取得することを特徴とする請求項1記載の分散処理システム。
  3. 前記割当手段は、前記複数の処理装置毎に異なる処理を割り当てることを特徴とする請求項1又は2記載の分散処理システム。
  4. 受け付けたジョブに対応する処理を分割して複数の実行手段で実行する分散処理装置であって、
    ジョブに応じて必要な外部コマンドの情報と前記実行手段毎に実行可能な外部コマンドの一覧を記載した設定ファイルと、
    受け付けたジョブに応じた外部コマンドの情報を前記設定ファイルから取得するコマンド取得手段と、
    前記外部コマンドの一覧に基づいて処理を割り当てる前記実行手段を決めて、前記外部コマンドの情報を当該実行手段に送信して処理を割り当てる割当手段と、
    前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信する複数の実行手段と、
    を有することを特徴とする分散処理装置。
  5. 受け付けたジョブに対応する処理を分割して複数の実行手段で実行する分散処理プログラムであって、
    受け付けたジョブに応じた外部コマンドの情報をジョブに応じて必要な外部コマンドの情報と前記実行手段毎に実行可能な外部コマンドの一覧を記載した設定ファイルから取得する処理と、
    前記外部コマンドの一覧に基づいて処理を割り当てる前記実行手段を決めて、前記外部コマンドの情報を当該実行手段に送信して処理を割り当てる処理と、
    前記実行手段による、前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信する処理と、をコンピュータに実行させ、
    前記複数の実行手段により、前記外部コマンドを外部の処理手段に実行させて結果を受信する処理を並列して実行させることを特徴とする分散処理プログラム。
  6. 受け付けたジョブに対応する処理を分割して複数の実行手段で実行する分散処理方法であって、
    受け付けたジョブに応じた外部コマンドの情報をジョブに応じて必要な外部コマンドの情報と前記実行手段毎に実行可能な外部コマンドの一覧を記載した設定ファイルから取得するステップと、
    前記外部コマンドの一覧に基づいて処理を割り当てる前記実行手段を決めて、前記外部コマンドの情報を当該実行手段に送信して処理を割り当てるステップと、
    前記実行手段による、前記外部コマンドの情報を受信し、当該外部コマンドの情報が示す外部コマンドを外部の処理手段に実行させて結果を受信するステップと、を有し、
    前記複数の実行手段により、前記外部コマンドを外部の処理手段に実行させて結果を受信するステップは並列して実行させることを特徴とする分散処理方法。
JP2013024146A 2013-02-12 2013-02-12 分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法 Active JP5666634B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013024146A JP5666634B2 (ja) 2013-02-12 2013-02-12 分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013024146A JP5666634B2 (ja) 2013-02-12 2013-02-12 分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法

Publications (2)

Publication Number Publication Date
JP2014153982A JP2014153982A (ja) 2014-08-25
JP5666634B2 true JP5666634B2 (ja) 2015-02-12

Family

ID=51575777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013024146A Active JP5666634B2 (ja) 2013-02-12 2013-02-12 分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法

Country Status (1)

Country Link
JP (1) JP5666634B2 (ja)

Also Published As

Publication number Publication date
JP2014153982A (ja) 2014-08-25

Similar Documents

Publication Publication Date Title
US8863138B2 (en) Application service performance in cloud computing
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US11080090B2 (en) Method and system for scalable job processing
CN109729106B (zh) 处理计算任务的方法、系统和计算机程序产品
US9244737B2 (en) Data transfer control method of parallel distributed processing system, parallel distributed processing system, and recording medium
KR101471749B1 (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
JP2012064070A (ja) クラウドコンピューティングシステム、クラウドコンピューティングシステムの制御方法、および管理アプリケーション
US10944683B1 (en) Hybrid queue system for request throttling
US11250360B2 (en) Methods and systems for estimating lag times in a cloud computing infrastructure
CN112087520B (zh) 数据处理方法、装置、设备及计算机可读存储介质
KR20190081306A (ko) 빅데이터 분석 소프트웨어에 대한 자원 할당 방법, 상기 방법을 이용하는 가상화 자원 할당 장치
JP2006067401A (ja) 計算機システム及び計算機システムの帯域制御方法
JP2014102740A (ja) 情報処理方法、プログラム、情報処理装置、及び情報処理システム。
KR101335711B1 (ko) 서버, 연산 처리 방법 및 연산 처리 시스템
US8775767B2 (en) Method and system for allocating memory to a pipeline
JP6748359B2 (ja) 接続数制御プログラム、振り分け装置および接続数制御方法
US20160308991A1 (en) Analytics system architecture
JP5666634B2 (ja) 分散処理システム、分散処理装置、分散処理プログラム及び分散処理方法
US9628401B2 (en) Software product instance placement
JP2005234658A (ja) タスク管理プログラムおよびタスク管理装置
JP2018041190A (ja) 情報処理装置、制御方法およびプログラム
JP2016045802A (ja) 情報処理装置、負荷分散システム、負荷分散方法、及び、プログラム
JP5541289B2 (ja) 仮想サーバシステム、その自律制御サーバ、そのデータ処理方法およびコンピュータプログラム
WO2013065151A1 (ja) 計算機システム、データ転送方法、および、データ転送プログラム
KR102662496B1 (ko) 멀티 gpu를 사용한 다수의 딥러닝 모델 기반 추론 응답 생성을 위한 배치 스케줄링 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141210

R150 Certificate of patent or registration of utility model

Ref document number: 5666634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250