WO2010100859A1

WO2010100859A1 - 分散システム

Info

Publication number: WO2010100859A1
Application number: PCT/JP2010/001196
Authority: WO
Inventors: 中村聡; 藤野亮; 志村文生; 佐藤久; 塚本哲史
Original assignee: 株式会社日立製作所
Priority date: 2009-03-03
Filing date: 2010-02-23
Publication date: 2010-09-10
Also published as: CN102317916A; JP2010204876A; TW201101186A; US20120016994A1

Abstract

　本発明は、同一システム内で複数の業務処理を行う分散クラスタ環境において、業務処理毎の優先順位付けや、処理を実行させる分散ノードの処理能力に応じて個別の負荷分散手法の選択を可能とし、負荷分散において利用者が決めた負荷の閾値に対して自動調整を試み、分散クラスタ環境を構成するノードの基盤性能が特に均一でない場合においても、並列実行により分散クラスタ環境のリソースを最大限活用することを可能とするものである。

Description

分散システム

　本発明は、情報処理システムでの負荷分散に関するものである。その中でも特に、分散クラスタ環境における処理の負荷分散の実現するための技術に関する。なお、本発明は、金融機関におけるオンライン形式の注文システムやバッチ形式の口座管理システム等への適用も可能である。

　従来から情報処理システムにおいて、システムの効率的な運用を行うために、複数のサーバを一束として運用するクラスタ技術が提案されている。この中でも特に、その負荷を分散するための分散クラスタ技術（環境）が提案されている。しかし、近年の情報処理量の更なる増加により、さらにその負荷を分散する技術が求められており、そのための技術として、特許文献１に開示される技術が提案されている。特許文献１においては、予め全サーバについて負荷分散用のサーバ（ＲＰＣサーバ）を立上げることに生じる問題を解決するために、負荷記憶手段を用いて自ノードの負荷を記憶し、過負荷を検出した場合に負荷を増加可能な移動先ノードを選択し、負荷移動指示を前記移動先ノードに移動させることが記載されている。

特開２０００－１３７６９２号公報

　しかしながら、特許文献１においては、複数ノードを用いて処理を行う分散クラスタ環境における負荷分散では総じて汎用的な業務処理に対する負荷分散方式や、均一な処理能力をもつ分散ノードに対しての負荷分散方式に留まっている。そのため、優先順位がつけられた複数の業務処理や、一律でない処理性能を持つ分散ノードで構成された分散クラスタ環境を意識した負荷分散方式については考慮されていない。

　例えば証券業務の場合では、日々のオンライン注文取引処理にて、特定銘柄を対象とした処理量が突発的に上昇し、処理待ちの情報がキューに滞留したとする。この場合、その後定刻に投入される、本来最優先処理としたいシステム制御系の処理については後回しになってしまうことがある。このため、分散クラスタ環境の負荷分散方式決定にあたっては、業務により方式を柔軟に変更して、同一システムにおいて一定のルールで複数の業務が適用されるよう負荷分散方式の検討が必要となる。

　本発明は、同一システム内で複数の業務処理を行う分散クラスタ環境において、処理毎に業務処理毎の特性に応じた、どのように各ノードに負荷を分散するかを示す負荷分散手法を選択するものである。ここで、特性については、業務処理の優先順位や処理を実行させる分散ノードの処理能力が含まれる。また負荷分散において、予め定められた（記憶された）負荷の閾値に応じた負荷の調整を行うことも本発明に含まれる。

　ここで、本発明には、以下の態様も含まれる。分散配置された複数のノードと複数のクライアントが互いに接続され分散システムにおいて、前記各クライアントにおける業務毎のその特性に応じた負荷分散方式が記憶される記憶手段と、
　前記各ノードにおけるリソースの利用状況を検知する手段と、前記検知の結果、いずれかのノードにおいて負荷分散が必要かを判断する手段と、前記判断の結果、負荷分散が必要と判断されたノードにおける業務処理が、いずれのクライアントの処理に対する業務処理かを判定し、判定された業務処理の特性に応じた負荷分散方式を前記記憶手段から特定する手段と、特定された前記負荷分散方式に従って、負荷分散を実行する手段とを有するものである。

　また、この分散システムにおいて、前記特性には、前記業務処理毎の優先順位および前記各ノードの処理能力のうち少なくとも一方を含むことも本発明に含まれる。さらに、これらの分散システムにおいて、前記各ノードにおける前記リソース利用状況を記憶する第２の記憶手段と、前記各ノードにおけるリソース利用状況の閾値を記憶する第３の記憶手段とを更に有し、前記判定する手段は、前記第２の記憶手段と前記第３の記憶手段に記憶された内容を比較して判定することも本発明に含まれる。

　また、分散クラスタ環境を構成するノードの基盤性能が特に均一でない場合においても、並列実行により分散クラスタ環境のリソースを最大限活用することを可能とする分散クラスタ環境、ノード負荷分散方法、ノード負荷分散プログラムを提供することを目的とする。

　本発明は、負荷分散の条件を業務毎に定義することにより、処理を行う業務の要件に応じて適切に処理を分散するノード選択処理を可能とする技術を可能とする。また、分散クラスタ環境において異なる時期に異なる性能を持つノードを導入した場合においても、サービスレベルの低下を招くことなく、均一サービスの提供を可能とするため、分散クラスタ環境の柔軟な増強を実現する。

本発明の一実施形態の全体構成を表した図である。本発明の一実施形態におけるクライアントが持つノード管理テーブルの一例を示す図である。本発明の一実施形態におけるクライアントが持つ処理時間管理テーブルの一例を示す図である。本発明の一実施形態におけるクライアントが持つモード設定テーブルの一例を示す図である。本発明の一実施形態における分散ノードがリソース閾値超過の旨をクライアントに送信した場合において、クライアントにおける負荷分散モードが「調整モード」であった場合のフローチャートを示す図である。本発明の一実施形態における分散ノードがリソース閾値超過の旨をクライアントに送信した場合及び、リソース利用率低下の旨をクライアントに送信する場合のフローチャートを示す図である。本発明の一実施形態におけるクライアントが分散ノードからリソース利用率低下の旨を受信した場合におけるフローチャートを示す図である。

　以下、図面を参照しながら本発明を実施するための形態について説明する。以下の実施の形態は例示であり、本発明は本実施の形態の構成に限定されない。

　図１に、本実施の形態におけるシステム全体の構成図を示す。本実施の形態におけるシステムは、各分散ノード及び各クライアントで構成されており、同一ネットワークにて互いに疎通が可能な状態にて接続されている。クライアントは処理情報入手手段として、入力端末としての機能と、複数の入力端末から入力される情報や、他システムから送信される情報を集約して分散ノードに処理依頼を行うゲートウェイ機能を有している。分散ノードは処理情報入手手段として、クライアントからの送信依頼を元に入手する場合と、別の分散ノードからクライアントから送信される送信依頼を与えられることにより入手するゲートウェイ機能を有している。分散ノード及びクライアントにおけるゲートウェイ機能は、同一装置であっても、別装置に分かれていてもよい。ここで、各分散ノード及び各クライアントは複数存在しているが、実行中のプロセス（プログラム）が異なるものの、互いに同様の構成であるため、本説明では分散ノードについては分散ノード１００、クライアントについてはクライアント２００を代表例に挙げて説明する。

　分散ノード１００は、ＣＰＵ１０１、メモリ１０２、記憶媒体１０３、通信インタフェース１１０を有し、メモリ１０２上には、複数の業務処理を行うための論理を有する情報処理プログラム１０４、分散処理において用いるリソースの閾値情報を保持するリソース閾値テーブル１０５、リソース使用率を一定時間間隔で監視するリソース監視プログラム１０６、情報処理結果を保存するためのインメモリデータベース１０７が存在している。記憶媒体１０３はハードディスク、メモリなど情報保存を実現する媒体ならばどれにより実現しても良い。リソース閾値テーブル１０５はＣＰＵ、メモリ、ネットワークにおける情報の送受信量など定期的に監視できる内容であれば対象を問わないが、本説明ではこのうちＣＰＵを代表例に挙げ以下説明していく。またリソース閾値テーブル１０５の値はノード起動時に利用者により設定される。

　続いて、クライアント２００は、ＣＰＵ２０１、メモリ２０２、記憶媒体２０３、通信インタフェース２１０を有しており、メモリ２０２上には、分散ノードの情報処理プログラムに情報処理を依頼する情報依頼プログラム２０４、クライアントから接続可能な全分散ノードについてのネットワーク情報を保持するノード管理テーブル２０６、各分散ノードにおける情報処理に要した時間を計測して保持する処理時間管理テーブル２０７、業務毎の分散処理方式（モードと呼ぶ）が定義されるモード設定テーブル２０８、各分散処理モードの内容を有するモード内容プログラム２０９が存在している。記憶媒体２０３上には、情報依頼プログラム２０４に与える情報が記録されているマスタファイル２０５を備えているが、通信インタフェース２１０を通してネットワーク経由により情報依頼プログラム２０４に与える情報が送信されても良い。この記憶媒体２０３についても、記憶媒体１０３と同様、情報保存を実現する媒体ならばどれにより実現しても良い。また、クライアント２００はクライアントの中で階層構造を形成する構成を持っても良い。例えば、同一ネットワークに存在する別クライアント２０ａから、処理すべき範囲が指定された情報がクライアント２００に送信されることで、クライアント２００はこの情報を元に情報依頼プログラム２０４が稼動するなど、クライアントが分散ノードへの中継機能を成す形として稼動しても良い。

　図２は、ノード管理テーブル２０６についての内容の一例を示している。ノード管理テーブル２０６のエントリは、各分散ノードが持つ同一ネットワーク内で一意な分散ノードＩＤ２０６１と利用者による分散ノードのグルーピングを示すグループＩＤ２０６２、ＩＰアドレス（ポート番号も含む）２０６３、起動時間のうち処理候補ノードリストに存在していた時間の割合を示す稼働率２０６４、分散処理方式において送信対象として良い状態かどうかを表すフラグ２０６５、後述する閾値調整方式において用いる閾値修正係数２０６６で構成され。分散ノードが起動時及び終了時に自己の情報を全クライアントに送信することにより、クライアントがノード管理テーブルにおける分散ノードのエントリについて追加及び削除を行う。クライアントは情報依頼プログラムにおける分散ノードの宛先決定に際して、ノード管理テーブル２０６を利用する。

　図３は、時間管理テーブル２０７についての内容の一例を示している。各クライアントは分散ノードに処理を依頼してから、処理終了の通知を受けるまでの時間を毎回記録している。処理時間管理テーブル２０７は、分散ノード毎に一意なノードＩＤ２０７１、今までの処理平均時間２０７２、起動から現在までの更新回数を示す２０７３にて構成されている。

　図４は、モード設定テーブル２０８が有する２種類のテーブルにおける、内容の一例を示している。業務モードテーブル２０８１はクライアントが行う業務処理２０８１１と後述する負荷分散のモード２０８１２を対で記録しているものであり、時間モードテーブル２０８２は処理が実行される日時２０８２１と負荷分散のモード２０８２２を対で記録しているものである。クライアント２００を起動する際における引数として、予め業務モードテーブル２０８１及び日付モードテーブル２０８２の内容が記載されたテキストファイル２０８３を与えることで、クライアント２００の情報依頼プログラム２０４が起動時にテキストファイル２０８３を解釈し、業務モードテーブル２０８１及び日付モードテーブル２０８２に内容を反映させる。クライアント２００が処理のための情報を分散ノードに送信する際において、分散ノード１００よりリソース利用率閾値超過の旨を受信した場合、クライアント２００はモード設定テーブル２０８を用いて、当該業務で設定されている負荷分散のモードを特定する。

　続いて、分散処理において各クライアントが各分散ノードの中から処理を依頼する分散ノードを選択する場合の内容について、クライアント２００を例に説明する。クライアント２００は、処理を依頼する分散ノードを、ノード管理テーブル２０６を参照しながらラウンドロビン方式を用いて選択し、選択された分散ノード１００に対して（この例では、ラウンドロビン方式によって分散ノード１００が選択された場合について説明する）処理のための情報を送信し、これを受信した分散ノード１００は処理について予め自己に格納された情報処理プログラム１０４において、送信された情報から業務を特定して対応した論理を用いて処理を実行する。ここで、クライアントが分散ノードに処理を依頼する業務処理の単位は、例えば証券業務の場合については複数口座対象バッチ処理（例えば、全口座）における１口座など、分散クラスタ環境が実現する並列化による計算性能向上の効果を最大限享受するために、できるだけ細かい単位に分割する設計が望ましいが、本発明に係る形態については必ずしも業務処理の単位にこだわるものではない。分散ノード１００において処理が終了した後、分散ノード１００は送信元のクライアント２００に正常終了を通知し、クライアント２００はマスタファイル２０５もしくは通信インタフェース２１０経由より次に対象とされる情報を取得する。一方分散ノード１００では、情報処理の結果をインメモリデータベース１０７に保存する。ただし保存先は情報処理プログラム１０４が業務に応じて指定するものとし、例えば別業務の情報処理の結果についてはインメモリデータベース１０７ではなく、記憶媒体１０３に保存してもよい。

　ここで、分散ノード１００が情報を処理している間は、分散ノード１００において別のスレッドで実行されているリソース監視プログラム１０６が一定時間間隔にて実行されている。リソース利用率が、利用者が予めリソース閾値テーブル１０５に設定しているリソース利用率の閾値を超過した場合、各クライアントに対して、分散ノード１００が閾値を超過した旨及びリソース閾値テーブル１０５に記録されている閾値の送信を行う。この旨をクライアント２００が受信（全クライアントが受信するが、ここではクライアント２００が受信した場合について説明）したのち、モード設定テーブル２０８を参照し、現在の業務に設定されている負荷分散のモードに従って、挙動を変更する仕組みを有する。

　負荷分散のモードは３種類であり、それぞれについて以下より説明する。
モードの１つめは「通常モード」であり、クライアント２００はリソース利用率閾値超過の旨を分散ノード１００より受信した場合でも、引き続きラウンドロビン方式にて処理を依頼する分散ノードを決定する。通常モードにおけるラウンドロビンの精査対象となる分散ノードは、ノード管理テーブル２０６に記録されている分散ノードの各エントリが対象となる。

　モードの２つめは「遵守モード」であり、クライアント２００はリソース利用率閾値超過の旨を分散ノード１００より受信した場合、これによりノード管理テーブル２０６における当該分散ノード１００のエントリにおける送信可能フラグ２０６５を「ＯＫ」から「ＮＧ」に変更する。遵守モードにおけるラウンドロビンの精査対象となる分散ノードは、送信可能フラグ２０６５が「ＯＫ」のエントリのみを対象とする。これにより、一度送信可能フラグ２０６５が「ＮＧ」になった分散ノードについては、再び「ＯＫ」に戻らない限り遵守モードが適用されているクライアントから処理のための情報を送信することを防止してもよい。

　モードの３つめは「調整モード」であり、クライアント２００はリソース利用率閾値超過の旨を分散ノード１００より受信した場合、リソース閾値超過の旨を送信した分散ノード１００が有している、リソース閾値テーブル１０５の内容が現在の業務において最大効率をもたらすものか判定を行う。この判定の内容については次段落にて説明する。調整モードにおけるラウンドロビンの精査対象となる分散ノードは、遵守モードと同じく送信可能フラグ２０６５が「ＯＫ」となっているエントリを対象とする。

　図５に、調整モードにおける場合の判定の内容を示す。はじめに、クライアント２００は、分散ノード１００から閾値超過の旨を受信する（ステップ５０２）と、モード設定テーブル２０８を参照し、現在の処理が調整モードである旨を知る。調整モードでは、リソース閾値超過の旨を送信した分散ノード１００に対して、引き続き処理を依頼する依頼情報を送信する（ステップ５０３）。この処理について要した時間を、リソース閾値超過の旨を受信する前の状態にて処理に要した時間を記録する処理時間管理テーブル２０７と比較する（ステップ５０４）。この比較において、３回連続で処理時間記録テーブル２０７の値を超過した場合（ステップ５０５）、リソース閾値超過について当該分散ノード１００は正常な業務処理が不可能であると判断し、クライアント２００はノード管理テーブル２０６における当該分散ノード１００の送信可能フラグ２０６５を「ＯＫ」から「ＮＧ」に変更する（ステップ５０６）。また、ステップ５０５において、３回連続で処理時間記録テーブル２０７の値を超過しなかった場合においても、５回の処理時間の平均が処理時間記録テーブル２０７の値を超過した場合には（ステップ５０７）、ステップ５０６へ遷移する。なお、ステップ５０５や５０７での回数（3回、5回）は一例であって、他の回数でもよい。そして、これらの回数は予めシステムに格納されているものである。

　ステップ５０７において、５回の処理時間の平均が処理時間記録テーブル２０７の値を超過しなかった場合、現在の閾値を超過しているにも関わらず処理に要する時間から判断するに正常な業務処理を行うことが可能だと判断し、当該分散ノード２００のリソース閾値テーブル１０５の内容を、ノード管理テーブル２０６に記録されている閾値修正係数２０６６に従い、リソース閾値テーブル１０５の値を上方修正する命令を送信する（ステップ５０８）。例えばリソース閾値テーブル１０５について、仮にＣＰＵを監視対象とし、値が７０であり閾値修正係数２０６６が３であった場合、７０×（１＋０．０３）＝７２．１となるため、リソース閾値テーブル１０５の内容について７０から四捨五入後の７２に変更するようクライアント２００から命令を送信する。この命令に従って分散ノード１００はリソース閾値テーブル１０５の値を更新する。このフローの繰り返しにより、業務処理において支障を及ぼす（処理に要する時間が遅くなる）と判断が下される値まで段階的に閾値が引き上げられる。ただし、修正値が１００を超過する場合は、命令の送信は行わない（超過しない場合に命令の送信を行う）。

　次に、情報処理中における分散ノード１００のリソース閾値超過の通知手順について図６を用いて説明する。監視により、分散ノード１００のリソース利用率がリソース閾値テーブル１０５の値を超過した場合（ステップ６０１）は、各クライアントに対して閾値超過の旨と閾値の値を送信する（ステップ６０２）。また、ステップ６０２の後にリソース利用率がリソース閾値テーブル１０５の値の一定値未満へ低下した場合には、各クライアントに対してリソース利用率低下の旨を通知する（ステップ６０３）。ここで一定値は分散ノードごとに定義できても良く、例えばリソース閾値テーブル１０５の値から８割未満になった場合にステップ６０３を適用などとしても良い。

　続いて、図７に分散ノード１００からのリソース利用率低下の旨受信による、クライアント２００の振る舞いを示す（分散ノード１００からのリソース閾値超過受信については各クライアントが受信するが、全クライアントで等しい論理であるため、ここではクライアント２００の場合で説明する）。クライアント２００が分散ノード１００からのリソース利用率低下の旨を受信した場合（ステップ７０１）、クライアント２００が有しているノード管理テーブル２０６を確認し、当該ノード１００のエントリの送信可能フラグ２０６５が「ＮＧ」かどうか確認を行う（ステップ７０２）。当該分散ノード１００の送信可能フラグ２０６５が「ＮＧ」であった場合、リソース利用率の超過が原因で業務処理に支障が生じていたノードにおいて、再びリソース利用率について余裕が生じたため、再び正常な業務処理ができると判断し、送信可能フラグ２０６５を「ＯＫ」に変更する（ステップ７０４）。ステップ７０２において、除外ノードリスト２０６２に当該ノード１００が存在しない場合は、ステップ７０１の状況が訪れるまで、引き続き処理を実行する。

　また、各クライアントにおいては各分散ノードからのリソース超過通知により、ノード管理テーブル２０６のエントリが、全て送信可能フラグ２０６５について「ＮＧ」になってしまう場合が可能性としてありうる。この場合、遵守モードと調整モードでは、ラウンドロビン方式にて参照するノードリストは送信可能フラグ２０６５が「ＯＫ」のみのため、送信可能フラグ２０６５が「ＮＧ」となっている任意の分散ノードから、ステップ６０３にて述べたリソース閾値一定値未満へ低下の旨を受信した場合に、各分散ノードに対して新たな処理を依頼（処理を依頼する依頼情報の送信）する（逆に受信しない場合、依頼情報の送信を抑止してもよい）。つまり、低下する旨を受信しない場合、クライアントにおいては処理待ち状態となる。ただし、通常モードでは、ノード管理テーブル２０６の全エントリから情報処理を依頼するノードを選択するため、待ち状態は発生しない。

　このように、本発明によって、各業務について負荷分散のモードを規定することにより、分散クラスタ環境における各クライアント及び各分散ノードが協働して、業務毎に任意の負荷分散モードを使うよう選択が可能となる。

　また、負荷分散のモードについて、単に指定された閾値に従うものだけでなく、利用者が設定した閾値について、業務処理に要する時間の低下によるサービスレベル低下が起きない範囲にて自律的に調節を試みるモードの提供を行う。

１０ａ、１０ｎ、１００・・・分散ノード、２０ａ、２０ｎ、２００・・・クライアント。

Claims

　分散配置された複数のノードと複数のクライアントが互いに接続された分散システムにおいて、
　前記各クライアントにおける業務毎のその特性に応じた負荷分散方式が記憶される記憶手段と、
　前記各ノードにおけるリソースの利用状況を検知する手段と、
　前記検知の結果、いずれかのノードにおいて負荷分散が必要かを判断する手段と、
　前記判断の結果、負荷分散が必要と判断されたノードにおける業務処理が、いずれのクライアントの処理に対する業務処理かを判定し、判定された業務処理の特性に応じた負荷分散方式を前記記憶手段から特定する手段と、
　特定された前記負荷分散方式に従って、負荷分散を実行する手段とを有することを特徴とする分散システム。
　請求項１に記載の分散システムにおいて、
　前記特性には、前記業務処理毎の優先順位および前記各ノードの処理能力のうち少なくとも一方を含むことを特徴とする分散システム。
　請求項１に記載の分散システムにおいて、
　前記各ノードにおける前記リソース利用状況を記憶する第２の記憶手段と、
　前記各ノードにおけるリソース利用状況の閾値を記憶する第３の記憶手段とを更に有し、
　前記判定する手段は、前記第２の記憶手段と前記第３の記憶手段に記憶された内容を比較して判定することを特徴とする分散システム。
　請求項１に記載の分散システムにおいて、
　前記クライアントは、クライアントの中で階層構造を成し、同一ネットワークにおいて情報処理依頼の範囲を指定するクライアントと情報処理依頼をするクライアントに分かれ、前記分散ノードへの情報処理を実現することを特徴とする負荷分散システム。
　請求項３に記載の分散システムにおいて、
　前記第２の記憶手段は、前記リソース利用状況を示すリソースの利用率を格納したリソース利用率管理テーブルを有し、
　前記第３の記憶手段は、前記リソース利用状況の閾値を示すリソース閾値テーブルを有し、
　前記判定する手段は、予め定められた間隔にて前記リソース利用率管理テーブルを監視し、当該監視の結果前記リソース閾値テーブルの値を超過した場合及び前記リソース閾値テーブルの値の一定値未満へ低下した場合において、各クライアントに対しその旨を通知することを特徴とする分散システム。
　請求項１に記載の分散システムにおいて、
　前記各ノードに関するノード情報であって、更なる処理依頼の送信が可能かを示すフラグを含むノード情報を格納したノード情報テーブルを保持した第４の記憶手段と、
　前記特定された負荷分散方式において前記フラグを利用し、処理依頼の送信対象の分散ノードの取捨選択を実行する手段とをさらに有することを特徴とする分散システム。
　請求項６に記載の分散システムにおいて、
　前記記憶手段に格納された前記負荷分散方式の１つに、前記処理依頼が送信されるノードリストのエントリを順に読み込み、送信先を選択する負荷分散方式が含まれることを特徴とする分散システム。
　請求項６に記載の分散システムにおいて、
　前記記憶手段に格納された前記負荷分散方式の１つに、当該分散システムにおいて、前記ノードからリソース閾値超過の旨を受信した場合、前記受信したノードのエントリを処理を除外する除外ノードへ変更することで、前記処理依頼の送信先から除外することを可能する負荷分散方式が含まれることを特徴とする分散システム。
　請求項６に記載の分散システムにおいて、
　前記記憶手段に格納された前記負荷分散方式の１つに、各ノードからリソース閾値超過の旨を受信した場合、当該分散ノードにおける処理時間を計測し、レスポンスタイムによる性能劣化が見られない場合に当該分散ノードのリソース利用率管理テーブルの値を上方修正する命令を送る負荷分散方式が含まれることを特徴とする分散システム。