JP4758412B2 - Distributed resource acquisition scheduling system and record acquisition program - Google Patents

Distributed resource acquisition scheduling system and record acquisition program Download PDF

Info

Publication number
JP4758412B2
JP4758412B2 JP2007306430A JP2007306430A JP4758412B2 JP 4758412 B2 JP4758412 B2 JP 4758412B2 JP 2007306430 A JP2007306430 A JP 2007306430A JP 2007306430 A JP2007306430 A JP 2007306430A JP 4758412 B2 JP4758412 B2 JP 4758412B2
Authority
JP
Japan
Prior art keywords
queue
record
acquisition
record acquisition
records
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007306430A
Other languages
Japanese (ja)
Other versions
JP2009129372A (en
Inventor
知洋 長谷川
寛之 内山
浩樹 赤間
雅司 山室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007306430A priority Critical patent/JP4758412B2/en
Publication of JP2009129372A publication Critical patent/JP2009129372A/en
Application granted granted Critical
Publication of JP4758412B2 publication Critical patent/JP4758412B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、分散資源取得スケジューリングシステム及びレコード取得プログラムに係り、特に、少なくとも１つ以上のキューに不規則な間隔でレコードが入力される分散コンピューティング環境において、少なくとも１つ以上のレコード取得主体が存在し、各レコード取得主体が１つ以上のキューから順番にレコードを取得することで、各キューの処理待ちレコード数（残レコード数）の合計を最小にするための分散資源取得スケジューリングシステム及びレコード取得プログラムに関する。   The present invention relates to a distributed resource acquisition scheduling system and a record acquisition program. In particular, in a distributed computing environment in which records are input at irregular intervals in at least one or more queues, at least one record acquisition entity is provided. Distributed resource acquisition scheduling system and record for minimizing the total number of records waiting to be processed (number of remaining records) in each queue by each record acquisition subject acquiring records sequentially from one or more queues Regarding the acquisition program.

１つ以上のキューと１つ以上のレコード取得主体が分散配置されている分散コンピューティング環境において、負荷分散やスケールアウト、可用性の向上を目的とした分散資源取得スケジューリング方式として、図６に示すように、キューを追記部（Ｑ１〜Ｑ４），レコード取得主体をフィルタ部（Ｆ１〜Ｆ６）とし、それぞれを分散するプロセス構成で実現し、系内のプロセス構成を管理する情報部（アクト）１が系内のプロセス構成を記録したプロセスリストをマルチキャストで系内の全プロセスに配信することでプロセスの生存状況や新規プロセスの追加状況を確認し、最新のプロセス構成に更新したプロセスリストを配信することを定期的に行い、追記部（Ｑ１〜Ｑ４）ではクライアントから入力されたレコードに対して時刻印を付与した後でキューとしてレコードを管理し、フィルタ部（Ｆ１〜Ｆ６）では情報部（アクト）１からのマルチキャストで受信したプロセスリストの中から追記部（キュー）の一覧を取得し、ラウンドロビンアルゴリズムによって先頭のキューから順番にレコードを取得し、次のレコード取得を繰り返し、各キューの処理待ちレコードを取得する（例えば、非特許文献１参照）。
「追記・参照型データ管理プラットフォームアーキテクチャの提案」、赤間他、２．３節の自律分散データ取得アルゴリズム、第１４回マルチメディア通信と分散処理ワークショップ、2005年11月、pp.199-204. FIG. 6 shows a distributed resource acquisition scheduling method for the purpose of load distribution, scale-out, and availability improvement in a distributed computing environment in which one or more queues and one or more record acquisition subjects are distributed. In addition, an information section (act) 1 for managing the process configuration in the system is realized by a process configuration in which the queue is an additional recording unit (Q1 to Q4), and the record acquisition subject is a filter unit (F1 to F6). Distribute the process list that records the process configuration in the system to all processes in the system by multicast to check the survival status of the process and the addition status of new processes, and distribute the updated process list to the latest process configuration Is performed periodically, and the time stamp is attached to the record input from the client in the appending part (Q1 to Q4). After that, the record is managed as a queue, and the filter unit (F1 to F6) acquires a list of appending units (queues) from the process list received by multicast from the information unit (act) 1, and uses a round robin algorithm. Records are acquired in order from the first queue, the next record acquisition is repeated, and processing-waiting records for each queue are acquired (see, for example, Non-Patent Document 1).
“Proposal of a postscript / reference data management platform architecture”, Akama et al., Autonomous Distributed Data Acquisition Algorithm in Section 2.3, 14th Multimedia Communication and Distributed Processing Workshop, November 2005, pp.199-204.

しかしながら、上記の方式には以下のような問題点がある。   However, the above method has the following problems.

（１）全てのレコード取得主体が、初期接続するキューが同じで、その後、順番に接続するキューも同じため、一定の周期で特定のキューにレコード取得主体からのアクセスが集中し、レコードが溜まり続けるキューとレコード取得が空振りし続けるキューの二極化が発生する。   (1) Since all record acquisition subjects have the same initial connection queue, and the subsequent connection queues are also the same, access from the record acquisition subject concentrates in a specific queue at regular intervals, and records accumulate. Bipolarization of the queue that continues and the queue where record acquisition continues to fluctuate occurs.

（２）キューからのレコード取得時に全てのキューに順番に接続してレコードを取得しようとするため、特定のキューで空振りが連続している場合には、レコードが存在しないキューに対するレコード取得処理がバックプレッシャーとなり（一般にレコード取得処理では複数のレコード取得主体が同じレコードを同時に取得できないように排他的なロック処理を行う必要があり、キューに対する頻繁なロック処理がバックプレッシャーの原因となる）、当該キューへの新たなレコードの入力を妨げる。   (2) When a record is acquired from a queue, it tries to acquire records by connecting to all the queues in order, so if there is a continuous idle in a specific queue, the record acquisition process for the queue where no record exists Back pressure (generally, in record acquisition processing, it is necessary to perform exclusive lock processing so that multiple record acquisition subjects cannot acquire the same record at the same time, frequent lock processing on the queue causes back pressure), Prevent new records from entering the queue.

本発明は、上記の点に鑑みなされたもので、１つ以上のキューと１つ以上のレコード取得主体が分散配置されている分散コンピューティング環境において、
（１）一定の周期で特定のキューにレコード取得主体からのアクセスが集中することを防ぎ、
（２）連続で空振りが発生しているキューに対するレコード取得を抑止することにより、各キューのレコード入力スループットを低減させず、各キューの処理待ちレコード数（残レコード数）の合計を最小する分散資源スケジューリング方式を実現することが可能な分散資源取得スケジューリングシステム及びレコード取得プログラムを提供することを目的とする。 The present invention has been made in view of the above points. In a distributed computing environment in which one or more queues and one or more record acquisition entities are distributed,
(1) It prevents the access from the record acquisition subject from being concentrated in a specific queue in a certain cycle,
(2) Dispersion that minimizes the total number of records waiting to be processed (number of remaining records) in each queue without reducing the record input throughput of each queue by suppressing record acquisition for queues that are continuously idle An object of the present invention is to provide a distributed resource acquisition scheduling system and a record acquisition program capable of realizing a resource scheduling method.

図１は、本発明の原理構成図である。   FIG. 1 is a principle configuration diagram of the present invention.

本発明（請求項１）は、少なくとも１つ以上のキューに不規則な間隔でレコードが入力される分散コンピューティング環境において、少なくとも１つ以上のレコード取得主体が存在し、各レコード取得主体が他のレコード取得主体とキュー及びレコードに関する情報の共有または交換をすることなく、独立かつ並行に１つ以上のキューに順番に接続し、各キューからレコードを取得する分散資源取得スケジューリングシステムであって、
少なくとも１つ以上のレコード取得主体は、
キュー接続先リスト、残レコード数カウンタ、連続空振りカウンタ、スルーカウンタ、ウェイト開始時刻、レコード取得抑止時間を格納する記憶手段１５０と、
レコード取得先のキューの一覧を記録したキュー接続先リストを受信し、記憶手段に格納するキュー接続先リスト受信手段１１０と、
キューに接続して指定された件数のレコードを先入れ先出し（ＦＩＦＯ）でキューから取得するレコード取得手段１２０と、
レコード取得手段１２０により同一キューに対して前回のレコード取得時に取得したキューの記憶手段１５０内の残レコード数カウンタの数と今回のレコード取得時に取得したキューの残レコード数から当該キューのレコード増加率あるいは増加数を計算するレコード増加率計算手段１３０と、
同一キューに対するレコード取得時の記憶手段１５０内の連続空振りカウンタの回数に応じて当該キューからレコードを取得する処理を抑止するレコード取得抑止手段１４０と、
を有する。 According to the present invention (claim 1), in a distributed computing environment in which records are input at irregular intervals in at least one or more queues, at least one record acquisition entity exists, and each record acquisition entity is another A distributed resource acquisition scheduling system that sequentially connects to one or more queues independently and in parallel without acquiring or sharing information about the queue and records with the record acquisition subject of
At least one record acquisition subject is
A storage means 150 for storing a queue connection destination list, a remaining record counter, a continuous idle counter, a through counter, a wait start time, and a record acquisition suppression time;
A queue connection destination list receiving unit 110 that receives a queue connection destination list in which a list of queues of record acquisition destinations is recorded and stores the queue connection destination list;
A record acquisition means 120 that connects to the queue and acquires a specified number of records from the queue in a first-in first-out (FIFO);
The record increase rate of the queue from the number of remaining record counters in the storage means 150 of the queue acquired when the record acquisition unit 120 acquired the previous record for the same queue and the number of remaining records in the queue acquired at the time of the current record acquisition Alternatively, the record increase rate calculating means 130 for calculating the increase number,
A record acquisition inhibiting unit 140 that inhibits the process of obtaining a record from the queue according to the number of consecutive idle counters in the storage unit 150 at the time of obtaining a record for the same queue;
Have

また、本発明（請求項２）は、レコード取得手段１２０において、
記憶手段１５０のキュー接続先リストに記載されているキューの中から１番目に接続するキューをランダムに決定する手段と、
２番目以降に接続するキューについて１番目に接続したキューを基点として、キュー接続先リストに記載されたキューの中からラウンドロビン方式に従って順番に接続し、当該キューからレコードを取得する手段と、を含む。 Further, the present invention (Claim 2) is the record acquisition means 120,
Means for randomly determining a queue to be connected first among the queues described in the queue connection destination list of the storage means 150;
A means for obtaining a record from the queue connected in order according to the round robin method from the queues listed in the queue connection destination list, with the queue connected first as a base for the queues connected after the second Including.

また、本発明（請求項３）は、接続先のキューに取得すべきレコードが存在しない場合（＝残レコード数が０件の場合）には、記憶手段１５０の当該キューの連続空振りカウンタを１加算し、一方、当該キューに取得すべきレコードが存在する（レコードの取得ができた）場合には、当該キューの該連続空振りカウンタを０にセットする手段と、
当該キューの連続空振りカウンタが第１の関数の計算結果Ｎに達した場合は、記憶手段内の当該キューのスルーカウンタを予め規定した回数Ｘにセットし、次回以降、当該キューからレコードを取得する代わりに当該キューの該スルーカウンタを１減算し、当該キューの該スルーカウンタが０になった時点で、レコード取得手段による通常のレコード取得処理に戻る手段と、を有するレコード取得抑止手段１４０を有する。 Further, according to the present invention (Claim 3), when there is no record to be acquired in the connection destination queue (= when the number of remaining records is 0), the continuous idle counter of the queue in the storage unit 150 is set to 1. On the other hand, if there is a record to be acquired in the queue (record acquisition is possible), means for setting the continuous idle counter of the queue to 0,
When the continuous idle counter of the queue reaches the calculation result N of the first function, the through counter of the queue in the storage means is set to a predetermined number X, and records are acquired from the queue from the next time onward. Instead, the record acquisition inhibiting means 140 has a means for decrementing the through counter of the queue by 1 and returning to the normal record acquisition processing by the record acquisition means when the through counter of the queue becomes 0. .

また、本発明（請求項４）は、接続先のキューに取得すべきレコードが存在しない場合（＝残レコード数が０件の場合）には、記憶手段１５０の当該キューの連続空振りカウンタを１加算し、一方、当該キューに取得すべきレコードが存在する（レコードの取得ができた）場合には、当該キューの該連続空振りカウンタに０をセットする手段と、
当該キューの連続空振りカウンタが第１の関数の計算結果Ｎに達した場合は、記憶手段１５０内の当該キューのウェイト開始時刻に現在時刻を設定し、次回以降、当該キューからレコードを取得する代わりに当該キューの該ウェイト開始時刻とその時点での時刻を比較し、その差が予め規定した時間Ｙミリ秒を超えた時点で、レコード取得手段１２０による通常のレコード取得処理を行う手段と、を有するレコード取得抑止手段１４０を有する。 Further, according to the present invention (Claim 4), when there is no record to be acquired in the connection destination queue (= when the number of remaining records is 0), the continuous idling counter of the queue in the storage unit 150 is set to 1. On the other hand, if there is a record to be acquired in the queue (record can be acquired), means for setting the continuous idle counter of the queue to 0,
When the continuous idle counter of the queue reaches the calculation result N of the first function, the current time is set as the wait start time of the queue in the storage unit 150, and the record is not acquired from the queue after the next time. Comparing the wait start time of the queue with the time at that time, and performing a normal record acquisition process by the record acquisition means 120 when the difference exceeds a predetermined time Y milliseconds. And having a record acquisition inhibiting means 140.

また、本発明（請求項５）は、レコード取得抑止手段１４０において、
所定の回数だけ当該キューからのレコード取得を抑止する間に、
レコード増加率計算手段１３０により計算された当該キューのレコード増加率あるいは増加数αに応じて決まる正数を返す第２の関数の計算結果を、記憶手段１５０内の当該キューのスルーカウンタの新たな値として設定する手段を含む。 Further, the present invention (Claim 5) is the record acquisition inhibiting means 140,
While deterring record acquisition from the queue a predetermined number of times,
The calculation result of the second function that returns a positive number determined according to the record increase rate or the increase number α of the queue calculated by the record increase rate calculation unit 130 is used as a new value of the through counter of the queue in the storage unit 150. Includes means for setting as a value.

また、本発明（請求項６）は、レコード取得抑止手段１４０において、
所定の時間だけ当該キューからのレコード取得を抑止する間に、
レコード増加率計算手段１３０により計算された当該キューのレコード増加率あるいは増加数αに応じて決まる正数を返す第３の関数の計算結果を、記憶手段１５０内の当該キューのレコード取得抑止時間の新たな値として設定する手段を含む。 Further, the present invention (Claim 6) is provided in the record acquisition inhibiting means 140,
While suppressing the acquisition of records from the queue for a predetermined time,
The calculation result of the third function that returns a positive number determined according to the record increase rate or the increase number α of the queue calculated by the record increase rate calculation unit 130 is used as the record acquisition suppression time of the queue in the storage unit 150. Means for setting as a new value;

本発明（請求項７）は、請求項１乃至６のいずれか１項に記載の分散資源取得スケジューリングシステムにおけるレコード取得主体を構成する各手段としてコンピュータを機能させるレコード取得プログラムである。   The present invention (Claim 7) is a record acquisition program for causing a computer to function as each means constituting a record acquisition subject in the distributed resource acquisition scheduling system according to any one of Claims 1 to 6.

上記のように本発明によれば、少なくとも１つ以上のキューと少なくとも１つ以上のレコード取得主体とを分散コンピューティング環境上に配置し、レコード取得先のキューの一覧を記録したキュー接続先リストを受信し、キュー接続先リストに記載されたキューに順番に接続して指定された件数のレコードを先入れ先出し（ＦＩＦＯ）でキューから取得し、同一キューに対して前回のレコード取得時に取得したキューの残レコード数と今回のレコード取得時に取得したキューの残レコード数から当該キューのレコード増加率あるいは増加数を計算し、同一キューに対するレコード取得時の連続空振り回数に応じて、当該キューからレコードを取得する処理を抑止することで、各キューのレコード入力スループットを低減させず、各キューの処理待ちレコード数（残レコード数）の合計を最小にする。   As described above, according to the present invention, at least one queue and at least one record acquisition subject are arranged on the distributed computing environment, and a queue connection destination list in which a list of record acquisition destination queues is recorded. Are connected to the queues listed in the queue connection destination list in order, and the specified number of records are obtained from the queue by first-in first-out (FIFO). Calculate the record increase rate or increase number of the queue from the number of remaining records and the number of remaining records in the queue acquired at the time of the current record acquisition, and acquire records from the queue according to the number of consecutive idling times when acquiring records for the same queue By suppressing this process, the record input throughput of each queue is not reduced, Management waiting for the number of records the total of (number of remaining records) to a minimum.

さらに、キュー接続先リストに記載されているキューの中から１番目に接続するキューをランダムに決定し、２番目以降に接続するキューは１番目に接続したキューを基点として、キュー接続先リストに記載されたキューの中からラウンドロビン方式に従って順番に接続し、当該キューからレコードを取得する。   Further, the queue to be connected first is randomly determined from the queues connected to the queue connection destination list, and the queues connected to the second and subsequent queues are set in the queue connection destination list based on the queue connected first. The queues are sequentially connected from the described queues according to the round robin method, and records are acquired from the queues.

加えて、接続先のキューに取得すべきレコードが存在しない場合（残レコード数が０件の場合）には、当該キューの連続空振りカウンタを１ずつ加算し、一方、当該キューに取得すべきレコードが存在する（レコードの取得ができた）場合には、当該キューの連続空振りカウンタを０にリセットし、当該キューの連続空振りカウンタが第１の関数の計算結果に達した場合は、当該キューのスルーカウンタを予め規定した回数Ｘにセットし、次回以降、当該キューからレコードを取得する代わりに、当該キューのスルーカウンタを１ずつ減算し、当該キューのスルーカウンタが０になった時点で通常のレコード取得処理に戻ることで、当該キューからのレコード取得を一定回数抑止する。   In addition, when there is no record to be acquired in the connection destination queue (when the number of remaining records is 0), the continuous idling counter of the queue is incremented by 1, while the record to be acquired in the queue Is present (record has been acquired), the continuous idle counter of the queue is reset to 0, and when the continuous idle counter of the queue reaches the calculation result of the first function, Instead of acquiring a record from the queue next time, set the through counter to a predetermined number of times X, and subtract the through counter of the queue one by one, and when the through counter of the queue reaches 0, By returning to the record acquisition process, the record acquisition from the queue is suppressed a certain number of times.

また、接続先のキューに取得すべきレコードが存在しない場合（残レコード数が０件の場合）には当該キューの連続空振りカウンタを１ずつ加算し、一方、当該キューに取得すべきレコードが存在する（レコードの取得ができた）場合には当該キューの連続空振りカウンタを０にリセットし、当該キューの連続空振りカウンタが第１の関数の計算結果Ｎに達した場合は、当該キューのウェイト開始時刻に現在時刻を設定し、次回以降、当該キューからレコードを取得する代わりに当該キューのウェイト開始時刻とその時点での時刻を比較し、その差が予め規定した時間Ｙミリ秒を超えた時点で通常のレコード取得処理に戻ることで当該キューからのレコード取得を一定時間抑止する。   In addition, when there is no record to be acquired in the connection destination queue (when the number of remaining records is 0), the continuous idling counter of the queue is incremented by 1, while there is a record to be acquired in the queue. When the record is acquired (the record has been acquired), the continuous idle counter of the queue is reset to 0, and when the continuous idle counter of the queue reaches the calculation result N of the first function, the wait of the queue starts Set the current time as the time, and compare the wait start time of the queue with the current time instead of acquiring a record from the queue from the next time, and when the difference exceeds the predefined time Y milliseconds Returning to the normal record acquisition process in step S1 suppresses record acquisition from the queue for a certain period of time.

更に、レコード取得を一定回数抑止する間に、計算した当該キューのレコード増加率あるいは増加数αに応じて決まる正数を返す第２の関数の計算結果を当該キューのスルーカウンタの新たな値として設定する。   Furthermore, the calculation result of the second function that returns a positive number determined according to the calculated record increase rate or the increase number α of the queue while suppressing record acquisition for a certain number of times is used as a new value of the through counter of the queue. Set.

また、レコード取得を一定時間抑止する間に、計算した当該キューのレコード増加率あるいは増加数αに応じて決まる正数を返す第３の関数の計算結果を当該キューのレコード取得抑止時間の新たな値として設定することで、
（１）レコード取得主体からのアクセスが集中することを防ぐことができ、
（２）連続で空振りが発生しているキューに対するレコード取得を一定回数または一定時間抑止することができ、更に、レコード取得処理を抑止中でも当該キューに一定以上のレコード入力があった場合にはレコード取得を抑止する残り回数または残り時間を減らすことにより、各キューのレコード入力スループットを低減させず、各キューの処理待ちレコード数（残レコード数）の合計を最小にする分散資源スケジューリングシステムを実現することが可能である。 While the record acquisition is suppressed for a certain period of time, the calculation result of the third function that returns a positive number determined according to the calculated record increase rate or the increase number α of the queue is used as the new record acquisition suppression time of the queue. By setting it as a value,
(1) It is possible to prevent concentration of access from the record acquisition subject,
(2) It is possible to suppress record acquisition for a queue that has been continuously idle for a certain number of times or for a certain period of time, and even if record acquisition processing is suppressed, if there is more than a certain number of records input to the queue, Realizes a distributed resource scheduling system that minimizes the total number of records waiting to be processed (number of remaining records) in each queue without reducing the record input throughput of each queue by reducing the remaining number of times or the remaining time to suppress acquisition It is possible.

以下、図面と共に本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図２は、本発明の一実施の形態における分散資源取得スケジューリングシステムの構成を示す。   FIG. 2 shows a configuration of a distributed resource acquisition scheduling system according to an embodiment of the present invention.

同図に示す分散資源取得スケジューリングシステムは、不規則な間隔でレコードが入力される１つ以上のキュー２００と１つ以上のレコード取得主体１００１，１００２，１００３、…から構成され、分散コンピューティング環境上に配置される。 The distributed resource acquisition scheduling system shown in the figure is composed of one or more queues 200 to which records are input at irregular intervals and one or more record acquisition subjects 100 1 , 100 2 , 100 3 ,. Located on a computing environment.

レコード取得主体１００は、キュー接続先リスト受信部１１０、レコード取得部１２０、レコード増加率計算部１３０、レコード取得抑止部１４０及び、キュー接続先リスト、残レコード数カウンタ、連続空振りカウンタ、スルーカウンタ、ウェイト開始時刻、レコード取得抑止時間を格納するメモリ１５０から構成される。   The record acquisition subject 100 includes a queue connection destination list reception unit 110, a record acquisition unit 120, a record increase rate calculation unit 130, a record acquisition suppression unit 140, a queue connection destination list, a remaining record counter, a continuous idle counter, a through counter, The memory 150 stores the wait start time and record acquisition suppression time.

キュー接続先リスト受信部１１０は、レコード取得先のキューの一覧を記録したキュー接続先リストを受信する。   The queue connection destination list receiving unit 110 receives a queue connection destination list in which a list of record acquisition destination queues is recorded.

レコード取得部１２０は、キュー接続先リストに記載されたキューに順番に接続して指定された件数のレコードを先入れ先出し（ＦＩＦＯ）でキュー２００から取得する。   The record acquisition unit 120 acquires the specified number of records from the queue 200 by first-in first-out (FIFO) by sequentially connecting to the queues described in the queue connection destination list.

レコード増加率計算部１３０は、同一キューに対して前回のレコード取得時に取得したキューの残レコード数と今回のレコード取得時に取得したキューの残レコード数から当該キューのレコード増加率あるいは増加数を計算する。   The record increase rate calculation unit 130 calculates the record increase rate or the increase number of the queue from the remaining number of records in the queue acquired at the time of the previous record acquisition and the remaining number of records in the queue acquired at the time of the current record acquisition for the same queue. To do.

レコード取得抑止部１４０は、同一キューに対するレコード取得時の連続空振り回数に応じて当該キューからレコードを取得する処理を抑止する。   The record acquisition suppression unit 140 suppresses the process of acquiring records from the queue according to the number of consecutive idling times when acquiring records for the same queue.

上記のように、本実施の形態の分散資源スケジューリングシステムは、不規則な間隔でレコードが入力される１つ以上のキュー２００と１つ以上のレコード取得主体１００から構成され、キュー２００は、入力されたレコードに時刻印を付与し、先入れ先出し（ＦＩＦＯ）でレコードを管理する。   As described above, the distributed resource scheduling system according to the present embodiment includes one or more queues 200 to which records are input at irregular intervals and one or more record acquisition subjects 100. A time stamp is given to the recorded record, and the record is managed by first-in first-out (FIFO).

メモリ１５０内に格納される接続先リストには、接続すべきキューの一覧が記録され、また、残レコード数カウンタ、連続空振りカウンタ、スルーカウンタ、ウェイト開始時刻、レコード取得抑止時間の各エントリは、キュー接続先リスト中の該当するキューと関連付けられている。   In the connection destination list stored in the memory 150, a list of queues to be connected is recorded, and each entry of the remaining record number counter, continuous idling counter, through counter, wait start time, record acquisition suppression time, Associated with the corresponding queue in the queue destination list.

図３は、本発明の一実施の形態におけるレコード取得主体が各キューからレコードを取得する動作のフローチャートである。   FIG. 3 is a flowchart of an operation in which a record acquisition entity acquires a record from each queue according to an embodiment of the present invention.

ステップ１０１） レコード取得主体１００は、キュー接続先リスト受信部１１０において、レコード取得先のキューの一覧を記録したキュー接続先リストを受信し、メモリ１５０に格納する。   Step 101) In the queue connection destination list receiving unit 110, the record acquisition subject 100 receives a queue connection destination list in which a list of queues of record acquisition destinations is recorded, and stores it in the memory 150.

ステップ１０２） レコード取得部１２０は、メモリ１５０に格納されたキュー接続先リストの中から１番目に接続するキューをランダムに決定する。   Step 102) The record acquisition unit 120 randomly determines a queue to be connected first from the queue connection destination list stored in the memory 150.

ステップ１０３） レコード取得部１２０は、キューに接続して指定された件数のレコードを先入れ先出し（ＦＩＦＯ）で取得する。特に指定がなければ最も古いレコードを１件取得する。   Step 103) The record acquisition unit 120 connects to the queue and acquires the specified number of records by first-in first-out (FIFO). Unless otherwise specified, one oldest record is acquired.

ステップ１０４） レコード取得部１２０は、キュー接続先リストの順次アクセスポインタを１つ進め、次に接続するキューをラウンドロビン方式により決定する。上記のステップ１０３，１０４を繰り返し、キュー接続先リストのキュー２００に接続し、レコードを取得する。   Step 104) The record acquisition unit 120 advances the sequential access pointer of the queue connection destination list by one, and determines a queue to be connected next by the round robin method. The above steps 103 and 104 are repeated to connect to the queue 200 in the queue connection destination list and acquire a record.

なお、上記では、各レコード取得主体１００がラウンドロビン方式に従ってキュー接続先リストの中のキューに順番に接続しているが、例えば、各キューの残レコード数やレコード増加率あるいは増加数、サーバ負荷などの情報から各キューの重みを計算し、ラウンドロビン方式の代わりに重み点きラウンドロビン方式に従って次に接続するキューを決定することも可能である。   In the above, each record acquisition subject 100 is connected to the queues in the queue connection destination list in order according to the round robin method. For example, the number of remaining records, the record increase rate or the increase number of each queue, server load It is also possible to calculate the weight of each queue from such information and determine the next queue to be connected according to the weighted round robin method instead of the round robin method.

次に、上記のステップ１０３の処理についてキュー２００からレコードを取得する動作を説明する。レコードを取得する動作は、図４と図５に示す２つの方法が考えられる。   Next, an operation for acquiring a record from the queue 200 in the process of step 103 will be described. The two methods shown in FIGS. 4 and 5 can be considered as the operation for acquiring the record.

まず、最初に図４において、キュー２００からのレコード取得の空振りを抑えるための方法を説明する。   First, referring to FIG. 4, a method for suppressing idling of record acquisition from the queue 200 will be described.

図４は、本発明の一実施の形態におけるレコード取得動作のフローチャート（その１）である。   FIG. 4 is a flowchart (part 1) of the record acquisition operation according to the embodiment of the present invention.

ステップ２０１） レコード取得部１２０は、キュー２００に接続する。   Step 201) The record acquisition unit 120 connects to the queue 200.

ステップ２０２） レコード取得部１２０は、接続したキューから当該キューの第１の残レコード数を取得する（残レコード数の取得処理はキューのその瞬間の残レコード数を参照するだけなので、排他的なロック処理は必要なく、複数のレコード取得主体が同時に残レコード数を取得することも可能であり、排他的なロック処理を伴うレコード取得処理に比べると非常に軽い処理である）。   Step 202) The record acquisition unit 120 acquires the first remaining record number of the queue from the connected queue (the acquisition process of the remaining record number refers only to the remaining record number at that moment in the queue. Lock processing is not necessary, and multiple record acquisition subjects can acquire the number of remaining records at the same time, which is very light compared to record acquisition processing that involves exclusive lock processing).

ステップ２０３） レコード取得抑止部１４０は、メモリ１５０内の当該キューのスルーカウンタが０であれば、次のステップ２０４の処理を行い、当該キューのスルーカウンタが０でなければ（レコード取得抑止中であれば）、ステップ２１０の処理を行う。   Step 203) If the through counter of the queue in the memory 150 is 0, the record acquisition inhibiting unit 140 performs the next step 204. If the through counter of the queue is not 0 (record acquisition is being inhibited) If so, the process of step 210 is performed.

ステップ２０４） 上記の第１の残レコード数が１件以上存在すれば、ステップ２０５に移行し、残レコード数が０であればステップ２０７に移行する。   Step 204) If there is one or more first remaining record numbers, the process proceeds to step 205. If the remaining record number is 0, the process proceeds to step 207.

ステップ２０５） レコード取得部１２０は、当該キュー２００からレコードを取得する。   Step 205) The record acquisition unit 120 acquires a record from the queue 200.

ステップ２０６） メモリ１５０内の当該キューの連続空振りカウンタを０にし、ステップ２１２に移行する。   Step 206) The continuous idling counter of the queue in the memory 150 is set to 0, and the routine proceeds to Step 212.

ステップ２０７） ステップ２０４において、残レコード数が０の場合は、メモリ１５０内の当該キューの連続空振りカウンタに１加算する。   Step 207) In Step 204, when the number of remaining records is 0, 1 is added to the continuous idle counter of the queue in the memory 150.

ステップ２０８） メモリ１５０内の連続空振りカウンタが第１の関数の計算結果Ｎ以上の場合は、ステップ２０９に移行し、そうでない場合は、ステップ２１２に移行する。   Step 208) If the continuous idling counter in the memory 150 is equal to or greater than the calculation result N of the first function, the process proceeds to step 209. Otherwise, the process proceeds to step 212.

ステップ２０８） ステップ２０８において、連続空振りカウンタがＮ以上である場合は、ステップ２０９に移行し、そうでない場合は、ステップ２１２に移行する。   Step 208) If the continuous idling counter is equal to or greater than N in step 208, the process proceeds to step 209. Otherwise, the process proceeds to step 212.

ステップ２０９） レコード取得抑止部１４０は、メモリ１５０の当該キューのスルーカウンタに規定回数Ｘを設定する（上記の第１の関数は当該キューの単位時間あたりの入力レコード数やレコード取得主体１００のサーバ負荷などの情報からＮの値を計算する関数であり、当該キューの単位時間あたりの入力レコード数の増加に反してＮを小さくし、レコード取得主体１００のサーバ負荷の増加に応じてＮを大きくする関数が考えられる。例えば、
（レコード取得主体のサーバ負荷）／（当該キューの単位時間当たりの入力レコード数）などが考えられるが、第１の関数がＮを定数として返すことも可能である）。ステップ２１２に移行する。 Step 209) The record acquisition inhibiting unit 140 sets the specified number of times X in the through counter of the queue in the memory 150 (the above first function is the number of input records per unit time of the queue and the server of the record acquisition subject 100) It is a function for calculating the value of N from information such as the load, N is decreased against the increase in the number of input records per unit time of the queue, and N is increased as the server load of the record acquisition subject 100 increases. For example, a function that
(The server load of the record acquisition subject) / (the number of input records per unit time of the queue) can be considered, but the first function can also return N as a constant). Control goes to step 212.

ステップ２１０） ステップ２０３において、スルーカウンタが０でない場合は、レコード増加率計算部１３０において、上記の第１の残レコード数と当該キューの残レコード数カウンタに記録された第２の残レコード数からレコード増加率あるいは増加数αを計算する。   Step 210) If the through counter is not 0 in Step 203, the record increase rate calculation unit 130 calculates the first remaining record number and the second remaining record number recorded in the remaining record number counter of the queue. The record increase rate or increase number α is calculated.

ステップ２１１） レコード増加率計算部１３０は、メモリ１５０内の当該キューのスルーカウンタに第２の関数の計算結果をセットする。ここで、第２の関数はレコード増加率あるいは増加数αに応じて決まる正数を返す関数で、αが大きいほど当該キューのスルーカウンタの値の減少幅を大きくする関数である。例えば、当該キューの現在のスルーカウンタの値をＡとすると、Ａ−ｂα（ｂは係数、計算結果が負数の場合は０を返す）などの関数が考えられる。また、αの値が閾値Ｍを超えたかどうかで関数を変えることも可能である。   Step 211) The record increase rate calculation unit 130 sets the calculation result of the second function in the through counter of the queue in the memory 150. Here, the second function is a function that returns a positive number determined according to the record increase rate or the increase number α, and is a function that increases the decrease amount of the through counter value of the queue as α increases. For example, assuming that the current through counter value of the queue is A, a function such as A-bα (b is a coefficient, and 0 is returned when the calculation result is a negative number) can be considered. It is also possible to change the function depending on whether the value of α exceeds the threshold value M.

ステップ２１２） 上記の第１の残レコード数を当該キューの残レコードカウンタにセットする。   Step 212) The first remaining record number is set in the remaining record counter of the queue.

上記のように、図４に示す方法は、レコード取得の空振りを抑えるための処理であり、メモリ１５０のスルーカウンタが正値の場合は、キュー２００からレコードを取得しないで、増加率によってスルーカウンタ値を減少させていく。スルーカウンタの値が０になると、レコード取得を試みるが、空振りがＮ回連続するとスルーカウンタの値を正値に設定して次回はレコード取得をしないようにするものである。   As described above, the method shown in FIG. 4 is a process for suppressing the fluctuating record acquisition. When the through counter of the memory 150 is a positive value, the record is not acquired from the queue 200, and the through counter Decrease the value. When the value of the through counter reaches 0, the record acquisition is attempted, but when the idle swing continues N times, the value of the through counter is set to a positive value so that the record is not acquired next time.

次に、もう一つのレコード取得方法について説明する。この方法は、上記の図４で用いたスルーカウンタの代わりにウェイト開始時刻を管理して、レコード取得を抑える方法を説明する。   Next, another record acquisition method will be described. In this method, a method of suppressing the record acquisition by managing the wait start time instead of the through counter used in FIG. 4 will be described.

図５は、本発明の一実施の形態におけるレコード取得動作のフローチャート（その２）である。   FIG. 5 is a flowchart (part 2) of the record acquisition operation according to the embodiment of the present invention.

ステップ３０１） レコード取得部１２０は、キュー２００に接続する。   Step 301) The record acquisition unit 120 connects to the queue 200.

ステップ３０２） レコード取得部１２０は、接続したキューから当該キューの第１の残レコード数を取得する（残レコード数の取得処理はキューのその瞬間の残レコード数を参照するだけなので、排他的なロック処理は必要なく、複数のレコード取得主体が同時に残レコード数を取得することも可能であり、排他的なロック処理を伴うレコード取得処理に比べると非常に軽い処理である）。   (Step 302) The record acquisition unit 120 acquires the first remaining record number of the queue from the connected queue (the remaining record number acquisition process only refers to the remaining record number at that moment in the queue, Lock processing is not necessary, and multiple record acquisition subjects can acquire the number of remaining records at the same time, which is very light compared to record acquisition processing that involves exclusive lock processing).

ステップ３０３） レコード取得抑止部１４０は、現在時刻とメモリ１５０のウェイト開始時刻を参照して、現在時刻と当該キューのウェイト開始時刻の差が当該キューのレコード取得抑止時間（ミリ秒）を超えていれば、次のステップ３０４の処理を行い、現在時刻と当該キューのウェイト開始時刻の差が当該キューのレコード取得抑止時間（ミリ秒）を超えていなければステップ３１１に移行する。   Step 303) The record acquisition suppression unit 140 refers to the current time and the wait start time of the memory 150, and the difference between the current time and the wait start time of the queue exceeds the record acquisition suppression time (milliseconds) of the queue. Then, the processing of the next step 304 is performed, and if the difference between the current time and the wait start time of the queue does not exceed the record acquisition suppression time (milliseconds) of the queue, the processing proceeds to step 311.

ステップ３０４） 上記の第１の残レコード数が１件以上存在すれば、ステップ３０５に移行し、残レコードが０件の場合は、ステップ３０７に移行する。   Step 304) If there is one or more first remaining records, the process proceeds to step 305. If there are no remaining records, the process proceeds to step 307.

ステップ３０５） レコード取得部１２０は、当該キューからレコードを取得する。   Step 305) The record acquisition unit 120 acquires a record from the queue.

ステップ３０６） メモリ１５０内の当該キューの連続空振りカウンタを０にし、ステップ３１３に移行する。   Step 306) The continuous idling counter of the queue in the memory 150 is set to 0, and the routine proceeds to Step 313.

ステップ３０７） レコード取得抑止部１４０は、メモリ１５０を参照して、上記の第１の残レコード数が０件の場合は、当該キューの連続空振りカウンタに１加算する。   Step 307) The record acquisition inhibiting unit 140 refers to the memory 150, and adds 1 to the continuous idle counter of the queue when the first remaining record number is zero.

ステップ３０８） レコード取得抑止部１４０は、連続空振りカウンタが第１の関数の計算結果Ｎ以上の場合は、ステップ３０９に移行し、そうでない場合はステップ３１３に移行する。   Step 308) When the continuous idling counter is equal to or greater than the calculation result N of the first function, the record acquisition inhibiting unit 140 proceeds to Step 309, and otherwise proceeds to Step 313.

ステップ３０９） レコード取得抑止部１４０は、メモリ１５０内の当該キューのウェイト開始時刻に現在時刻をセットする。   Step 309) The record acquisition suppression unit 140 sets the current time to the wait start time of the queue in the memory 150.

ステップ３１０） レコード取得抑止部１４０は、当該キューのレコード取得抑止時間に規定の時間Ｙ（Ｙはレコード取得抑止時間の初期値である）をセットする（上記の第１の関数は当該キューの単位時間あたりの入力レコード数やレコード取得主体１００のサーバ負荷などの情報からＮの値を計算する関数であり、当該キューの単位時間あたりの入力レコード数の増加に反してＮを小さくし、レコード取得主体１００のサーバ負荷の増加に応じてＮを大きくする関数が考えられる。例えば、
（レコード取得主体のサーバ負荷）／（当該キューの単位時間当たりの入力レコード数）などが考えられるが、第１の関数がＮを定数として返すことも可能である）。ステップ３１３に移行する。 Step 310) The record acquisition suppression unit 140 sets a specified time Y (Y is an initial value of the record acquisition suppression time) as the record acquisition suppression time of the queue (the first function is a unit of the queue). It is a function that calculates the value of N from information such as the number of input records per hour and the server load of the record acquisition subject 100. N is decreased to increase the number of input records per unit time of the queue, and record acquisition is performed. A function that increases N in accordance with an increase in the server load of the subject 100 can be considered, for example.
(The server load of the record acquisition subject) / (the number of input records per unit time of the queue) can be considered, but the first function can also return N as a constant). The process proceeds to step 313.

ステップ３１１） ステップ３０３において、現在時刻とウェイト開始時刻の差がレコード取得抑止時間を越えていない場合は、レコード増加率計算部１３０において、第１の残レコード数と当該キューの残レコード数カウンタに記録された第２の残レコード数からレコード増加率あるいは増加数αを計算する。   Step 311) In step 303, if the difference between the current time and the wait start time does not exceed the record acquisition suppression time, the record increase rate calculation unit 130 sets the first remaining record number and the remaining record number counter of the queue. The record increase rate or increase number α is calculated from the recorded second remaining record number.

ステップ３１２） レコード増加率計算部１３０は、当該キューに対するレコード取得抑止時間に第３の関数の計算結果をセットする。ここで、第３の関数は、レコード増加率あるいは増加数αに応じて決まる正数を返す関数で、αが大きいほど当該キューのレコード取得抑止時間の値の減少値を大きくする関数である。例えば、当該キューの現在のレコード取得抑止時間をＴとすると、Ｔ−ｃα（ｃは係数、計算結果が負数の場合は０を返す）等の関数が考えられる。また、αの値が閾値Ｌを超えたかどうかで関数を変えることも可能である。   Step 312) The record increase rate calculation unit 130 sets the calculation result of the third function at the record acquisition suppression time for the queue. Here, the third function is a function that returns a positive number determined according to the record increase rate or the increase number α, and is a function that increases the decrease value of the record acquisition suppression time value of the queue as α increases. For example, if the current record acquisition suppression time of the queue is T, a function such as T-cα (c is a coefficient, and 0 is returned when the calculation result is a negative number) can be considered. It is also possible to change the function depending on whether the value of α exceeds the threshold value L.

ステップ３１３） 上記の第１の残レコード数をメモリ１５０内の当該キューの残レコード数カウンタにセットする。   Step 313) The above first remaining record number is set in the remaining record number counter of the queue in the memory 150.

上記のように、図５の方法は、図４のスルーカウンタの代わりに、メモリ１５０内でウェイト開始時刻を管理し、所定の時間の間はレコードを取得しないようにするものである。   As described above, the method of FIG. 5 manages the wait start time in the memory 150 in place of the through counter of FIG. 4 so that records are not acquired during a predetermined time.

なお、上記の図２のレコード取得主体１００の構成要素の動作をプログラムとして構築し、レコード取得主体として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。   Note that the operations of the components of the record acquisition entity 100 in FIG. 2 described above can be constructed as a program and installed and executed on a computer used as the record acquisition entity, or distributed via a network. .

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。   Further, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and can be installed or distributed in a computer.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

本発明は、分散コンピューティング技術に適用可能である。   The present invention is applicable to distributed computing technology.

本発明の原理構成図である。It is a principle block diagram of this invention. 本発明の一実施の形態における分散資源取得スケジューリングシステムの構成図である。It is a block diagram of the distributed resource acquisition scheduling system in one embodiment of this invention. 本発明の一実施の形態におけるレコード取得主体が各キューからレコードを取得する動作のフローチャートである。It is a flowchart of the operation | movement which the record acquisition main body in one embodiment of this invention acquires a record from each queue. 本発明の一実施の形態におけるレコード取得動作のフローチャート（その１）である。It is a flowchart (the 1) of the record acquisition operation | movement in one embodiment of this invention. 本発明の一実施の形態におけるレコード取得動作のフローチャート（その２）である。It is a flowchart (the 2) of the record acquisition operation | movement in one embodiment of this invention. 従来の分散資源取得スケジューリング方式を示す図である。It is a figure which shows the conventional distributed resource acquisition scheduling system.

符号の説明Explanation of symbols

１００ レコード取得主体
１１０ キュー接続先リスト受信手段、キュー接続先リスト受信部
１２０ レコード取得手段、レコード取得部
１３０ レコード増加率計算手段、レコード増加率計算部
１４０ レコード取得抑止手段、レコード取得抑止部
１５０ 記憶手段、メモリ
２００ キュー 100 Record Acquisition Subject 110 Queue Connection Destination List Reception Unit, Queue Connection Destination List Reception Unit 120 Record Acquisition Unit, Record Acquisition Unit 130 Record Increase Rate Calculation Unit, Record Increase Rate Calculation Unit 140 Record Acquisition Suppression Unit, Record Acquisition Suppression Unit 150 Means, memory 200 queue

Claims (7)

少なくとも１つ以上のキューに不規則な間隔でレコードが入力される分散コンピューティング環境において、少なくとも１つ以上のレコード取得主体が存在し、各レコード取得主体が他のレコード取得主体とキュー及びレコードに関する情報の共有または交換をすることなく、独立かつ並行に１つ以上のキューに順番に接続し、各キューからレコードを取得する分散資源取得スケジューリングシステムであって、
前記少なくとも１つ以上のレコード取得主体は、
キュー接続先リスト、残レコード数カウンタ、連続空振りカウンタ、スルーカウンタ、ウェイト開始時刻、レコード取得抑止時間を格納する記憶手段と、
レコード取得先のキューの一覧を記録したキュー接続先リストを受信し、前記記憶手段に格納するキュー接続先リスト受信手段と、
前記キューに接続して指定された件数のレコードを先入れ先出し（ＦＩＦＯ）でキューから取得するレコード取得手段と、
前記レコード取得手段により同一キューに対して前回のレコード取得時に取得したキューの前記記憶手段内の前記残レコード数カウンタの数と今回のレコード取得時に取得したキューの残レコード数から当該キューのレコード増加率あるいは増加数を計算するレコード増加率計算手段と、
同一キューに対するレコード取得時の前記記憶手段内の前記連続空振りカウンタの回数に応じて当該キューからレコードを取得する処理を抑止するレコード取得抑止手段と、
を有することを特徴とする分散資源取得スケジューリングシステム。 In a distributed computing environment in which records are input to at least one or more queues at irregular intervals, at least one or more record acquisition entities exist, and each record acquisition entity relates to other record acquisition entities and queues and records. A distributed resource acquisition scheduling system that connects to one or more queues independently and in parallel without acquiring or sharing information, and acquiring records from each queue,
The at least one record acquisition subject is:
A storage means for storing a queue connection destination list, a remaining record counter, a continuous idle counter, a through counter, a wait start time, and a record acquisition suppression time;
A queue connection destination list receiving means for receiving a queue connection destination list in which a list of queues of record acquisition destinations is recorded, and storing the queue connection destination list in the storage means;
Record acquisition means for acquiring a specified number of records connected to the queue from the queue by first-in first-out (FIFO);
The number of records in the queue is increased from the number of remaining record counters in the storage means of the queue acquired at the time of the previous record acquisition for the same queue by the record acquisition means and the number of remaining records in the queue acquired at the time of the current record acquisition. A record increase rate calculation means for calculating a rate or an increase number;
Record acquisition suppression means for suppressing the process of acquiring records from the queue according to the number of consecutive idle counters in the storage means at the time of record acquisition for the same queue;
A distributed resource acquisition scheduling system comprising: 前記レコード取得手段は、
前記記憶手段の前記キュー接続先リストに記載されているキューの中から１番目に接続するキューをランダムに決定する手段と、
２番目以降に接続するキューについて１番目に接続したキューを基点として、前記キュー接続先リストに記載されたキューの中からラウンドロビン方式に従って順番に接続し、当該キューからレコードを取得する手段と、
を含む請求項１記載の分散資源取得スケジューリングシステム。 The record acquisition means includes
Means for randomly determining a queue to be connected first among the queues described in the queue connection destination list of the storage means;
A means for acquiring records from the queues connected in order according to the round robin method from the queues described in the queue connection destination list, with the first connected queue as the base point for the second and subsequent queues;
The distributed resource acquisition scheduling system according to claim 1. 接続先のキューに取得すべきレコードが存在しない場合（＝残レコード数が０件の場合）には、前記記憶手段の当該キューの連続空振りカウンタを１加算し、一方、当該キューに取得すべきレコードが存在する（レコードの取得ができた）場合には、当該キューの該連続空振りカウンタを０にセットする手段と、
当該キューの前記連続空振りカウンタが第１の関数の計算結果Ｎに達した場合は、前記記憶手段内の当該キューの前記スルーカウンタを予め規定した回数Ｘにセットし、次回以降、当該キューからレコードを取得する代わりに当該キューの該スルーカウンタを１減算し、当該キューの該スルーカウンタが０になった時点で、前記レコード取得手段による通常のレコード取得処理に戻る手段と、
を有するレコード取得抑止手段を有する
請求項２記載の分散資源取得スケジューリングシステム。 If there is no record to be acquired in the connection destination queue (= the number of remaining records is 0), 1 is added to the continuous idle counter of the queue in the storage means, while the record should be acquired in the queue. If there is a record (record can be obtained), means for setting the continuous idle counter of the queue to 0;
When the continuous idle counter of the queue reaches the calculation result N of the first function, the through counter of the queue in the storage means is set to a predetermined number of times X, and the record from the queue is recorded next time. Means for subtracting 1 from the through counter of the queue and returning to normal record acquisition processing by the record acquisition means when the through counter of the queue reaches 0,
The distributed resource acquisition scheduling system according to claim 2, further comprising: a record acquisition suppression unit including: 接続先のキューに取得すべきレコードが存在しない場合（＝残レコード数が０件の場合）には、前記記憶手段の当該キューの連続空振りカウンタを１加算し、一方、当該キューに取得すべきレコードが存在する（レコードの取得ができた）場合には、当該キューの該連続空振りカウンタに０をセットする手段と、
当該キューの前記連続空振りカウンタが第１の関数の計算結果Ｎに達した場合は、前記記憶手段内の当該キューの前記ウェイト開始時刻に現在時刻を設定し、次回以降、当該キューからレコードを取得する代わりに当該キューの該ウェイト開始時刻とその時点での時刻を比較し、その差が予め規定した時間Ｙミリ秒を超えた時点で、前記レコード取得手段による通常のレコード取得処理を行う手段と、
を有するレコード取得抑止手段を有する
請求項２記載の分散資源取得スケジューリングシステム。 If there is no record to be acquired in the connection destination queue (= the number of remaining records is 0), 1 is added to the continuous idle counter of the queue in the storage means, while the record should be acquired in the queue. If there is a record (record acquisition has been successful), means for setting the continuous idle counter of the queue to 0;
When the continuous idle counter of the queue reaches the calculation result N of the first function, the current time is set to the wait start time of the queue in the storage means, and the record is acquired from the queue after the next time. Instead of performing the normal record acquisition process by the record acquisition means when the wait start time of the queue is compared with the time at that time and the difference exceeds a predetermined time Y milliseconds; ,
The distributed resource acquisition scheduling system according to claim 2, further comprising: a record acquisition suppression unit including: 前記レコード取得抑止手段は、
所定の回数だけ当該キューからのレコード取得を抑止する間に、
前記レコード増加率計算手段により計算された当該キューのレコード増加率あるいは増加数αに応じて決まる正数を返す第２の関数の計算結果を、前記記憶手段内の当該キューの前記スルーカウンタの新たな値として設定する手段を含む
請求項３記載の分散資源取得スケジューリングシステム。 The record acquisition inhibiting means is
While deterring record acquisition from the queue a predetermined number of times,
The calculation result of the second function that returns a positive number determined according to the record increase rate or the increase number α of the queue calculated by the record increase rate calculation means is used as the new value of the through counter of the queue in the storage means. 4. The distributed resource acquisition scheduling system according to claim 3, further comprising means for setting as a correct value. 前記レコード取得抑止手段は、
所定の時間だけ当該キューからのレコード取得を抑止する間に、
前記レコード増加率計算手段により計算された当該キューのレコード増加率あるいは増加数αに応じて決まる正数を返す第３の関数の計算結果を、前記記憶手段内の当該キューの前記レコード取得抑止時間の新たな値として設定する手段を含む
請求項４記載の分散資源取得スケジューリングシステム。 The record acquisition inhibiting means is
While suppressing the acquisition of records from the queue for a predetermined time,
The calculation result of the third function that returns a positive number determined according to the record increase rate or the increase number α of the queue calculated by the record increase rate calculation means is the record acquisition suppression time of the queue in the storage means. 5. The distributed resource acquisition scheduling system according to claim 4, further comprising means for setting as a new value. 請求項１乃至６のいずれか１項に記載の分散資源取得スケジューリングシステムにおけるレコード取得主体を構成する各手段としてコンピュータを機能させるレコード取得プログラム。   The record acquisition program which makes a computer function as each means which comprises the record acquisition subject in the distributed resource acquisition scheduling system of any one of Claims 1 thru | or 6.
JP2007306430A 2007-11-27 2007-11-27 Distributed resource acquisition scheduling system and record acquisition program Expired - Fee Related JP4758412B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007306430A JP4758412B2 (en) 2007-11-27 2007-11-27 Distributed resource acquisition scheduling system and record acquisition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007306430A JP4758412B2 (en) 2007-11-27 2007-11-27 Distributed resource acquisition scheduling system and record acquisition program

Publications (2)

Publication Number Publication Date
JP2009129372A JP2009129372A (en) 2009-06-11
JP4758412B2 true JP4758412B2 (en) 2011-08-31

Family

ID=40820188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007306430A Expired - Fee Related JP4758412B2 (en) 2007-11-27 2007-11-27 Distributed resource acquisition scheduling system and record acquisition program

Country Status (1)

Country Link
JP (1) JP4758412B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085868A (en) * 2020-09-18 2020-12-15 陕西千山航空电子有限责任公司 Multi-acquisition recording system time synchronization method and system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097432A (en) * 1996-09-20 1998-04-14 Fujitsu Ltd Round robin system
JP4238142B2 (en) * 2004-01-15 2009-03-11 株式会社日立製作所 Program component processing request queue configuration method, program component registration method and execution control method, program component registration program and execution control program, and application server

Also Published As

Publication number Publication date
JP2009129372A (en) 2009-06-11

Similar Documents

Publication Publication Date Title
US11347549B2 (en) Customer resource monitoring for versatile scaling service scaling policy recommendations
CN108733509B (en) Method and system for backing up and restoring data in cluster system
US8719297B2 (en) System for managing data collection processes
US8812639B2 (en) Job managing device, job managing method and job managing program
JP6126099B2 (en) Marketplace for timely event data distribution
US20170109200A1 (en) Method for scheduling user request in distributed resource system, and apparatus
US9477618B2 (en) Information processing device, information processing system, storage medium storing program for controlling information processing device, and method for controlling information processing device
US7783747B2 (en) Method and apparatus for improving cluster performance through minimization of method variation
US20160321292A1 (en) Distributed resource contention detection and handling
WO2006102354A3 (en) Apparatus and methods for providing queue messaging over a network
US9292336B1 (en) Systems and methods providing optimization data
US20120158451A1 (en) Dispatching Tasks in a Business Process Management System
US20170078049A1 (en) Freshness-sensitive message delivery
CN108491255B (en) Self-service MapReduce data optimal distribution method and system
US10684901B2 (en) Data store device and data management method
JP4758412B2 (en) Distributed resource acquisition scheduling system and record acquisition program
JP4392665B2 (en) Cluster system performance prediction apparatus, performance prediction method, and performance prediction program
CN111597056B (en) Distributed scheduling method, system, storage medium and equipment
US9824130B1 (en) Optimizing synchronization of enterprise content management systems
US20080195447A1 (en) System and method for capacity sizing for computer systems
JP6280237B2 (en) Computer system and data processing method
Master et al. An infinite dimensional model for a many server priority queue
Vincent et al. Perfect simulation of index based routing queueing networks
FR2995705A1 (en) Method for preparation of sequence of execution for data processing program of service, involves assigning set of atomic sequences and atomic subtasks so that each task of program is executed in duration of temporal frame
JP5517294B2 (en) Execution control method and execution control apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110602

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees