JP4719782B2 - 分散処理装置、分散処理システム、分散処理方法および分散処理プログラム - Google Patents

分散処理装置、分散処理システム、分散処理方法および分散処理プログラム Download PDF

Info

Publication number
JP4719782B2
JP4719782B2 JP2008245763A JP2008245763A JP4719782B2 JP 4719782 B2 JP4719782 B2 JP 4719782B2 JP 2008245763 A JP2008245763 A JP 2008245763A JP 2008245763 A JP2008245763 A JP 2008245763A JP 4719782 B2 JP4719782 B2 JP 4719782B2
Authority
JP
Japan
Prior art keywords
processing
data
computer
classification
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008245763A
Other languages
English (en)
Other versions
JP2010079504A (ja
Inventor
光 西畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2008245763A priority Critical patent/JP4719782B2/ja
Publication of JP2010079504A publication Critical patent/JP2010079504A/ja
Application granted granted Critical
Publication of JP4719782B2 publication Critical patent/JP4719782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、例えば、気象コンテンツの作成(データ処理の一例)を複数の計算機を用いて実行する分散処理装置、分散処理システム、分散処理方法および分散処理プログラムに関するものである。
従来技術では次のように構成され動作する。
(1)構成
分散処理システムにおいて、各計算機の性能または負荷の少なくとも一方に基づいてプログラムが実行する処理の優先順位を決定する優先順位決定手段を有する。
(2)動作
(A)処理の緊急度を用いた管理
各計算機の性能と負荷および各処理の緊急度から、各処理の処理優先順位を決定して変更するとともに、各処理の実行に適した計算機を決定する。また、同一処理を行う複数のプログラムが存在する場合には、各計算機の性能と負荷および各処理の緊急度を考慮して、これらのプログラムの中から最適な優先順位を有するプログラムを選択する。
高性能の計算機には低い優先順位を与え、低性能の計算機には高い優先順位を与えることにより、計算機の性能に関わらず同程度の迅速さで各処理を完了させることができる。
また、処理の緊急度から個々の計算機の優先順位を決定するため、低い優先度の処理が高い優先度の処理に先んじて完了するという逆転現象を避けることができ、より厳密なリアルタイム性を保証することが可能となる。
(B)処理の時間制約を用いた管理
各計算機の性能と負荷およびプログラムが実行する処理の時間制約と処理量を考慮して、プログラムの実行に適した優先順位を決定する。
これにより、新たに発生した時間制約の短い処理を既に割り付けられている時間制約の長い処理に先んじて実行させる、といったようなことが可能となる。また、時間制約が近づいている場合には処理の時間制約を短くしてより高い優先順位に割り当てることにより、新たに発生した処理が既に割り付けられている処理の実行を妨げないようにすることもできる。
特開平07−282013号公報
従来技術では、計算機の性能、計算機の負荷、処理の緊急性および時間制約の4つのパラメータを主に用いて、処理を実行する計算機の選択、処理の優先順位の決定および処理の時間制約の決定を行うことを主な機能としていた。
この場合、既に実行中の処理があとどの程度で終了するか、新たに発生した処理がどの程度の処理時間を要するか、ということに関する情報や予測がない。このため、緊急度の高い処理であっても実行してみると他の緊急度の低い処理よりも処理完了が遅くなる可能性があり、リアルタイム性を欠く場合が発生しうる状態となる。
本発明は、例えば、複数の計算機を用いた分散処理により、各処理の応答時間およびターンアラウンド時間を短くできるようにすることを目的とする。
本発明の分散処理装置は、複数に分類されると共に分類毎にデータ量が一定である複数分類のデータを複数の計算機を用いて処理する分散処理装置であり、前記複数の計算機それぞれが前記複数分類それぞれのデータの処理に要した過去の処理時間をデータの分類毎に前記複数の計算機それぞれの過去処理時間として記憶媒体を用いて記憶する過去処理時間記憶部と、前記過去処理時間記憶部によりデータの分類毎に記憶された前記複数の計算機それぞれの過去処理時間に基づいて、前記複数の計算機それぞれが前記複数分類それぞれのデータの処理に要する予測の処理時間をデータの分類毎に前記複数の計算機それぞれの予測処理時間としてCPU(Central Processing Unit)を用いて算出する予測処理時間算出部と、新たに発生した前記複数分類いずれかのデータである発生データの分類をCPUを用いて識別する分類識別部と、前記分類識別部により識別された前記発生データの分類と、前記予測処理時間算出部によりデータの分類毎に算出された前記複数の計算機それぞれの予測処理時間とに基づいて、前記複数の計算機それぞれが前記発生データの処理に要する予測の処理時間を計算機毎に発生データ処理時間としてCPUを用いて特定する発生データ処理時間特定部と、前記発生データ処理時間特定部により計算機毎に特定された発生データ処理時間に基づいて、前記複数の計算機それぞれが前記発生データを処理した場合に前記発生データの処理が終了する予測時刻を計算機毎に発生データ終了時刻としてCPUを用いて算出する発生データ終了時刻算出部と、前記発生データ終了時刻算出部により計算機毎に算出された発生データ終了時刻に基づいて、前記複数の計算機から前記発生データを処理させる処理計算機をCPUを用いて決定する処理計算機決定部と、前記処理計算機決定部により決定された処理計算機に前記発生データの処理をCPUを用いて命令する処理命令部とを備える。
本発明によれば、過去の処理時間に基づいて処理計算機を決定することにより、例えば、各処理の応答時間およびターンアラウンド時間を短くすることができる。
実施の形態1.
図1は、実施の形態1における気象コンテンツ作成システム900の構成図である。
実施の形態1における気象コンテンツ作成システム900の構成について、図1に基づいて以下に説明する。
気象コンテンツ作成システム900(分散処理システムの一例)は、気象情報サーバ装置210から順次配信される気象データ191aを複数の計算機200で分散処理して気象コンテンツ191bを生成するシステムである。気象コンテンツ191bは気象データ191aを加工して作成される電子データである。気象データ191aは気象コンテンツ作成システム900により分散処理されるデータの一例であり、気象コンテンツ作成システム900により分散処理されるデータは気象データ191a以外のデータであっても構わない。
気象情報サーバ装置210は、気象庁や日本気象協会(JWA)などの機関に設けられる装置であり、気象関連の各種データを配信する。例えば、気象情報サーバ装置210は、アメダスレーダーのデータ(以下、アメダスデータという)を10分毎に配信し、また、気象衛星ひまわりのデータ(以下、ひまわりデータという)を30分毎に配信する。
アメダスデータやひまわりデータなど、各種の気象データ191a(複数分類のデータの一例)は、データの種類(分類)毎に、データ量(データサイズ)が一定であると共に、実行される処理が予め決められている。ここで、「データ量が一定」とは、データ量の完全一致だけでなく、データ量にある程度の差がある場合も意味する。
気象コンテンツ作成システム900は、気象コンテンツ作成装置100および複数の計算機200(計算機A201、計算機B202、・・・)を備える。
気象コンテンツ作成装置100(分散処理装置の一例)は、気象情報サーバ装置210から配信された気象データ191aと同じ分類のデータを処理したときに複数の計算機200それぞれが要した過去の処理時間に基づいて、配信された気象データ191aを複数の計算機200いずれかに振り分ける。
気象コンテンツ作成装置100は、気象データ収集部110、処理分類パターン管理部120、処理状況管理部130、気象コンテンツ作成命令部140、気象データ記憶部191および管理表記憶部192を備える。
気象データ収集部110は、気象情報サーバ装置210から順次配信される各種の気象データ191aを通信装置を用いて受信する。
処理分類パターン管理部120は、処理分類パターン判定部121および処理予定時間補正部122を備え、処理分類パターン表192aを管理する。
処理分類パターン表192aは、気象データ191aの分類(アメダスデータ、ひまわりデータなど)(後述する「処理分類パターン」)毎に処理優先度と各計算機200の処理予定時間を示す。処理分類パターン表192aの詳細については後述する。
処理分類パターン判定部121(分類識別部の一例)は、気象データ収集部110が新たに受信した気象データ191a(発生データの一例)の分類をデータ種別、データID、データ量、配信元などの情報に基づいてCPU(Central Processing Unit)を用いて識別する。例えば、気象データ191aにはデータ種別情報が含まれ、処理分類パターン判定部121は気象データ191aに含まれるデータ種別情報を参照して気象データ191aの分類を識別する。
以下、処理分類パターン判定部121により識別された気象データ191aの分類を示す情報を「処理分類情報121a」という。
処理予定時間補正部122(予測処理時間算出部の一例)は、計算機200それぞれが気象データ191aの処理に要した過去の処理時間を気象データ191aの分類毎に計算機200それぞれの「過去処理時間」として処理時間管理表192cに設定する。そして、処理予定時間補正部122は、処理時間管理表192cに基づいて、計算機200それぞれが処理分類パターン表192aの処理に要する予測の処理時間を処理分類パターン表192aの分類毎に計算機200それぞれの予測処理時間(後述する「処理予定時間」)としてCPUを用いて算出する。
処理状況管理部130は、処理分類パターン表読込部131、処理待ち優先順位決定部132、計算機割当部133および割当情報出力部134を備え、処理状況管理表192bを管理する。
処理状況管理表192bは、各気象データ191aの割当計算機、処理優先順位、開始時刻、終了予定時刻を示す。処理状況管理表192bの詳細については後述する。
処理分類パターン表読込部131(優先度識別部の一例)は、処理分類パターン表192aを参照し、処理分類情報121aに基づいて気象データ191aの優先度をCPUを用いて識別する。
また、処理分類パターン表読込部131(発生データ処理時間特定部の一例)は、処理分類パターン表192aを参照し、処理分類情報121aに基づいて気象データ191aの予測処理時間(発生データ処理時間の一例)を計算機200毎にCPUを用いて特定する。
処理待ち優先順位決定部132(処理順決定部の一例)は、処理待ちの各気象データ191aの処理順(後述する「処理優先順位」)を処理分類パターン表読込部131により識別された優先度に基づいてCPUを用いて決定する。
計算機割当部133(発生データ終了時刻算出部の一例)は、処理分類パターン表読込部131により計算機200毎に特定された各気象データ191aの予測処理時間に基づいて、各気象データ191aの処理が終了する予測終了時刻(後述する「終了予定時刻」)(発生データ終了時刻の一例)を計算機200毎にCPUを用いて算出する。
そして、計算機割当部133(処理計算機決定部の一例)は、計算機200毎に算出した予測終了時刻に基づいて、各気象データ191aを処理させる処理計算機(後述する「割当計算機」)をCPUを用いて決定する。
具体的に、計算機割当部133は、処理待ちの各気象データ191aから一つの気象データ191aを処理待ち優先順位決定部132により決定された処理順に選択し、選択した気象データ191a(後述する「選択データ」)の予測終了時刻を計算機200毎に算出し、選択した気象データ191aを処理させる処理計算機を計算機200毎に算出した予測終了時刻に基づいて決定する。
割当情報出力部134は、処理待ち優先順位決定部132により決定された気象データ191aの処理順に、計算機割当部133により選択された気象データ191aと計算機割当部133により決定された処理計算機とを示す情報を「割当情報134a」として気象コンテンツ作成命令部140に出力する。
気象コンテンツ作成命令部140(処理命令部の一例)は、割当情報134aに基づいて、気象データ191aの処理を処理計算機にCPUを用いて命令する。
そして、気象コンテンツ作成命令部140は、気象データ191aの処理により作成された気象コンテンツ191bを計算機200から受信し、気象データ191aの処理が完了したことを示す「処理完了通知140a」を処理状況管理部130に出力する。
気象データ記憶部191は、気象情報サーバ装置210から配信され気象データ収集部110により受信された各気象データ191aおよび各計算機200により作成され気象コンテンツ作成命令部140により受信された各気象コンテンツ191bを記憶媒体を用いて記憶する。
管理表記憶部192(過去処理時間記憶部)は、処理分類パターン表192a、処理状況管理表192bおよび処理時間管理表192cを記憶媒体を用いて記憶する。
複数の計算機200(計算機A201、計算機B202、・・・)はそれぞれ、気象コンテンツ作成装置100から処理命令された気象データ191aに対してCPUを用いて分類に応じた所定の処理を実行し、気象データ191aを処理して作成した気象コンテンツ191bを気象コンテンツ作成装置100に返信する。
以下、気象コンテンツ作成システム900が有する計算機200を計算機A201と計算機B202との2台として説明する。但し、気象コンテンツ作成システム900は3台以上の計算機200を有してもよい。
図2は、実施の形態1における気象コンテンツ作成装置100の外観の一例を示す図である。
図2において、気象コンテンツ作成装置100は、システムユニット910、CRT(Cathode・Ray・Tube)やLCD(液晶)の表示画面を有する表示装置901、キーボード902(Key・Board:K/B)、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)、プリンタ装置906、スキャナ装置907などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット910は、コンピュータであり、ファクシミリ機932、電話器931とケーブルで接続され、また、LAN942(ローカルエリアネットワーク)、ゲートウェイ941を介してインターネット940に接続されている。
図3は、実施の形態1における気象コンテンツ作成装置100のハードウェア資源の一例を示す図である。
図3において、気象コンテンツ作成装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904、CDD905、プリンタ装置906、スキャナ装置907、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力機器、出力装置あるいは出力部の一例である。
通信ボード915は、ファクシミリ機932、電話器931、LAN942等に接続されている。通信ボード915は、LAN942に限らず、インターネット940、ISDN等のWAN(ワイドエリアネットワーク)などに接続されていても構わない。インターネット940或いはISDN等のWANに接続されている場合、ゲートウェイ941は不用となる。
磁気ディスク装置920には、OS921(オペレーティングシステム)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921、ウィンドウシステム922により実行される。
上記プログラム群923には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。情報などはファイル群924に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。これらのCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disc)等の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
図4は、実施の形態1における気象コンテンツ作成装置100の分散処理方法(気象データ発生時)を示すフローチャートである。
気象データ191aが配信されたときに気象コンテンツ作成装置100が実行する処理について、図4に基づいて以下に説明する。
気象コンテンツ作成装置100の各「〜部」は、以下に説明する処理をCPUを用いて実行する。
気象データ収集部110は新たに気象データ191aが配信されるのを待ち(S110)、処理分類パターン判定部121は新たに配信された気象データ191aの分類を判定する(S120)。
処理分類パターン表読込部131は新たに配信された気象データ191aを含めて処理待ちの各気象データ191aの処理優先度および処理予定時間を処理分類パターン表192aから取得し(S130)、処理待ち優先順位決定部132は処理優先度に基づいて処理待ちの各気象データ191aの処理優先順位を決定する(S140)。
計算機割当部133は処理優先順位と処理予定時間とに基づいて処理待ちの各気象データ191aを割り当てる割当計算機を決定し、決定した割当計算機を示す情報を処理状況管理表192bに設定する(S150)。
以下に、S110〜S150の詳細について説明する。
<S110>
気象データ収集部110は気象情報サーバ装置210から新たに気象データ191aが配信されるのを待ち、新たに配信された気象データ191aを受信し、受信した気象データ191aを気象データ記憶部191に記憶する。そして、気象データ収集部110は、新たに気象データ191aが配信されたことを示す気象データ通知110aを処理分類パターン管理部120に出力する。気象データ通知110aは新たに配信された気象データ191aのデータIDを含む。
以下、新たに配信された気象データ191aを「新規データ」という。また、各気象データ191aはデータID「IDxxx」(xxxは配信順の通番)で識別されるものとする。
新規データが受信された場合(YES)、処理はS120に進む。
<S120:分類識別処理の一例>
処理分類パターン管理部120の処理分類パターン判定部121はS110において気象データ収集部110により出力された気象データ通知110aを入力し、入力した気象データ通知110aに示されるデータIDに基づいて気象データ記憶部191から新規データを取得する。次に、処理分類パターン判定部121は、取得した新規データの分類(アメダスデータ、ひまわりデータなど)をデータ種別、データID、データ量、配信元などの情報に基づいて判定する。そして、処理分類パターン判定部121は、判定した新規データの分類を示す処理分類情報121aを処理状況管理部130に出力する。
例えば、各気象データ191aにはデータ種別情報が含まれ、処理分類パターン判定部121は新規データに含まれるデータ種別情報を参照して気象データ191aの分類を判定する。
気象データ191aに対して実行される処理(気象データ191aの処理)は、気象データ191aの分類によって決まる。以下、気象データ191aの分類を「処理分類パターン」という。また、「処理分類パターン」は「PTxxx」(xxxは通番)で識別されるものとする。
S120の後、処理はS130に進む。
<S130:優先度識別処理、発生データ処理時間特定処理の一例>
処理状況管理部130の処理分類パターン表読込部131はS120において処理分類パターン判定部121により出力された新規データの処理分類情報121aを入力し、新規データを含めて処理待ちの各気象データ191aの処理優先度および処理予定時間を処理分類パターン表192aから取得する。処理分類パターン表192aは管理表記憶部192に記憶されている。
処理優先度は気象データ191aの分類毎の優先度を意味し、処理待ちの各気象データ191aは処理優先度に基づいた順番にいずれかの計算機200に割り当てられる。計算機200の割り当てについては後述する。
処理予定時間は、各計算機200が当該分類の気象データ191aの処理に要するであろう予測の処理時間を意味し、過去実績の処理時間に基づいて算出される。気象データ191aは分類によってデータ量がおおよそ一定であると共に実行される処理が決まっている。このため、気象データ191aの処理に要する時間は計算機200毎にほぼ一定となる。
以下、処理待ちの気象データ191aを「処理待ちデータ」という。
S130の後、処理はS140に進む。
次に、処理分類パターン表192aについて説明する。
図5は、実施の形態1における処理分類パターン表192aを示す図である。
図5に示すように、処理分類パターン表192aは、気象データ191aの「処理分類パターン」に対応付けられて「処理優先度」および各計算機200の「処理予定時間」が設定される。処理分類パターン表192aは管理表記憶部192に記憶される。
「処理優先度」は「処理分類パターン」毎に予め定められ、「処理予定時間」は処理予定時間補正部122により算出され設定される。処理予定時間補正部122による「処理予定時間」の算出方法については後述する。
例えば、新規データの処理分類情報121aが処理分類パターンとして「PT004」を示す場合、処理分類パターン表読込部131は、図5に示す処理分類パターン表192aを参照し、処理分類パターン「PT004」に対応付けられている処理優先度「1」、計算機A201の処理予定時間「10秒」および計算機B202の処理予定時間「15秒」を新規データの処理優先度および処理予定時間として取得する。処理優先度は昇順で示され、「1」が最も高いものとする。
さらに、処理分類パターン表読込部131は、新規データの処理優先度および処理予定時間と共に、各処理待ちデータ(新規データを除く)の処理優先度および処理予定時間を処理分類パターン表192aから取得する。
各処理待ちデータのデータIDおよび処理分類パターンは処理状況管理表192bに設定されている。処理状況管理表192bについては後述する。
図4に戻り、分散処理方法(気象データ発生時)の続き(S140〜)について説明する。
<S140:処理順決定処理の一例>
処理待ち優先順位決定部132は、S130において取得された各処理待ちデータ(新規データを含む)の処理優先度に基づいて、各処理待ちデータの処理優先順位を決定する。そして、処理待ち優先順位決定部132は、決定した処理優先順位を処理状況管理表192bに設定する。処理状況管理表192bは管理表記憶部192に記憶されている。
「処理優先順位」は各処理待ちデータの優先順位を意味し、各処理待ちデータは処理優先順位が示す順番にいずれかの計算機200に割り当てられる。計算機200の割当については後述する。
S140において、処理待ち優先順位決定部132は、処理優先度の高い順で且つ配信時刻の早い順になるように各処理待ちデータの処理優先順位を決定する。つまり、処理待ち優先順位決定部132は、処理優先度の低い処理待ちデータの処理優先順位よりも処理優先度の高い処理待ちデータの処理優先順位を高くする。さらに、処理待ち優先順位決定部132は、複数の処理待ちデータが同じ処理優先度(=同じ分類)である場合、後に配信された処理待ちデータの処理優先順位よりも先に配信された処理待ちデータの処理優先順位を高くする。
S140の後、処理はS150に進む。
次に、処理状況管理表192bについて説明する。
図6は、実施の形態1における処理状況管理表192bを示す図である。
図6に示すように、処理状況管理表192bは、気象データ191aの「データID」に対応付けられて「割当計算機」「処理状況」「処理分類パターン」「処理優先順位」「開始時刻」および「終了予定時刻」が設定される。処理状況管理表192bは管理表記憶部192に記憶される。
処理状況管理表192bは、さらに、各気象データ191aの処理優先度および処理予定時間を含んでもよい。
「処理状況」は、処理の「実行中」であるか又は処理の「実行待ち」であるかを示す。「処理状況」が「実行待ち」である各気象データ191aが処理待ちデータである。
「開始時刻」は処理が開始される予定時刻を示し、「終了予定時刻」は処理が終了する予定時刻を示す。「開始時刻」および「終了予定時刻」は処理分類パターン表192a(図5参照)の「処理予定時間」に基づいて算出される。「開始時刻」および「終了予定時刻」の算出方法については後述する。
例えば、全計算機200(計算機A、計算機B)が気象データ191aの処理を実行しているときに、新たに「ID003(PT001)」「ID004(PT003)」「ID005(PT001)」「ID006(PT002)」の順に配信された各気象データ191aを処理待ちデータとする。()内は処理分類パターンを示す。この場合、各処理待ちデータの処理優先度は、図5に示す処理分類パターン表192aに基づいて、「2(ID003)」「4(ID004)」「2(ID005)」「3(ID006)」となる。()内はデータIDを示す。処理待ち優先順位決定部132は、処理優先度の高い順(昇順)で且つ配信時刻の早い順として、各処理待ちデータの処理優先順位を「ID003(2)」「ID005(2)」「ID006(3)」「ID004(4)」の順にする。()内は処理優先度を示す。
S140において、処理待ち優先順位決定部132は、決定した各処理待ちデータの「処理優先順位」を図6に示すように処理状況管理表192bに設定する。
図7は、実施の形態1におけるS140のフローチャートである。
実施の形態1におけるS140の処理の流れについて、図7に基づいて以下に説明する。
以下に説明する処理(S141〜S145)により、処理状況管理表192b(図6参照)には各処理待ちデータの処理優先順位が設定される。
<S141>
まず、処理待ち優先順位決定部132は、処理状況管理表192bに新規データ用レコードを追加する。そして、処理待ち優先順位決定部132は、新規データ用レコードに新規データのデータIDおよび処理分類パターンを設定する。新規データ用レコードに設定される新規データのデータIDおよび処理分類パターンは、S120において処理分類パターン判定部121により出力された処理分類情報121aが示す情報である。さらに、処理待ち優先順位決定部132は、新規データ用レコードの「処理状況」に「実行待ち」を設定する。
<S142〜S143a>
次に、処理待ち優先順位決定部132は処理状況管理表192bの各レコードを検索し(S142)、新規データと同じ処理分類パターン(=同じ処理優先度)の処理待ちデータが有るか判定する(S143a)。
<S144a>
S143aにおいて新規データと同じ処理分類パターン(=同じ処理優先度)の処理待ちデータが有った場合、処理待ち優先順位決定部132は、新規データと同じ処理分類パターンの処理待ちデータのうち処理優先順位が最も低い処理待ちデータ(=処理優先順位の値が最も大きい処理待ちデータ)を特定する。そして、処理待ち優先順位決定部132は、特定した処理待ちデータの処理優先順位に「1」加算した値を新規データの処理優先順位として新規データ用レコードの「処理優先順位」に設定する。
例えば、新規データと同じ処理分類パターンの処理待ちデータが3つ有り、その3つの処理待ちデータの処理優先順位が「3」「4」「5」である場合、処理待ち優先順位決定部132は、その3つのうちで最も低い処理優先順位である「5」に「1」を加算した値「6」を新規データ用レコードの「処理優先順位」に設定する。
<S143b>
S143aにおいて新規データと同じ処理分類パターン(=同じ処理優先度)の処理待ちデータが無かった場合、処理待ち優先順位決定部132は、新規データより処理優先度が高い処理待ちデータ(=新規データより処理優先度の値が大きい処理待ちデータ)が有るか判定する。
このとき、処理待ち優先順位決定部132は、S130において処理分類パターン表読込部131により処理分類パターン表192aから取得された新規データの処理優先度とその他の各処理待ちデータの処理優先度とを比較して判定を行う。
例えば、新規データの処理優先度が「3」である場合、処理待ち優先順位決定部132は、処理優先度が「1」または「2」である処理待ちデータが有るか判定する。
<S144b>
S143bにおいて新規データより処理優先度が高い処理待ちデータが有った場合、処理待ち優先順位決定部132は、新規データより処理優先度が高い処理待ちデータのうち処理優先順位が最も低い処理待ちデータを特定する。そして、処理待ち優先順位決定部132は、特定した処理待ちデータの処理優先順位に「1」加算した値を新規データの処理優先順位として新規データ用レコードの「処理優先順位」に設定する。
例えば、新規データより処理優先度が高い処理待ちデータが2つ有り、その2つの処理待ちデータの処理優先順位が「1」「2」である場合、処理待ち優先順位決定部132は、その2つのうちで最も低い処理優先順位である「2」に「1」を加算した値「3」を新規データ用レコードの「処理優先順位」に設定する。
<S144c>
S143bにおいて新規データより処理優先度が高い処理待ちデータが無かった場合、処理待ち優先順位決定部132は、新規データ用レコードの「処理優先順位」に最も高い処理優先順「1」を設定する。
<S145>
S144a、S144bまたはS144cの後、処理待ち優先順位決定部132は新規データより処理優先度が低い処理待ちデータを特定する。このとき、処理待ち優先順位決定部132は、S130において処理分類パターン表読込部131により処理分類パターン表192aから取得された新規データの処理優先度とその他の各処理待ちデータの処理優先度とを比較して処理待ちデータの特定を行う。そして、処理待ち優先順位決定部132は、特定した各処理待ちデータのレコードを処理状況管理表192bから検索し、検索により得られた各レコードの「処理優先順位」にそれぞれ「1」加算した値を設定する。
例えば、新規データの処理優先度が「3」である場合、処理待ち優先順位決定部132は、処理優先度が「4」以上である各処理待ちデータのレコードを処理状況管理表192bから検索する。そして、処理待ち優先順位決定部132は、検索により得られた各レコードの「処理優先順位」に設定されている値が「5」「6」「7」・・・である場合、処理待ち優先順位決定部132は、検索により得られた各レコードの「処理優先順位」にそれぞれ「1」加算した値「6」「7」「8」・・・を設定する。
S141〜S145により、新規データを含む各処理待ちデータの処理優先順位が処理優先度の高い順で且つ配信時刻の早い順になるように処理状況管理表192bに設定される。
図4に戻り、分散処理方法(気象データ発生時)の続き(S150)を説明する。
<S150:発生データ終了時刻算出処理、処理計算機決定処理の一例>
S140の後、計算機割当部133は、各処理待ちデータからS140において決定された処理優先順位の順番に一つずつ処理待ちデータを選択する。以下、選択された一つの処理待ちデータを「選択データ」という。次に、計算機割当部133は、各計算機200が選択データを処理した場合に選択データの処理が完了する予測時刻を計算機200毎に終了予定時刻として算出する。このとき、計算機割当部133は、S130において取得された処理予定時間に基づいて終了予定時刻を算出する。終了予定時刻の算出については後述する。そして、計算機割当部133は、終了予定時刻が最も早い計算機200を選択データを割り当てる割当計算機に決定し、決定した割当計算機を識別する情報を処理状況管理表192b(図6参照)の選択データのレコードに設定する。
「割当計算機」は当該処理待ちデータを処理させるいずれかの計算機200を示し、各処理待ちデータは割当計算機により分類に応じた所定の処理を実行される。
S150において、処理待ち優先順位決定部132は、各処理待ちデータが処理優先順位の高い順に終了するように割当計算機を決定する。
図8は、実施の形態1におけるS150のフローチャートである。
実施の形態1におけるS150の処理の流れについて、図8に基づいて以下に説明する。
<S151>
まず、計算機割当部133は、処理状況管理表192bを参照して各処理待ちデータから最も優先順位の高い処理待ちデータ(処理優先順位=「1」)を特定し、特定した処理待ちデータのデータIDを変数「データα」に設定する。「データα」は選択データを示す。
さらに、計算機割当部133は、処理状況管理表192bを参照して各計算機200が処理しているデータ(処理状況=「実行中」)のデータIDを計算機200毎の変数「データn」(n:A、B、・・・)に設定する。
例えば、計算機割当部133は、図6に示す処理状況管理表192bを参照して、「データα」に「ID003」を設定し、「データA」に「ID001」を設定し、「データB」に「ID002」を設定する。
<S152:発生データ終了時刻算出処理の一例>
次に、計算機割当部133は、処理状況管理表192bからデータnの終了予定時刻を取得し、データnの終了予定時刻にS130において取得されたデータαの処理予定時間を加算した時刻を変数「終了予定時刻nα」に設定する。「終了予定時刻nα」は計算機nがデータαを実行した場合に処理が完了する予測時刻を示す。
例えば、「データα(ID003)」の処理予定時間が計算機A201で5秒、計算機B202で10秒である場合、計算機割当部133は、図6に示す処理状況管理表192bを参照して、「終了予定時刻Aα」に「0:00:50」(ID001の終了予定時刻「0:00:45」から5秒後の時刻)を設定し、「終了予定時刻Bα」に「0:01:00」(ID002の終了予定時刻「0:00:50」から10秒後の時刻)を設定する。
<S153:処理計算機決定処理の一例>
次に、計算機割当部133は、S152において設定した各計算機200の終了予定時刻nαを比較し、終了予定時刻nαが最も早い時刻である計算機mを特定する。計算機mは割当計算機を示す。
例えば、「終了予定時刻Aα」が「0:00:50」であり、「終了予定時刻Bα」が「0:01:00」である場合、計算機割当部133は、計算機Bを割当計算機として特定する。
<S154>
そして、計算機割当部133は、処理状況管理表192bのデータαのレコードに割当計算機(計算機m)、開始時刻(S153において特定された計算機mが処理するデータmの終了予定時刻)および終了予定時刻mαを設定する。
例えば、データαが「ID003」、割当計算機が「計算機A」、データAの終了予定時刻が「0:00:45」、終了予定時刻Aαが「0:00:50」である場合、計算機割当部133は、図6の処理状況管理表192bに示すように、「ID003」のレコードに割当計算機、開始時刻および終了予定時刻を更新する。
<S155>
次に、計算機割当部133は、処理状況管理表192bを参照し、データαより優先順位の低い処理待ちデータが有るか判定する。
<S156>
データαより優先順位の低い処理待ちデータが有る場合、計算機割当部133は、「データm」に現データαを設定すると共に、「データα」に現データαの次に優先順位の低い処理待ちデータのデータIDを設定する。
例えば、現データαが「ID003」(処理優先順位:1)である場合、計算機割当部133は、図6の処理状況管理表192bを参照し、「データA」に現データα「ID003」を設定すると共に、「データα」に「ID005」(処理優先順位:2)を設定する。
以降、データαより優先順位の低い処理待ちデータが無くなるまで、S152〜S156が繰り返し実行される。
S151〜S156により、各処理待ちデータの処理が早く終了するように各処理待ちデータをいずれかの計算機200に割り当てることができる。
S151において、新規データより優先順位の高い各処理待ちデータには割当計算機の変更は無いものとして、「データα」に優先順位の最も高い処理待ちデータではなく新規データを設定してもよい。
以上が、気象コンテンツ作成装置100の分散処理方法(気象データ発生時)である。
図9は、実施の形態1における気象コンテンツ作成装置100の分散処理方法(気象コンテンツ作成完了時)を示すフローチャートである。
計算機200による処理が完了して気象コンテンツ191bが作成されたときに気象コンテンツ作成装置100が実行する処理について、図9に基づいて以下に説明する。
気象コンテンツ作成装置100の各「〜部」は、以下に説明する処理をCPU用いて実行する。
気象コンテンツ作成命令部140はいずれかの計算機200により気象コンテンツ191bが作成されるのを待ち(S210)、処理予定時間補正部122は気象コンテンツ191bの作成にかかった処理時間を処理時間管理表192cに設定し(S220)。
割当情報出力部134は処理状況管理表192bに基づいて次に処理させる気象データ191aを特定し、特定した気象データ191aを示す割当情報134aを気象コンテンツ作成命令部140に出力する(S230)。
気象コンテンツ作成命令部140は、割当情報134aに基づいて、次に処理させる気象データ191aを気象コンテンツ191bを作成した計算機200に送信する(S240)。
以下に、S210〜S240の詳細について説明する。
<S210>
気象コンテンツ作成命令部140はいずれかの計算機200から気象コンテンツ191bが送信されるのを待ち、送信された気象コンテンツ191bを受信し、受信した気象コンテンツ191bを気象データ記憶部191に記憶する。そして、気象コンテンツ作成命令部140は、気象データ191aの処理の完了を意味する処理完了通知140aを処理分類パターン管理部120および処理状況管理部130に出力する。気象データ191aを処理して気象コンテンツ191bを作成した計算機200は、気象コンテンツ191bの送信と共に、自計算機の識別情報、処理した気象データ191aのデータIDおよび処理分類パターン、処理に要した時間(以下、「処理時間」という)を通知するものとする。処理完了通知140aは、計算機200から通知された計算機200の識別情報、データID、処理分類パターンおよび処理時間を含むものとする。
気象コンテンツ191bが受信された場合(YES)、処理はS220およびS230に進む。
<S220>
処理分類パターン管理部120の処理予定時間補正部122はS210において気象コンテンツ作成命令部140により出力された処理完了通知140aを入力し、入力した処理完了通知140aに基づいて処理時間を計算機200と処理分類パターンとに対応付けて処理時間管理表192cに追加設定する。処理時間管理表192cは管理表記憶部192に記憶されている。
S220の後、処理はS230に進む。
次に、処理時間管理表192cについて説明する。
図10は、実施の形態1における処理時間管理表192cを示す図である。
図10に示すように、処理時間管理表192cは、計算機200の識別情報「計算機」に対応付けられて「処理分類パターン」および「処理時間」が設定される。処理時間管理表192cは管理表記憶部192に記憶される。
例えば、処理完了通知140aが計算機200の識別情報として「計算機A」を示し、処理分類パターンとして「PT001」を示し、処理時間として「5.1秒」を示す場合、処理予定時間補正部122は、「計算機」が「計算機A」であり且つ「処理分類パターン」が「PT001」である処理時間管理表192cのレコードの「処理時間」に「5.1秒」を追加する。
処理分類パターン表192a(図5参照)の「処理予定時間」は、処理時間管理表192cに設定された「処理時間」に基づいて算出される。処理予定時間の算出方法については後述する。
図9に戻り、分散処理方法(気象コンテンツ作成完了時)の続き(S230〜)を説明する。
<S230>
処理状況管理部130の割当情報出力部134はS210において気象コンテンツ作成命令部140により出力された処理完了通知140aを入力する。次に、割当情報出力部134は、入力した処理完了通知140aに示される計算機200を割当計算機とする各処理待ちデータのうちで最も優先順位の高い処理待ちデータを次に処理させる気象データ191aとして処理状況管理表192b(図6参照)から特定する。そして、処理完了通知140aに示される計算機200と特定した処理待ちデータのデータIDとを含めた割当情報134aを気象コンテンツ作成命令部140に出力する。
例えば、処理完了通知140aが計算機200の識別情報として「計算機A」、データIDとして「ID001」を示す場合、割当情報出力部134は、図6に示す処理状況管理表192bを参照し、「計算機A」と「ID003」とを示す割当情報134aを気象コンテンツ作成命令部140に出力する。
また、割当情報出力部134は処理状況管理表192bを以下のように更新する。
(1)処理完了通知140aに示されるデータIDのレコードを削除。
(2)特定した処理待ちデータのレコードに対して「処理状況」を「実行待ち」から「実行中」に変更すると共に「処理優先順位」を初期化する。
(3)特定した処理待ちデータより処理優先順位が低い各処理待ちデータの「処理優先順位」をそれぞれ「1」減算して繰り上げる。
例えば、処理完了通知140aが計算機200の識別情報として「計算機A」、データIDとして「ID001」を示す場合、割当情報出力部134は、図6に示す処理状況管理表192bから「ID001」のレコードを削除し、「ID003」のレコードに対して「処理状況」を「実行中」に変更すると共に「処理優先順位」を初期化し、「ID004」「ID005」「ID006」のレコードの「処理優先順位」をそれぞれ「3」「1」「2」に変更する。
その他、割当情報出力部134は、「開始時刻」「終了予定時刻」を更新してもよい。具体的に、割当情報出力部134は、特定した処理待ちデータの「開始時刻」を現在時刻で更新すると共に、更新した「開始時刻」に処理予定時間を加算した時刻で「終了予定時刻」を更新してもよい。さらに、割当情報出力部134は、前述したS150を実行して、各処理待ちデータの「割当計算機」「開始時刻」「終了予定時刻」を更新してもよい。
図9に戻り、分散処理方法(気象コンテンツ作成完了時)の続き(S240)を説明する。
<S240:処理命令処理の一例>
気象コンテンツ作成命令部140はS230において割当情報出力部134により出力された割当情報134aを入力し、入力した割当情報134aに示されるデータIDで識別される気象データ191aを気象データ記憶部191から取得する。そして、気象コンテンツ作成命令部140は、取得した気象データ191aを割当情報134aに示される計算機200に送信して所定の処理の実行を命令し、気象データ191aから気象コンテンツ191bを作成させる。
以上が、気象コンテンツ作成装置100の分散処理方法(気象コンテンツ作成完了時)である。
次に、処理予定時間の算出方法(予測処理時間算出処理の一例)について説明する。
処理分類パターン表192a(図5参照)の「処理予定時間」は処理時間管理表192c(図10参照)に設定された「処理時間」に基づいて算出される。
処理予定時間補正部122は、所定の契機に、処理時間管理表192cに処理分類パターン毎に設定された各計算機200の処理時間に基づいて各計算機200の処理予定時間を処理分類パターン毎に算出し、処理分類パターン毎に算出した各計算機200の処理予定時間を処理分類パターン表192aに設定する。
例えば、処理予定時間補正部122は、前述のS220時に毎回、所定時間の経過毎または所定数の処理時間が追加される度に処理予定時間を算出し、算出した処理予定時間で処理分類パターン表192aを更新する。但し、処理予定時間は一度算出された後、更新されなくても構わない。
例えば、処理予定時間補正部122は、処理時間管理表192cに設定された処理時間の平均値を処理予定時間として算出する。処理予定時間の算出に用いる処理時間は、設定されている全処理時間、最近設定された所定件数(例えば、直近100件)の処理時間、特異値を除いた各処理時間またはその他の方法で選択された各処理時間のいずれであっても構わない。処理予定時間補正部122は、最近設定された直近1件の処理時間をそのまま処理予定時間としても構わない。
上記で説明した気象コンテンツ作成装置100は、計算機200毎の処理状況を監視し、新たに発生した処理(気象データ191a)に対して処理分類パターンを判断し、過去の実績から処理時間の予測をする。これにより、気象コンテンツ作成装置100は、各処理を効率的に実行し、各処理のターンアラウンド時間およびレスポンス時間を最小化することができる。また、気象コンテンツ作成装置100は、特別に優先度の高い処理に対しては既に実行待ちになっている処理を追い越してより高い優先順位を与えるので、緊急度・優先度の高い処理を早期に処理することもできる。
実施の形態1において以下のような気象コンテンツ作成装置100について説明した。
複数の端末(計算機200)のうち1台の端末を利用して気象コンテンツ作成処理を実行する場合、気象コンテンツ作成装置100は、これから実行しようとしている処理をどの端末で実行すれば最も早く終了できるかを決定する。
発生する処理(気象データ191a)はその処理内容によって分類することができ、各分類の処理は同じ端末であればその処理時間はほぼ一定となる。この場合、各端末により各分類の処理に要する各処理時間は、最初に実行された実績を記憶しておくことにより予測可能となる。
気象コンテンツ作成装置100は、既に実行中の処理に対して、以下の手段を備える。
(1)各端末での処理状況を一括管理する手段(処理状況管理表192b)。
(2)それらの処理がいつ終了するかを予測する手段(計算機割当部133)。
気象コンテンツ作成装置100は、これから実行しようとしている処理に対して、以下の手段を備える。
(1)既存の分類のどれにあたるかを識別する手段(処理分類パターン判定部121)。
(2)その処理にかかる時間を予測する手段(処理予定時間補正部122、処理分類パターン表読込部131)。
さらに、気象コンテンツ作成装置100は、これらの情報から、これから実行しようとしている処理をどの端末で実行すれば最も早く終了することができるかを決定する手段(計算機割当部133)を備える。
さらに、気象コンテンツ作成装置100は、付帯機能として、同時に複数の処理が発生した場合にそれらの優先度を識別する手段(処理分類パターン表読込部131、処理待ち優先順位決定部132)を備える。
気象コンテンツ作成装置100は、上記のような構成により、既に実行中の処理に対して各端末での処理状況を一括管理し、それらの処理がいつ終了するかを予測することができる。さらに、気象コンテンツ作成装置100は、これから実行しようとしている処理に対して既存の分類のどれにあたるかを識別し、その処理にかかる時間を予測することができる。さらに、気象コンテンツ作成装置100は、これから実行しようとしている処理をどの端末で実行すれば最も早く終了することができるかを決定することができる。また、気象コンテンツ作成装置100は、同時に複数の処理が発生した場合でも、処理の優先度が高い処理を識別して優先度の高い処理を先に処理することができる。
そして、気象コンテンツ作成装置100は、(1)各処理の応答時間が速くなる、(2)システムの信頼性が高くなる、(3)負荷分散ができる、などの効果を奏する。
CPUやメモリなどのハードウェアの性能に基づいて処理時間を予測する方法も考えられるが、気象コンテンツ作成装置100は、過去の処理時間の実績値に基づいて以後の処理時間を予測することにより、より正確に処理時間を予測し、より的確に各処理をいずれかの端末に割り振ることができる。
例えば、CPUやメモリなどのハードウェアが同じである複数の端末で同一データに対して同一処理を行っても、各端末のメモリに多くの断片化が生じていれば、メモリのアクセス効率の違いにより処理時間が端末毎に異なる。このため、過去の処理時間の実績値に基づいて以後の処理時間を予測する方がハードウェア性能に基づいて処理時間を予測するよりも正確に処理時間を予測することができる、ともいえる。
実施の形態2.
実施の形態2では、計算機200の処理が遅延し、計算機200の処理時間が処理予定時間より延びてしまった場合に、各処理待ちデータをいずれかの計算機200に割り当て直す形態について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略した事項については実施の形態1と同様であるものとする。
図11は、実施の形態2における気象コンテンツ作成システム900の構成図である。
実施の形態2における気象コンテンツ作成システム900の構成について、図11に基づいて以下に説明する。
気象コンテンツ作成装置100の処理状況管理部130は、実施の形態1の構成に加え、実行中処理状況監視部135を備える。
実行中処理状況監視部135(処理遅延検出部の一例)は、終了予定時刻(発生データ終了時刻の一例)に基づいて処理中の気象データ191a(発生データの一例)の処理遅延をCPUを用いて検出する。
例えば、実行中処理状況監視部135は、定期的に処理状況管理表192b(図6参照)を参照し、「処理状況」が「実行中」である各レコードの「終了予定時刻」と現在時刻とを比較し、現在時刻が終了予定時刻を過ぎている場合に処理遅延が生じていると判定する。処理遅延が生じていると判定した実行中処理状況監視部135は、変数「処理遅延フラグ」に処理遅延が生じたことを示す「1」を設定する。
計算機割当部133(発生データ終了時刻算出部の一例)は、実行中処理状況監視部135により処理中の気象データ191aの処理遅延が検出された場合、各処理待ちデータの終了予定時刻を計算機200毎に再計算する。
そして、計算機割当部133(処理計算機決定部の一例)は、計算機200毎に再計算した終了予定時刻に基づいて各処理待ちデータの割当計算機を再決定する。
気象コンテンツ作成命令部140(処理命令部の一例)は、計算機割当部133により再決定された割当計算機に気象データ191aの処理を命令する。
図12は、実施の形態2における分散処理方法(気象コンテンツ作成完了時)を示すフローチャートである。
図12に示すフローチャートは、実施の形態1のフローチャート(図9参照)に、S221〜S223が加わったものである。
処理予定時間補正部122は処理遅延の有無を判定し(S221)、処理遅延が有った場合、処理予定時間補正部122が処理予定時間を更新すると共に(S222)、計算機割当部133が計算機200を割り当て直す(S223)。
以下、S221〜S223の詳細について説明し、他の処理の説明を省略する。
<S221>
S220の後、処理予定時間補正部122は、実行中処理状況監視部135による処理遅延の検出の有無を判定する。例えば、処理予定時間補正部122は、処理遅延フラグに「1」が設定されている場合に処理遅延の検出有りと判定する。
処理遅延有りの場合、処理はS222に進み、処理遅延無しの場合、処理はS230に進む。
<S222:予測処理時間算出処理の一例>
S221において処理遅延有りの場合、処理予定時間補正部122は、実施の形態1で説明した「処理予定時間の算出方法」を実行し、処理分類パターン表192aの各処理予定時間を更新する。
これにより、処理予定時間補正部122は、遅延が生じた処理が完了した場合にその遅延した処理時間を反映して処理予定時間を更新することができる。
S222の後、処理はS223に進む。
<S223:発生データ終了時刻算出処理、処理計算機決定処理の一例>
S222の後、計算機割当部133は、実施の形態1で説明したS150と同様に、各処理待ちデータの割当計算機を決定する(図8参照)。
S152において「処理予定時刻nα」を算出するとき、計算機割当部133は、計算機nにより処理されているデータnの「終了予定時刻」と現在時刻を比較する。そして、計算機割当部133は、現在時刻が「終了予定時刻」を過ぎている場合、「終了予定時刻」を現在時刻で更新し、更新した「終了予定時刻」を用いて「処理予定時刻nα」を算出する。
例えば、データnの終了予定時刻が「0:00:45」、現在時刻が「0:00:50」、データαの処理予定時間が「5秒」である場合、計算機割当部133は、データnの「終了予定時間」に現在時刻「0:00:50」を設定し、現在時刻から5秒後の時刻「0:00:55」を「処理予定時刻nα」として算出する。
S150のその他の処理(図8参照)は、実施の形態1で説明した処理と同じである。
これにより、計算機割当部133は、処理遅延により延びた終了予定時刻に基づいて、各処理待ちデータに対して適切な割当計算機を決定することができる。
実施の形態2では、以下のような気象コンテンツ作成装置100について説明した。
気象コンテンツ作成装置100は、付帯機能として、過去の分類毎の処理時間の実績と異なる処理時間となった場合に、それを最新の処理時間として記憶する手段(処理予定時間補正部122)を備える。
これにより、処理予定時間に対して処理遅延が発生した場合であっても、気象コンテンツ作成装置100は、各気象データ191aに適切な計算機200を割り当て、各気象データ191aの処理終了時刻を早めることができる。
実施の形態3.
実施の形態3では、いずれかの計算機200に異常が発生した場合に、各処理待ちデータをいずれかの正常な計算機200に割り当て直す形態について説明する。
以下、実施の形態1〜2と異なる事項について主に説明し、説明を省略した事項については実施の形態1〜2と同様であるものとする。
図13は、実施の形態3における気象コンテンツ作成システム900の構成図である。
実施の形態3における気象コンテンツ作成システム900の構成について、図13に基づいて以下に説明する。
気象コンテンツ作成装置100は、実施の形態1または2の構成に加え、計算機稼働監視部150を備える。
計算機稼働監視部150(計算機異常検出部の一例)は、複数の計算機200それぞれの異常をCPUを用いて検出する。
計算機割当部133(発生データ終了時刻算出部の一例)は、計算機稼働監視部150により異常が検出された計算機200を除いた残りの正常な計算機200毎に終了予定時刻を算出する。
そして、計算機割当部133(処理計算機決定部の一例)は、正常な計算機200毎に算出した終了予定時刻に基づいて正常な計算機200を割当計算機として決定する。
気象コンテンツ作成命令部140(処理命令部の一例)は、計算機割当部133により決定された割当計算機に気象データ191aの処理を命令する。
図14は、実施の形態3における分散処理方法(計算機監視)を示すフローチャートである。
各計算機200の監視時に気象コンテンツ作成装置100が実行する処理について、図14に基づいて以下に説明する。
気象コンテンツ作成装置100の各「〜部」は、以下の処理をCPUを用いて実行する。
<S310>
計算機稼働監視部150は、正常に稼働していない異常計算機が有るか判定する。
例えば、計算機稼働監視部150は、各計算機200に応答要求メッセージを送信する。そして、計算機稼働監視部150は、応答要求メッセージに対する応答メッセージを送ってきた計算機200を正常に稼働している正常計算機と判定し、応答メッセージを送ってこなかった計算機200を正常に稼働していない異常計算機と判定する。
異常計算機が有る場合、処理はS320に進み、異常計算機が無い場合、処理は終了する。
<S320:発生データ終了時刻算出処理、処理計算機決定処理の一例>
S310において異常計算機が有った場合、計算機割当部133は、異常計算機を除いた残りの正常計算機を対象にして、実施の形態1で説明したS150と同じく、各処理待ちデータの割当計算機を決定する(図8参照)。
以上の処理(S310〜S320)は定期的に実行される。
これにより、いずれかの計算機200に異常が発生した場合であっても、その異常計算機に割り当てられていた各処理待ちデータをいずれかの正常計算機に割り当て、全ての気象データ191aを処理することができる。
実施の形態3では、以下のような気象コンテンツ作成装置100について説明した。
気象コンテンツ作成装置100は、付帯機能として、正常に稼動しているかどうかを識別する識別手段(計算機稼働監視部150)を備える。
これにより、複数の端末(計算機200)の内いずれかの端末(または複数台の端末)が正常稼動していない場合でも、気象コンテンツ作成装置100は、それらの端末を避けて処理を実行することができる。
実施の形態1における気象コンテンツ作成システム900の構成図。 実施の形態1における気象コンテンツ作成装置100の外観の一例を示す図。 実施の形態1における気象コンテンツ作成装置100のハードウェア資源の一例を示す図。 実施の形態1における気象コンテンツ作成装置100の分散処理方法(気象データ発生時)を示すフローチャート。 実施の形態1における処理分類パターン表192aを示す図。 実施の形態1における処理状況管理表192bを示す図。 実施の形態1におけるS140のフローチャート。 実施の形態1におけるS150のフローチャート。 実施の形態1における気象コンテンツ作成装置100の分散処理方法(気象コンテンツ作成完了時)を示すフローチャート。 実施の形態1における処理時間管理表192cを示す図。 実施の形態2における気象コンテンツ作成システム900の構成図。 実施の形態2における分散処理方法(気象コンテンツ作成完了時)を示すフローチャート。 実施の形態3における気象コンテンツ作成システム900の構成図。 実施の形態3における分散処理方法(計算機監視)を示すフローチャート。
符号の説明
100 気象コンテンツ作成装置、110 気象データ収集部、110a 気象データ通知、120 処理分類パターン管理部、121 処理分類パターン判定部、121a 処理分類情報、122 処理予定時間補正部、130 処理状況管理部、131 処理分類パターン表読込部、132 処理待ち優先順位決定部、133 計算機割当部、134 割当情報出力部、134a 割当情報、135 実行中処理状況監視部、140 気象コンテンツ作成命令部、140a 処理完了通知、150 計算機稼働監視部、150a 異常検出通知、191 気象データ記憶部、191a 気象データ、191b 気象コンテンツ、192 管理表記憶部、192a 処理分類パターン表、192b 処理状況管理表、192c 処理時間管理表、200 計算機、201 計算機A、202 計算機B、210 気象情報サーバ装置、900 気象コンテンツ作成システム、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、908 マイク、909 スピーカー、910 システムユニット、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群、931 電話器、932 ファクシミリ機、940 インターネット、941 ゲートウェイ、942 LAN。

Claims (7)

  1. 複数に分類されると共に分類毎にデータ量が一定である複数分類のデータを複数の計算機を用いて処理する分散処理装置であり、
    計算機毎に処理したデータの分類とデータの過去の処理時間とを対応付けて示す処理時間管理表と、分類毎に処理優先度と複数の計算機それぞれの予測処理時間とを対応付けて示す処理分類パターン表と、複数の計算機それぞれの実行中データと各実行中データの終了予定時刻と複数の計算機それぞれの処理待ちデータと各処理待ちデータの分類とを示す処理状況管理表とを記憶する管理表記憶部と、
    前記管理表記憶部に記憶された処理時間管理表に計算機毎に対応付けて示されるデータの分類と過去の処理時間とに基づいて、前記複数の計算機それぞれが前記複数分類それぞれのデータの処理に要する予測の処理時間をデータの分類毎に前記複数の計算機それぞれの予測処理時間としてCPU(Central Processing Unit)を用いて算出する予測処理時間算出部と、
    新たに発生した前記複数分類いずれかのデータである発生データの分類をCPUを用いて識別する分類識別部と、
    前記分類識別部により識別された発生データの分類と前記管理表記憶部に記憶された処理状況管理表に示される各処理待ちデータの分類とに基づいて、前記発生データの分類に対応する処理優先度と、各処理待ちデータの分類に対応する処理優先度とを前記処理分類パターン表から取得する優先度識別部と、
    前記分類識別部により識別された発生データの分類と前記管理表記憶部に記憶された処理状況管理表に示される各処理待ちデータの分類とに基づいて、前記発生データの分類に対応する複数の計算機それぞれの予測処理時間と、各処理待ちデータの分類に対応する複数の計算機それぞれの予測処理時間とをCPUを用いて前記処理分類パターン表から取得する発生データ処理時間特定部と、
    前記優先度識別部により取得された発生データの分類に対応する処理優先度と各処理待ちデータの分類に対応する処理優先度とに基づいて、前記発生データと各処理待ちデータとの処理順を処理優先順位として決定する処理待ち優先順位決定部と、
    前記処理待ち優先順位決定部により決定された処理優先順位に基づいて、前記発生データと各処理待ちデータとのうち最も処理優先順位が高いデータを選択データとして選択し、前記処理状況管理表から複数の計算機それぞれの実行中データの終了予定時刻を複数の計算機それぞれが最後に実行するデータnの終了予定時刻として取得し、取得した複数の計算機それぞれのデータnの終了予定時刻と、前記発生データ処理時間特定部により取得された予測処理時間であって選択データの分類に対応する複数の計算機それぞれの予測処理時間とに基づいて複数の計算機それぞれの選択データの終了予定時刻をCPUを用いて算出する発生データ終了時刻算出部と、
    前記発生データ終了時刻算出部により算出された複数の計算機それぞれの選択データの終了予定時刻に基づいて、選択データを処理させる処理計算機をCPUを用いて決定する処理計算機決定部と、
    前記処理計算機決定部により決定された処理計算機に前記選択データの処理をCPUを用いて命令する処理命令部とを備え、
    前記発生データ終了時刻算出部は、前記処理計算機決定部により前記選択データの処理計算機が決定された場合、前記処理計算機のデータnの終了予定時刻から前記選択データの分類に対応する前記処理計算機の予測処理時間だけ経過後の時刻を前記処理計算機のデータnの新たな終了予定時刻として算出し、前記選択データの次に優先順位が高いデータを新たな選択データとして選択し、前記処理計算機のデータnの新たな終了予定時刻と新たな選択データの分類に対応する前記処理計算機の予測処理時間とに基づいて前記処理計算機の新たな選択データの終了予定時刻を算出し、前記処理計算機以外の計算機のデータnの終了予定時刻と新たな選択データの分類に対応する前記処理計算機以外の計算機の予測処理時間とに基づいて前記処理計算機以外の計算機の新たな選択データの終了予定時刻を算出し、
    前記処理計算機決定部は、前記発生データ終了時刻算出部により算出された前記処理計算機の新たな選択データの終了予定時刻と前記処理計算機以外の計算機の新たな選択データの終了予定時刻とに基づいて、新たな選択データを処理させる処理計算機を決定する
    ことを特徴とする分散処理装置。
  2. 前記予測処理時間算出部は、
    前記処理計算機が前記発生データの処理に要した時間を過去の処理時間として前記処理計算機と前記発生データの分類とに対応付けて前記処理時間管理表に設定する
    ことを特徴とする請求項1記載の分散処理装置。
  3. 前記分散処理装置は、
    前記処理状況管理表に示される複数の計算機それぞれの実行中データの終了予定時刻に基づいて実行中データの処理遅延をCPUを用いて検出する処理遅延検出部を備え、
    前記発生データ終了時刻算出部は、
    前記処理遅延検出部により実行中データの処理遅延が検出された場合、処理待ちデータの終了予定時刻を計算機毎に再計算し、
    前記処理計算機決定部は、
    前記発生データ終了時刻算出部により計算機毎に再計算された終了予定時刻に基づいて前記処理待ちデータの処理計算機を再決定し、
    前記処理命令部は、
    前記処理計算機決定部により再決定された処理計算機に前記処理待ちデータの処理を命令する
    ことを特徴とする請求項1または請求項2記載の分散処理装置。
  4. 前記分散処理装置は、
    前記複数の計算機それぞれの異常をCPUを用いて検出する計算機異常検出部を備え、
    前記発生データ終了時刻算出部は、
    前記計算機異常検出部により異常が検出された計算機を除いた残りの正常な計算機毎に処理待ちデータの終了予定時刻を算出し、
    前記処理計算機決定部は、
    前記発生データ終了時刻算出部により正常な計算機毎に算出された処理待ちデータの終了予定時刻に基づいて前記処理待ちデータの処理計算機を決定し、
    前記処理命令部は、
    前記処理計算機決定部により決定された処理計算機に前記処理待ちデータの処理を命令することを特徴とする請求項1〜請求項いずれかに記載の分散処理装置。
  5. 複数の計算機と請求項1〜請求項いずれかに記載の分散処理装置とを有する分散処理システム。
  6. 複数に分類されると共に分類毎にデータ量が一定である複数分類のデータを複数の計算機を用いて処理する分散処理装置の分散処理方法であり、
    計算機毎に処理したデータの分類とデータの過去の処理時間とを対応付けて示す処理時間管理表と、分類毎に処理優先度と複数の計算機それぞれの予測処理時間とを対応付けて示す処理分類パターン表と、複数の計算機それぞれの実行中データと各実行中データの終了予定時刻と複数の計算機それぞれの処理待ちデータと各処理待ちデータの分類とを示す処理状況管理表とを記憶する管理表記憶部を用いて、
    予測処理時間算出部が、前記管理表記憶部に記憶された処理時間管理表に計算機毎に対応付けて示されるデータの分類と過去の処理時間とに基づいて、前記複数の計算機それぞれが前記複数分類それぞれのデータの処理に要する予測の処理時間をデータの分類毎に前記複数の計算機それぞれの予測処理時間としてCPU(Central Processing Unit)を用いて算出する予測処理時間算出処理を実行し、
    分類識別部が、新たに発生した前記複数分類いずれかのデータである発生データの分類をCPUを用いて識別する分類識別処理を実行し、
    優先度識別部が、前記分類識別部により識別された発生データの分類と前記管理表記憶部に記憶された処理状況管理表に示される各処理待ちデータの分類とに基づいて、前記発生データの分類に対応する処理優先度と、各処理待ちデータの分類に対応する処理優先度とを前記処理分類パターン表から取得し、
    発生データ処理時間特定部が、 前記分類識別部により識別された発生データの分類と前記管理表記憶部に記憶された処理状況管理表に示される各処理待ちデータの分類とに基づいて、前記発生データの分類に対応する複数の計算機それぞれの予測処理時間と、各処理待ちデータの分類に対応する複数の計算機それぞれの予測処理時間とをCPUを用いて前記処理分類パターン表から取得する発生データ処理時間特定処理を実行し、
    処理待ち優先順位決定部が、前記優先度識別部により取得された発生データの分類に対応する処理優先度と各処理待ちデータの分類に対応する処理優先度とに基づいて、前記発生データと各処理待ちデータとの処理順を処理優先順位として決定し、
    発生データ終了時刻算出部が、前記処理待ち優先順位決定部により決定された処理優先順位に基づいて、前記発生データと各処理待ちデータとのうち最も処理優先順位が高いデータを選択データとして選択し、前記処理状況管理表から複数の計算機それぞれの実行中データの終了予定時刻を複数の計算機それぞれが最後に実行するデータnの終了予定時刻として取得し、取得した複数の計算機それぞれのデータnの終了予定時刻と、前記発生データ処理時間特定部により取得された予測処理時間であって選択データの分類に対応する複数の計算機それぞれの予測処理時間とに基づいて複数の計算機それぞれの選択データの終了予定時刻をCPUを用いて算出する発生データ終了時刻算出処理を実行し、
    処理計算機決定部が、前記発生データ終了時刻算出部により算出された複数の計算機それぞれの選択データの終了予定時刻に基づいて、選択データを処理させる処理計算機をCPUを用いて決定する処理計算機決定処理を実行し、
    処理命令部が、前記処理計算機決定部により決定された処理計算機に前記選択データの処理をCPUを用いて命令する処理命令処理を実行し、
    前記発生データ終了時刻算出部は、前記処理計算機決定部により前記選択データの処理計算機が決定された場合、前記処理計算機のデータnの終了予定時刻から前記選択データの分類に対応する前記処理計算機の予測処理時間だけ経過後の時刻を前記処理計算機のデータnの新たな終了予定時刻として算出し、前記選択データの次に優先順位が高いデータを新たな選択データとして選択し、前記処理計算機のデータnの新たな終了予定時刻と新たな選択データの分類に対応する前記処理計算機の予測処理時間とに基づいて前記処理計算機の新たな選択データの終了予定時刻を算出し、前記処理計算機以外の計算機のデータnの終了予定時刻と新たな選択データの分類に対応する前記処理計算機以外の計算機の予測処理時間とに基づいて前記処理計算機以外の計算機の新たな選択データの終了予定時刻を算出し、
    前記処理計算機決定部は、前記発生データ終了時刻算出部により算出された前記処理計算機の新たな選択データの終了予定時刻と前記処理計算機以外の計算機の新たな選択データの終了予定時刻とに基づいて、新たな選択データを処理させる処理計算機を決定する
    ことを特徴とする分散処理装置の分散処理方法。
  7. 請求項記載の分散処理方法をコンピュータに実行させる分散処理プログラム。
JP2008245763A 2008-09-25 2008-09-25 分散処理装置、分散処理システム、分散処理方法および分散処理プログラム Active JP4719782B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008245763A JP4719782B2 (ja) 2008-09-25 2008-09-25 分散処理装置、分散処理システム、分散処理方法および分散処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008245763A JP4719782B2 (ja) 2008-09-25 2008-09-25 分散処理装置、分散処理システム、分散処理方法および分散処理プログラム

Publications (2)

Publication Number Publication Date
JP2010079504A JP2010079504A (ja) 2010-04-08
JP4719782B2 true JP4719782B2 (ja) 2011-07-06

Family

ID=42209893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008245763A Active JP4719782B2 (ja) 2008-09-25 2008-09-25 分散処理装置、分散処理システム、分散処理方法および分散処理プログラム

Country Status (1)

Country Link
JP (1) JP4719782B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5655687B2 (ja) * 2011-04-18 2015-01-21 富士通株式会社 解析処理装置,解析処理プログラムおよび解析処理方法
JP5780296B2 (ja) 2011-04-18 2015-09-16 富士通株式会社 スレッド処理方法、およびスレッド処理システム
US20140204103A1 (en) * 2011-09-02 2014-07-24 Freescale Semiconductor, Inc. Data processing system and method for task scheduling in a data processing system
JPWO2014016950A1 (ja) * 2012-07-27 2016-07-07 株式会社日立製作所 並列計算機システムおよび並列計算機システムへの処理負荷配置方法
JP5952699B2 (ja) * 2012-10-03 2016-07-13 富士通フロンテック株式会社 サーバ装置、分散処理方法、および分散処理プログラム
JP5857992B2 (ja) * 2013-03-22 2016-02-10 富士ゼロックス株式会社 通信システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296289A (ja) * 2002-04-02 2003-10-17 Nec Corp 負荷分散方式、負荷分散システム、負荷分散方法および負荷分散用プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62160563A (ja) * 1986-01-09 1987-07-16 Toshiba Corp 情報処理システム
JPH09282288A (ja) * 1996-04-09 1997-10-31 Fujitsu Ltd 複数計算機運用システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296289A (ja) * 2002-04-02 2003-10-17 Nec Corp 負荷分散方式、負荷分散システム、負荷分散方法および負荷分散用プログラム

Also Published As

Publication number Publication date
JP2010079504A (ja) 2010-04-08

Similar Documents

Publication Publication Date Title
JP4719782B2 (ja) 分散処理装置、分散処理システム、分散処理方法および分散処理プログラム
US9934098B2 (en) Automatic serial order starting of resource groups on failover systems based on resource group usage prediction
JP6273927B2 (ja) 情報処理システム,監視装置,監視プログラム,監視方法
EP1750200A2 (en) System and method for executing job step, and computer product
US9170840B2 (en) Duration sensitive scheduling in a computing environment
US9875141B2 (en) Managing pools of dynamic resources
WO2006067026A1 (en) Method for remembering resource allocation in grids
CN111381970B (zh) 集群任务的资源分配方法及装置、计算机装置及存储介质
CN114816748A (zh) 线程调度方法、装置、电子设备和存储介质
CN112671923B (zh) 一种统一接口服务通讯调度方法及装置
JP2008107875A (ja) ジョブ制御装置及びジョブ制御プログラム
CN110955587A (zh) 一种待更换设备确定方法及装置
CN116431505A (zh) 一种回归测试方法、装置、电子设备、存储介质及产品
CN116303320A (zh) 基于日志文件的实时任务管理方法、装置、设备及介质
CN114443248A (zh) 对象的生命周期管理方法、装置、电子设备及存储介质
CN116391177A (zh) 带优先级的非活动存储器设备更新
JP2007295279A (ja) 障害管理装置及び障害管理方法及びプログラム
CN112817788A (zh) 任务异常告警方法、装置、服务器及存储介质
US11343134B1 (en) System and method for mitigating analytics loads between hardware devices
JP5056346B2 (ja) 情報処理装置、情報処理システム、仮想サーバの移動処理の制御方法、及び、プログラム
US10311032B2 (en) Recording medium, log management method, and log management apparatus
CN114281604B (zh) 数据恢复方法、装置、电子设备及存储介质
JP2015069391A (ja) 情報処理装置、方法、プログラム、及びシステム
CN113835733B (zh) 云应用更新方法、装置、电子设备以及存储介质
CN111179097B (zh) 保单批改的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

R150 Certificate of patent or registration of utility model

Ref document number: 4719782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350