JP7145094B2 - 制御装置、コンピュータプログラム及び情報処理方法 - Google Patents

制御装置、コンピュータプログラム及び情報処理方法 Download PDF

Info

Publication number
JP7145094B2
JP7145094B2 JP2019018998A JP2019018998A JP7145094B2 JP 7145094 B2 JP7145094 B2 JP 7145094B2 JP 2019018998 A JP2019018998 A JP 2019018998A JP 2019018998 A JP2019018998 A JP 2019018998A JP 7145094 B2 JP7145094 B2 JP 7145094B2
Authority
JP
Japan
Prior art keywords
job
processing
jobs
stream
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019018998A
Other languages
English (en)
Other versions
JP2020126483A (ja
Inventor
雄太 森澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019018998A priority Critical patent/JP7145094B2/ja
Publication of JP2020126483A publication Critical patent/JP2020126483A/ja
Application granted granted Critical
Publication of JP7145094B2 publication Critical patent/JP7145094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、制御装置コンピュータプログラム及び情報処理方法に関する。
従来、ストリーム処理を実行する情報処理技術として例えば特許文献1に記載の技術が知られている。特許文献1に記載の従来技術では、スイッチがデータの一次処理を実行し、その実行結果をストリームクラスタへ転送している。スイッチはサーバから受領した記述子に基づいてストリームの処理を実行する。
特許第5802215号公報
しかし、上述した従来技術では、ストリーム処理結果を利用するアプリケーションが要求する遅延要件を考慮してストリームの処理を実行することができない。
本発明は、このような事情を考慮してなされたものであり、その目的は、ストリーム処理に対する遅延要件を考慮してストリーム処理を実行させることを図ることにある。
)本発明の一態様は、連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で順次実行されるジョブを格納するジョブキューと、各ジョブの遅延要件に基づいて前記ストリーム処理装置で実行されるジョブのスケジューリングを行い、前記スケジューリングの順番で前記ジョブキューにジョブを格納するジョブ制御部と、を備え、前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、制御装置である。
)本発明の一態様は、コンピュータに、連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で実行されるジョブのスケジューリングを各ジョブの遅延要件に基づいて行うスケジューリングステップと、前記ストリーム処理装置で順次実行されるジョブを格納するジョブキューに、前記スケジューリングの順番でジョブを格納するステップと、を実行させるためのコンピュータプログラムであって、前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、コンピュータプログラムである。
)本発明の一態様は、制御装置が、連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で実行されるジョブのスケジューリングを各ジョブの遅延要件に基づいて行い、前記スケジューリングの順番でジョブキューにジョブを格納するジョブ制御ステップと、前記ストリーム処理装置が、前記ジョブキューから順次ジョブを取り出して実行するステップと、を含む情報処理方法であって、前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、情報処理方法である。
本発明によれば、ストリーム処理に対する遅延要件を考慮してストリーム処理を実行させることができるという効果が得られる。
一実施形態に係る情報処理装置の構成例を示す図である。 一実施形態に係るジョブスケジューリング方法の例を示すフローチャートである。 一実施形態に係るジョブの記載例である。 他の実施形態に係る情報処理装置の構成例を示す図である。
以下、図面を参照し、本発明の実施形態について説明する。
図1は、一実施形態に係る情報処理装置の構成例を示す図である。図1において、情報処理装置1は、制御装置10と、ストリーム処理装置30と、を備える。制御装置10は、ジョブキュー11と、ジョブ制御部12と、を備える。ストリーム処理装置30は、データ入力部31と、処理部32と、データ出力部33と、記憶部34と、を備える。
制御装置10は、ストリーム処理装置30の処理部32が実行するジョブの実行制御を行う。具体的には、制御装置10は、ストリーム処理装置30の処理部32で実行されるジョブのスケジューリングを行う。ストリーム処理装置30の処理部32は、制御装置10によるスケジューリングに従って順次ジョブを実行する。このとき、処理部32は、一つのジョブに対して処理部32の全リソースを使用する。
[制御装置]
制御装置10の構成について詳細に説明する。
ジョブキュー11は、ストリーム処理装置30で順次実行されるジョブを格納する。
ジョブ制御部12は、各ジョブの遅延要件に基づいて、ストリーム処理装置30で実行されるジョブのスケジューリングを行う。ジョブ制御部12は、スケジューリングの順番でジョブキュー11にジョブを格納する。ジョブの遅延要件は、予め、制御装置10に設定される。
ジョブの遅延要件は、当該ジョブの処理にかかる処理時間の上限値である。同じ入力データを使用した同じ処理内容であっても、あるアプリケーションAは10秒ごとに出力データを求めるが、別のアプリケーションBは1分ごとに出力データを求める場合がある。この場合、同じ入力データを使用した同じ処理内容のジョブであっても、アプリケーションA用のジョブJaの遅延要件は10秒であり、アプリケーションB用のジョブJbの遅延要件は1分となる。このため、ジョブ制御部12は、ジョブJaが少なくとも10秒ごとにストリーム処理装置30で実行されるように、また、ジョブJbが少なくとも1分ごとにストリーム処理装置30で実行されるように、各ジョブJa,Jbのスケジューリングを行う。
ジョブ制御部12が有する主な機能を以下に示す。
・各ジョブの遅延要件を管理する機能
・各ジョブの優先度を決定する機能
・ジョブをジョブキュー11に格納することによりジョブを発行する機能
・ストリーム処理装置30の処理部32においてジョブが使用しているリソース(メモリ、CPU(Central Processing Unit:中央演算処理装置)、ストレージアクセス、ネットワーク)の状態を監視する機能
・ストリーム処理装置30の処理部32において各ジョブが実行に要した時間を記録する機能
・各ジョブに必要な情報の保存場所を示す情報を保持する機能
ジョブに必要な情報としては、ジョブで使用される入力データに関する情報や、ジョブにより出力される出力データに関する情報等がある。
本実施形態において、ジョブ制御部12が単一の環境でジョブキュー11を設ける理由は、ジョブの実行履歴の保存と、ジョブの実行順序の保証のためである。なお、ジョブキュー11は、ジョブ制御部12内に設けられてもよい。
制御装置10の機能は、制御装置10がCPU及びメモリ等のコンピュータハードウェアを備え、CPUがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、制御装置10として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。
[ストリーム処理装置]
ストリーム処理装置30の構成について詳細に説明する。
処理部32は、ストリーム処理プラットフォームとして機能する。処理部32は、ジョブキュー11から順次一つずつジョブを取り出して実行する。したがって、処理部32では、一つずつ順番にジョブが実行される。このとき、処理部32は、一つのジョブに対して処理部32の全リソースを使用する。
処理部32が有する主な機能を以下に示す。
・ジョブキュー11からジョブを取得する機能
・データ入力部31から入力データを取得する機能
・データ出力部33へ出力データを出力する機能
・各ジョブの実行結果を中間結果としてデータ入力部31又はデータ出力部33のいずれかに渡す機能
・ジョブに記載された内容に従って情報処理を実行する機能
・ジョブに記載された処理の記述を必要に応じて動的コンパイルする機能
・記憶部34に対してジョブの格納、取り出し、削除及び更新を行う機能
記憶部34は、データベース、ファイルシステム、メモリなどとして機能する。記憶部34はデータを記憶する。記憶部34としては、揮発性メモリなど高速なデータ読み書きが可能な記憶媒体や、不揮発性メモリなど永続的にデータ保存が可能な記憶媒体などである。
記憶部34が有する主な機能を以下に示す。
・ジョブを記憶する機能
・処理部32の指示に従ってジョブの保持、読み出し、検索及び更新を行う機能、
ジョブに記載された指示は、ソースコード、中間言語又は機械語などで記載されている。記憶部34には、ソースコードのままでジョブを格納してもよいが、コンピュータがすぐに実行できる状態(コンパイル後のデータ)でジョブを格納することは好ましい。
また、記憶部34のジョブ格納形態として、以下に示す2種類の形態が挙げられる。
・ジョブのメタ情報をカラムとしたメタ情報データベースとジョブ本体のバイナリ情報とを分けて格納する形態
・データベースのカラムにジョブ本体のバイナリ情報を保存する形態
データ入力部31及びデータ出力部33は、メッセージキューとして機能する。
データ入力部31は、入力データを保持する。データ入力部31は、処理部32からの要求に応じて入力データを処理部32へ出力する。又は、データ入力部31は、自発的に入力データを処理部32へ出力する。
データ出力部33は、出力データを保持する。データ出力部33は、処理部32からの要求に応じて出力データを保持する。データ出力部33は、保持する出力データを出力する。
データ入力部31及びデータ出力部33は同一のコンピュータクラスタで実装してもよい。
[ジョブスケジューリング方法]
本実施形態に係るジョブ制御部12のジョブスケジューリング方法を説明する。
(ジョブスケジューリング方法の例1)
図2を参照して、ジョブ制御部12のジョブスケジューリング方法の例1を説明する。図2は、本実施形態に係るジョブスケジューリング方法の例1を示すフローチャートである。ジョブ制御部12は、ストリーム処理装置30に実行させる複数のジョブを対象にしてスケジューリングを行う。各ジョブの優先度及び遅延要件は、予め、制御装置10に設定される。
(ステップS11) ジョブ制御部12は、スケジューリング対象の各ジョブ間の依存関係に基づいてジョブ実行順序候補リストを生成する。スケジューリング対象の複数のジョブ及び各ジョブ間の依存関係は、ユーザが作成したジョブ構成図や依存関係図(ジョブネット図)などで示される。ジョブ制御部12は、当該ジョブ構成図や依存関係図などに基づいて、スケジューリング対象の複数のジョブの実行順序を決定する。この実行順序の決定のルールは、「依存するジョブを依存されるジョブよりも後に実行されるようにすること」である。依存関係のないジョブ同士はどちらが先に実行されてもよい。ジョブ制御部12は、決定した実行順序に従って、全てのスケジューリング対象のジョブをジョブ実行順序候補リストに記載する。
(ステップS12) ジョブ制御部12は、ストリーム処理装置30の処理部32の現在の処理状況を確認する。具体的には、データ入力部31に現在保持されている入力データ量を確認する。また、各ジョブの単位入力データ量あたりの平均処理時間を取得する。各ジョブの単位入力データ量あたりの平均処理時間は、常時、統計データとして更新し保持しておく。入力データ量と各ジョブの処理時間とは因果関係を持つ。このため、データ入力部31に現在保持されている入力データ量と、各ジョブの単位入力データ量あたりの平均処理時間とに基づいて、各ジョブが完了するまでに要する時間(ジョブ所要時間)を推測する。
(ステップS13) ジョブ制御部12は、各ジョブのジョブ所要時間の推測値に基づいて、ジョブ実行順序候補リスト内の各ジョブについて、ストリーム処理結果を利用するアプリケーションが要求する遅延要件を満たせるか否かを判断する。この判断の結果、遅延要件を満たせないジョブ(遅延要件考慮対象ジョブ)がある場合にはステップS14に進む。一方、遅延要件考慮対象ジョブがない場合にはステップS20に進む。
(ステップS14) ジョブ制御部12は、一つの遅延要件考慮対象ジョブを選択する。この選択された遅延要件考慮対象ジョブを対象ジョブと称する。
(ステップS15) ジョブ制御部12は、ジョブ実行順序候補リスト内のジョブのうち、実行順序が対象ジョブよりも先であり、且つ、対象ジョブと実行順序を入れ替えても依存関係を満たすジョブ(入れ替え候補ジョブ)があるかを調べる。この結果、入れ替え候補ジョブがある場合にはステップS16に進む。一方、入れ替え候補ジョブがない場合にはステップS19に進む。
(ステップS16) ジョブ制御部12は、入れ替え候補ジョブのうち、対象ジョブと実行順序を入れ替えても遅延要件を満たすものがあるかを調べる。この結果、遅延要件を満たす入れ替え候補ジョブがある場合にはステップS17に進む。一方、遅延要件を満たす入れ替え候補ジョブがない場合にはステップS18に進む。
(ステップS17) ジョブ制御部12は、ジョブ実行順序候補リストにおいて、対象ジョブとステップS16で発見された遅延要件を満たす入れ替え候補ジョブとの実行順序を入れ替える。この後、ステップS13に戻る。
(ステップS18) ジョブ制御部12は、入れ替え候補ジョブのうち、対象ジョブよりも優先度が低いものがあるかを調べる。この結果、優先度が低い入れ替え候補ジョブがある場合にはステップS17に進む。一方、優先度が低い入れ替え候補ジョブがない場合にはステップS19に進む。なお、ジョブの優先度は、予めユーザが決定してもよく、又は、所定の方法で算出されてもよい。
(ステップS19) ジョブ制御部12は、対象ジョブを遅延要件考慮対象から除外する。これにより、当該対象ジョブは、ステップS13において、遅延要件を満たせるか否かの判断対象から除外される。なお、当該対象ジョブのストリーム処理結果は、アプリケーションが要求する遅延要件を満たさない可能性が生じる。このため、当該対象ジョブをジョブ実行順序候補リストから削除して、ストリーム処理装置30で実行しないようにしてもよい。これにより、アプリケーションが要求する遅延要件を満たさない可能性があるジョブをストリーム処理装置30で実行しないことによって、ストリーム処理装置30の処理部32の効率向上を図ってもよい。
(ステップS20) ジョブ制御部12は、ジョブ実行順序候補リストに記載された全てのジョブを発行する。具体的には、ジョブ制御部12は、ジョブ実行順序候補リストに記載された実行順序に従って、当該リスト内の全てのジョブを順次ジョブキュー11に格納する。ジョブキュー11に格納されたジョブは、ストリーム処理装置30の処理部32によって順次取り出されて実行される。これにより、ジョブ実行順序候補リストに記載された実行順序で当該リスト内のジョブが順次、ストリーム処理装置30の処理部32で実行される。
以上がジョブスケジューリング方法の例1の説明である。
(ジョブスケジューリング方法の例2)
ジョブ制御部12のジョブスケジューリング方法の例2を説明する。ジョブスケジューリング方法の例2では、ジョブ制御部12は、各ジョブの遅延要件の不足度の総和の最少化又は各ジョブの遅延要件の充足度の総和の最大化に基づいて、ストリーム処理装置30の処理部32で実行されるジョブのスケジューリングを行う。各ジョブの優先度及び遅延要件は、予め、制御装置10に設定される。
ここでは、ジョブの点数として、ジョブの遅延要件の不足度を算出する。具体的には、遅延要件を満たせているジョブの点数を「0」とし、遅延要件を満たせていないジョブの点数を「遅延要件を満たせていない秒数T×当該ジョブの優先度」点とする。遅延要件を満たせていない秒数Tは遅延要件を超える分の秒数である。例えば、ジョブの遅延要件が10秒である場合において、当該ジョブのジョブ所要時間の推測値が15秒であるときには、「T=5秒」である。ジョブ所要時間の推測値は、上述した図2のステップS12と同様に求められる。なお、ジョブの優先度を、全てのジョブで等しくしてもよい。
ジョブ制御部12は、ジョブ実行順序候補リスト内の全てのジョブを対象にして、各ジョブ間の依存関係を満たし、且つ、各ジョブの点数の総和が最小になるように、ジョブの実行順序のスケジューリングを行う。初期のジョブ実行順序候補リストは、上述した図2のステップS11と同様に求められる。
なお、上記のジョブの点数の例では、ジョブの遅延要件の不足度を算出したが、ジョブの遅延要件の充足度を算出してもよい。具体的には、遅延要件を満たせているジョブの点数を「1」とし、遅延要件を満たせていないジョブの点数を「-(遅延要件を満たせていない秒数T×当該ジョブの優先度)」点とする。ジョブの遅延要件の充足度を算出する場合には、ジョブ制御部12は、ジョブ実行順序候補リスト内の全てのジョブを対象にして、各ジョブ間の依存関係を満たし、且つ、各ジョブの点数の総和が最大になるように、ジョブの実行順序のスケジューリングを行う。
以上がジョブスケジューリング方法の例2の説明である。
なお、ジョブ制御部12は、ストリーム処理装置30の処理部32の現在の処理状況を常時確認し、処理負荷の上昇等によって、ジョブキュー11内の現在のジョブの実行順序では遅延要件を満たせないジョブが発生したと判断した場合、上記のジョブスケジューリング方法の例1又は例2を再実行して、ジョブキュー11内のジョブの実行順序を変更してもよい。
[ジョブのフォーマット]
本実施形態に係るジョブのフォーマットを説明する。本実施形態に係るジョブに記載される項目として、メタ情報、処理内容、処理内容の更新制御情報がある。処理内容の更新制御情報は、必要な場合にのみ記載される。以下に各項目を説明する。
(1)メタ情報
メタ情報として、ジョブの名前、識別子、バージョン、優先度などがある。以下にメタ情報について説明する。
(1-1)ジョブの名前
人間がジョブを容易に識別可能とするための値である。
(1-2)ジョブ識別子(ジョブID)
ジョブを識別するための値である。
(1-3)ジョブのバージョン
ジョブの変更を管理するための値である。同じジョブIDであってバージョンが同じである場合は、処理内容に変更がない。前バージョンから処理内容に変更がある場合、バージョンがアップされる。
(1-4)ジョブの優先度
ジョブの優先度を示す値である。
(2)処理内容
処理内容として、入力データ情報、処理情報、出力データ情報などがある。以下に処理内容について説明する。
(2-1)入力データ情報
入力データ情報として、入力データの保存場所、入力データの取得方法を示す情報がある。また、オプションとして、入力データのデータフォーマットを示す情報が入力データ情報に含められてもよい。
(2-2)処理情報
処理情報として、処理の記述形式及び処理の記述がある。処理の記述形式は、処理の記述の形式を示す情報である。処理の記述形式として、ソースコード、中間言語、機械語、SQLなどがある。処理の記述は、処理の記述形式で指定された記述形式で記述された処理の内容である。
ジョブの処理がソースコードで記述された場合、ストリーム処理装置30の処理部32は、ソースコードを動的コンパイルして実行する。また、処理部32は、コンパイル後の機械語データをジョブID及びバージョンに関連付けて記憶部34に格納し、同じジョブID且つ同じバージョンのジョブに対しては記憶部34に格納された機械語データを使用する。これにより、処理部32は、ジョブがバージョンアップされた場合にのみ、動的コンパイルを実行すればよい。また、バージョンアップ後に元のバージョンに戻す場合には、実行されるジョブに記載されるバージョンを元のバージョンにすればよい。
(2-3)出力データ情報
出力データ情報として、出力データの保存場所、出力データの保存方法を示す情報がある。また、オプションとして、出力データのデータフォーマットを示す情報が出力データ情報に含められてもよい。
なお、入力データ情報、処理情報及び出力データ情報については、同じジョブID且つ同じバージョンのジョブであって前回のジョブから変更がない場合など、不要の場合には省略してよい。
(3)処理内容の更新制御情報
処理内容の更新制御情報は、処理内容が変更された場合に、ストリーム処理装置30の処理部32に対して、処理内容の変更方法を指示する情報である。したがって、処理内容の更新制御情報がジョブに記載されるのは、ジョブのバージョンが変更された場合である。処理内容の更新制御情報として、処理内容の切り替え時刻(処理切替時刻)、処理切替時刻で確定していない実行途中の処理に対する対処方法(未確定処理対処方法)がある。未確定処理対処方法の例を以下に示す。
(未確定処理対処方法の例1)
処理切替時刻で確定していない実行途中の処理は、切り替え前のバージョンの処理の記述を使用してそのまま継続する。
(未確定処理対処方法の例2)
処理切替時刻で確定していない実行途中の処理は、強制的に確定させる。具体的には、処理切替時刻で確定している入力データの範囲内で、切り替え前のバージョンの処理の記述を使用して処理を実行する。これは、処理切替時刻において処理が使用する入力データの範囲が不明確であるために、処理の区切りを明確に把握することが難しい場合に適用することが挙げられる。例えば、時間の経過とともに順次入力される入力データから処理に使用する入力データをウィンドウで切り出す入力データ取得方法において、ウィンドウ幅が固定されてなく動的に変化する場合には、処理の区切りを明確に把握することが難しいので、本未確定処理対処方法の例2を適用することが挙げられる。又は、所定数の入力データがそろったら処理を開始する場合において、入力データの入力が不定期であるときには、所定数の入力データがそろう時期が不明であって処理の区切りを明確に把握することが難しいので、本未確定処理対処方法の例2を適用することが挙げられる。
(未確定処理対処方法の例3)
処理切替時刻で確定していない実行途中の処理は、破棄する。これは、例えば異常検知など速やかに変更後の新しいバージョンの処理の記述を使用したい場合に適用することが挙げられる。
以上がジョブに記載される各項目の説明である。図3に、本実施形態に係るジョブの記載例を示す。図3に例示されるジョブは「Json」と呼ばれるデータ記述言語で記載されたものである。
[他の実施形態]
図4は、他の実施形態に係る情報処理装置の構成例を示す図である。図4において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。図4に示される情報処理装置1aでは、制御装置10aに複数のジョブキュー11-1,11-2,11-3を並列に設け、各ジョブキュー11-1,11-2,11-3に対応する処理部32-1,32-2,32-3をストリーム処理装置30aに設ける。
ジョブ制御部12は、各処理部32-1,32-2,32-3で実行させるジョブのスケジューリングを行い、各スケジューリングの順番で各ジョブキュー11-1,11-2,11-3にジョブを格納する。このスケジューリング方法として、例えば、スケール性(スケーラビリティ)が低い複数のジョブについては、複数の処理部で並列に実行されるように複数のジョブキューに分けて格納する。一方、スケール性が高いジョブについては、ジョブ自体を複数のサブジョブに分け、複数のサブジョブが複数の処理部で並列に実行されるように複数のジョブキューに分けて格納する。
また、ジョブ制御部12は、各処理部32-1,32-2,32-3のリソース使用状況(例えば、リソース使用率など)に基づいて、ジョブの遅延要件を満たせられる当該ジョブの格納先のジョブキューを選択してもよい。また、ジョブ制御部12は、各処理部32-1,32-2,32-3のリソース使用状況に基づいて、ジョブ全体で遅延要件が最も満たせられるように、各ジョブの格納先のジョブキューを選択してもよい。
なお、図4に示される情報処理装置1aでは、3個のジョブキュー11-1,11-2,11-3を並列に設けたが、並列に設けられるジョブキューは2個であってもよく、又は、4個以上であってもよい。この場合も、各ジョブキューに対応する処理部がストリーム処理装置に設けられる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1,1a…情報処理装置、10,10a…制御装置、11…ジョブキュー、12…ジョブ制御部、30,30a…ストリーム処理装置、31…データ入力部、32…処理部、33…データ出力部、34…記憶部

Claims (3)

  1. 連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で順次実行されるジョブを格納するジョブキューと、
    各ジョブの遅延要件に基づいて前記ストリーム処理装置で実行されるジョブのスケジューリングを行い、前記スケジューリングの順番で前記ジョブキューにジョブを格納するジョブ制御部と、を備え、
    前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、
    制御装置。
  2. コンピュータに、
    連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で実行されるジョブのスケジューリングを各ジョブの遅延要件に基づいて行うスケジューリングステップと、
    前記ストリーム処理装置で順次実行されるジョブを格納するジョブキューに、前記スケジューリングの順番でジョブを格納するステップと、
    を実行させるためのコンピュータプログラムであって、
    前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、
    コンピュータプログラム。
  3. 制御装置が、連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で実行されるジョブのスケジューリングを各ジョブの遅延要件に基づいて行い、前記スケジューリングの順番でジョブキューにジョブを格納するジョブ制御ステップと、
    前記ストリーム処理装置が、前記ジョブキューから順次ジョブを取り出して実行するステップと、
    を含む情報処理方法であって、
    前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、
    情報処理方法。
JP2019018998A 2019-02-05 2019-02-05 制御装置、コンピュータプログラム及び情報処理方法 Active JP7145094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019018998A JP7145094B2 (ja) 2019-02-05 2019-02-05 制御装置、コンピュータプログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019018998A JP7145094B2 (ja) 2019-02-05 2019-02-05 制御装置、コンピュータプログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020126483A JP2020126483A (ja) 2020-08-20
JP7145094B2 true JP7145094B2 (ja) 2022-09-30

Family

ID=72084049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019018998A Active JP7145094B2 (ja) 2019-02-05 2019-02-05 制御装置、コンピュータプログラム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7145094B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024052981A1 (ja) * 2022-09-06 2024-03-14 日本電信電話株式会社 処理装置、処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011023A (ja) 2003-06-18 2005-01-13 Hitachi Ltd ジョブスケジューリング方法及びシステム
WO2012039216A1 (ja) 2010-09-24 2012-03-29 日本電気株式会社 情報処理装置、その方法及びそのプログラム
US20170255491A1 (en) 2016-03-04 2017-09-07 Google Inc. Resource allocation for computer processing
JP2018200603A (ja) 2017-05-29 2018-12-20 富士通株式会社 タスク配備プログラム、タスク配備方法、およびタスク配備装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184685A (ja) * 2006-01-04 2007-07-19 Sumitomo Electric Ind Ltd 通信方法および通信装置
EP2254356A1 (en) * 2008-03-04 2010-11-24 Hitachi Ltd. Network system and monitoring node

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011023A (ja) 2003-06-18 2005-01-13 Hitachi Ltd ジョブスケジューリング方法及びシステム
WO2012039216A1 (ja) 2010-09-24 2012-03-29 日本電気株式会社 情報処理装置、その方法及びそのプログラム
US20170255491A1 (en) 2016-03-04 2017-09-07 Google Inc. Resource allocation for computer processing
JP2018200603A (ja) 2017-05-29 2018-12-20 富士通株式会社 タスク配備プログラム、タスク配備方法、およびタスク配備装置

Also Published As

Publication number Publication date
JP2020126483A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
US10810051B1 (en) Autoscaling using file access or cache usage for cluster machines
US8838620B2 (en) Predictive data object retrieval
US7840957B2 (en) Computer program and apparatus for updating installed software programs by comparing update times
CN100573458C (zh) 进程控制装置以及进程控制方法
TWI539280B (zh) 用於分析未經特定設計以提供記憶體分配資訊之應用程式及擷取記憶體分配資訊的方法、及其電腦系統和電腦可讀儲存媒體
JPWO2006100752A1 (ja) 分散処理管理装置、分散処理管理方法、分散処理管理プログラム
JP2007193471A (ja) 予約管理プログラム、予約管理装置、および予約管理方法
TW201301029A (zh) 具有增強型應用程式元資料之記憶體管理器
JP2011526007A (ja) ストレージシステム及びストレージシステムの運用方法
JP2007272692A (ja) プロファイリングプログラムおよびプロファイリング方法
US20200065195A1 (en) Space management for snapshots of execution images
JP2005338985A (ja) 記憶領域管理方法及びシステム
JP5697195B2 (ja) アクセス予測に基づいてテーブルのミラーリングを制御する管理システム、プログラムおよび方法
JP7145094B2 (ja) 制御装置、コンピュータプログラム及び情報処理方法
US20200285510A1 (en) High precision load distribution among processors
US10095737B2 (en) Information storage system
US20180267831A1 (en) Information processing apparatus, stage-out processing method and recording medium recording job management program
JP2005302030A (ja) リンクリストへのマルチプロセスアクセス方法および装置
JP2010152435A (ja) 情報処理装置及び情報処理方法及びプログラム
JP6349837B2 (ja) スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム
JP5566936B2 (ja) ジョブ実行システム及びプログラム
JP7326234B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2006172065A (ja) チェックポイント採取方法、システム及びプログラム
US12026383B2 (en) Method of managing jobs in an information system and associated system
JP2010218157A (ja) ソフトウェア資産の分析システム及び分析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220727

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220817

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220916

R150 Certificate of patent or registration of utility model

Ref document number: 7145094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150