JP7145094B2 - 制御装置、コンピュータプログラム及び情報処理方法 - Google Patents
制御装置、コンピュータプログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP7145094B2 JP7145094B2 JP2019018998A JP2019018998A JP7145094B2 JP 7145094 B2 JP7145094 B2 JP 7145094B2 JP 2019018998 A JP2019018998 A JP 2019018998A JP 2019018998 A JP2019018998 A JP 2019018998A JP 7145094 B2 JP7145094 B2 JP 7145094B2
- Authority
- JP
- Japan
- Prior art keywords
- job
- processing
- jobs
- stream
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、一実施形態に係る情報処理装置の構成例を示す図である。図1において、情報処理装置1は、制御装置10と、ストリーム処理装置30と、を備える。制御装置10は、ジョブキュー11と、ジョブ制御部12と、を備える。ストリーム処理装置30は、データ入力部31と、処理部32と、データ出力部33と、記憶部34と、を備える。
制御装置10の構成について詳細に説明する。
・各ジョブの遅延要件を管理する機能
・各ジョブの優先度を決定する機能
・ジョブをジョブキュー11に格納することによりジョブを発行する機能
・ストリーム処理装置30の処理部32においてジョブが使用しているリソース(メモリ、CPU(Central Processing Unit:中央演算処理装置)、ストレージアクセス、ネットワーク)の状態を監視する機能
・ストリーム処理装置30の処理部32において各ジョブが実行に要した時間を記録する機能
・各ジョブに必要な情報の保存場所を示す情報を保持する機能
ジョブに必要な情報としては、ジョブで使用される入力データに関する情報や、ジョブにより出力される出力データに関する情報等がある。
ストリーム処理装置30の構成について詳細に説明する。
・ジョブキュー11からジョブを取得する機能
・データ入力部31から入力データを取得する機能
・データ出力部33へ出力データを出力する機能
・各ジョブの実行結果を中間結果としてデータ入力部31又はデータ出力部33のいずれかに渡す機能
・ジョブに記載された内容に従って情報処理を実行する機能
・ジョブに記載された処理の記述を必要に応じて動的コンパイルする機能
・記憶部34に対してジョブの格納、取り出し、削除及び更新を行う機能
・ジョブを記憶する機能
・処理部32の指示に従ってジョブの保持、読み出し、検索及び更新を行う機能、
ジョブに記載された指示は、ソースコード、中間言語又は機械語などで記載されている。記憶部34には、ソースコードのままでジョブを格納してもよいが、コンピュータがすぐに実行できる状態(コンパイル後のデータ)でジョブを格納することは好ましい。
また、記憶部34のジョブ格納形態として、以下に示す2種類の形態が挙げられる。
・ジョブのメタ情報をカラムとしたメタ情報データベースとジョブ本体のバイナリ情報とを分けて格納する形態
・データベースのカラムにジョブ本体のバイナリ情報を保存する形態
データ入力部31は、入力データを保持する。データ入力部31は、処理部32からの要求に応じて入力データを処理部32へ出力する。又は、データ入力部31は、自発的に入力データを処理部32へ出力する。
本実施形態に係るジョブ制御部12のジョブスケジューリング方法を説明する。
図2を参照して、ジョブ制御部12のジョブスケジューリング方法の例1を説明する。図2は、本実施形態に係るジョブスケジューリング方法の例1を示すフローチャートである。ジョブ制御部12は、ストリーム処理装置30に実行させる複数のジョブを対象にしてスケジューリングを行う。各ジョブの優先度及び遅延要件は、予め、制御装置10に設定される。
ジョブ制御部12のジョブスケジューリング方法の例2を説明する。ジョブスケジューリング方法の例2では、ジョブ制御部12は、各ジョブの遅延要件の不足度の総和の最少化又は各ジョブの遅延要件の充足度の総和の最大化に基づいて、ストリーム処理装置30の処理部32で実行されるジョブのスケジューリングを行う。各ジョブの優先度及び遅延要件は、予め、制御装置10に設定される。
本実施形態に係るジョブのフォーマットを説明する。本実施形態に係るジョブに記載される項目として、メタ情報、処理内容、処理内容の更新制御情報がある。処理内容の更新制御情報は、必要な場合にのみ記載される。以下に各項目を説明する。
メタ情報として、ジョブの名前、識別子、バージョン、優先度などがある。以下にメタ情報について説明する。
(1-1)ジョブの名前
人間がジョブを容易に識別可能とするための値である。
(1-2)ジョブ識別子(ジョブID)
ジョブを識別するための値である。
(1-3)ジョブのバージョン
ジョブの変更を管理するための値である。同じジョブIDであってバージョンが同じである場合は、処理内容に変更がない。前バージョンから処理内容に変更がある場合、バージョンがアップされる。
(1-4)ジョブの優先度
ジョブの優先度を示す値である。
処理内容として、入力データ情報、処理情報、出力データ情報などがある。以下に処理内容について説明する。
(2-1)入力データ情報
入力データ情報として、入力データの保存場所、入力データの取得方法を示す情報がある。また、オプションとして、入力データのデータフォーマットを示す情報が入力データ情報に含められてもよい。
処理情報として、処理の記述形式及び処理の記述がある。処理の記述形式は、処理の記述の形式を示す情報である。処理の記述形式として、ソースコード、中間言語、機械語、SQLなどがある。処理の記述は、処理の記述形式で指定された記述形式で記述された処理の内容である。
出力データ情報として、出力データの保存場所、出力データの保存方法を示す情報がある。また、オプションとして、出力データのデータフォーマットを示す情報が出力データ情報に含められてもよい。
処理内容の更新制御情報は、処理内容が変更された場合に、ストリーム処理装置30の処理部32に対して、処理内容の変更方法を指示する情報である。したがって、処理内容の更新制御情報がジョブに記載されるのは、ジョブのバージョンが変更された場合である。処理内容の更新制御情報として、処理内容の切り替え時刻(処理切替時刻)、処理切替時刻で確定していない実行途中の処理に対する対処方法(未確定処理対処方法)がある。未確定処理対処方法の例を以下に示す。
処理切替時刻で確定していない実行途中の処理は、切り替え前のバージョンの処理の記述を使用してそのまま継続する。
処理切替時刻で確定していない実行途中の処理は、強制的に確定させる。具体的には、処理切替時刻で確定している入力データの範囲内で、切り替え前のバージョンの処理の記述を使用して処理を実行する。これは、処理切替時刻において処理が使用する入力データの範囲が不明確であるために、処理の区切りを明確に把握することが難しい場合に適用することが挙げられる。例えば、時間の経過とともに順次入力される入力データから処理に使用する入力データをウィンドウで切り出す入力データ取得方法において、ウィンドウ幅が固定されてなく動的に変化する場合には、処理の区切りを明確に把握することが難しいので、本未確定処理対処方法の例2を適用することが挙げられる。又は、所定数の入力データがそろったら処理を開始する場合において、入力データの入力が不定期であるときには、所定数の入力データがそろう時期が不明であって処理の区切りを明確に把握することが難しいので、本未確定処理対処方法の例2を適用することが挙げられる。
処理切替時刻で確定していない実行途中の処理は、破棄する。これは、例えば異常検知など速やかに変更後の新しいバージョンの処理の記述を使用したい場合に適用することが挙げられる。
図4は、他の実施形態に係る情報処理装置の構成例を示す図である。図4において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。図4に示される情報処理装置1aでは、制御装置10aに複数のジョブキュー11-1,11-2,11-3を並列に設け、各ジョブキュー11-1,11-2,11-3に対応する処理部32-1,32-2,32-3をストリーム処理装置30aに設ける。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (3)
- 連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で順次実行されるジョブを格納するジョブキューと、
各ジョブの遅延要件に基づいて前記ストリーム処理装置で実行されるジョブのスケジューリングを行い、前記スケジューリングの順番で前記ジョブキューにジョブを格納するジョブ制御部と、を備え、
前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、
制御装置。 - コンピュータに、
連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で実行されるジョブのスケジューリングを各ジョブの遅延要件に基づいて行うスケジューリングステップと、
前記ストリーム処理装置で順次実行されるジョブを格納するジョブキューに、前記スケジューリングの順番でジョブを格納するステップと、
を実行させるためのコンピュータプログラムであって、
前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、
コンピュータプログラム。 - 制御装置が、連続的に流入するデータであるストリームデータの処理であるストリームデータ処理を行うように制御されるストリーム処理装置で実行されるジョブのスケジューリングを各ジョブの遅延要件に基づいて行い、前記スケジューリングの順番でジョブキューにジョブを格納するジョブ制御ステップと、
前記ストリーム処理装置が、前記ジョブキューから順次ジョブを取り出して実行するステップと、
を含む情報処理方法であって、
前記ジョブは、前記ストリーム処理装置で処理される内容の更新制御情報であって、処理切替時刻と、処理切替時刻で未確定の実行途中の処理に対する対処方法とを含む、
情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019018998A JP7145094B2 (ja) | 2019-02-05 | 2019-02-05 | 制御装置、コンピュータプログラム及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019018998A JP7145094B2 (ja) | 2019-02-05 | 2019-02-05 | 制御装置、コンピュータプログラム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126483A JP2020126483A (ja) | 2020-08-20 |
JP7145094B2 true JP7145094B2 (ja) | 2022-09-30 |
Family
ID=72084049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019018998A Active JP7145094B2 (ja) | 2019-02-05 | 2019-02-05 | 制御装置、コンピュータプログラム及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7145094B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024052981A1 (ja) * | 2022-09-06 | 2024-03-14 | 日本電信電話株式会社 | 処理装置、処理方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005011023A (ja) | 2003-06-18 | 2005-01-13 | Hitachi Ltd | ジョブスケジューリング方法及びシステム |
WO2012039216A1 (ja) | 2010-09-24 | 2012-03-29 | 日本電気株式会社 | 情報処理装置、その方法及びそのプログラム |
US20170255491A1 (en) | 2016-03-04 | 2017-09-07 | Google Inc. | Resource allocation for computer processing |
JP2018200603A (ja) | 2017-05-29 | 2018-12-20 | 富士通株式会社 | タスク配備プログラム、タスク配備方法、およびタスク配備装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007184685A (ja) * | 2006-01-04 | 2007-07-19 | Sumitomo Electric Ind Ltd | 通信方法および通信装置 |
EP2254356A1 (en) * | 2008-03-04 | 2010-11-24 | Hitachi Ltd. | Network system and monitoring node |
-
2019
- 2019-02-05 JP JP2019018998A patent/JP7145094B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005011023A (ja) | 2003-06-18 | 2005-01-13 | Hitachi Ltd | ジョブスケジューリング方法及びシステム |
WO2012039216A1 (ja) | 2010-09-24 | 2012-03-29 | 日本電気株式会社 | 情報処理装置、その方法及びそのプログラム |
US20170255491A1 (en) | 2016-03-04 | 2017-09-07 | Google Inc. | Resource allocation for computer processing |
JP2018200603A (ja) | 2017-05-29 | 2018-12-20 | 富士通株式会社 | タスク配備プログラム、タスク配備方法、およびタスク配備装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020126483A (ja) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810051B1 (en) | Autoscaling using file access or cache usage for cluster machines | |
US8838620B2 (en) | Predictive data object retrieval | |
US7840957B2 (en) | Computer program and apparatus for updating installed software programs by comparing update times | |
CN100573458C (zh) | 进程控制装置以及进程控制方法 | |
TWI539280B (zh) | 用於分析未經特定設計以提供記憶體分配資訊之應用程式及擷取記憶體分配資訊的方法、及其電腦系統和電腦可讀儲存媒體 | |
JPWO2006100752A1 (ja) | 分散処理管理装置、分散処理管理方法、分散処理管理プログラム | |
JP2007193471A (ja) | 予約管理プログラム、予約管理装置、および予約管理方法 | |
TW201301029A (zh) | 具有增強型應用程式元資料之記憶體管理器 | |
JP2011526007A (ja) | ストレージシステム及びストレージシステムの運用方法 | |
JP2007272692A (ja) | プロファイリングプログラムおよびプロファイリング方法 | |
US20200065195A1 (en) | Space management for snapshots of execution images | |
JP2005338985A (ja) | 記憶領域管理方法及びシステム | |
JP5697195B2 (ja) | アクセス予測に基づいてテーブルのミラーリングを制御する管理システム、プログラムおよび方法 | |
JP7145094B2 (ja) | 制御装置、コンピュータプログラム及び情報処理方法 | |
US20200285510A1 (en) | High precision load distribution among processors | |
US10095737B2 (en) | Information storage system | |
US20180267831A1 (en) | Information processing apparatus, stage-out processing method and recording medium recording job management program | |
JP2005302030A (ja) | リンクリストへのマルチプロセスアクセス方法および装置 | |
JP2010152435A (ja) | 情報処理装置及び情報処理方法及びプログラム | |
JP6349837B2 (ja) | スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム | |
JP5566936B2 (ja) | ジョブ実行システム及びプログラム | |
JP7326234B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP2006172065A (ja) | チェックポイント採取方法、システム及びプログラム | |
US12026383B2 (en) | Method of managing jobs in an information system and associated system | |
JP2010218157A (ja) | ソフトウェア資産の分析システム及び分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220727 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220727 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220817 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |