JP7326234B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びコンピュータプログラム

従来、データが発生した時に所定のアプリケーションにより逐次にデータ処理を実行するストリーム処理が知られている。ストリーム処理によれば、逐次に発生するデータに対してリアルタイムに集計や分析等の処理を行うことができる。ストリーム処理を実行する情報処理技術として例えば特許文献１や非特許文献１に記載の技術が知られている。特許文献１に記載の従来技術では、スイッチがデータの一次処理を実行し、その実行結果をストリームクラスタへ転送している。スイッチはサーバから受領した記述子に基づいてストリームの処理を実行する。非特許文献１には、アプリケーションによるストリーム処理を実行する「Worker Node」と、アプリケーションのジョブのスケジューリングを行う「Driver Program」と、リソースを管理する「Cluster Manager」とを備える分散ストリーム処理システムが記載されている。

特許第５８０２２１５号公報

Apache Spark、"Cluster Mode Overview"、インターネット＜ＵＲＬ：https://spark.apache.org/docs/latest/cluster-overview.html＞

上述した分散ストリーム処理システムでは、同じストリーム処理を実行する複数の実行部に負荷を分散して大量のデータをリアルタイムに処理することが可能である。ここで、アプリケーションサービスの伸展に合わせてストリーム処理の処理能力を増強するために実行部を追加する場合、追加した新規の実行部が十分な処理能力を発揮するまでに時間がかかっていた。これは、新規の実行部が最初にストリーム処理の初期化等の準備を行うために、新規の実行部が既存の実行部と同程度の処理能力を発揮するまでには少なくとも初期化等の準備の時間分はより多くの時間がかかるからである。このため、新規の実行部の立ち上げ時における処理能力が不十分となる場合があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、特定の情報処理を実行する新規の実行部の立ち上げ時における処理能力の向上を図ることにある。

（１）本発明の一態様は、特定の情報処理を実行する実行部と、前記実行部に対して実際の情報処理の準備のために前記特定の情報処理を事前に実行させる準備運転部と、実際に情報処理を行う実処理状態の前記実行部である実処理実行部が登録される実処理実行部リストと、前記準備運転部により事前に情報処理を行う準備運転状態の前記実行部である準備運転実行部が登録される準備運転実行部リストと、前記準備運転実行部リストに登録されている準備運転実行部の事前の情報処理が完了した場合に、当該準備運転実行部を実処理実行部として前記実処理実行部リストへ登録を移行する状態管理部と、前記準備運転実行部リストから前記実処理実行部リストへ登録を移行された実処理実行部に対して実際の情報処理を実行させる実処理部と、準備運転実行部が実行する準備運転ジョブの失敗原因がリソース不足であると判断した場合に、準備運転ジョブに適用される実際の情報処理の対象の実入力データを調整することにより準備運転ジョブに適用する入力データ量を削減する準備運転管理部と、を備える情報処理装置である。
（２）本発明の一態様は、前記実処理実行部リストに登録されている実処理実行部が実行する実ジョブをスケジューリングする実処理スケジューラと、前記準備運転実行部リストに登録されている準備運転実行部が実行する準備運転ジョブをスケジューリングする準備運転スケジューラとをさらに備える、上記（１）の情報処理装置である。
（３）本発明の一態様は、前記準備運転部は、現在の前記準備運転実行部リストに登録されている各準備運転実行部に対する新規の準備運転ジョブを前記準備運転スケジューラにより開始させる、上記（２）の情報処理装置である。
（４）本発明の一態様は、前記状態管理部は、現在の前記準備運転実行部リストに登録されている準備運転実行部のうち、準備運転ジョブが完了した準備運転実行部のみを実処理実行部として前記実処理実行部リストへ移行する、上記（３）の情報処理装置である。
（５）本発明の一態様は、実処理実行部が実際の情報処理に使用するソフトウェアの実行計画を示す実行計画データを取得する実行計画取得部をさらに備え、準備運転実行部は、前記実行計画取得部が取得した自己の情報処理に対応する実行計画データを使用する、上記（１）から（４）のいずれかの情報処理装置である。
（６）本発明の一態様は、前記準備運転部は、特定の情報処理を実行する実処理実行部が過去に実際に処理した実入力データを記憶する実入力データ履歴記憶部を備え、当該特定の情報処理を実行する準備運転実行部は、前記実入力データ履歴記憶部に記憶されている当該実入力データを処理する、上記（１）から（５）のいずれかの情報処理装置である。

（７）本発明の一態様は、情報処理装置が特定の情報処理を実行する実行部を備え、前記情報処理装置が、実際の情報処理の準備のために事前に前記特定の情報処理を行う準備運転状態の前記実行部である準備運転実行部を準備運転実行部リストに登録する準備運転実行部リスト登録ステップと、前記情報処理装置が、前記準備運転実行部リストに登録されている準備運転実行部に対して実際の情報処理の準備のために前記特定の情報処理を事前に実行させる準備運転ステップと、前記情報処理装置が、前記準備運転実行部リストに登録されている準備運転実行部の事前の情報処理が完了した場合に、当該準備運転実行部を、実際に情報処理を行う実処理状態の前記実行部である実処理実行部として、実処理実行部が登録される実処理実行部リストへ登録を移行する状態管理ステップと、前記情報処理装置が、前記準備運転実行部リストから前記実処理実行部リストへ登録を移行された実処理実行部に対して実際の情報処理を実行させる実処理ステップと、前記情報処理装置が、準備運転実行部が実行する準備運転ジョブの失敗原因がリソース不足であると判断した場合に、準備運転ジョブに適用される実際の情報処理の対象の実入力データを調整することにより準備運転ジョブに適用する入力データ量を削減する準備運転管理ステップと、を含む情報処理方法である。

（８）本発明の一態様は、コンピュータに、特定の情報処理を実行する実行部であって実際の情報処理の準備のために事前に前記特定の情報処理を行う準備運転状態の前記実行部である準備運転実行部を準備運転実行部リストに登録する準備運転実行部リスト登録ステップと、前記準備運転実行部リストに登録されている準備運転実行部に対して実際の情報処理の準備のために前記特定の情報処理を事前に実行させる準備運転ステップと、前記準備運転実行部リストに登録されている準備運転実行部の事前の情報処理が完了した場合に、当該準備運転実行部を、実際に情報処理を行う実処理状態の前記実行部である実処理実行部として、実際に情報処理を行う実処理実行部が登録される実処理実行部リストへ登録を移行する状態管理ステップと、前記準備運転実行部リストから前記実処理実行部リストへ登録を移行された実処理実行部に対して実際の情報処理を実行させる実処理ステップと、準備運転実行部が実行する準備運転ジョブの失敗原因がリソース不足であると判断した場合に、準備運転ジョブに適用される実際の情報処理の対象の実入力データを調整することにより準備運転ジョブに適用する入力データ量を削減する準備運転管理ステップと、を実行させるためのコンピュータプログラムである。

本発明によれば、特定の情報処理を実行する新規の実行部の立ち上げ時における処理能力の向上を図ることができるという効果が得られる。

一実施形態に係る情報処理装置の構成例を示すブロック図である。 一実施形態に係る実処理部の構成例を示すブロック図である。 一実施形態に係る準備運転部の構成例を示すブロック図である。 一実施形態に係る状態管理部の構成例を示すブロック図である。 一実施形態に係る準備運転管理部１９の構成例を示すブロック図である。 一実施形態に係る情報処理方法の手順の例を示すフローチャートである。 一実施形態に係る実処理実行部リストの構成例を示す図である。 一実施形態に係る準備運転実行部リストの構成例を示す図である。 一実施形態に係る準備運転実行部リストの構成例を示す図である。 一実施形態に係る実処理実行部リストの構成例を示す図である。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る情報処理装置の構成例を示すブロック図である。図１において、情報処理装置１０は、実入力部１１と、実処理部１２と、実出力部１３と、擬似入力部１４と、準備運転部１５と、擬似出力部１６と、リソース管理部１７と、状態管理部１８と、準備運転管理部１９とを備える。情報処理装置１０は、情報処理としてストリーム処理を実行する。

情報処理装置１０の機能は、情報処理装置１０がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、情報処理装置１０として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、情報処理装置１０は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、情報処理装置１０の各機能はクラウドコンピューティングにより実現されてもよい。また、情報処理装置１０は、単独のコンピュータにより実現するものであってもよく、又は情報処理装置１０の機能を複数のコンピュータに分散させて実現するものであってもよい。

実入力部１１は、実際のストリーム処理の対象になる入力データ（実入力データ）の入力を行う。実処理部１２は、特定のストリーム処理を実行する実行部により、実入力部１１により入力された実入力データに対してストリーム処理を実行する。実出力部１３は、実入力データに対する実処理部１２のストリーム処理の結果である出力データ（実出力データ）を出力する。

擬似入力部１４は、実入力データが擬似された入力データ（擬似入力データ）の入力を行う。準備運転部１５は、特定のストリーム処理を実行する実行部に対して実際のストリーム処理の準備のために当該特定のストリーム処理を事前に実行させる。ストリーム処理は、情報処理の一例である。新規の実行部は、最初にストリーム処理の初期化等の準備を行う。これにより、準備運転部１５において新規の実行部に対して事前に実行されるストリーム処理によって、実際のストリーム処理が実行される前に、当該新規の実行部のストリーム処理の初期化等の準備が行われる。

準備運転部１５がストリーム処理を実行する対象の入力データは、擬似入力部１４により入力された擬似入力データであってもよく、又は実入力部１１により入力された実入力データであってもよい。擬似出力部１６は、準備運転部１５によるストリーム処理の結果である出力データ（擬似出力データ）を出力する。

リソース管理部１７は、情報処理装置１０が使用可能な情報処理のリソースを管理する。情報処理のリソースとして、情報処理装置１０が使用するＣＰＵやメモリやストレージやネットワークなどがある。以下、情報処理のリソースを単にリソースと称する場合がある。

リソース管理部１７は、実処理部１２における処理遅延やスループット、実入力データ量などの情報に基づいて、新規の実行部を追加する決定や既存の実行部を削除する決定を行う。リソース管理部１７は、その決定を状態管理部１８や準備運転管理部１９へ通知する。

状態管理部１８は、実行部の状態を管理する。実行部の状態として、準備運転状態と実処理状態とがある。準備運転状態は、準備運転部１５においてストリーム処理を実行する状態である。実処理状態は、実処理部１２においてストリーム処理を実行する状態である。準備運転管理部１９は、準備運転部１５の状態を管理する。

図２は、本実施形態に係る実処理部の構成例を示すブロック図である。実処理部１２は、実処理状態の実行部ｅｘｅを備える。以下、実処理状態の実行部ｅｘｅを実処理実行部ｅｘｅと称する場合がある。各実処理実行部ｅｘｅは、自己のストリーム処理に使用するソフトウェアの実行計画を示す実行計画データを使用して自己のストリーム処理を実行する。実行計画データは、ソフトウェアが情報処理装置１０のオペレーティングシステム（Operating System：ＯＳ）上で実行されるプラットフォームソフトウェアによって解釈された実行形式のプログラムデータである。

ソフトウェアの実行計画には、一つのアプリケーションのストリーム処理を分散して処理する場合の処理全体が記載される。そして、一つのアプリケーションに対して、一つの実行計画データが生成される。図２の例では、実処理部１２は、アプリケーションａｐｐ１のジョブを実行するものであって、各実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）は、アプリケーションａｐｐ１の実行計画データ＿ａｐｐ１を分散して実行する。図２の例では、アプリケーションａｐｐ１の実行計画データ＿ａｐｐ１は、複数の部分実行計画データから構成される。
実行計画データ＿ａｐｐ１＝部分実行計画データ＿ａｐｐ１＿ａ＋部分実行計画データ＿ａｐｐ１＿ｂ＋部分実行計画データ＿ａｐｐ１＿ｃ＋・・・
そして、各実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）には、各部分実行計画データ＿ａｐｐ１＿ａ，ｂ，ｃ，・・・が割り振られている。各実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）は、自己に割り振られた部分実行計画データ＿ａｐｐ１＿ａ，ｂ，ｃ，・・・を使用してストリーム処理を実行する。例えば、実行部識別子（実行部ＩＤ）「ＩＤ１」の実処理実行部ｅｘｅは、部分実行計画データ＿ａｐｐ１＿ａを使用して自己のストリーム処理を実行する。実行部ＩＤ「ＩＤ２」の実処理実行部ｅｘｅは、部分実行計画データ＿ａｐｐ１＿ｂを使用して自己のストリーム処理を実行する。実行部ＩＤ「ＩＤ３」の実処理実行部ｅｘｅは、部分実行計画データ＿ａｐｐ１＿ｃを使用して自己のストリーム処理を実行する。これにより、アプリケーションａｐｐ１のジョブが複数の実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）により分散してストリーム処理される。
なお、各部分実行計画データ＿ａｐｐ１＿ａ，ｂ，ｃ，・・・の処理内容は、動的に変更可能であって、適宜、変更され得る。したがって、各実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）がアプリケーションａｐｐ１の実行計画データ＿ａｐｐ１のどの部分を担当するのかは動的に変わる可能性がある。

図３は、本実施形態に係る準備運転部の構成例を示すブロック図である。準備運転部１５は、準備運転処理部１５１と、実行計画取得部１５２と、実入力データ履歴記憶部１５３とを備える。

準備運転処理部１５１は、準備運転状態の実行部ｅｘｅを備える。以下、準備運転状態の実行部ｅｘｅを準備運転実行部ｅｘｅと称する場合がある。各準備運転実行部ｅｘｅは、自己のストリーム処理に使用するソフトウェアの実行計画を示す実行計画データを使用して自己のストリーム処理を実行する。図３の例では、準備運転処理部１５１は、アプリケーションａｐｐ１のストリーム処理を実行する実行部ｅｘｅに対して事前に当該ストリーム処理を実行させる。各準備運転実行部ｅｘｅ（ＩＤ５１，ＩＤ５３，・・・）は、アプリケーションａｐｐ１の実行計画データ＿ａｐｐ１を使用して自己のストリーム処理を実行する。ここで、各準備運転実行部ｅｘｅ（ＩＤ５１，ＩＤ５３，・・・）に対しては、個別の部分実行計画データではなく、アプリケーションａｐｐ１のストリーム処理全体が記載された実行計画データ＿ａｐｐ１を共通に適用する。この理由は、部分実行計画データの処理内容がアプリケーションａｐｐ１のストリーム処理全体のうちどの部分になるのかが動的に変わる可能性があるので、準備運転実行部ｅｘｅ（ＩＤ５１，ＩＤ５３，・・・）に対しては実行計画データ＿ａｐｐ１を適用してアプリケーションａｐｐ１のストリーム処理全体に渡って初期化等の準備を行わせるためである。なお、実行計画データ＿ａｐｐ１にはアプリケーションａｐｐ１のストリーム処理全体が記載されているが、入力データ量を調整することにより準備運転実行部ｅｘｅ（ＩＤ５１，ＩＤ５３，・・・）のストリーム処理に要する時間を抑制して初期化等の準備を短期間で完了させるようにしてもよい。

実行計画取得部１５２は、実処理実行部ｅｘｅが実際のストリーム処理に使用するソフトウェアの実行計画を示す実行計画データを取得する。実行計画取得部１５２は、実処理実行部ｅｘｅが使用する実行計画データが変更されたことを検知する。実行計画取得部１５２は、実処理実行部ｅｘｅが使用する実行計画データが変更されたことを検知すると、変更後の最新の実行計画データを取得する。

準備運転実行部ｅｘｅは、実行計画取得部１５２が取得した自己のストリーム処理に対応する最新の実行計画データを使用する。但し、実行計画データのうち入力及び出力に関するデータは、準備運転実行部ｅｘｅに対応するように変更される。具体的には、入力として擬似入力データ又は実入力データの一部を使用する場合、その使用する入力データに、実行計画データのうち入力に関するデータを合わせる。また、実行計画データのうち出力に関するデータを、擬似出力部１６への出力方法に合わせる。擬似出力部１６への出力方法としては、準備運転部１５でのストリーム処理結果のチェック用の出力、又は準備運転部１５でのストリーム処理結果の破棄がある。

例えば、図３において、準備運転実行部ｅｘｅ（ＩＤ５１，ＩＤ５３，・・・）は、図２の実処理実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）と同じアプリケーションａｐｐ１のストリーム処理を実行する実行部ｅｘｅであって、実行計画取得部１５２が取得した実処理実行部ｅｘｅ（ＩＤ１，ＩＤ２，ＩＤ３，・・・）の実行計画データ＿ａｐｐ１を使用する。

本実施形態では、準備運転実行部ｅｘｅに対して、当該準備運転実行部ｅｘｅと同じストリーム処理を実行する実処理実行部ｅｘｅが実際に使用する実行計画データを適用する。これにより、準備運転実行部ｅｘｅが準備運転部１５で事前に実行するストリーム処理と、既存の実処理実行部ｅｘｅが実行するストリーム処理との一貫性が情報処理装置１０のプラットフォームソフトウェアの実行レベルで精度よく保たれる。これは、準備運転部１５で事前に実行するストリーム処理による準備運転実行部ｅｘｅの初期化等の準備が既存の実処理実行部ｅｘｅに高度に整合されることから、当該準備運転実行部ｅｘｅが実処理実行部ｅｘｅとして実処理部１２に組み込まれた際に、当該組み込まれた実処理実行部ｅｘｅが、即刻、既存の実処理実行部ｅｘｅのストリーム処理に適合して実処理部１２における分散ストリーム処理の処理能力の向上に寄与できることから好ましい。

実入力データ履歴記憶部１５３は、特定のストリーム処理を実行する実処理実行部ｅｘｅが過去に実際に処理した実入力データを記憶する。当該特定のストリーム処理を実行する準備運転実行部ｅｘｅは、実入力データ履歴記憶部１５３に記憶されている当該実入力データを処理する。

図４は、本実施形態に係る状態管理部の構成例を示すブロック図である。状態管理部１８は、実処理実行部リスト１８１と、準備運転実行部リスト１８２と、実処理スケジューラ１８３とを備える。

実処理実行部リスト１８１は、実際にストリーム処理を行う実行部（実処理実行部）ｅｘｅが登録されるリストである。準備運転実行部リスト１８２は、準備運転部１５により実際のストリーム処理の準備のために事前にストリーム処理を行う実行部（準備運転実行部）ｅｘｅが登録されるリストである。

実処理スケジューラ１８３は、実処理実行部リスト１８１に登録されている実処理実行部ｅｘｅが実行するジョブ（実ジョブ）をスケジューリングする。

状態管理部１８は、実処理実行部リスト１８１と準備運転実行部リスト１８２とを管理する。状態管理部１８は、準備運転実行部リスト１８２に登録されている準備運転実行部ｅｘｅの実際のストリーム処理の準備のための事前のストリーム処理が完了した場合に、当該準備運転実行部ｅｘｅを実処理実行部ｅｘｅとして実処理実行部リスト１８１へ登録を移行する。実際のストリーム処理の準備のための事前のストリーム処理が完了した準備運転実行部ｅｘｅが実処理実行部ｅｘｅとして実処理実行部リスト１８１に移行登録されることにより、実処理スケジューラ１８３は、当該移行登録された新規の実処理実行部ｅｘｅに対して実ジョブをスケジューリングする。これにより、当該移行登録された新規の実処理実行部ｅｘｅは当該スケジューリングに従って実ジョブを実行する。

図５は、本実施形態に係る準備運転管理部１９の構成例を示すブロック図である。準備運転管理部１９は、準備運転スケジューラ１９１を備える。準備運転スケジューラ１９１は、準備運転実行部リスト１８２に登録されている準備運転実行部ｅｘｅが実行するジョブ（準備運転ジョブ）をスケジューリングする。

本実施形態では、実行部ｅｘｅが実行するジョブをスケジューリングするスケジューラとして、実処理スケジューラ１８３と準備運転スケジューラ１９１とを別個に設けるが、一つのスケジューラが実処理実行部ｅｘｅと準備運転実行部ｅｘｅの両方のジョブをスケジューリングしてもよい。但し、準備運転部１５の不具合でスケジューラにかかる負荷が増大することにより実処理実行部ｅｘｅの実ジョブのスケジューリングに支障が出ることを防止するために、実処理スケジューラ１８３と準備運転スケジューラ１９１とを別個に設けることは好ましい。

次に図６－図１０を参照して本実施形態に係る情報処理方法の手順を説明する。図６は、本実施形態に係る情報処理方法の手順の例を示すフローチャートである。図７，図１０は、本実施形態に係る実処理実行部リストの構成例を示す図である。図８，図９は、本実施形態に係る準備運転実行部リストの構成例を示す図である。

図７，図８には、新規の実行部ｅｘｅが追加される前の実処理実行部リスト１８１，準備運転実行部リスト１８２がそれぞれ示される。この時点では、実行部ＩＤ「ＩＤ１」，「ＩＤ２」，「ＩＤ３」・・・の実処理実行部ｅｘｅが、実処理実行部リスト１８１に登録されており、実処理部１２で実ジョブを実行している。また、実行部ＩＤ「ＩＤ５１」，「ＩＤ５３」・・・の準備運転実行部ｅｘｅが、準備運転実行部リスト１８２に登録されており、準備運転部１５で準備運転ジョブを実行している。

（ステップＳ１） リソース管理部１７は、実処理部１２における処理遅延やスループット、実入力データ量などの情報に基づいて、新規の実行部（実行部ＩＤ「ＩＤｘ」）を追加する決定を行う。リソース管理部１７は、新規の実行部（実行部ＩＤ「ＩＤｘ」）が使用するリソースを確保する。リソース管理部１７は、新規の実行部（実行部ＩＤ「ＩＤｘ」）に関する情報を状態管理部１８及び準備運転管理部１９へ通知する。

（ステップＳ２） 状態管理部１８は、新規の実行部（実行部ＩＤ「ＩＤｘ」）を準備運転実行部リスト１８２に登録する。これにより、図９に示されるように、実行部ＩＤ「ＩＤｘ」の実行部（準備運転実行部）ｅｘｅが準備運転実行部リスト１８２に登録される。

（ステップＳ３） 準備運転管理部１９は、準備運転実行部リスト１８２に登録されている新規の実行部（実行部ＩＤ「ＩＤｘ」）等の準備運転実行部ｅｘｅについて、準備運転スケジューラ１９１により準備運転ジョブのスケジューリングを行い、準備運転部１５により準備運転ジョブの実行を開始する。これにより、新規の実行部（実行部ＩＤ「ＩＤｘ」）が準備運転ジョブを実行する。

（ステップＳ４） 準備運転管理部１９は、擬似出力部１６から出力された擬似出力データに基づいて、準備運転ジョブが成功したか否かを判断する。準備運転管理部１９は、擬似出力データが所定の準備運転ジョブ成功判定条件を満たす場合に準備運転ジョブが成功したと判断し、擬似出力データが当該準備運転ジョブ成功判定条件を満たさない場合に準備運転ジョブが失敗したと判断する。準備運転ジョブが成功した場合にはステップＳ５に進む。

一方、準備運転ジョブが失敗した場合にはステップＳ３に戻り、再度、準備運転ジョブを実行する。準備運転ジョブの再実行回数の上限は、ユーザー等により予め設定される。準備運転ジョブの再実行回数の上限に達しても準備運転ジョブが成功しない場合には、ユーザー等により予め設定された失敗ケース処理を実行する。失敗ケース処理の一例として、実処理部１２への新規の実行部ｅｘｅの追加を中止することが挙げられる。失敗ケース処理の他の例として、準備運転部１５での事前のストリーム処理の実行なしで実処理部１２へ新規の実行部ｅｘｅを追加することが挙げられる。

なお、準備運転ジョブが失敗した場合、準備運転管理部１９は、準備運転ジョブの実行条件を変えてもよい。例えば、準備運転ジョブに対して実入力データを適用すると、準備運転実行部ｅｘｅにおいてリソース（メモリ量やＣＰＵ使用率等）が不足する可能性がある。これは、実処理実行部ｅｘｅに対しては実入力データを処理可能なリソース量が確保されるが、準備運転実行部ｅｘｅに対してはそこまでのリソース量が通常確保されないからである。このため、準備運転管理部１９は、準備運転ジョブの失敗原因がリソース不足であると判断した場合、準備運転ジョブに適用する入力データ量を削減する調整を行う。リソース不足は、メモリ容量不足のエラーメッセージや準備運転ジョブの予定処理時間の超過等によって判断することができる。入力データ量を削減する調整方法としては、例えば、実入力データを間引くことにより準備運転ジョブに適用する入力データ量を削減する。

（ステップＳ５） 準備運転ジョブが成功した場合、準備運転管理部１９は、状態管理部１８に対して、実行部ＩＤ「ＩＤｘ」の準備運転実行部ｅｘｅを実処理実行部リスト１８１へ移行登録するように指示する。状態管理部１８は、その指示に応じて、実行部ＩＤ「ＩＤｘ」の準備運転実行部ｅｘｅを、準備運転実行部リスト１８２から実処理実行部リスト１８１へ登録を移行する。これにより、図９の準備運転実行部リスト１８２から実行部ＩＤ「ＩＤｘ」の準備運転実行部ｅｘｅが削除され、図１０に示されるように実行部ＩＤ「ＩＤｘ」の実行部（実処理実行部）ｅｘｅが実処理実行部リスト１８１に移行登録される。

（ステップＳ６） 状態管理部１８は、実処理実行部リスト１８１に登録されている新規の実行部（実行部ＩＤ「ＩＤｘ」）等の実処理実行部ｅｘｅについて、実処理スケジューラ１８３により実ジョブのスケジューリングを行い、実処理部１２により実ジョブの実行を開始する。これにより、新規の実行部（実行部ＩＤ「ＩＤｘ」）が実ジョブを実行する。

（実行部追加方法の例）
本実施形態に係る実行部追加方法の例を説明する。準備運転管理部１９は、定期的に準備運転実行部リスト１８２を確認し、準備運転実行部リスト１８２の中に少なくとも一つの実行部ｅｘｅが登録されていることを確認する。次いで、準備運転管理部１９は、準備運転実行部リスト１８２の中に少なくとも一つの実行部ｅｘｅが登録されている場合、準備運転部１５で現在実行中の準備運転ジョブの有無を確認する。次いで、準備運転管理部１９は、準備運転部１５で現在実行中の準備運転ジョブがない場合、現在の準備運転実行部リスト１８２に登録されている各準備運転実行部ｅｘｅに対する新規の準備運転ジョブを準備運転スケジューラ１９１により開始させる。これにより、現在の準備運転実行部リスト１８２に登録されている新規の実行部（実行部ＩＤ「ＩＤｘ」）等の準備運転実行部ｅｘｅに対して準備運転ジョブがスケジューリングされて開始される。

次いで、準備運転ジョブが成功した場合、準備運転管理部１９は、状態管理部１８に対して、準備運転ジョブが成功した準備運転実行部ｅｘｅ（移行対象準備運転実行部ｅｘｅ）を実処理実行部リスト１８１へ移行登録するように指示する。

次いで、状態管理部１８は、その指示に応じて、移行対象準備運転実行部ｅｘｅを、準備運転実行部リスト１８２から実処理実行部リスト１８１へ登録を移行する。これにより、現在の準備運転実行部リスト１８２から移行対象準備運転実行部ｅｘｅが削除され、当該移行対象準備運転実行部ｅｘｅが実処理実行部リスト１８１に移行登録される。

（実行部最適化方法の例）
本実施形態に係る実行部最適化方法の例を説明する。実行部ｅｘｅの最適化は、準備運転実行部ｅｘｅに対して大量の入力データを処理させることにより実施する。ここで、同じストリーム処理を実行する既存の実処理実行部ｅｘｅと同様の最適化が準備運転実行部ｅｘｅに対しても行われることは、実処理部１２において同じストリーム処理を実行する各実処理実行部ｅｘｅの処理速度がそろうので処理速度のボトルネックが生じないことから好ましい。これは、もし同じストリーム処理を実行する複数の実処理実行部ｅｘｅにおいて処理速度のボトルネックがあると、実処理部１２における分散ストリーム処理において、最も遅い実処理実行部ｅｘｅの処理が終了するまで他の実処理実行部ｅｘｅが待機することになって実処理部１２の処理能力が低下する可能性があるからである。

このような理由から、本実施形態では、最適化対象の準備運転実行部ｅｘｅに対して、同じストリーム処理を実行する実処理実行部ｅｘｅが過去に実際に処理した実入力データを適用する。具体的には、最適化対象の準備運転実行部ｅｘｅは、実入力データ履歴記憶部１５３に記憶されている当該実入力データを処理する。これにより、最適化対象の準備運転実行部ｅｘｅに対して、既に実処理部１２に組み込まれている同じストリーム処理を実行する実処理実行部ｅｘｅと同様の最適化が行われる。このようにして最適化された準備運転実行部ｅｘｅが実処理実行部ｅｘｅとして実処理部１２に組み込まれることにより、同じストリーム処理を実行する複数の実処理実行部ｅｘｅにおいて処理速度のボトルネックが生じず、実処理部１２における分散ストリーム処理の処理能力を十分に発揮することができる。なお、最適化対象の準備運転実行部ｅｘｅは、ユーザー等により指定される。

本実施形態によれば、新規の実行部ｅｘｅに対して実処理部１２で実際のストリーム処理が実行される前に準備運転部１５で事前に当該ストリーム処理を実行させることにより、当該新規の実行部ｅｘｅが実処理部１２で実際のストリーム処理を実行する前に、当該新規の実行部ｅｘｅのストリーム処理の初期化等の準備を行うことができる。このため、新規の実行部ｅｘｅが実処理部１２に組み込まれた際には、当該新規の実行部ｅｘｅのストリーム処理の初期化等の準備が不要であるので、当該新規の実行部ｅｘｅは、実処理部１２に組み込まれた立ち上げ時点から十分に処理能力を発揮することができる。このように本実施形態によれば、新規の実行部ｅｘｅの立ち上げ時における処理能力の向上を図ることができるという効果が得られる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１０…情報処理装置、１１…実入力部、１２…実処理部、１３…実出力部、１４…擬似入力部、１５…準備運転部、１６…擬似出力部、１７…リソース管理部、１８…状態管理部、１９…準備運転管理部、ｅｘｅ…実行部（実処理実行部、準備運転実行部）、１５１…準備運転処理部、１５２…実行計画取得部、１５３…実入力データ履歴記憶部、１８１…実処理実行部リスト、１８２…準備運転実行部リスト、１８３…実処理スケジューラ、１９１…準備運転スケジューラ

Claims (8)

1. 特定の情報処理を実行する実行部と、
   前記実行部に対して実際の情報処理の準備のために前記特定の情報処理を事前に実行させる準備運転部と、
   実際に情報処理を行う実処理状態の前記実行部である実処理実行部が登録される実処理実行部リストと、
   前記準備運転部により事前に情報処理を行う準備運転状態の前記実行部である準備運転実行部が登録される準備運転実行部リストと、
   前記準備運転実行部リストに登録されている準備運転実行部の事前の情報処理が完了した場合に、当該準備運転実行部を実処理実行部として前記実処理実行部リストへ登録を移行する状態管理部と、
   前記準備運転実行部リストから前記実処理実行部リストへ登録を移行された実処理実行部に対して実際の情報処理を実行させる実処理部と、
   準備運転実行部が実行する準備運転ジョブの失敗原因がリソース不足であると判断した場合に、準備運転ジョブに適用される実際の情報処理の対象の実入力データを調整することにより準備運転ジョブに適用する入力データ量を削減する準備運転管理部と、
   を備える情報処理装置。
2. 前記実処理実行部リストに登録されている実処理実行部が実行する実ジョブをスケジューリングする実処理スケジューラと、
   前記準備運転実行部リストに登録されている準備運転実行部が実行する準備運転ジョブをスケジューリングする準備運転スケジューラとをさらに備える、
   請求項１に記載の情報処理装置。
3. 前記準備運転部は、現在の前記準備運転実行部リストに登録されている各準備運転実行部に対する新規の準備運転ジョブを前記準備運転スケジューラにより開始させる、
   請求項２に記載の情報処理装置。
4. 前記状態管理部は、現在の前記準備運転実行部リストに登録されている準備運転実行部のうち、準備運転ジョブが完了した準備運転実行部のみを実処理実行部として前記実処理実行部リストへ移行する、
   請求項３に記載の情報処理装置。
5. 実処理実行部が実際の情報処理に使用するソフトウェアの実行計画を示す実行計画データを取得する実行計画取得部をさらに備え、
   準備運転実行部は、前記実行計画取得部が取得した自己の情報処理に対応する実行計画データを使用する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記準備運転部は、特定の情報処理を実行する実処理実行部が過去に実際に処理した実入力データを記憶する実入力データ履歴記憶部を備え、
   当該特定の情報処理を実行する準備運転実行部は、前記実入力データ履歴記憶部に記憶されている当該実入力データを処理する、
   請求項１から５のいずれか１項に記載の情報処理装置。
7. 情報処理装置が特定の情報処理を実行する実行部を備え、
   前記情報処理装置が、実際の情報処理の準備のために事前に前記特定の情報処理を行う準備運転状態の前記実行部である準備運転実行部を準備運転実行部リストに登録する準備運転実行部リスト登録ステップと、
   前記情報処理装置が、前記準備運転実行部リストに登録されている準備運転実行部に対して実際の情報処理の準備のために前記特定の情報処理を事前に実行させる準備運転ステップと、
   前記情報処理装置が、前記準備運転実行部リストに登録されている準備運転実行部の事前の情報処理が完了した場合に、当該準備運転実行部を、実際に情報処理を行う実処理状態の前記実行部である実処理実行部として、実処理実行部が登録される実処理実行部リストへ登録を移行する状態管理ステップと、
   前記情報処理装置が、前記準備運転実行部リストから前記実処理実行部リストへ登録を移行された実処理実行部に対して実際の情報処理を実行させる実処理ステップと、
   前記情報処理装置が、準備運転実行部が実行する準備運転ジョブの失敗原因がリソース不足であると判断した場合に、準備運転ジョブに適用される実際の情報処理の対象の実入力データを調整することにより準備運転ジョブに適用する入力データ量を削減する準備運転管理ステップと、
   を含む情報処理方法。
8. コンピュータに、
   特定の情報処理を実行する実行部であって実際の情報処理の準備のために事前に前記特定の情報処理を行う準備運転状態の前記実行部である準備運転実行部を準備運転実行部リストに登録する準備運転実行部リスト登録ステップと、
   前記準備運転実行部リストに登録されている準備運転実行部に対して実際の情報処理の準備のために前記特定の情報処理を事前に実行させる準備運転ステップと、
   前記準備運転実行部リストに登録されている準備運転実行部の事前の情報処理が完了した場合に、当該準備運転実行部を、実際に情報処理を行う実処理状態の前記実行部である実処理実行部として、実際に情報処理を行う実処理実行部が登録される実処理実行部リストへ登録を移行する状態管理ステップと、
   前記準備運転実行部リストから前記実処理実行部リストへ登録を移行された実処理実行部に対して実際の情報処理を実行させる実処理ステップと、
   準備運転実行部が実行する準備運転ジョブの失敗原因がリソース不足であると判断した場合に、準備運転ジョブに適用される実際の情報処理の対象の実入力データを調整することにより準備運転ジョブに適用する入力データ量を削減する準備運転管理ステップと、
   を実行させるためのコンピュータプログラム。

Images