JP7427887B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

ＰＣＩｅ（Peripheral Component Interconnect Express）（登録商標）デバイスの中には、回路量削減のために回路の大きな部分を占めるデータＲＡＭ（Random Access Memory）におけるデータ保護機能をパリティ保護にとどめているものが存在する。そのようなＰＣＩｅデバイスは、データＲＡＭがＥＣＣ（Error Correction Code）の機能を有さないため、１ビットのソフトエラーなどの一過性のエラーでも報告してしまう。実際は、一過性のエラーが発生した場合、エラーが発生したＰＣＩｅデバイスを再度使用すれば、そのＰＣＩｅデバイスは正常に動作する。

ＰＣＩｅデバイスを有するコンピュータシステムにおいてＰＣＩｅデバイス内でエラーが発生した場合、ＰＣＩｅデバイスは、ＣＰＵ（Central Processing Unit）に対して割り込みを発生させる。そのために、ＰＣＩｅデバイスは、ＰＣＩｅの規格で定義された割り込みパケットをＣＰＵに向けて送信する。割り込みパケットを受信したＣＰＵは、割り込みを既定のコアに送り、割り込みが送られたコアにおいて割り込みハンドラが呼び出される。割り込みハンドラは、エラーの有無を確認し、ログの回収やそれぞれのエラーが起こった場合の対処を実行する。

ＣＰＵのコアにおけるデバイス割り込み処理は、デバイスドライバが実行する。デバイスドライバの割込み処理の機能は、トップハーフとボトムハーフに分かれる。トップハーフは、割り込み毎にＰＣＩｅデバイスが有する割り込み要因を管理する割込要因レジスタを参照して割込み要因を取得する。以下では、割込要因レジスタからの要因の取得を、割り込み要因の刈取りという。トップハーフは、取得した割り込み要因をボトムハーフへ渡す。ボトムハーフは、割り込み要因をトップハーフから取得する。そして、ボトムハーフは、取得した個々の割り込み要因の処理を行う。

デバイス割り込み要因には、正常ジョブ完了通知とエラー通知とが存在する。ここで、ジョブとはＣＰＵからの命令に応じて実行される処理単位を指す。ＰＣＩｅデバイスの中には、ジョブを管理する回路とエラーを処理する回路とが異なるものが存在する。このようなＰＣＩｅデバイスでは、正常ジョブ完了通知の割り込みは、ジョブを管理する回路により発行される。これに対して、エラー通知の割込みは、エラーを処理する回路により発行される。

ジョブは、前に実行されたジョブの処理結果を用いて処理を行う場合がある。そのため、あるジョブの実行中にエラーが発生した場合、その後のジョブでは、エラーを含む処理結果を用いて処理を行うことでエラーを含む不正な結果が得られることになる。

複数の連続したジョブを処理する場合、結果を確定するチェックポイントがいくつかのジョブ毎に設けられる。チェックポイントで確定された結果は正常に完了した処理の結果として格納される。そこで、従来、エラーを検知した場合に現在のジョブの１つ前のチェックポイントまで戻り、ジョブを実行し直すことが行われてきた。この場合、戻る先のチェックポイントから後に実行されたジョブは破棄される。

エラーが発生した場合の対処技術として、処理実行中のパリティエラー検出時にフラグを立て、処理結果の記録後に割込み処理でフラグを確認して、エラーを検出するとホストにエラーを通知して処理を再実行する従来技術がある。また、割り込みによりパリティエラーをプロセッサに報告し、エラーを生じた命令が完了済みか否かを表す情報にしたがい、エラー発生後の各命令の再処理を行う従来技術がある。また、エラー以前の正しく実行された命令の完了情報を保持し、パリティエラーを検出した場合に完了情報を用いてエラー発生後の命令を特定して再処理を行う従来技術がある。

特開２００９－１８７０４９号公報 特開２０００－９９４０６号公報 特開２００７－１８８３７９号公報

しかしながら、ジョブを管理する回路とエラーを処理する回路とが異なるＰＣＩｅデバイスでは、正常ジョブ完了通知の割り込みの発行とエラー通知の割り込み通知の発行とは非同期で実行される。そのため、ＰＣＩｅデバイスにおいてエラーが発生しエラー通知の割り込み要因が存在するにも関わらず、ジョブが実行され正常完了の割り込みが発行されるおそれがある。

この場合、どのジョブまでが正常に完了し、どのジョブ以降で結果が不正であるのか切り分けることが困難になる。そのため、タイミングによっては、不正な結果であるにも関わらず正常完了の割り込みが発行された状態でチェックポイントを超える可能性がある。その場合、そのチェックポイント通過後には、そのチェックポイントで確定された結果は、実際には不正な結果にも関わらず、正常に完了した処理の結果として取り扱われることになり、正しい結果を得ることが困難になる。そこで正しい結果を得るためにジョブを最初からやり直すことも考えられるが、その方法では演算効率が著しく低下してしまう。

これに対して、ジョブを管理する回路とエラーを処理する回路との間で同期を取り、エラーが発生した場合にジョブの処理を停止するなどの方法が考えられる。しかし、ジョブを管理する回路とエラーを処理する回路との間で同期をとるためには様々な処理を行うことになり構成が複雑になる。そのため、回路規模が大きくなることから、このような方法は実現が困難である。

また、処理結果の記録後に割込み処理でフラグを確認してエラーを特定しエラー以降の処理を再実行する従来技術を用いても、ジョブの処理とエラー処理とが非同期で行われる場合には、パリティエラーの情報を処理結果に適切に付加することが困難である。また、割り込みによりパリティエラーをプロセッサに報告してエラーを生じた命令が完了済みか否かを表す情報にしたがい再処理する従来技術であっても、ジョブの処理とエラー処理とが非同期で行われる場合にはエラーを生じた命令の特定が困難である。また、エラー以前の正しく実行された命令の完了情報を用いてパリティエラーを検出した場合にエラー発生後の命令を特定して再処理する従来技術であっても、ジョブの処理とエラー処理とが非同期で行われる場合には、エラー発生後の命令の特定が困難である。そのため、いずれの従来技術を用いても、不正な処理結果を正確に切り分けることは難しく、演算効率を向上させることは困難である。

開示の技術は、上記に鑑みてなされたものであって、回路規模を抑えつつ演算効率を向上させる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

本願の開示する情報処理装置、情報処理方法及び情報処理プログラムの一つの態様において、情報処理装置は、処理管理装置及び処理実行装置を含む。前記処理実行装置は、前記処理管理装置から通知された処理を実行し、前記処理の正常終了を前記処理管理装置に通知する処理実行部と、前記処理実行装置におけるエラーの発生を検出し、検出したエラーを基にエラー発生情報を生成してエラー記憶部に登録し、且つ、エラー通知を前記処理管理装置に送信するエラー検出部とを備える。前記処理管理装置は、前記エラー検出部からの前記エラー通知を受信して、前記エラー記憶部から前記エラー発生情報を取得するエラー処理部と、前記処理実行部に実行させる前記処理の実行状態を示す情報を含む処理管理情報を保持し、実行させる前記処理を前記処理実行部に通知し、前記処理実行部から受信した前記処理の実行の通知に基づく正常終了の通知の割り込み要求を受けて、前記エラー検出部による前記エラーの発生の検出状態及び前記エラー検出部により生成された前記エラー発生情報を基に、前記エラーが発生したか否かを判定し、前記エラーが発生していない場合、正常終了の情報を前記処理管理情報に残し、次に実行させる次処理を前記処理実行部に通知し、前記エラーが発生した場合、正常終了の情報に優先させて前記エラーの発生情報を前記処理管理情報に残す処理管理部とを備える。

１つの側面では、本発明は、回路規模を抑えつつ演算効率を向上させることができる。

図１は、実施例に係るサーバのハードウェア構成図である。 図２は、ＣＰＵ及びＰＣＩｅデバイスのブロック図である。 図３は、割込要因レジスタのフォーマットの一例を表す図である。 図４は、エラーログレジスタのフォーマットの一例を表す図である。 図５は、ジョブ管理テーブルのフォーマットの一例を表す図である。 図６は、正常ジョブ完了通知の割り込みが発生した場合の割り込み実行処理のシーケンス図である。 図７は、エラー通知の割り込みが発生した場合の割り込み実行処理のシーケンス図である。 図８は、ジョブ完了処理とエラー処理との待ち合わせ処理を説明するための図である。 図９は、正常ジョブ完了通知の割り込みが発生した場合のジョブのステータス確認処理のフローチャートである。 図１０は、プログラム実行のフローチャートである。 図１１は、操作者によりチェックポイントの再実行が指示される場合のプログラム実行のフローチャートである。 図１２は、ＰＣＩｅデバイスのハードウェア構成図である。

以下に、本願の開示する情報処理装置、情報処理方法及び情報処理プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。

図１は、実施例に係るサーバのハードウェア構成図である。サーバ１は、ＣＰＵ１０、ＰＣＩｅデバイス２０、メモリ３０及びＰＣＩｅスイッチ４０を有する。このサーバ１が、「情報処理装置」の一例にあたる。

ＣＰＵ１０は、バスによりメモリ３０と接続される。また、ＣＰＵ１０は、ＰＣＩｅスイッチ４０を介してＰＣＩｅデバイス２０と接続される。さらに、ＣＰＵ１０は、それぞれ他のＣＰＵ１０と接続される。

ＣＰＵ１０は、コア１１及び複数のＰＣＩｅポート１２を有する。ここで、コア１１は複数あってもよい。各ＰＣＩｅポート１２は、それぞれＰＣＩｅスイッチ４０と接続する。コア１１は、ＰＣＩｅポート１２を用いてＰＣＩｅスイッチ４０を介してＰＣＩｅデバイスと通信を行う。また、コア１１は、メモリ３０やハードディスクなどのその他の記憶媒体に格納されるプログラムを記憶装置であるメモリ３０を用いて実行する。ハードディスクは、例えば、ＰＣＩｅデバイス２０であってもよい。このＣＰＵ１０が、「処理管理装置」の一例にあたる。

コア１１は、例えば、プログラムを実行することで、ＰＣＩｅデバイス２０を制御するデバイスドライバを動作させる。デバイスドライバは、ＰＣＩｅスイッチ４０を介してジョブをＰＣＩｅデバイス２０へ通知して実行させる。ジョブは、特定のプログラムで実行される複数の一連の処理における１つの処理単位である。複数の一連の処理としては、例えば、深層学習の学習処理であり、ジョブは深層学習の学習処理における段階毎の個々の演算処理である。また、コア１１は、ＰＣＩｅデバイス２０からの割り込みを処理する。

ＰＣＩｅスイッチ４０は、ＣＰＵ１０が有する各ＰＣＩｅポート１２にバスにより接続される。また、ＰＣＩｅスイッチ４０は、複数のＰＣＩｅデバイス２０にバスにより接続される。ＰＣＩｅスイッチ４０は、コア１１と特定のＰＣＩｅデバイス２０とが通信を行うように、経路を切替える。

ＰＣＩｅデバイス２０は、例えば、深層学習を実行するアクセラレータカードなどである。ＰＣＩｅデバイス２０は、コア１１により実行させるデバイスドライバからジョブの通知を受けて、通知されたジョブを実行し、実行結果をコア１１へ返す。また、ＰＣＩｅデバイス２０は、ジョブの実行が正常に完了した場合、正常ジョブ完了通知の割込みをコア１１へ発行する。また、ＰＣＩｅデバイス２０は、エラーが発生した場合、エラー通知の割込みをコア１１へ発行する。このＰＣＩｅデバイス２０が、「処理実行装置」の一例にあたる。

図２は、ＣＰＵ及びＰＣＩｅデバイスのブロック図である。図２を参照して、ＣＰＵ１０及びＰＣＩｅデバイス２０の詳細を説明する。

ＰＣＩｅデバイス２０は、ＰＣＩｅポート２１、レジスタ制御部２２、割込要因レジスタ２３、割込生成部２４、ジョブ管理部２５、ジョブ実行部２７及びエラー検出回路２８を有する。

ＰＣＩｅポート２１は、ＣＰＵ１０のＰＣＩｅポート１２とＰＣＩｅバスにより接続される。そして、ＰＣＩｅポート２１は、ＰＣＩｅポート１２との間で信号を送受信する。ＰＣＩｅデバイス２０におけるＣＰＵ１０との間の通信は、実際には、ＰＣＩｅポート２１を介して行われるが、以下の説明では、説明の都合上、ＰＣＩｅポート２１を省略して、ＰＣＩｅデバイス２０の各部が直接通信するように説明する。

レジスタ制御部２２は、デバイスドライバ１００のジョブ管理処理部１０２からジョブの通知を受信し、ジョブの書き込みの指示を受ける。ジョブの通知では、例えばジョブの付帯情報やステータスを含む情報が通知され、ジョブの書き込み指示では、それらジョブの通知により通知された情報を書き込む指示が行われる。そして、レジスタ制御部２２は、ジョブの通知に含まれる情報をジョブ受信部２５１へ出力する。

また、コア１１に対してＰＣＩｅデバイス２０による割込みが発生すると、レジスタ制御部２２は、割り込み要因の確認要求をデバイスドライバ１００の割込処理部１０１から受ける。そして、レジスタ制御部２２は、割込要因レジスタ２３に格納された割り込み要因を読み出して、デバイスドライバ１００の割込処理部１０１へ送信する。

割り込みが正常ジョブ完了通知であれば、その後、レジスタ制御部２２は、ジョブテーブル２５２に登録されたステータス情報の確認指示をデバイスドライバ１００のジョブ管理処理部１０２から受ける。そして、レジスタ制御部２２は、ジョブ管理部２５が有するジョブテーブル２５２に登録された指定されたジョブのステータスの情報を読み出す。そして、レジスタ制御部２２は、読み出した指定されたジョブのステータスの情報をデバイスドライバ１００のジョブ管理処理部１０２へ送信する。

また、割り込みが正常ジョブ完了通知であれば、レジスタ制御部２２は、エラーログレジスタ２６２の確認指示をデバイスドライバ１００のジョブ管理処理部１０２から受ける。そして、レジスタ制御部２２は、エラー処理部２６が有するエラーログレジスタ２６２に格納されたエラー情報を読み出す。次に、レジスタ制御部２２は、読み出したエラー情報をデバイスドライバ１００のジョブ管理処理部１０２へ送信する。

割込要因レジスタ２３は、割り込み要因を格納する記憶領域である。図３は、割込要因レジスタのフォーマットの一例を表す図である。割込要因レジスタ２３は、割込み要因を表すビットを有し、ビット毎に対応する割込み要因が割り当てられる。例えば、割込要因レジスタ２３は、図３に示すように、ビット＃０～＃３の３ビットにより割り込み要因を表す。割込要因レジスタ２３は、ビット＃０がリトライ不可エラー検出を表し、ビット＃１がリトライ可能エラー検出を表し、ビット＃２がジョブ完了を表す。

リトライ可能エラーとは、リトライを実行することでエラーが解消される可能性のあるエラーであり、宇宙線などの影響によるソフトウェアエラーなどである。例えば、リトライ可能エラーには、メモリ上で発生した２ビットのエラー及びＥＣＣの機能を有さない回路での１ビットのパリティエラーが含まれる。また、リトライ不可エラーは、リトライを実行してもエラーが解消される見込みのないエラーであり、ハードウェアエラーである。リトライ不可エラーには、例えば、ＥＣＣの機能を有する回路において発生した２ビットエラーが含まれる。ここで、ＰＣＩｅデバイス２０上の回路は、制御系とデータ系を有する。ＰＣＩｅデバイス２０は、高密度に回路が搭載されるため、パリティチェックの機能は有するがＥＣＣの機能を有さない回路がほとんどである。ただし、制御系の回路の一部には、ＥＣＣの機能が搭載される。

割込要因レジスタ２３は、リトライ可能エラー又はリトライ不可エラーの発生の通知をエラー制御回路２６１から受ける。リトライ可能エラーであれば、割込要因レジスタ２３は、ビット＃０にフラグを立ててリトライ可能エラーのエラー通知の割り込みをセットする。また、リトライ不可エラーであれば、割込要因レジスタ２３は、ビット＃１にフラグを立ててリトライ不可エラーのエラー通知の割込みをセットする。また、割込要因レジスタ２３は、ジョブ完了の通知をジョブ管理部２５の状態管理部２５４から受けると、ビット＃２にフラグを立てて正常ジョブ完了通知の割り込みをセットする。

割込生成部２４は、割込要因レジスタ２３を監視する。そして、割込要因レジスタ２３に割り込み要因がセットされると、割り込みの発生を通知する割り込みパケットを生成する。そして、割込生成部２４は、生成した割り込みパケットをデバイスドライバ１００の割込処理部１０１へ送信する。

ジョブ管理部２５は、デバイスドライバ１００から通知されたジョブをジョブ実行部２７に実行させるとともにそのジョブの状態を保持する。ジョブ管理部２５は、ジョブ受信部２５１、ジョブテーブル２５２、ジョブ投入部２５３及び状態管理部２５４を有する。

ジョブ受信部２５１は、ジョブの付帯情報やステータスを含む情報の入力をレジスタ制御部２２から受ける。そして、ジョブ受信部２５１は、ジョブテーブル２５２の空いているエントリに、ジョブに割り当てられた番号とともに、ジョブの処理内容、付帯情報及びステータスを書き込む。ここで、ジョブの処理内容は、そのジョブの処理する場合にどのような処理を実行するかを表す情報である。また、付帯情報は、そのジョブを処理する際に用いる情報であり、例えばアドレス情報である。また、ステータスは、ジョブの実行状態であり、例えば、未実行、実行中及び実行済みといった情報が含まれる。ジョブ受信部２５１は、新たに登録したジョブのステータス状態を未実行として登録する。

ジョブ投入部２５３は、ジョブテーブル２５２に書き込まれたジョブを順番に読み出し、読み出したジョブをジョブ実行部２７に順次投入して実行させる。ジョブ投入部２５３は、ジョブ実行部２７へのジョブの投入を状態管理部２５４に通知する。

状態管理部２５４は、ジョブ実行部２７へのジョブの投入の通知をジョブの番号とともにジョブ投入部２５３から受ける。そして、状態管理部２５４は、通知されたジョブのジョブテーブル２５２におけるステータスを実行中に変更する。

また、状態管理部２５４は、ジョブの実行完了の通知をジョブの番号とともにジョブ実行部２７から受ける。そして、状態管理部２５４は、通知されたジョブのジョブテーブル２５２におけるステータスを実行中に変更する。さらに、状態管理部２５４は、通知されたジョブの正常ジョブ完了通知の割込み要因を割込要因レジスタ２３にセットする。

エラー処理部２６は、ＰＣＩｅデバイス２０においてエラーが発生した場合に、エラー他の情報を管理し、且つ、エラーに対処するための処理を実行する。エラー処理部２６は、エラー制御回路２６１及びエラーログレジスタ２６２を有する。

エラー制御回路２６１は、エラー発生の通知をエラー検出回路２８から受ける。そして、エラー制御回路２６１は、発生したエラーの種類及びカテゴリに対応するエラーログレジスタ２６２におけるステータスを、エラーの発生を表す情報に変更する。例えば、ステータスが「０」の場合にエラーの未発生を示し、「１」の場合にエラーの発生を示す場合で説明する。エラーが発生する前は各ビットのステータスの値が「０」であり、エラーが発生すると、エラー制御回路２６１は、そのエラーに対応するエラー種別及びカテゴリを表すビットに「１」を設定する。

次に、エラー制御回路２６１は、エラーログレジスタ２６２にセットしたエラーに対応するエラー通知の割り込み要因を割込要因レジスタ２３にセットする。

図４は、エラーログレジスタのフォーマットの一例を表す図である。このエラーログレジスタ２６２が、「エラー記憶部」の一例にあたる。エラーログレジスタ２６２は、図４に示すように、ビット毎にＰＣＩｅデバイス２０で発生したエラーが登録される。例えば、エラーログレジスタ２６２は、ビット毎に、メモリ２ビットエラー、内部パリティエラー及び内部ＥＥＣエラーと言った各エラーの種類が登録される。また、エラーログレジスタ２６２は、各エラーがリトライ可能エラー又はリトライ不可エラーの何れかであるかを表す情報が登録される。さらに、エラーログレジスタ２６２には、各エラーが発生したか否かを示すステータスが登録される。

エラーログレジスタ２６２は、初期化されると各ステータスの値は「０」となる。そして、ＰＣＩｅデバイス２０でエラーが発生した場合、エラーログレジスタ２６２は、エラー制御回路２０１により発生したエラーに対応するビットにおけるステータスが「１」に変更される。

その後、エラーログレジスタ２６２は、エラー情報の読み出しの指示を受けて、レジスタ制御部２２にエラーログを送信する。エラーログを送信したエラーログレジスタ２６２は、エラー制御回路２０１によりクリアされて各ビットにおけるステータスが０に初期化される。

ジョブ実行部２７は、ジョブの投入をジョブ投入部２５３から受ける。そして、ジョブ実行部２７は、投入されたジョブの処理内容及び付随情報を取得する。その後、ジョブ実行部２７は、投入されたジョブの処理内容にしたがって付随情報を用いてジョブの処理を行う。ジョブ実行部２７が実行するジョブには、例えば、演算処理やデータ転送処理が存在する。ジョブ実行部２７は、ジョブの実行が完了すると状態管理部２５４にジョブの実行完了を通知する。このジョブ実行部２７が、「処理実行部」の一例にあたる。

エラー検出回路２８は、ＰＣＩｅデバイス２０におけるエラーの発生を検出する。例えば、エラー検出回路２８は、ジョブ実行部２７のジョブ実行におけるエラーの発生を検出する。ここで、図２０では、エラーの検出の一例として、エラー検出回路２８によるジョブ実行部２７のジョブ実行におけるエラーの検出を、ジョブ実行部２７からエラー検出回路２８へ延びる矢印で表した。ただし、エラー検出回路２８は、レジスタ制御部２２、割込要因レジスタ２３、割込生成部２４、ジョブ管理部２５及びエラー処理部２６などで発生したエラーも検出する。エラー検出回路２８は、エラーの検出をエラーの種類とともにエラー制御回路２６１に通知する。このエラー検出回路２８が、「エラー検出部」の一例にあたる。

次に、ＣＰＵ１０におけるコア１１がプログラムを実行することで動作するデバイスドライバ１００について詳細に説明する。デバイスドライバ１００は、図２に示すように、割込処理部１０１、ジョブ管理処理部１０２及びエラー処理部１０４の機能を有する。すなわち、割込処理部１０１、ジョブ管理処理部１０２及びエラー処理部１０４の機能は、コア１１により実現される。ここでも、実際にはデバイスドライバ１００の各部はＰＣＩｅポート１２を介して通信を行うが、以下の説明ではＰＣＩｅポート１２の仲介を省略して説明する。

割込処理部１０１は、割り込みの発生を通知する割り込みパケットを割込生成部２４か受信する。割込処理部１０１は、割り込みパケットを受信することで割り込みが発生したことを確認して、レジスタ制御部２２に対して割り込み要因の確認を行う。そして、割込処理部１０１は、割込要因レジスタ２３から読み出された割り込み要因をレジスタ制御部２２から受信する。

次に、割込処理部１０１は、受信した割り込み要因を確認して、割り込みが正常ジョブ完了通知の割込みかエラー通知の割込みかを判定する。割り込みが正常ジョブ完了通知の場合、割込処理部１０１は、割り込みをジョブ管理処理部１０２へ出力する。また、割り込みがエラー通知の場合、割込処理部１０１は、割り込みをジョブ管理処理部１０２へ出力する。割込処理部１０１が割り込み要因の読み出しを行うことで、割込要因レジスタ２３に格納された割り込み要因は削除され、割り込みの刈取りが完了する。この割込処理部１０１による割り込みの読み出しが割り込み処理の機能におけるトップハーフの処理にあたる。

ジョブ管理処理部１０２は、ジョブ管理テーブル１０３を有する。図５は、ジョブ管理テーブルのフォーマットの一例を表す図である。ジョブ管理テーブル１０３は、ジョブに割り当てられたジョブ番号に対応させて、そのジョブで行われる処理、付帯情報及びステータスが登録される。付帯情報としては、例えば、デバイスメモリアドレスやホストメモリアドレスが登録される。デバイスメモリアドレスは、ＣＰＵ１０と接続されたＰＣＩｅデバイス２０との間でデータの授受を行う際の、ＰＣＩｅデバイス２０が使用するメモリのアドレスである。また、ホストメモリアドレスは、ＣＰＵ１０と接続されたＰＣＩｅデバイス２０との間でデータの授受を行う際の、ＣＰＵ１０が使用するメモリのアドレスである。このジョブ管理テーブル１０３が、「処理管理情報」の一例にあたる。

ジョブ管理処理部１０２は、コア１１で生成されたジョブを受け付ける。そして、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３に受け付けたジョブを登録する。次に、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３に登録したジョブに含まれる処理の情報及び付帯情報をレジスタ制御部２２へ送信してジョブの通知を行いジョブテーブル２５２に書き込ませる。また、ジョブ管理処理部１０２は、エラーの発生によりジョブをリトライする場合、リトライするジョブを受け付ける。そして、ジョブ管理処理部１０２は、受け付けたリトライするジョブをレジスタ制御部２２へ通知しジョブテーブル２５２に書き込ませる。

ただし、エラー通知の割込みが発生した場合、ジョブ管理処理部１０２は、ジョブの受け付け停止の指示をエラー処理部１０４から受ける。その場合、ジョブ管理処理部１０２は、新たなジョブの受け付けを停止する。その後、エラー処理部１０４からジョブの受け付け再開の指示を受けると、ジョブ管理処理部１０２は、ジョブの受け付けを再開してジョブの通知を実行する。

ジョブを通知した後、ジョブ管理処理部１０２は、正常ジョブ完了通知の割り込みの入力を割込処理部１０１から受ける。ジョブ管理処理部１０２は、正常ジョブ完了通知の割り込みの入力を受けると、エラーログレジスタ２６２のステータスを確認し、ＰＣＩｅデバイス２０においてエラーが検出されたか否かを判定する。

エラーが検出された場合、ジョブ管理処理部１０２は、エラーログレジスタ２６２に登録されたエラーから、発生したエラーがリトライ可能エラーであるかリトライ不可エラーであるかを判定する。次に、ジョブ管理処理部１０２は、エラーログレジスタ２６２に登録されたエラーをジョブのステータスとしてジョブ管理テーブル１０３に登録する。この際、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３におけるそのジョブのステータスとして既にエラーコードが登録済みの場合、ジョブ管理テーブル１０３に登録されたジョブのステータスとエラーログレジスタ２６２に登録されたエラーとをマージする。具体的には、ジョブ管理処理部１０２は、正常完了よりもリトライ可能エラーが、リトライ可能エラーよりもリトライ不可エラーが残るように上書きを行う。すなわち、ジョブ管理処理部１０２は、リトライ不可エラーと正常完了とをマージする場合、ステータスをリトライ不可エラーとする。また、ジョブ管理処理部１０２は、リトライ不可エラーと正常完了とをマージする場合、ステータスをリトライ不可エラーとする。

次に、ジョブ管理処理部１０２は、ジョブのステータスの読み出しをレジスタ制御部２２に要求する。その後、ジョブ管理処理部１０２は、ジョブテーブル２５２から読み出されたジョブのステータスをジョブ管理テーブル１０３に登録する。この場合も、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３に登録されたジョブのステータスとジョブテーブル２５２から読み出されたジョブのステータスとのマージを行ったうえで、ジョブ管理テーブル１０３への登録を行う。

その後、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３を確認して、ジョブが正常完了しているか否かを判定する。この正常ジョブ完了の割り込みに基づくジョブ管理処理部１０２によるジョブが正常完了したか否かを判定する処理を、以下では、「ジョブ完了処理」という場合がある。

ジョブが正常完了した場合、ジョブ管理処理部１０２は、チェックポイントに到達したか否かを判定する。チェックポイントに到達した場合、ジョブ管理処理部１０２は、ジョブの処理により生成された結果のデータをメモリ３０などに保存する。その後、ジョブ管理処理部１０２は、コア１１により生成されたジョブを受け付け、受け付けたジョブをＰＣＩｅデバイス２０へ通知してジョブ管理テーブル１０３に受け付けたジョブを登録しジョブの実行を繰り返させる。

またチェックポイントに到達していなければ、ジョブ管理処理部１０２は、処理を継続させるか否かを判定する。処理を継続させる場合、ジョブ管理処理部１０２は、コア１１により生成されたジョブを受け付け、受け付けたジョブをＰＣＩｅデバイス２０へ通知してジョブ管理テーブル１０３に受け付けたジョブを登録しジョブの実行を繰り返させる。これに対して、処理が終了した場合、ジョブ管理処理部１０２は、正常終了と判定して操作者に正常終了を通知する。そして、ジョブ管理処理部１０２は、一連のジョブを実行することで得られた結果をコア１１に出力する。

また、ジョブがエラー終了した場合、ジョブ管理処理部１０２は、リトライ可能エラーか否かを判定する。リトライ可能エラーであれば、ジョブ管理処理部１０２は、チェックポイントからデータを復元する。そして、ジョブ管理処理部１０２は、チェックポイントからプログラムを再実行させる。

これに対して、エラーがリトライ不可エラーであれば、ジョブ管理処理部１０２は、エラーを通知してジョブ処理を終了させるプログラムの実行を停止する。このジョブ管理処理部１０２が、「処理管理部」の一例にあたる。

エラー処理部１０４は、エラー通知の割り込みの入力を割込処理部１０１から受ける。エラー処理部１０４は、エラー通知の割り込みの入力を受けると、ジョブ管理処理部１０２によるジョブの受け付けを停止させる。

次に、エラー処理部１０４は、ＰＣＩｅデバイス２０のレジスタ制御部２２に対してエラーログレジスタ２６２の確認を要求する。その後、エラー処理部１０４は、エラーログレジスタ２６２から読み出されたエラー情報を受信する。次に、エラー処理部１０４は、ジョブ管理テーブル１０３の全てのジョブのステータスに、エラーを表す情報、すなわち、リトライ不可エラー又はリトライ可能エラーの情報をセットする。このジョブ管理テーブル１０３のステータスの情報に登録されたリトライ不可エラー又はリトライ可能エラーの情報が、「エラー発生情報」の一例にあたる。

その後、エラー処理部１０４は、エラーログレジスタ２６２のステータスを全てエラーの未発生を表す「０」に変更して初期化する。このエラーログレジスタ２６２を初期化する処理を、エラーログレジスタ２６２のクリアと言う場合がある。その後、エラー処理部１０４は、ジョブ管理処理部１０２のジョブの受け付けを再開させる。このエラー処理部１０４によるエラー通知の割り込みの処理を「エラー処理」と言う。このジョブ管理処理部１０２及びエラー処理部１０４により実行される処理が、割り込み処理の機能におけるトップハーフの処理にあたる。

このように、エラー処理部１０４は、ジョブ管理テーブル１０３にエラー情報を書き込むまでエラーログレジスタ２６２に登録されたエラー情報を保持し、ジョブ管理テーブル１０３にエラー情報を書き込むとエラーログレジスタ２６２をクリアする。すなわち、ＰＣＩｅデバイス２０においてエラーが検出されると、ジョブ管理処理部１０２によるジョブの正常完了の確認まで、ジョブ管理テーブル１０３又はエラーログレジスタ２６２のいずれかにエラー情報が保持される。そして、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３及びエラーログレジスタ２６２を用いることでエラーの検出を確実に把握することができ、ジョブが正常完了したか否かを判定する。このように、非同期で行われるジョブ管理処理部１０２が実行するジョブの完了処理とエラー処理部１０４が実行するエラー処理との間で待ち合わせ処理が行われ、ジョブ管理処理部１０２は、エラーの発生を確実に検出することができる。

次に、図６を参照して、正常ジョブ完了通知の割り込みが発生した場合の割り込み実行処理の流れについて説明する。図６は、正常ジョブ完了通知の割り込みが発生した場合の割り込み実行処理のシーケンス図である。図６において、デバイスドライバ１００とＰＣＩｅデバイス２０との間を結ぶ矢印は、信号の送受信を表す。

デバイスドライバ１００のジョブ管理処理部１０２は、ジョブをＰＣＩｅデバイス２０のジョブテーブル２５２に書き込ませる（ステップＳ１０１）。

ＰＣＩｅデバイス２０のジョブ投入部２５３は、ジョブテーブル２５２に書き込まれたジョブを読み出してジョブ実行部２７に投入する（ステップＳ１０２）。

ＰＣＩｅデバイス２０のジョブ実行部２７は、ジョブ投入部２５３から投入されたジョブを実行する（ステップＳ１０３）。

ジョブの実行が完了すると、ジョブ実行部２７は、ジョブ完了を状態管理部２５４に通知する（ステップＳ１０４）。

ＰＣＩｅデバイス２０の状態管理部２５４は、ジョブ完了通知を受けると、ジョブテーブル２５２におけるそのジョブのステータスを実行済みに変更してステータスを更新する（ステップＳ１０５）。

次に、ＰＣＩｅデバイス２０の状態管理部２５４は、ＰＣＩｅデバイス２０の割込要因レジスタ２３に割り込み要因を登録することで、割込生成部２４に割り込みを指示する（ステップＳ１０６）。

ＰＣＩｅデバイス２０の割込生成部２４は、割込要因レジスタ２３に割り込み要因が登録されると、割り込みパケットを生成する（ステップＳ１０７）。割込生成部２４は、生成した割り込みパケットをデバイスドライバ１００の割込処理部１０１へ送信する。

デバイスドライバ１００の割込処理部１０１は、割り込みパケットを受信する（ステップＳ１０８）。

次に、デバイスドライバ１００の割込処理部１０１は、ＰＣＩｅデバイス２０のレジスタ制御部２２に対して割り込み要因の確認を行う（ステップＳ１０９）。

ＰＣＩｅデバイス２０のレジスタ制御部２２は、割り込み要因の確認要求を受けると、割込要因レジスタ２３に登録された割り込み要因を読み出す（ステップＳ１１０）。そして、レジスタ制御部２２は、読み出した割り込み要因をデバイスドライバ１００の割込処理部１０１へ送信する。さらに、レジスタ制御部２２は、割込要因レジスタ２３に登録された割り込みの情報を削除する。

デバイスドライバ１００の割込処理部１０１は、ＰＣＩｅデバイス２０のレジスタ制御部２２により読み出された割り込み要因を受信する。ここでは、この割り込み要因が、正常ジョブ完了通知の割り込みである場合で説明する。割込処理部１０１は、正常ジョブ完了通知の割り込みをデバイスドライバ１００のジョブ管理処理部１０２に出力する。デバイスドライバ１００のジョブ管理処理部１０２は、正常ジョブ完了通知の割り込みの入力を受けて、ＰＣＩｅデバイス２０のレジスタ制御部２２に対してジョブステータスの確認を要求する（ステップＳ１１１）。

ＰＣＩｅデバイス２０のレジスタ制御部２２は、ジョブステータスの確認要求を受けると、ＰＣＩｅデバイス２０のジョブテーブル２５２からジョブのステータスを読み出す。そして、レジスタ制御部２２は、ジョブのステータスをジョブテーブル２５２から読み出す（ステップＳ１１２）。その後、レジスタ制御部２２は、ジョブのステータスをデバイスドライバ１００のジョブ管理処理部１０２に送信する。デバイスドライバ１００のジョブ管理処理部１０２は、ジョブのステータスを受信し、受信した内容にジョブ管理テーブル１０３のジョブのステータスを変更する。

次に、図７を参照して、エラー通知の割り込みが発生した場合の割り込み実行処理の流れについて説明する。図７は、エラー通知の割り込みが発生した場合の割り込み実行処理のシーケンス図である。図６において、デバイスドライバ１００とＰＣＩｅデバイス２０との間を結ぶ矢印は、信号の送受信を表す。

ＰＣＩｅデバイス２０のエラー検出回路２８は、ＰＣＩｅデバイス２０において発生したエラーを検出する（ステップＳ２０１）。

ＰＣＩｅデバイス２０のエラー検出回路２８は、発生したエラーをＰＣＩｅデバイス２０のエラー制御回路２６１に通知する（ステップＳ２０２）。

ＰＣＩｅデバイス２０のエラー制御回路２６１は、エラーログレジスタ２６２に通知されたエラーの情報を登録してセットする（ステップＳ２０３）。

次に、ＰＣＩｅデバイス２０のエラー制御回路２６１は、ＰＣＩｅデバイス２０の割込要因レジスタ２３に割り込み要因を登録することで、割込生成部２４に割り込みを指示する（ステップＳ２０４）。

ＰＣＩｅデバイス２０の割込生成部２４は、割込要因レジスタ２３に割り込み要因が登録されると、割り込みパケットを生成する（ステップＳ２０５）。割込生成部２４は、生成した割り込みパケットをデバイスドライバ１００の割込処理部１０１へ送信する。

デバイスドライバ１００の割込処理部１０１は、割り込みパケットを受信する（ステップＳ２０６）。

次に、デバイスドライバ１００の割込処理部１０１は、ＰＣＩｅデバイス２０のレジスタ制御部２２に対して割り込み要因の確認を行う（ステップＳ２０７）。

ＰＣＩｅデバイス２０のレジスタ制御部２２は、割り込み要因の確認要求を受けると、割込要因レジスタ２３に登録された割り込み要因を読み出す（ステップＳ２０８）。そして、レジスタ制御部２２は、読み出した割り込み要因をデバイスドライバ１００の割込処理部１０１へ送信する。さらに、レジスタ制御部２２は、割込要因レジスタ２３に登録された割り込みの情報を削除する。

デバイスドライバ１００の割込処理部１０１は、ＰＣＩｅデバイス２０のレジスタ制御部２２により読み出された割り込み要因を受信する。ここでは、この割り込み要因が、エラー通知の割り込みである場合で説明する。割込処理部１０１は、エラー通知の割り込みをデバイスドライバ１００のエラー処理部１０４に出力する。デバイスドライバ１００のエラー処理部１０４は、正常ジョブ完了通知の割り込みの入力を受けて、デバイスドライバ１００のジョブ管理処理部１０２にジョブの受け付けを停止させる（ステップＳ２０９）。

次に、デバイスドライバ１００のエラー処理部１０４は、ＰＣＩｅデバイス２０のレジスタ制御部２２に対してエラーログレジスタ２６２の確認を要求する（ステップＳ２１０）。

ＰＣＩｅデバイス２０のレジスタ制御部２２は、エラーログレジスタ２６２の確認要求を受けると、ＰＣＩｅデバイス２０のエラーログレジスタ２６２からエラー情報を読み出す（ステップＳ２１１）。その後、レジスタ制御部２２は、読み出したエラー情報をデバイスドライバ１００のエラー処理部１０４に送信する。

次に、デバイスドライバ１００のエラー処理部１０４は、デバイスドライバ１００のジョブ管理テーブル１０３の全てのジョブのステータスにエラーを示す情報をセットする（ステップＳ２１２）。

その後、デバイスドライバ１００のエラー処理部１０４は、ＰＣＩｅデバイス２０のエラーログレジスタ２６２をクリアする（ステップＳ２１３）。

その後、デバイスドライバ１００のエラー処理部１０４は、デバイスドライバ１００のジョブ管理処理部１０２のジョブの受け付けを再開させる（ステップＳ２１４）。

次に、図８を参照して、リトライ可能エラーが発生した場合のジョブ管理処理部１０２によるジョブ完了処理とエラー処理部１０４によるエラー処理との処理同士の待ち合わせ処理の流れについて説明する。図８は、ジョブ完了処理とエラー処理との待ち合わせ処理を説明するための図である。

ジョブ生成処理Ｐ１は、コア１１により実行されるジョブを生成する処理である。ジョブ管理処理Ｐ２は、ジョブ管理処理部１０２により実行されるジョブの正常完了を確認する処理である。ジョブ管理処理Ｐ２は、ジョブ管理処理部１０２により複数のジョブについて並列で処理される。ジョブ受付制御処理Ｐ３は、エラー処理部１０４によりジョブ管理処理部１０２に対して実行される処理である。エラー処理Ｐ４は、エラー処理部１０４により実行される処理である。

ジョブ生成処理Ｐ１で生成されたジョブは、ジョブ受付制御処理Ｐ３で受け付けられてＰＣＩｅデバイス２０へ投入される。

エラー処理Ｐ４が開始されると、エラー処理部１０４は、ジョブ受付制御処理Ｐ３によるジョブ受け付けを停止する（ステップＳ３０１）。これにより、エラー処理が終了するまでは、ジョブの受け付けが停止される。次に、エラー処理部１０４は、エラーログレジスタ２６２から取得したエラー情報をジョブ管理テーブル１０３にセットする（ステップＳ３０２）。次に、エラー処理部１０４は、エラーログレジスタ２６２をクリアする（ステップＳ３０３）。次に、エラー処理部１０４は、ジョブ受付制御処理Ｐ３によるジョブ受け付けを再開させる（ステップＳ３０４）。

一方、ジョブ管理処理Ｐ２が開始されると、ジョブ管理処理部１０２は、エラーレジスタを２６２確認する（ステップＳ３１１）。その後、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３におけるジョブのステータスを確認する（ステップＳ３１２）。その後、ジョブのステータスが正常完了であれば、ジョブ管理処理Ｐ２で生成される次のジョブの処理に移行する。これに対して、ジョブのステータスがリトライ可能エラーであれば、エラーが発生したジョブをジョブ生成処理Ｐ１で再生成して処理を繰り返す。

図８のように、ジョブ管理処理Ｐ２とエラー処理Ｐ４とは、ステップＳ３１１とステップＳ３０３との間及びステップＳ３１２とステップＳ３０２との間で、襷掛けでエラーが発生したか否かのチェックが行われる。これにより、ジョブ完了処理とエラー処理という２つの非同期の処理同士を待ち合わせることができる。

次に、図９を参照して、正常ジョブ完了通知の割り込みが発生した場合のジョブのステータス確認処理の流れについて説明する。図９は、正常ジョブ完了通知の割り込みが発生した場合のジョブのステータス確認処理のフローチャートである。

ジョブ管理処理部１０２は、正常ジョブ完了通知の割り込みの入力を受けると、エラーログレジスタ２６２にエラー情報が存在するか否かの判定をレジスタ制御部２２を介して行う（ステップＳ４０１）。

エラーログレジスタ２６２にエラー情報が存在しない場合（ステップＳ４０１：否定）、ジョブ管理処理部１０２は、ジョブが正常終了したと判定する（ステップＳ４０２）。そして、ジョブ管理処理部１０２は、ステップＳ４０６へ進む。

これに対して、エラーログレジスタ２６２にエラー情報が存在する場合（ステップＳ４０１：肯定）、ジョブ管理処理部１０２は、検出されたエラーがリトライ可能エラーか否かを判定する（ステップＳ４０３）。

検出されたエラーがリトライ可能エラーの場合（ステップＳ４０３：肯定）、ジョブ管理処理部１０２は、ジョブの実行時にリトライ可能エラーが発生したと判定する（ステップＳ４０４）。そして、ジョブ管理処理部１０２は、ステップＳ４０６へ進む。

一方、検出されたエラーがリトライ不可エラーの場合（ステップＳ４０３：否定）、ジョブ管理処理部１０２は、ジョブの実行時にリトライ不可エラーが発生したと判定する（ステップＳ４０５）。そして、ジョブ管理処理部１０２は、ステップＳ４０６へ進む。

その後、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３のステータスにエラーコードが存在するか否かを判定する（ステップＳ４０６）。エラーコードが存在しない場合（ステップＳ４０６：否定）、ジョブ管理処理部１０２は、ステップＳ４０８へ進む。

これに対して、エラーコードが存在する場合（ステップＳ４０６：肯定）、ジョブ管理処理部１０２は、エラーログレジスタ２６２に登録されたエラー情報から取得したジョブのステータスとジョブ管理テーブル１０３から取得したジョブのステータスとをマージする（ステップＳ４０７）。

その後、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３に登録されたジョブのステータスの情報を更新する（ステップＳ４０８）。

次に、図１０を参照して、ジョブのステータスの判定を含むプログラム実行の全体的な流れを説明する。図１０は、プログラム実行のフローチャートである。ここでのプログラムは、例えば、深層学習における学習の処理を実行するプログラムである。

ジョブ管理処理部１０２は、コア１１から指定されたユーザコードを開始する（ステップＳ５０１）。そして、ジョブ管理処理部１０２は、ユーザコードに含まれるジョブをジョブテーブル２５２に書き込む。

ジョブ投入部２５３は、ジョブテーブル２５２に登録されたジョブをジョブ実行部２７に投入する。ジョブ実行部２７は、投入されたジョブを処理するための演算処理を実行する（ステップＳ５０２）。その後、割込生成部２４からの割り込みを受けて、割込処理部１０１は、割込要因レジスタ２３を確認して正常ジョブ完了通知の割り込みを受ける。そして、割込処理部１０１は、ジョブ管理テーブル１０３及びエラーログレジスタ２６２を用いて、ジョブが正常完了したか否かを判定する（ステップＳ５０３）。この判定処理が、図９のフローチャートなどで示したジョブ管理処理部１０２により実行される処理にあたる。

その後、ジョブが正常に完了した場合（ステップＳ５０３：肯定）、ジョブ管理処理部１０２は、チェックポイントに到達したか否かを判定する（ステップＳ５０４）。チェックポイントに到達した場合（ステップＳ５０４：肯定）、ジョブ管理処理部１０２は、チェックポイントまでの演算結果であるデータを保存する（ステップＳ５０５）。その後、ジョブ管理処理部１０２は、ステップＳ５０２へ戻る。

これに対して、チェックポイントに到達していない場合（ステップＳ５０４：否定）、ジョブ管理処理部１０２は、処理を繰り返すか否かを判定する（ステップＳ５０６）。ユーザコードの実行が完了した場合、ジョブ管理処理部１０２は、処理の繰り返しはそれ以上行わない。処理を繰り返す場合（ステップＳ５０６：肯定）、ジョブ管理処理部１０２は、ステップＳ５０２へ戻る。

これに対して、処理を繰り返さない場合（ステップＳ５０６：否定）、ジョブ管理処理部１０２は、ユーザコードの実行が正常終了したと判定する（ステップＳ５０７）。

その後、ジョブ管理処理部１０２は、ユーザコードの実行結果を出力する（ステップＳ５０８）。

一方、ジョブの実行中にエラーが発生してジョブが正常終了していない場合（ステップＳ５０３：否定）、ジョブ管理処理部１０２は、ジョブの実行をエラー終了させる（ステップＳ５０９）。

次に、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３を確認して、発生したエラーがリトライ可能エラーか否かを判定する（ステップＳ５１０）。

発生したエラーがリトライ不可エラーの場合（ステップＳ５１０：否定）、ジョブ管理処理部１０２は、操作者に実行不可通知を送信し（ステップＳ５１１）、エラー終了の状態でユーザコードの実行を終了する。

これに対して、発生したエラーがリトライ可能エラーの場合（ステップＳ５１０：肯定）、ジョブ管理処理部１０２は、エラーが発生したジョブの１つ前のチェックポイントで保存したデータを取得して正常なデータを復元する（ステップＳ５１２）。

その後、ジョブ管理処理部１０２は、チェックポイントからのユーザコードの再実行をコア１１に通知して（ステップＳ５１３）、ステップＳ５０１へ戻る。

（変形例）
以上の説明ではデバイスドライバ１００が自動でチェックポイントからのユーザコードの再実行を開始する場合で説明した。ただし、運用形態はこれに限らず、例えば、デバイスドライバ１００が操作者にリトライ可能エラーによるエラー終了を通知し、通知を受けた操作者が、チェックポイントからの再実行をサーバ１に指示してもよい。

図１１は、操作者によりチェックポイントの再実行が指示される場合のプログラム実行のフローチャートである。図１１を参照して、操作者によりチェックポイントの再実行が指示される場合のプログラム実行の流れを説明する。

ジョブ管理処理部１０２は、コア１１から指定されたユーザコードを開始する（ステップＳ６０１）。そして、ジョブ管理処理部１０２は、ユーザコードに含まれるジョブをジョブテーブル２５２に書き込む。

ジョブ投入部２５３は、ジョブテーブル２５２に登録されたジョブをジョブ実行部２７に投入する。ジョブ実行部２７は、投入されたジョブを処理するための演算処理を実行する（ステップＳ６０２）。その後、割込生成部２４からの割り込みを受けて、割込処理部１０１は、割込要因レジスタ２３を確認して正常ジョブ完了通知の割り込みを受ける。そして、割込処理部１０１は、ジョブ管理テーブル１０３及びエラーログレジスタ２６２を用いて、ジョブが正常完了したか否かを判定する（ステップＳ６０３）。この判定処理が、図９のフローチャートなどで示したジョブ管理処理部１０２により実行される処理にあたる。

その後、ジョブが正常に完了した場合（ステップＳ６０３：肯定）、ジョブ管理処理部１０２は、チェックポイントに到達したか否かを判定する（ステップＳ６０４）。チェックポイントに到達した場合（ステップＳ６０４：肯定）、ジョブ管理処理部１０２は、チェックポイントまでの演算結果であるデータを保存する（ステップＳ６０５）。その後、ジョブ管理処理部１０２は、ステップＳ６０２へ戻る。

これに対して、チェックポイントに到達していない場合（ステップＳ６０４：否定）、ジョブ管理処理部１０２は、処理を繰り返すか否かを判定する（ステップＳ６０６）。ユーザコードの実行が完了した場合、ジョブ管理処理部１０２は、処理の繰り返しはそれ以上行わない。処理を繰り返す場合（ステップＳ６０６：肯定）、ジョブ管理処理部１０２は、ステップＳ６０２へ戻る。

これに対して、処理を繰り返さない場合（ステップＳ６０６：否定）、ジョブ管理処理部１０２は、ユーザコードの実行が正常終了したと判定する（ステップＳ６０７）。

その後、ジョブ管理処理部１０２は、ユーザコードの実行結果を出力する（ステップＳ６０８）。

一方、ジョブの実行中にエラーが発生してジョブが正常終了していない場合（ステップＳ６０３：否定）、ジョブ管理処理部１０２は、ジョブの実行をエラー終了させる（ステップＳ６０９）。

次に、ジョブ管理処理部１０２は、ジョブ管理テーブル１０３を確認して、発生したエラーがリトライ可能エラーか否かを判定する（ステップＳ６１０）。

発生したエラーがリトライ不可エラーの場合（ステップＳ６１０：否定）、ジョブ管理処理部１０２は、操作者に実行不可通知を送信し（ステップＳ６１１）、エラー終了の状態でユーザコードの実行を終了する。

これに対して、発生したエラーがリトライ可能エラーの場合（ステップＳ６１０：肯定）、ジョブ管理処理部１０２は、エラーの発生及びジョブの再実行を操作者に通知する（ステップＳ６１２）。

図１２は、ＰＣＩｅデバイスのハードウェア構成図である。ＰＣＩｅデバイス２０は、プロセッサ９１、制御回路９２及びＰＣＩｅポート２１を有する。プロセッサ９１は、バスにより制御回路９２及びＰＣＩｅポート２１に接続される。

制御回路９２は、ＰＣＩｅデバイス２０用のデバイスメモリ（不図示）に接続される。デバイスメモリは、エラーログレジスタ２６２及び割込要因レジスタ２３の機能を実現する。また、デバイスメモリは、ジョブテーブル２５２を格納する。さらに、デバイスメモリは、図２に例示した、レジスタ制御部２２、割込生成部２４、ジョブ管理部２５、エラー処理部２６、ジョブ実行部２７及びエラー検出回路２８の機能を実現するためのプログラムを含む各種プログラムを格納する。

プロセッサ９１は、制御回路９２を介してデバイスメモリから各種プログラムを読み出して実行する。これにより、プロセッサ９１は、図２に例示した、レジスタ制御部２２、割込生成部２４、ジョブ管理部２５、エラー処理部２６、ジョブ実行部２７及びエラー検出回路２８の機能を実現する。

操作者は、モニタに表示されたメッセージなどにより、エラーの発生及びジョブの再実行の通知を受ける。そして、操作者は、エラーが発生したジョブの１つ前のチェックポイントを特定する。その後、操作者は、特定したチェックポイントで保存されたデータ及び再実行を開始するジョブをサーバ１に対して通知して、チェックポイントからのユーザコードの再実行をサーバ１に指示する（ステップＳ７００）。サーバ１は、指定されたデータを用いて指定されたジョブからユーザコードを実行するようにステップＳ６０１から処理を再開する。

以上に説明したように、本実施例に係る情報処理装置では、デバイスドライバは、エラー通知の割り込みが発生した場合、エラーログレジスタに登録されたエラー情報をジョブ管理テーブル１０３に書き込み、その後、エラーログレジスタをクリアする。また、正常ジョブ完了通知の割り込みが発生した場合、デバイスドライバは、ＰＣＩｅデバイスが有するエラーログレジスタ及びデバイスドライバが管理するジョブ管理テーブルの双方を確認してエラー検出の有無を判定する。

このように、非同期で実行されるジョブ完了処理とエラー処理という２つの処理同士を待ち合わせることができる。これにより、ジョブ完了処理において、ジョブのステータスを確認する際にそのジョブにエラーが発生している場合、エラー検出の見逃しを抑えて、確実にエラーの発生を検出することが可能となる。例えば、エラーが発生しているにもかかわらずジョブが正常に完了したと判定した状態でチェックポイントを超えてしまい、エラーを含むデータを正常のデータとして保存することを避けることができる。また、ジョブ完了処理とエラー処理との同期をとるための回路の追加は行わないため、回路規模の増大を抑えることができる。したがって、回路規模を抑えつつ演算効率を向上させることが可能となる。

１ サーバ
１０ ＣＰＵ
１１ コア
１２ ＰＣＩｅポート
２０ ＰＣＩｅデバイス
２１ ＰＣＩｅポート
２２ レジスタ制御部
２３ 割込要因レジスタ
２４ 割込生成部
２５ ジョブ管理部
２６ エラー処理部
２７ ジョブ実行部
２８ エラー検出回路
３０ メモリ
４０ ＰＣＩｅスイッチ
１００ デバイスドライバ
１０１ 割込処理部
１０２ ジョブ管理処理部
１０３ ジョブ管理テーブル
１０４ エラー処理部

Claims (7)

1. 処理管理装置及び処理実行装置を含む情報処理装置であって、
   前記処理実行装置は、
   前記処理管理装置から通知された処理を実行し、前記処理の正常完了を前記処理管理装置に通知する処理実行部と、
   前記処理実行装置におけるエラーの発生を検出し、検出したエラーを基にエラー発生情報を生成してエラー記憶部に登録し、且つ、エラー通知を前記処理管理装置に送信するエラー検出部とを備え、
   前記処理管理装置は、
   前記エラー検出部からのエラー通知を受信して、前記処理実行装置の前記エラー記憶部から前記エラー発生情報を取得するエラー処理部と、
   前記処理実行部に実行させる処理の実行状態を示す情報を含む処理管理情報を保持し、実行させる前記処理を前記処理実行部に通知し、前記処理実行部から受信した前記処理の実行の通知に基づく正常終了の通知の割り込み要求を受けて、前記エラー検出部による前記エラーの発生の検出状態及び前記エラー検出部により生成された前記エラー発生情報を基に、前記エラーが発生したか否かを判定し、前記エラーが発生していない場合、正常終了の情報を前記処理管理情報に残し、次に実行させる次処理を前記処理実行部に通知し、前記エラーが発生した場合、正常終了の情報に優先させて前記エラーの発生情報を前記処理管理情報に残す処理管理部とを備えた
   ことを特徴とする情報処理装置。
2. 前記エラー処理部は、前記エラー検出部から前記エラー通知を受けた場合、前記処理管理部による前記次処理の前記処理実行部への通知を停止させることを特徴とする請求項１に記載の情報処理装置。
3. 前記エラー処理部は、前記エラー通知の割り込みを前記処理実行装置から受信した場合、前記エラー記憶部に登録された情報を削除することを特徴とする請求項１に記載の情報処理装置。
4. 前記エラー処理部は、前記エラー発生情報を取得すると、前記処理管理情報に含まれる前記実行状態をエラー発生を示す情報に変更することを特徴とする請求項１～３のいずれか一つに記載の情報処理装置。
5. 前記処理管理部は、前記処理を含む複数の処理を前記処理実行部に実行させ、前記エラーが発生した場合、前記複数の処理の中のエラーが発生した時点以前の所定処理から前記処理実行部に再実行させることを特徴とする請求項１～４のいずれか一つに記載の情報処理装置。
6. 処理管理装置及び処理実行装置を含む情報処理装置における情報処理方法であって、
   前記処理管理装置に、
   前記処理実行装置に実行させる処理の実行状態を示す情報を含む処理管理情報を保持させ、
   前記処理実行装置に対して実行させる処理を通知させ、
   前記処理実行装置に、
   前記処理管理装置から通知された処理を実行させ、前記処理の正常完了を前記処理管理装置に通知させ、
   前記処理実行装置におけるエラーの発生を検出させ、検出したエラーを基にエラー発生情報を生成してエラー記憶部に登録させ、且つ、前記エラーの検出を示すエラー通知を前記処理管理装置に送信させ、
   前記処理管理装置に、
   前記処理実行装置からの前記エラー通知を受信した場合、前記処理実行装置の前記エラー記憶部から前記エラー発生情報を取得させ、
   前記処理実行装置から受信した前記処理の実行の通知に基づく正常終了の通知の割り込み要求の発生を基に、前記処理実行装置による前記エラーの発生の検出状態及び前記エラー発生情報を基に、前記エラーが発生したか否かを判定させ、
   前記エラーが発生していない場合、正常終了の情報を前記処理管理情報に残し、次に実行させる次処理を前記処理実行装置に通知させ、
   前記エラーが発生した場合、正常終了の情報に優先させて前記エラーの発生情報を前記処理管理情報に残させる
   ことを特徴とする情報処理方法。
7. 処理管理装置及び処理実行装置を含む情報処理装置に実行させる情報処理プログラムであって、
   前記処理管理装置に、
   前記処理実行装置に実行させる処理の実行状態を示す情報を含む処理管理情報を保持させ、
   前記処理実行装置に対して実行させる処理を通知させ、
   前記処理実行装置に、
   前記処理管理装置から通知された処理を実行させ、前記処理の正常完了を前記処理管理装置に通知させ、
   前記処理実行装置におけるエラーの発生を検出させ、検出したエラーを基にエラー発生情報を生成してエラー記憶部に登録させ、且つ、前記エラーの検出を示すエラー通知を前記処理管理装置に送信させ、
   前記処理管理装置に、
   前記処理実行装置からの前記エラー通知を受信した場合、前記処理実行装置の前記エラー記憶部から前記エラー発生情報を取得させ、
   前記処理実行装置から受信した前記処理の実行の通知に基づく正常終了の通知の割り込み要求の発生を基に、前記処理実行装置による前記エラーの発生の検出状態及び前記エラー発生情報を基に、前記エラーが発生したか否かを判定させ、
   前記エラーが発生していない場合、正常終了の情報を前記処理管理情報に残し、次に実行させる次処理を前記処理実行装置に通知させ、
   前記エラーが発生した場合、正常終了の情報に優先させて前記エラーの発生情報を前記処理管理情報に残させる
   処理をコンピュータに実行させることを特徴とする情報処理プログラム。

Images