JP3612339B2 - データ処理方法および装置 - Google Patents
データ処理方法および装置 Download PDFInfo
- Publication number
- JP3612339B2 JP3612339B2 JP28577692A JP28577692A JP3612339B2 JP 3612339 B2 JP3612339 B2 JP 3612339B2 JP 28577692 A JP28577692 A JP 28577692A JP 28577692 A JP28577692 A JP 28577692A JP 3612339 B2 JP3612339 B2 JP 3612339B2
- Authority
- JP
- Japan
- Prior art keywords
- storage device
- extended storage
- file
- batch
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、オンライン処理でのデータの参照処理中にバッチ処理を行うデータ処理技術に関する。
【０００２】
【従来の技術】
従来、オンライン処理中に多量の更新を伴うバッチ業務を実行しようとすると、レコードの排他制御や、デバイスビジーによる待ちが発生し、オンライン業務の性能に影響を与えるため、夜間や休日にオンラインを停止してバッチ業務を実行していた。また、企業の国際化、トータルシステム化などの動きの中で、オンライン処理の２４時間連続運転化が急速に進展し、オンラインを停止する機会が失われつつある。そこで、特開平３−２６６０４６号公報に示されるように、ファイルを二重化し、参照用と更新用に交互に切換えて使用する方式がある。
【０００３】
【発明が解決しようとする課題】
かかる従来の方式においては、次のような課題がある。
【０００４】
すなわち、参照と更新の競合はなくなるが、更新時間そのものは変わらないため、多量更新を行うバッチ業務の実行に時間がかかる。
【０００５】
また、更新用ファイルから参照用ファイルへのコピー処理のため、トータルで考えるとファイルの入出力回数が、通常のバッチ業務の２倍程度に増える。さらに、更新用ファイルから参照用ファイルへのコピー処理中は、参照用ファイルのデバイスがビジーになる可能性が高く、参照主体のオンラインで待ちが発生し、オンライン業務のレスポンスが悪化する。
【０００６】
本発明の目的は、オンライン処理への影響の少ないバッチ処理の実行とバッチ処理における更新の反映を可能とすることにある。
【０００７】
本発明の他の目的は、オンライン業務のレスポンスに影響を与えずにバッチ業務を高速に実行できる方法を提供することにある。
【０００８】
本発明のさらに他の目的は、オンライン処理中にファイル内のレコードのつめかえ処理を実行できる方法を提供することにある。
【０００９】
本発明のさらに他の目的は、多量更新を行うバッチ業務の異常終了に備えたファイルのバックアップを不要にする回復方法を提供することにある。
【００１０】
本発明のさらに他の目的は、オンライン処理中に整合性の取れたファイルのバックアップを高速に取得する方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、請求項１から１０に示す構成は、前記課題を改善することを可能とする。
【００２２】
【作用】
通常のオンライン処理でのデータの参照は、拡張記憶装置に目的とするデータがあれば拡張記憶装置からデータを入力する。拡張記憶装置に目的とするデータがなければ、ファイルからデータを入力する。
【００２３】
オンライン処理で参照しているファイルに対して多量の更新を行う場合、拡張記憶装置をオンラインから切離し、オンラインはファイルから直接データを入力するパスに切替える。切離した拡張記憶装置を使用して多量更新を高速に行う。拡張記憶装置での更新が完了すると、オンラインに拡張記憶装置を再接続するとともに、拡張記憶装置の更新内容をファイルに反映する。
【００２４】
以上により、オンライン業務を中断することなく高速にファイルの多量更新ができる。また、オンラインに待ちを発生させずに、並行して高速なバッチ業務を実行できる。
【００２５】
さらに、拡張記憶装置の更新中に障害が発生した場合の回復は、拡張記憶装置の更新情報を無効にするだけである。また、拡張記憶装置の更新内容をファイルに反映する際に障害が発生した場合は、拡張記憶装置は、最新の状態になっているため、拡張記憶装置からファイルを回復する。以上により、多量更新ジョブの異常終了に備えたファイルのバックアップが不要になる。
【００２６】
【実施例】
本発明の実施例を図面を用いて詳細に説明する。
【００２７】
図１は、発明実施例の構成を示す図である。本発明はファイルの記憶媒体２１と、機械動作を伴わないでアクセス可能な記憶装置である拡張記憶装置に割当てた領域１１と主記憶装置に割当てた入出力バッファ３１，３２とを備える。
【００２８】
図２は、通常のオンラインでのデータの流れを示す図であり、ファイルの記憶媒体２１と拡張記憶装置１１と主記憶装置３１とを備える。
【００２９】
図３は、本発明の方式により、オンライン中にバッチ業務を実行する場合のデータの流れを示す図であり、ファイル２１と拡張記憶装置１１と主記憶装置３１と主記憶装置３２とを備える。
【００３０】
図４は、本発明の方式により、バッチ業務を実行した後の、ファイルへの更新レコードのリロ−ドプロセスにおけるデータの流れを示す図である。
【００３１】
図５は、本発明の方式により、ファイルのバックアップ取得や多量のデータを抽出するバッチ業務を実行する場合のデータの流れを示す図である。
【００３２】
図６は、本発明の方式により、ファイルの記憶媒体としても拡張記憶装置に割当てた領域１２を用いた場合のデータの流れを示す図である。
【００３３】
図７は、本発明実施例の拡張記憶装置の切離しプロセスの手順を示すフローチャートである。
【００３４】
図８は、本発明実施例の拡張記憶装置の再接続プロセスの手順を示すフローチャートである。
【００３５】
図９は、本発明実施例のレコード操作プロセスの手順を示すフローチャートである。
【００３６】
図１０は、本発明実施例のページ入力プロセスの手順を示すフローチャートである。
【００３７】
図１１は、本発明実施例のページ出力プロセスの手順を示すフローチャートである。
【００３８】
図１２は、本発明実施例の更新ページのリロードプロセスの手順を示すフローチャートである。
【００３９】
図１３は、本発明実施例のファイルのバックアップ及び多量データ検索プロセスの手順を示すフローチャートである。
【００４０】
図１４は、本発明実施例の障害回復プロセスの手順を示すフローチャートである。
【００４１】
図１５は、本発明実施例の業務開始プロセスの手順を示すフローチャートである。
【００４２】
図１６は、本発明実施例の業務終了プロセスの手順を示すフローチャートである。
【００４３】
図１７は、本発明実施例のシステムの全体的な構成を示す第１例であり、データ処理装置５と、外部記憶ファイル２１と、データ処理装置５内の主記憶装置３と拡張記憶装置１とを備える。主記憶装置３には、オンラインで使用する入出力バッファ３１と、バッチ専用の入出力バッファ３２と、ファイル管理テーブル１９１と、ユーザ空間管理テーブル２４１とを備える。拡張記憶装置１には、ファイル対応の領域１１，１２（１２はなくても良い）を備える。
【００４４】
図１８は、本発明実施例のシステムの全体的な構成を示す第２例であり、複数のデータ処理装置５１，５２と、外部記憶ファイル２１と、データ処理装置５１，５２内の主記憶装置３０１，３０２と複数のデータ処理装置間で共用可能な独立型の拡張記憶装置１とを備える。主記憶装置３０１には、オンラインで使用する入出力バッファ３１と、バッチ専用の入出力バッファ３２と、ファイル管理テーブル１９１と、ユーザ空間管理テーブル２４１とを備える。主記憶装置３０２にも主記憶装置３０１と同様に、オンラインで使用する入出力バッファ３３と、バッチ専用の入出力バッファ３４（なくても良い）と、ファイル管理テーブル１９２と、ユーザ空間管理テーブル２４２とを備える。拡張記憶装置１には、ファイル対応の領域１１，１２（１２はなくても良い）を備える。
【００４５】
図１９は、本発明実施例のファイル管理テーブルの構成を示す図である。ファイル管理テーブル１９１（または１９２）は、ファイル２１単位に主記憶装置３（または３０１，３０２）内に確保し、ファイル管理情報部と、拡張記憶装置管理情報部と、ビットマップとを備える。ファイル管理情報部は、拡張記憶装置に割当てる指定があるファイルかどうかを示す拡張記憶装置割当てフラグと、ファイルの更新権限を管理するファイル更新権限フラグと、拡張記憶装置管理情報部のアドレスと、バッチ用拡張記憶装置管理情報部のアドレス（バッチ専用の拡張記憶装置を新たに割当てていない場合は拡張記憶装置管理情報部のアドレスと同じ）とを備える。拡張記憶装置管理情報部は、拡張記憶装置のファイル対応の領域をバッチで占有しているかどうかを示す拡張記憶装置占有状態フラグと、拡張記憶装置の更新途中状態を管理する拡張記憶装置アクセス状態フラグと、拡張記憶装置内の領域を識別するための拡張記憶装置識別子と、該ファイル用に割当てた拡張記憶装置の領域のサイズを格納しておく拡張記憶装置割当てサイズと、拡張記憶装置内のページの状態を管理するためのビットマップへのアドレスを格納しておくビットマップアドレスとを備える。
【００４６】
図２０は、本発明実施例のビットマップの構成を示す図である。ビットマップは、拡張記憶装置の個々の領域に対応して主記憶装置内に保持する。ファイルの一つのページに対応して、拡張記憶装置にロード済みであることを示すロード済みフラグ、バッチ処理で更新した拡張記憶装置内のページであることを示すバッチ更新フラグ、拡張記憶装置内のアクセス不可能なページであることを示すアクセス禁止フラグ等のビット列を備え、さらにファイルのそれぞれのページ対応のビット列をファイルの全ページ数分保持する。
【００４７】
図２１は、本発明実施例の拡張記憶装置の代りに主記憶装置を使用した場合のデータの流れを示す図である。主記憶装置の一定領域をバッチ処理用として固定して用いている。
【００４８】
図２２は、本発明実施例に係るファイルの再編成方式のデータの流れを示す図である。バッチ業務の処理の流れにアンロードファイルへのレコードの吐き出し処理が加わる。拡張記憶装置をファイル再編成用の領域として固定し、レコードの並べ替え処理を行ってアンロードファイルへのレコードの吐き出しを行う。
【００４９】
図２３は、本発明実施例に係るファイルの構成変更方式のデータの流れを示す図である。バッチ業務の処理の流れにアンロードファイルへのレコードの吐き出しとファイルの構成変更のフェーズが加わる。
【００５０】
図２４は、本発明実施例のユーザ空間管理テーブルの構成を示す図である。ユーザ空間管理テーブルは、動作中のユーザ空間に対応して主記憶装置内に保持し、各ユーザ空間がバッチなのかオンラインなのか等を示す動作モード識別フラグ、拡張記憶装置を手動で切離して使用するのか自動的に切離して使用するのかを示す拡張記憶装置切離しモード、更新処理を行うのか参照処理だけなのかを示す処理種別フラグを備える。
【００５１】
次に、図１から図１４を用いて本実施例の動作を説明する。
【００５２】
まず、図１から図４を用いて、本実施例の全体的な動作を説明する。図２、図３及び図４は図１を個々のフェーズに分解したものである。オンラインでは、拡張記憶装置１１を主記憶装置３１とファイル２１の中間的な記憶域として位置付け、レコードを参照する場合は、目的とするレコードが格納されているページが拡張記憶装置１１にあれば拡張記憶装置１１からページを入力し、拡張記憶装置１１にないページはファイル２１から主記憶装置３１へ入力するとともに拡張記憶装置１１に出力する。レコードを更新した場合は、ファイル２１へ出力するとともに拡張記憶装置１１へも出力する。バッチ業務を実行する場合は、拡張記憶装置切離しプロセスにより拡張記憶装置１１をオンラインから切離すとともに、ファイルの更新権限を「バッチ限定」に切替える。この時点から、オンラインでページの入力要因が発生すると、拡張記憶装置１１は使用しないでファイル２１から主記憶装置３１にページを入力する。一方、バッチ業務でレコードの入力を行う場合は、拡張記憶装置１１に該当するページがあれば拡張記憶装置１１から主記憶装置の入出力バッファ３２にページを入力し、拡張記憶装置１１にないページはファイル２１から主記憶装置の入出力バッファ３２に入力するとともに拡張記憶装置１１に出力する。バッチ業務でレコードを更新した場合は、拡張記憶装置１１へページを出力するが、ファイル２１へは出力しない。バッチ業務での更新処理が終了すると、オンラインの参照をファイル２１から拡張記憶装置１１に切替えるとともに拡張記憶装置１１に格納されている更新ページを更新ページリロードプロセスによりファイル２１へ一括してリロードする。更新ページのリロードが完了すると、拡張記憶装置再接続プロセスによりオンラインに拡張記憶装置１１を再接続してオンラインの更新禁止状態を解除する。
【００５３】
次に図１５を用いて、業務開始プロセスの手順を説明する。まず、バッチであるかオンラインであるか等を示す動作モード、拡張記憶装置の切離しを自動的に行うかファイル管理システムの利用者が手動で行うかを示す拡張記憶装置切離しモード、ファイルを更新するかどうかを示す処理種別を制御文（１５０１）として入力する（１５０２）。動作モードを調べ（１５０３）、「バッチ」の場合、ユーザ空間管理テーブルの動作モード識別フラグを「バッチ」に設定する（１５０４）。
【００５４】
次に拡張記憶装置切離しモードを調べ（１５０６）、「自動」であれば拡張記憶装置切離しプロセス（１５０６）により、拡張記憶装置をオンラインから切離す（または新たな拡張記憶装置の領域を割当てる）。
【００５５】
次に処理種別を調べ（１５０７）、「更新」であればファイル管理テーブルの拡張記憶装置管理情報部の拡張記憶装置アクセス状態フラグを「バッチ更新中」に設定する（１５０８）。
【００５６】
次に図１６を用いて業務終了プロセスの手順を説明する。まず、ユーザ空間管理テーブルの動作モード識別フラグが「バッチ」になっているか調べる（１６０１）。「バッチ」になっている場合は、ファイル管理テーブルの拡張記憶装置管理情報部の拡張記憶装置アクセス状態フラグの「バッチ更新中」を解除する（１６０２）。次に、ユーザ空間管理テーブルの動作モード識別フラグの「バッチ」を解除する（１６０３）。
【００５７】
次に図７を用いて、オンラインからの拡張記憶装置の切離しプロセスの手順を説明する。ファイル管理システムの利用者又は業務プロセス（バッチ処理）から拡張記憶装置の切離し要求があると（７０１）、まずファイル管理テーブルの拡張記憶装置割当てフラグが「割当て」状態になっているか調べる（７０２）。割当て状態になっていれば、新たな拡張記憶装置の領域を使用する要求か調べる（７０３）。新たな拡張記憶装置の領域を使用する要求であれば、新たな拡張記憶装置の領域を割当て（７０４）、バッチ用の拡張記憶装置管理情報部を作成（７０５）した後、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスに新たな拡張記憶装置の領域に対応した拡張記憶装置管理情報部のアドレスをセットする（７０６）。ファイル管理テーブルの拡張記憶装置割当てフラグが「割当て」状態になっていない場合も同様に、新たな拡張記憶装置の領域を割当て（７０４）、バッチ用の拡張記憶装置管理情報部を作成（７０５）した後、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスに新たな拡張記憶装置の領域に対応したＥＳ管理情報部のアドレスをセットする（７０６）。新たなＥＳの領域を使用する要求でない場合は、バッチ専用ＥＳ管理情報部アドレスにＥＳ管理情報部アドレスをセットする（７０７）。ファイル管理テーブルの拡張記憶装置占有状態フラグを、「バッチ占有」状態に設定する（７０８）。これにより、オンラインからは拡張記憶装置１１をアクセスできなくなる。さらに、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグを「バッチ限定」に設定（７０９）してバッチ以外からの更新要求を抑止する。
【００５８】
次に図８を用いて、オンラインへの拡張記憶装置の再接続プロセスの手順を説明する。拡張記憶装置の再接続指示が入力されると（８０１）、まずファイル管理テーブルの拡張記憶装置占有状態フラグの「バッチ占有」状態を解除する（８０２）。これにより、オンラインから拡張記憶装置１１を参照できる。さらに、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグの「バッチ限定」状態を解除する（８０３）。これにより、オンラインから拡張記憶装置１１の更新も可能になる。次に、ファイル管理テーブルの拡張記憶装置管理情報部アドレスとバッチ用拡張記憶装置管理情報部アドレスが一致しているか調べる（８０４）。一致していれば、ファイル管理テーブルの拡張記憶装置割当てフラグが「割当て」状態になっているか調べる（８０５）。「割当て」状態になっていればファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスをクリアする（８０６）。「割当て」状態になっていなければ、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスをクリアして（８０７）、バッチ用拡張記憶装置管理情報部を解放（８０８）した後バッチ用拡張記憶装置管理情報部に対応する拡張記憶装置の領域を削除する（８０９）。ファイル管理テーブルの拡張記憶装置管理情報部アドレスとバッチ用拡張記憶装置管理情報部アドレスが一致していない場合も同様に、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスをクリアして（８０７）、バッチ用拡張記憶装置管理情報部を解放（８０８）した後バッチ用拡張記憶装置管理情報部に対応する拡張記憶装置の領域を削除する（８０９）。
【００５９】
次に図９を用いて、レコード操作プロセスの手順を説明する。レコードの参照要求（９０１）の場合、目的のレコードが格納されているページが主記憶装置の入出力バッファ３１（バッチの場合は主記憶装置３２）にあるかどうか調べる（９０２）。主記憶装置の入出力バッファ３１，３２にあれば、入出力バッファ中のページを参照する（９０４）。主記憶装置の入出力バッファ３１，３２の入出力バッファにないページの場合、ページ入力プロセス（９０３）により、主記憶装置３１，３２の入出力バッファにページを入力した後ページを参照する（９０４）。レコードの更新要求の場合（９０１）、ユーザ空間管理テーブルの動作モード識別フラグによりバッチ処理であるか調べる（９０５）。バッチ処理でない場合、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグを調べ（９０６）、更新権限が「バッチ限定」状態であれば、レコードの更新要求をエラーにする（９０７）。「バッチ限定」状態でなければページ出力プロセス（９０８）により更新ページを出力する。バッチ処理の場合、ページ出力プロセス（９０９）により更新ページを出力する。
【００６０】
次に図１０を用いて、ページ入力プロセス（９０３）の詳細を説明する。まずユーザ空間管理テーブルの動作モード識別フラグによりバッチ処理であるか調べる（１００１）。バッチ処理でない場合、ファイル管理テーブルの拡張記憶装置占有状態フラグが「バッチ占有」状態になっていないか調べ（１００２）、「バッチ占有」状態になっている場合はファイル２１から主記憶装置３１にページを入力する（１００３）。「バッチ占有」状態になっていない場合は、拡張記憶装置１１に該当ページがあるかビットマップ（図２０で示すように、複数のビットがそれぞれファイルの一つのページに対応してそれぞれ複数のビット列を持ち、拡張記憶装置中のページの更新状態等を管理するテーブル）を調べ（１００４）、拡張記憶装置１１に該当ページがある場合は、拡張記憶装置１１から主記憶装置３１へページを入力する（１００５）。拡張記憶装置１１に該当ページがない場合は、ファイル２１から主記憶装置３１へページを入力（１００６）した後、主記憶装置の入出力バッファ３１から拡張記憶装置１１へ該当ページを出力する（１００７）。バッチ処理の場合、拡張記憶装置１１に該当ページがあるか調べ（１００８）、拡張記憶装置１１に該当ページがある場合は、拡張記憶装置１１から主記憶装置３２へページを入力する（１００９）。拡張記憶装置１１に該当ページがない場合は、ファイル２１から主記憶装置の入出力バッファ３２へページを入力（１０１０）した後、主記憶装置の入出力バッファ３２から拡張記憶装置１１へ該当ページを出力する（１０１１）。
【００６１】
次に図１１を用いて、ページ出力プロセス（９０８，９０９）の詳細を説明する。まず、ユーザ空間管理テーブルの動作モード識別フラグによりバッチ処理であるか調べる（１１０１）。バッチ処理でない場合、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグを調べ（１１０２）、更新権限が「バッチ限定」状態になっている場合、更新要求をエラーにする（１１０３）。更新権限が「バッチ限定」状態になっていない場合は、主記憶装置の入出力バッファ３１からファイル２１へページを出力（１１０４）した後、主記憶装置の入出力バッファ３１から拡張記憶装置１１へもページを出力する（１１０５）。バッチ処理の場合は、ファイルの管理テーブルの拡張記憶装置占有状態フラグが「バッチ占有」状態になっているか調べ（１１０６）、「バッチ占有」状態になっている場合は、主記憶装置の入出力バッファ３２から拡張記憶装置１１へページを出力する（１１０７）。「バッチ占有」状態になっていない場合は、主記憶装置の入出力バッファ３２からファイル２１へページを出力（１１０８）した後、主記憶装置の入出力バッファ３２から拡張記憶装置１１へページを出力する（１１０９）。
【００６２】
次に、図１２を用いて拡張記憶装置１１の更新ページをファイル２１へ書き込む更新ページリロードプロセスの動作を説明する。まず、ファイル管理テーブルの拡張記憶装置占有状態フラグの「バッチ占有」状態を解除する（１２０１）。この時点でオンラインから拡張記憶装置１１を参照できる。次に、拡張記憶装置１１上の更新ページをビットマップに基づいて全てファイル２１へ出力する（１２０２）。
【００６３】
次に図５と図１３を用いて、オンライン処理中の高速なバックアップ取得及びバッチ業務で多量データの検索を行う場合の動作を説明する。まず、拡張記憶装置切離しプロセスによって、拡張記憶装置１１をオンラインから切離す（１３０１）。次に、拡張記憶装置１１にないページをビットマップにより求め、ファイル２１から主記憶装置の入出力バッファ３２を経由して拡張記憶装置１１へロードする（１３０２）。この時点で拡張記憶装置１１にはファイル２１の全ページが存在するため、ファイル２１のバックアップや、検索は拡張記憶装置１１から主記憶装置の入出力バッファ３２への転送だけになる。ファイル２１のバックアップを取得する場合は、拡張記憶装置１１から全ページを主記憶装置の入出力バッファ３２へ入力（１３０３）しながらバックアップファイル４１へ出力する。次に、拡張記憶装置再接続プロセスによって拡張記憶装置をオンラインへ再接続する（１３０４）。
【００６４】
次に図６を用いて、ファイル２１の記憶媒体としても拡張記憶装置を用いた場合のオンライン中のバッチ業務の更新動作を説明する。オンラインは拡張記憶装置１２から主記憶装置の入出力バッファ３１にページを入力してファイル２１の参照を行う。バッチ業務は拡張記憶装置１１を使用して更新処理を行う。拡張記憶装置１１にないページを更新する場合は、拡張記憶装置１２から主記憶装置の入出力バッファ３２へページを入力して更新した後、拡張記憶装置１１へ出力する。バッチ業務が終了した場合、オンラインからのアクセスを拡張記憶装置１２から拡張記憶装置１１に切換え、拡張記憶装置１２は次のバッチ業務用に使用する。このように二つの拡張記憶装置の領域を交互に使用することにより、更新レコードリロードプロセスを拡張記憶装置の領域の論理的な交換だけで実現する。
【００６５】
次に図１４を用いて、障害回復プロセスの動作を説明する。障害が発生した場合、ファイル管理テーブルの拡張記憶装置アクセス状態フラグ情報を基に、拡張記憶装置１１を更新中だったか調べる（１４０１）。拡張記憶装置１１を更新中の場合は、拡張記憶装置１１の更新内容を無効化する（１４０２）ことにより、ファイルの内容をバッチ業務実行前の状態にする。ファイル２１を更新中の場合は更新ページリロードプロセスによって、拡張記憶装置１１からファイル２１へ更新ページを再度リロードして、ファイル２１の内容をバッチ業務実行後の状態にする。
【００６６】
前記実施例拡張記憶装置１１やファイル２１の代りに図１８に示すような複数のデータ処理装置間で共用可能な記憶媒体である独立型拡張記憶装置を使用した場合や、図２に示すように主記憶装置を使用した場合も同じ動作をする。
【００６７】
【発明の効果】
本発明によれば、オンライン処理への影響の少ないバッチ処理の実行とバッチ処理により更新されたレコードを反映することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例に係るファイル管理システムの構成図。
【図２】実施例に係る通常のオンラインでのデータの流れを示す図。
【図３】実施例に係るオンライン中にバッチ業務を実行する場合のデータの流れを示す図。
【図４】実施例に係るバッチ業務を実行した後の、ファイルへの更新レコードのリロードプロセスにおけるデータの流れを示す図。
【図５】実施例に係るファイルのバックアップ取得や多量のデータを抽出するバッチ業務を実行する場合のデータの流れを示す図。
【図６】実施例に係るファイルの記憶媒体としても拡張記憶装置を用いた場合のデータの流れを示す図。
【図７】実施例に係る拡張記憶装置の切離しプロセスの手順を示すフローチャート。
【図８】実施例に係る拡張記憶装置の再接続プロセスの手順を示すフローチャート。
【図９】実施例に係るレコード操作プロセスの手順を示すフローチャート。
【図１０】実施例に係るページ入力プロセスの手順を示すフローチャート。
【図１１】実施例に係るページ出力プロセスの手順を示すフローチャート。
【図１２】実施例に係る更新ページのリロードプロセスの手順を示すフローチャート。
【図１３】実施例に係るファイルのバックアップ及び多量データ検索プロセスの手順を示すフローチャート。
【図１４】実施例に係る障害回復プロセスの手順を示すフローチャート。
【図１５】実施例に係る業務開始プロセスの手順を示すフローチャート。
【図１６】実施例に係る業務終了プロセスの手順を示すフローチャート。
【図１７】実施例に係るシステムの全体的な構成の第１例を示す図。
【図１８】実施例に係るシステムの全体的な構成の第２例を示す図。
【図１９】実施例に係るファイル管理テーブルの構成を示す図。
【図２０】実施例に係るビットマップの構成を示す図。
【図２１】実施例に係る拡張記憶装置の代りに主記憶装置を使用した場合のデータの流れを示す図。
【図２２】実施例に係るファイルの再編成方式のデータの流れを示す図。
【図２３】実施例に係るファイルの構成変更方式のデータの流れを示す図。
【図２４】実施例に係るユーザ空間管理テーブルの構成を示す図。
【符号の説明】
１：拡張記憶装置、１１：拡張記憶装置内の領域、１２：拡張記憶装置内の領域、２１：ファイル、３：主記憶装置、３０１：主記憶装置、３０２：主記憶装置、３１：主記憶装置内の入出力バッファ、３２：主記憶装置内の入出力バッファ、３３：主記憶装置内の入出力バッファ、３４：主記憶装置内の入出力バッファ、４１：バックアップファイル、４２：アンロードファイル、５：データ処理装置、５１：データ処理装置、５２：データ処理装置。
【産業上の利用分野】
本発明は、オンライン処理でのデータの参照処理中にバッチ処理を行うデータ処理技術に関する。
【０００２】
【従来の技術】
従来、オンライン処理中に多量の更新を伴うバッチ業務を実行しようとすると、レコードの排他制御や、デバイスビジーによる待ちが発生し、オンライン業務の性能に影響を与えるため、夜間や休日にオンラインを停止してバッチ業務を実行していた。また、企業の国際化、トータルシステム化などの動きの中で、オンライン処理の２４時間連続運転化が急速に進展し、オンラインを停止する機会が失われつつある。そこで、特開平３−２６６０４６号公報に示されるように、ファイルを二重化し、参照用と更新用に交互に切換えて使用する方式がある。
【０００３】
【発明が解決しようとする課題】
かかる従来の方式においては、次のような課題がある。
【０００４】
すなわち、参照と更新の競合はなくなるが、更新時間そのものは変わらないため、多量更新を行うバッチ業務の実行に時間がかかる。
【０００５】
また、更新用ファイルから参照用ファイルへのコピー処理のため、トータルで考えるとファイルの入出力回数が、通常のバッチ業務の２倍程度に増える。さらに、更新用ファイルから参照用ファイルへのコピー処理中は、参照用ファイルのデバイスがビジーになる可能性が高く、参照主体のオンラインで待ちが発生し、オンライン業務のレスポンスが悪化する。
【０００６】
本発明の目的は、オンライン処理への影響の少ないバッチ処理の実行とバッチ処理における更新の反映を可能とすることにある。
【０００７】
本発明の他の目的は、オンライン業務のレスポンスに影響を与えずにバッチ業務を高速に実行できる方法を提供することにある。
【０００８】
本発明のさらに他の目的は、オンライン処理中にファイル内のレコードのつめかえ処理を実行できる方法を提供することにある。
【０００９】
本発明のさらに他の目的は、多量更新を行うバッチ業務の異常終了に備えたファイルのバックアップを不要にする回復方法を提供することにある。
【００１０】
本発明のさらに他の目的は、オンライン処理中に整合性の取れたファイルのバックアップを高速に取得する方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、請求項１から１０に示す構成は、前記課題を改善することを可能とする。
【００２２】
【作用】
通常のオンライン処理でのデータの参照は、拡張記憶装置に目的とするデータがあれば拡張記憶装置からデータを入力する。拡張記憶装置に目的とするデータがなければ、ファイルからデータを入力する。
【００２３】
オンライン処理で参照しているファイルに対して多量の更新を行う場合、拡張記憶装置をオンラインから切離し、オンラインはファイルから直接データを入力するパスに切替える。切離した拡張記憶装置を使用して多量更新を高速に行う。拡張記憶装置での更新が完了すると、オンラインに拡張記憶装置を再接続するとともに、拡張記憶装置の更新内容をファイルに反映する。
【００２４】
以上により、オンライン業務を中断することなく高速にファイルの多量更新ができる。また、オンラインに待ちを発生させずに、並行して高速なバッチ業務を実行できる。
【００２５】
さらに、拡張記憶装置の更新中に障害が発生した場合の回復は、拡張記憶装置の更新情報を無効にするだけである。また、拡張記憶装置の更新内容をファイルに反映する際に障害が発生した場合は、拡張記憶装置は、最新の状態になっているため、拡張記憶装置からファイルを回復する。以上により、多量更新ジョブの異常終了に備えたファイルのバックアップが不要になる。
【００２６】
【実施例】
本発明の実施例を図面を用いて詳細に説明する。
【００２７】
図１は、発明実施例の構成を示す図である。本発明はファイルの記憶媒体２１と、機械動作を伴わないでアクセス可能な記憶装置である拡張記憶装置に割当てた領域１１と主記憶装置に割当てた入出力バッファ３１，３２とを備える。
【００２８】
図２は、通常のオンラインでのデータの流れを示す図であり、ファイルの記憶媒体２１と拡張記憶装置１１と主記憶装置３１とを備える。
【００２９】
図３は、本発明の方式により、オンライン中にバッチ業務を実行する場合のデータの流れを示す図であり、ファイル２１と拡張記憶装置１１と主記憶装置３１と主記憶装置３２とを備える。
【００３０】
図４は、本発明の方式により、バッチ業務を実行した後の、ファイルへの更新レコードのリロ−ドプロセスにおけるデータの流れを示す図である。
【００３１】
図５は、本発明の方式により、ファイルのバックアップ取得や多量のデータを抽出するバッチ業務を実行する場合のデータの流れを示す図である。
【００３２】
図６は、本発明の方式により、ファイルの記憶媒体としても拡張記憶装置に割当てた領域１２を用いた場合のデータの流れを示す図である。
【００３３】
図７は、本発明実施例の拡張記憶装置の切離しプロセスの手順を示すフローチャートである。
【００３４】
図８は、本発明実施例の拡張記憶装置の再接続プロセスの手順を示すフローチャートである。
【００３５】
図９は、本発明実施例のレコード操作プロセスの手順を示すフローチャートである。
【００３６】
図１０は、本発明実施例のページ入力プロセスの手順を示すフローチャートである。
【００３７】
図１１は、本発明実施例のページ出力プロセスの手順を示すフローチャートである。
【００３８】
図１２は、本発明実施例の更新ページのリロードプロセスの手順を示すフローチャートである。
【００３９】
図１３は、本発明実施例のファイルのバックアップ及び多量データ検索プロセスの手順を示すフローチャートである。
【００４０】
図１４は、本発明実施例の障害回復プロセスの手順を示すフローチャートである。
【００４１】
図１５は、本発明実施例の業務開始プロセスの手順を示すフローチャートである。
【００４２】
図１６は、本発明実施例の業務終了プロセスの手順を示すフローチャートである。
【００４３】
図１７は、本発明実施例のシステムの全体的な構成を示す第１例であり、データ処理装置５と、外部記憶ファイル２１と、データ処理装置５内の主記憶装置３と拡張記憶装置１とを備える。主記憶装置３には、オンラインで使用する入出力バッファ３１と、バッチ専用の入出力バッファ３２と、ファイル管理テーブル１９１と、ユーザ空間管理テーブル２４１とを備える。拡張記憶装置１には、ファイル対応の領域１１，１２（１２はなくても良い）を備える。
【００４４】
図１８は、本発明実施例のシステムの全体的な構成を示す第２例であり、複数のデータ処理装置５１，５２と、外部記憶ファイル２１と、データ処理装置５１，５２内の主記憶装置３０１，３０２と複数のデータ処理装置間で共用可能な独立型の拡張記憶装置１とを備える。主記憶装置３０１には、オンラインで使用する入出力バッファ３１と、バッチ専用の入出力バッファ３２と、ファイル管理テーブル１９１と、ユーザ空間管理テーブル２４１とを備える。主記憶装置３０２にも主記憶装置３０１と同様に、オンラインで使用する入出力バッファ３３と、バッチ専用の入出力バッファ３４（なくても良い）と、ファイル管理テーブル１９２と、ユーザ空間管理テーブル２４２とを備える。拡張記憶装置１には、ファイル対応の領域１１，１２（１２はなくても良い）を備える。
【００４５】
図１９は、本発明実施例のファイル管理テーブルの構成を示す図である。ファイル管理テーブル１９１（または１９２）は、ファイル２１単位に主記憶装置３（または３０１，３０２）内に確保し、ファイル管理情報部と、拡張記憶装置管理情報部と、ビットマップとを備える。ファイル管理情報部は、拡張記憶装置に割当てる指定があるファイルかどうかを示す拡張記憶装置割当てフラグと、ファイルの更新権限を管理するファイル更新権限フラグと、拡張記憶装置管理情報部のアドレスと、バッチ用拡張記憶装置管理情報部のアドレス（バッチ専用の拡張記憶装置を新たに割当てていない場合は拡張記憶装置管理情報部のアドレスと同じ）とを備える。拡張記憶装置管理情報部は、拡張記憶装置のファイル対応の領域をバッチで占有しているかどうかを示す拡張記憶装置占有状態フラグと、拡張記憶装置の更新途中状態を管理する拡張記憶装置アクセス状態フラグと、拡張記憶装置内の領域を識別するための拡張記憶装置識別子と、該ファイル用に割当てた拡張記憶装置の領域のサイズを格納しておく拡張記憶装置割当てサイズと、拡張記憶装置内のページの状態を管理するためのビットマップへのアドレスを格納しておくビットマップアドレスとを備える。
【００４６】
図２０は、本発明実施例のビットマップの構成を示す図である。ビットマップは、拡張記憶装置の個々の領域に対応して主記憶装置内に保持する。ファイルの一つのページに対応して、拡張記憶装置にロード済みであることを示すロード済みフラグ、バッチ処理で更新した拡張記憶装置内のページであることを示すバッチ更新フラグ、拡張記憶装置内のアクセス不可能なページであることを示すアクセス禁止フラグ等のビット列を備え、さらにファイルのそれぞれのページ対応のビット列をファイルの全ページ数分保持する。
【００４７】
図２１は、本発明実施例の拡張記憶装置の代りに主記憶装置を使用した場合のデータの流れを示す図である。主記憶装置の一定領域をバッチ処理用として固定して用いている。
【００４８】
図２２は、本発明実施例に係るファイルの再編成方式のデータの流れを示す図である。バッチ業務の処理の流れにアンロードファイルへのレコードの吐き出し処理が加わる。拡張記憶装置をファイル再編成用の領域として固定し、レコードの並べ替え処理を行ってアンロードファイルへのレコードの吐き出しを行う。
【００４９】
図２３は、本発明実施例に係るファイルの構成変更方式のデータの流れを示す図である。バッチ業務の処理の流れにアンロードファイルへのレコードの吐き出しとファイルの構成変更のフェーズが加わる。
【００５０】
図２４は、本発明実施例のユーザ空間管理テーブルの構成を示す図である。ユーザ空間管理テーブルは、動作中のユーザ空間に対応して主記憶装置内に保持し、各ユーザ空間がバッチなのかオンラインなのか等を示す動作モード識別フラグ、拡張記憶装置を手動で切離して使用するのか自動的に切離して使用するのかを示す拡張記憶装置切離しモード、更新処理を行うのか参照処理だけなのかを示す処理種別フラグを備える。
【００５１】
次に、図１から図１４を用いて本実施例の動作を説明する。
【００５２】
まず、図１から図４を用いて、本実施例の全体的な動作を説明する。図２、図３及び図４は図１を個々のフェーズに分解したものである。オンラインでは、拡張記憶装置１１を主記憶装置３１とファイル２１の中間的な記憶域として位置付け、レコードを参照する場合は、目的とするレコードが格納されているページが拡張記憶装置１１にあれば拡張記憶装置１１からページを入力し、拡張記憶装置１１にないページはファイル２１から主記憶装置３１へ入力するとともに拡張記憶装置１１に出力する。レコードを更新した場合は、ファイル２１へ出力するとともに拡張記憶装置１１へも出力する。バッチ業務を実行する場合は、拡張記憶装置切離しプロセスにより拡張記憶装置１１をオンラインから切離すとともに、ファイルの更新権限を「バッチ限定」に切替える。この時点から、オンラインでページの入力要因が発生すると、拡張記憶装置１１は使用しないでファイル２１から主記憶装置３１にページを入力する。一方、バッチ業務でレコードの入力を行う場合は、拡張記憶装置１１に該当するページがあれば拡張記憶装置１１から主記憶装置の入出力バッファ３２にページを入力し、拡張記憶装置１１にないページはファイル２１から主記憶装置の入出力バッファ３２に入力するとともに拡張記憶装置１１に出力する。バッチ業務でレコードを更新した場合は、拡張記憶装置１１へページを出力するが、ファイル２１へは出力しない。バッチ業務での更新処理が終了すると、オンラインの参照をファイル２１から拡張記憶装置１１に切替えるとともに拡張記憶装置１１に格納されている更新ページを更新ページリロードプロセスによりファイル２１へ一括してリロードする。更新ページのリロードが完了すると、拡張記憶装置再接続プロセスによりオンラインに拡張記憶装置１１を再接続してオンラインの更新禁止状態を解除する。
【００５３】
次に図１５を用いて、業務開始プロセスの手順を説明する。まず、バッチであるかオンラインであるか等を示す動作モード、拡張記憶装置の切離しを自動的に行うかファイル管理システムの利用者が手動で行うかを示す拡張記憶装置切離しモード、ファイルを更新するかどうかを示す処理種別を制御文（１５０１）として入力する（１５０２）。動作モードを調べ（１５０３）、「バッチ」の場合、ユーザ空間管理テーブルの動作モード識別フラグを「バッチ」に設定する（１５０４）。
【００５４】
次に拡張記憶装置切離しモードを調べ（１５０６）、「自動」であれば拡張記憶装置切離しプロセス（１５０６）により、拡張記憶装置をオンラインから切離す（または新たな拡張記憶装置の領域を割当てる）。
【００５５】
次に処理種別を調べ（１５０７）、「更新」であればファイル管理テーブルの拡張記憶装置管理情報部の拡張記憶装置アクセス状態フラグを「バッチ更新中」に設定する（１５０８）。
【００５６】
次に図１６を用いて業務終了プロセスの手順を説明する。まず、ユーザ空間管理テーブルの動作モード識別フラグが「バッチ」になっているか調べる（１６０１）。「バッチ」になっている場合は、ファイル管理テーブルの拡張記憶装置管理情報部の拡張記憶装置アクセス状態フラグの「バッチ更新中」を解除する（１６０２）。次に、ユーザ空間管理テーブルの動作モード識別フラグの「バッチ」を解除する（１６０３）。
【００５７】
次に図７を用いて、オンラインからの拡張記憶装置の切離しプロセスの手順を説明する。ファイル管理システムの利用者又は業務プロセス（バッチ処理）から拡張記憶装置の切離し要求があると（７０１）、まずファイル管理テーブルの拡張記憶装置割当てフラグが「割当て」状態になっているか調べる（７０２）。割当て状態になっていれば、新たな拡張記憶装置の領域を使用する要求か調べる（７０３）。新たな拡張記憶装置の領域を使用する要求であれば、新たな拡張記憶装置の領域を割当て（７０４）、バッチ用の拡張記憶装置管理情報部を作成（７０５）した後、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスに新たな拡張記憶装置の領域に対応した拡張記憶装置管理情報部のアドレスをセットする（７０６）。ファイル管理テーブルの拡張記憶装置割当てフラグが「割当て」状態になっていない場合も同様に、新たな拡張記憶装置の領域を割当て（７０４）、バッチ用の拡張記憶装置管理情報部を作成（７０５）した後、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスに新たな拡張記憶装置の領域に対応したＥＳ管理情報部のアドレスをセットする（７０６）。新たなＥＳの領域を使用する要求でない場合は、バッチ専用ＥＳ管理情報部アドレスにＥＳ管理情報部アドレスをセットする（７０７）。ファイル管理テーブルの拡張記憶装置占有状態フラグを、「バッチ占有」状態に設定する（７０８）。これにより、オンラインからは拡張記憶装置１１をアクセスできなくなる。さらに、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグを「バッチ限定」に設定（７０９）してバッチ以外からの更新要求を抑止する。
【００５８】
次に図８を用いて、オンラインへの拡張記憶装置の再接続プロセスの手順を説明する。拡張記憶装置の再接続指示が入力されると（８０１）、まずファイル管理テーブルの拡張記憶装置占有状態フラグの「バッチ占有」状態を解除する（８０２）。これにより、オンラインから拡張記憶装置１１を参照できる。さらに、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグの「バッチ限定」状態を解除する（８０３）。これにより、オンラインから拡張記憶装置１１の更新も可能になる。次に、ファイル管理テーブルの拡張記憶装置管理情報部アドレスとバッチ用拡張記憶装置管理情報部アドレスが一致しているか調べる（８０４）。一致していれば、ファイル管理テーブルの拡張記憶装置割当てフラグが「割当て」状態になっているか調べる（８０５）。「割当て」状態になっていればファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスをクリアする（８０６）。「割当て」状態になっていなければ、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスをクリアして（８０７）、バッチ用拡張記憶装置管理情報部を解放（８０８）した後バッチ用拡張記憶装置管理情報部に対応する拡張記憶装置の領域を削除する（８０９）。ファイル管理テーブルの拡張記憶装置管理情報部アドレスとバッチ用拡張記憶装置管理情報部アドレスが一致していない場合も同様に、ファイル管理テーブルのバッチ用拡張記憶装置管理情報部アドレスをクリアして（８０７）、バッチ用拡張記憶装置管理情報部を解放（８０８）した後バッチ用拡張記憶装置管理情報部に対応する拡張記憶装置の領域を削除する（８０９）。
【００５９】
次に図９を用いて、レコード操作プロセスの手順を説明する。レコードの参照要求（９０１）の場合、目的のレコードが格納されているページが主記憶装置の入出力バッファ３１（バッチの場合は主記憶装置３２）にあるかどうか調べる（９０２）。主記憶装置の入出力バッファ３１，３２にあれば、入出力バッファ中のページを参照する（９０４）。主記憶装置の入出力バッファ３１，３２の入出力バッファにないページの場合、ページ入力プロセス（９０３）により、主記憶装置３１，３２の入出力バッファにページを入力した後ページを参照する（９０４）。レコードの更新要求の場合（９０１）、ユーザ空間管理テーブルの動作モード識別フラグによりバッチ処理であるか調べる（９０５）。バッチ処理でない場合、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグを調べ（９０６）、更新権限が「バッチ限定」状態であれば、レコードの更新要求をエラーにする（９０７）。「バッチ限定」状態でなければページ出力プロセス（９０８）により更新ページを出力する。バッチ処理の場合、ページ出力プロセス（９０９）により更新ページを出力する。
【００６０】
次に図１０を用いて、ページ入力プロセス（９０３）の詳細を説明する。まずユーザ空間管理テーブルの動作モード識別フラグによりバッチ処理であるか調べる（１００１）。バッチ処理でない場合、ファイル管理テーブルの拡張記憶装置占有状態フラグが「バッチ占有」状態になっていないか調べ（１００２）、「バッチ占有」状態になっている場合はファイル２１から主記憶装置３１にページを入力する（１００３）。「バッチ占有」状態になっていない場合は、拡張記憶装置１１に該当ページがあるかビットマップ（図２０で示すように、複数のビットがそれぞれファイルの一つのページに対応してそれぞれ複数のビット列を持ち、拡張記憶装置中のページの更新状態等を管理するテーブル）を調べ（１００４）、拡張記憶装置１１に該当ページがある場合は、拡張記憶装置１１から主記憶装置３１へページを入力する（１００５）。拡張記憶装置１１に該当ページがない場合は、ファイル２１から主記憶装置３１へページを入力（１００６）した後、主記憶装置の入出力バッファ３１から拡張記憶装置１１へ該当ページを出力する（１００７）。バッチ処理の場合、拡張記憶装置１１に該当ページがあるか調べ（１００８）、拡張記憶装置１１に該当ページがある場合は、拡張記憶装置１１から主記憶装置３２へページを入力する（１００９）。拡張記憶装置１１に該当ページがない場合は、ファイル２１から主記憶装置の入出力バッファ３２へページを入力（１０１０）した後、主記憶装置の入出力バッファ３２から拡張記憶装置１１へ該当ページを出力する（１０１１）。
【００６１】
次に図１１を用いて、ページ出力プロセス（９０８，９０９）の詳細を説明する。まず、ユーザ空間管理テーブルの動作モード識別フラグによりバッチ処理であるか調べる（１１０１）。バッチ処理でない場合、ファイル管理テーブルのファイル管理情報部のファイル更新権限フラグを調べ（１１０２）、更新権限が「バッチ限定」状態になっている場合、更新要求をエラーにする（１１０３）。更新権限が「バッチ限定」状態になっていない場合は、主記憶装置の入出力バッファ３１からファイル２１へページを出力（１１０４）した後、主記憶装置の入出力バッファ３１から拡張記憶装置１１へもページを出力する（１１０５）。バッチ処理の場合は、ファイルの管理テーブルの拡張記憶装置占有状態フラグが「バッチ占有」状態になっているか調べ（１１０６）、「バッチ占有」状態になっている場合は、主記憶装置の入出力バッファ３２から拡張記憶装置１１へページを出力する（１１０７）。「バッチ占有」状態になっていない場合は、主記憶装置の入出力バッファ３２からファイル２１へページを出力（１１０８）した後、主記憶装置の入出力バッファ３２から拡張記憶装置１１へページを出力する（１１０９）。
【００６２】
次に、図１２を用いて拡張記憶装置１１の更新ページをファイル２１へ書き込む更新ページリロードプロセスの動作を説明する。まず、ファイル管理テーブルの拡張記憶装置占有状態フラグの「バッチ占有」状態を解除する（１２０１）。この時点でオンラインから拡張記憶装置１１を参照できる。次に、拡張記憶装置１１上の更新ページをビットマップに基づいて全てファイル２１へ出力する（１２０２）。
【００６３】
次に図５と図１３を用いて、オンライン処理中の高速なバックアップ取得及びバッチ業務で多量データの検索を行う場合の動作を説明する。まず、拡張記憶装置切離しプロセスによって、拡張記憶装置１１をオンラインから切離す（１３０１）。次に、拡張記憶装置１１にないページをビットマップにより求め、ファイル２１から主記憶装置の入出力バッファ３２を経由して拡張記憶装置１１へロードする（１３０２）。この時点で拡張記憶装置１１にはファイル２１の全ページが存在するため、ファイル２１のバックアップや、検索は拡張記憶装置１１から主記憶装置の入出力バッファ３２への転送だけになる。ファイル２１のバックアップを取得する場合は、拡張記憶装置１１から全ページを主記憶装置の入出力バッファ３２へ入力（１３０３）しながらバックアップファイル４１へ出力する。次に、拡張記憶装置再接続プロセスによって拡張記憶装置をオンラインへ再接続する（１３０４）。
【００６４】
次に図６を用いて、ファイル２１の記憶媒体としても拡張記憶装置を用いた場合のオンライン中のバッチ業務の更新動作を説明する。オンラインは拡張記憶装置１２から主記憶装置の入出力バッファ３１にページを入力してファイル２１の参照を行う。バッチ業務は拡張記憶装置１１を使用して更新処理を行う。拡張記憶装置１１にないページを更新する場合は、拡張記憶装置１２から主記憶装置の入出力バッファ３２へページを入力して更新した後、拡張記憶装置１１へ出力する。バッチ業務が終了した場合、オンラインからのアクセスを拡張記憶装置１２から拡張記憶装置１１に切換え、拡張記憶装置１２は次のバッチ業務用に使用する。このように二つの拡張記憶装置の領域を交互に使用することにより、更新レコードリロードプロセスを拡張記憶装置の領域の論理的な交換だけで実現する。
【００６５】
次に図１４を用いて、障害回復プロセスの動作を説明する。障害が発生した場合、ファイル管理テーブルの拡張記憶装置アクセス状態フラグ情報を基に、拡張記憶装置１１を更新中だったか調べる（１４０１）。拡張記憶装置１１を更新中の場合は、拡張記憶装置１１の更新内容を無効化する（１４０２）ことにより、ファイルの内容をバッチ業務実行前の状態にする。ファイル２１を更新中の場合は更新ページリロードプロセスによって、拡張記憶装置１１からファイル２１へ更新ページを再度リロードして、ファイル２１の内容をバッチ業務実行後の状態にする。
【００６６】
前記実施例拡張記憶装置１１やファイル２１の代りに図１８に示すような複数のデータ処理装置間で共用可能な記憶媒体である独立型拡張記憶装置を使用した場合や、図２に示すように主記憶装置を使用した場合も同じ動作をする。
【００６７】
【発明の効果】
本発明によれば、オンライン処理への影響の少ないバッチ処理の実行とバッチ処理により更新されたレコードを反映することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例に係るファイル管理システムの構成図。
【図２】実施例に係る通常のオンラインでのデータの流れを示す図。
【図３】実施例に係るオンライン中にバッチ業務を実行する場合のデータの流れを示す図。
【図４】実施例に係るバッチ業務を実行した後の、ファイルへの更新レコードのリロードプロセスにおけるデータの流れを示す図。
【図５】実施例に係るファイルのバックアップ取得や多量のデータを抽出するバッチ業務を実行する場合のデータの流れを示す図。
【図６】実施例に係るファイルの記憶媒体としても拡張記憶装置を用いた場合のデータの流れを示す図。
【図７】実施例に係る拡張記憶装置の切離しプロセスの手順を示すフローチャート。
【図８】実施例に係る拡張記憶装置の再接続プロセスの手順を示すフローチャート。
【図９】実施例に係るレコード操作プロセスの手順を示すフローチャート。
【図１０】実施例に係るページ入力プロセスの手順を示すフローチャート。
【図１１】実施例に係るページ出力プロセスの手順を示すフローチャート。
【図１２】実施例に係る更新ページのリロードプロセスの手順を示すフローチャート。
【図１３】実施例に係るファイルのバックアップ及び多量データ検索プロセスの手順を示すフローチャート。
【図１４】実施例に係る障害回復プロセスの手順を示すフローチャート。
【図１５】実施例に係る業務開始プロセスの手順を示すフローチャート。
【図１６】実施例に係る業務終了プロセスの手順を示すフローチャート。
【図１７】実施例に係るシステムの全体的な構成の第１例を示す図。
【図１８】実施例に係るシステムの全体的な構成の第２例を示す図。
【図１９】実施例に係るファイル管理テーブルの構成を示す図。
【図２０】実施例に係るビットマップの構成を示す図。
【図２１】実施例に係る拡張記憶装置の代りに主記憶装置を使用した場合のデータの流れを示す図。
【図２２】実施例に係るファイルの再編成方式のデータの流れを示す図。
【図２３】実施例に係るファイルの構成変更方式のデータの流れを示す図。
【図２４】実施例に係るユーザ空間管理テーブルの構成を示す図。
【符号の説明】
１：拡張記憶装置、１１：拡張記憶装置内の領域、１２：拡張記憶装置内の領域、２１：ファイル、３：主記憶装置、３０１：主記憶装置、３０２：主記憶装置、３１：主記憶装置内の入出力バッファ、３２：主記憶装置内の入出力バッファ、３３：主記憶装置内の入出力バッファ、３４：主記憶装置内の入出力バッファ、４１：バックアップファイル、４２：アンロードファイル、５：データ処理装置、５１：データ処理装置、５２：データ処理装置。
Claims (4)
- 第１の記憶手段と第２の記憶手段とを備え、前記第１の記憶手段にはレコードが格納され、オンライン処理とバッチ処理による前記格納されたレコードの参照および更新を行うデータ処理装置におけるデータ処理方法において、
前記バッチ処理の開始後に前記オンライン処理からの第１の記憶手段へのアクセスは参照を許可して更新を禁止し、
前記バッチ処理からのアクセス要求の入力に応じて、処理対象となる前記第１の記憶手段に格納されたレコードを参照し、前記バッチ処理により更新されたレコードを前記第２の記憶手段に格納し、
前記バッチ処理が終了した後に前記第２の記憶手段に格納されたレコードを前記第１の記憶手段へリロードし、該リロード終了後に前記オンライン処理から第１の記憶手段へのアクセスは参照および更新を許可することを特徴とするデータ処理方法。 - 前記バッチ処理のアクセス要求の入力に応じて、処理対象のレコードが前記第２の記憶手段に格納されているか判定し、該対象レコードが格納されている場合は前記第２の記憶手段から該対象レコードを参照し、該対象レコードが格納されていない場合は前記第１の記憶手段から該対象レコードを参照することを特徴とする請求項１記載のデータ処理方法。
- 第１の記憶手段と第２の記憶手段とを備え、前記第１の記憶手段にはレコードが格納され、オンライン処理とバッチ処理による前記格納されたレコードの参照と更新を行う手段と、
前記バッチ処理の開始後に前記オンライン処理からの第１の記憶手段へのアクセスは参照を許可して更新を禁止する手段と、
前記バッチ処理からのアクセス要求の入力に応じて、処理対象となる前記第１の記憶手段に格納されたレコードを参照し、前記バッチ処理により更新されたレコードを前記第２の記憶手段に格納する手段と、
前記バッチ処理が終了した後に前記第２の記憶手段に格納されたレコードを前記第１の記憶手段へリロードし、該リロード終了後に前記オンライン処理から第１の記憶手段へのアクセスは参照および更新を許可する手段とを備えたことを特徴とするデータ処理装置。 - 前記バッチ処理のアクセス要求の入力に応じて、処理対象のレコードが前記第２の記憶手段に格納されているか判定し、該対象レコードが格納されている場合は前記第２の記憶手段から該対象レコードを参照し、該対象レコードが格納されていない場合は前記第１の記憶手段から該対象レコードを参照する手段を備えたことを特徴とする請求項３記載のデータ処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28577692A JP3612339B2 (ja) | 1992-10-23 | 1992-10-23 | データ処理方法および装置 |
| US08/138,105 US5504888A (en) | 1992-10-23 | 1993-10-20 | File updating system employing the temporary connection and disconnection of buffer storage to extended storage |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28577692A JP3612339B2 (ja) | 1992-10-23 | 1992-10-23 | データ処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06139120A JPH06139120A (ja) | 1994-05-20 |
| JP3612339B2 true JP3612339B2 (ja) | 2005-01-19 |
Family
ID=17695922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28577692A Expired - Fee Related JP3612339B2 (ja) | 1992-10-23 | 1992-10-23 | データ処理方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5504888A (ja) |
| JP (1) | JP3612339B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5544347A (en) | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
| US5673381A (en) * | 1994-05-27 | 1997-09-30 | Cheyenne Software International Sales Corp. | System and parallel streaming and data stripping to back-up a network |
| US6240451B1 (en) * | 1995-05-25 | 2001-05-29 | Punch Networks Corporation | Method and apparatus for automatically disseminating information over a network |
| US5694596A (en) | 1995-05-25 | 1997-12-02 | Kangaroo, Inc. | On-line database updating network system and method |
| US5897635A (en) * | 1995-06-07 | 1999-04-27 | International Business Machines Corp. | Single access to common user/application information |
| US5842196A (en) * | 1996-04-03 | 1998-11-24 | Sybase, Inc. | Database system with improved methods for updating records |
| US6101497A (en) | 1996-05-31 | 2000-08-08 | Emc Corporation | Method and apparatus for independent and simultaneous access to a common data set |
| US5940813A (en) * | 1996-07-26 | 1999-08-17 | Citibank, N.A. | Process facility management matrix and system and method for performing batch, processing in an on-line environment |
| US6182151B1 (en) | 1996-07-29 | 2001-01-30 | International Business Machines Corporation | Method and apparatus for batch storage of objects in a client-server storage management system |
| JPH10260876A (ja) * | 1997-03-19 | 1998-09-29 | Hitachi Ltd | データベースのデータ構造及びデータベースのデータ処理方法 |
| US6606626B1 (en) | 1998-10-20 | 2003-08-12 | Sybase, Inc. | Database system with lock manager enhancement for improving concurrency |
| US6363387B1 (en) | 1998-10-20 | 2002-03-26 | Sybase, Inc. | Database system providing methodology for enhancing concurrency using row update bit and deferred locking |
| US6631366B1 (en) | 1998-10-20 | 2003-10-07 | Sybase, Inc. | Database system providing methodology for optimizing latching/copying costs in index scans on data-only locked tables |
| EP1208482A4 (en) * | 1998-11-30 | 2002-05-29 | Siebel Systems Inc | CLIENT-SERVER SYSTEM WITH CUSTOMER ARCHITECTURE |
| KR100528409B1 (ko) * | 1998-12-16 | 2006-01-27 | 주식회사 인프라밸리 | 통신 시스템에서 고객서비스 과금시스템과 백업용 홈위치등록기간의 화일 입/출력 방법 |
| US6411964B1 (en) * | 1998-12-23 | 2002-06-25 | International Business Machines Corporation | Methods for in-place online reorganization of a database |
| US6209002B1 (en) | 1999-02-17 | 2001-03-27 | Emc Corporation | Method and apparatus for cascading data through redundant data storage units |
| US6591269B1 (en) | 1999-05-19 | 2003-07-08 | Sybase, Inc. | Database system with methodology for online index rebuild |
| US6850953B1 (en) * | 1999-08-23 | 2005-02-01 | Sun Microsystems, Inc. | Creating multiple sets of data by spawning a secondary virtual machine |
| JP2003532169A (ja) * | 1999-10-12 | 2003-10-28 | シーエムエス ペリフェラルズ インコーポレイテッド | 自動バックアップシステム |
| US6490578B1 (en) | 2000-04-05 | 2002-12-03 | Sybase, Inc. | Database system with methodology for high-performance date |
| US6711572B2 (en) | 2000-06-14 | 2004-03-23 | Xosoft Inc. | File system for distributing content in a data network and related methods |
| EP1193962A1 (en) * | 2000-09-21 | 2002-04-03 | Siemens Aktiengesellschaft | Transmission of real-time data from a network element to an application server with recovery method for link failure |
| US20040010524A1 (en) * | 2002-07-12 | 2004-01-15 | Wallace Michael W. | Efficient method and system for delivering resources in broadcast environment |
| US7668876B1 (en) * | 2003-04-25 | 2010-02-23 | Symantec Operating Corporation | Snapshot-based replication infrastructure for efficient logging with minimal performance effect |
| US20090217272A1 (en) * | 2008-02-26 | 2009-08-27 | Vita Bortnikov | Method and Computer Program Product for Batch Processing |
| CN107193543B (zh) * | 2017-03-31 | 2020-05-22 | 北京奇艺世纪科技有限公司 | 一种批量操作执行方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4638424A (en) * | 1984-01-12 | 1987-01-20 | International Business Machines Corporation | Managing data storage devices connected to a digital computer |
| US5127094A (en) * | 1987-11-09 | 1992-06-30 | Hitachi, Ltd. | Virtual storage type computer system |
| US4949278A (en) * | 1988-12-29 | 1990-08-14 | International Business Machines Corporation | Expert system architecture |
| JP3453757B2 (ja) * | 1989-05-29 | 2003-10-06 | 株式会社日立製作所 | バッファ管理方法 |
| US5150472A (en) * | 1989-10-20 | 1992-09-22 | International Business Machines Corp. | Cache management method and apparatus for shared, sequentially-accessed, data |
| US5317706A (en) * | 1989-11-15 | 1994-05-31 | Ncr Corporation | Memory expansion method and apparatus in a virtual memory system |
| US5220665A (en) * | 1990-04-30 | 1993-06-15 | International Business Machines Corporation | Method and system for supporting concurrent use during sequential batch applications utilizing persistent cursors |
| US5317731A (en) * | 1991-02-25 | 1994-05-31 | International Business Machines Corporation | Intelligent page store for concurrent and consistent access to a database by a transaction processor and a query processor |
| US5287496A (en) * | 1991-02-25 | 1994-02-15 | International Business Machines Corporation | Dynamic, finite versioning for concurrent transaction and query processing |
| US5325523A (en) * | 1991-04-10 | 1994-06-28 | International Business Machines Corporation | Method for deleting objects from library resident optical disks by accumulating pending delete requests |
-
1992
- 1992-10-23 JP JP28577692A patent/JP3612339B2/ja not_active Expired - Fee Related
-
1993
- 1993-10-20 US US08/138,105 patent/US5504888A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5504888A (en) | 1996-04-02 |
| JPH06139120A (ja) | 1994-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3612339B2 (ja) | データ処理方法および装置 | |
| US7437603B2 (en) | Method for restoring snapshot in a storage system | |
| US5175849A (en) | Capturing data of a database system | |
| US5535381A (en) | Apparatus and method for copying and restoring disk files | |
| US7325110B2 (en) | Method for acquiring snapshot | |
| CN100557580C (zh) | 用于快闪存储器的记入后直写式高速缓存 | |
| US7330947B2 (en) | Method and apparatus for backing up data in virtual storage medium | |
| US7099875B2 (en) | Method and apparatus for making independent data copies in a data processing system | |
| JPS6367686B2 (ja) | ||
| JP4108944B2 (ja) | スナップショット機能を有するディスク記憶装置、スナップショット差分情報管理方法及びスナップショット管理プログラム | |
| EP1079297A2 (en) | Digital data subsystem including directory for efficiently providing formatting information for stored records | |
| JP3609841B2 (ja) | ファイル管理装置 | |
| JPH07319627A (ja) | 外部記憶装置 | |
| JPH0622015B2 (ja) | データ処理システムの制御方法 | |
| US7395283B1 (en) | Method and apparatus for making independent data copies in a data processing system | |
| EP0351109A2 (en) | Reducing resources in a high reliability data storage subsystem | |
| JPH033046A (ja) | ログ記録管理方式 | |
| US7042582B1 (en) | Printer and printer data processing method | |
| JPH06309209A (ja) | ファイルバックアップ方式 | |
| JP2002297321A (ja) | ディスク装置、データバックアップ方法およびプログラム | |
| JP3460265B2 (ja) | 計算機間のデータ引き継ぎ方法 | |
| JP4131579B2 (ja) | データ管理システムおよびデータ管理方法 | |
| JP3092663B2 (ja) | 主記憶スワッピング方式 | |
| JP2817911B2 (ja) | キー付ファイルのアクセス制御方式 | |
| JPH11306053A (ja) | データ転送方法およびそれを実施する情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041025 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071029 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |