JP4512201B2 - データ処理方法及びシステム - Google Patents
データ処理方法及びシステム Download PDFInfo
- Publication number
- JP4512201B2 JP4512201B2 JP2007330412A JP2007330412A JP4512201B2 JP 4512201 B2 JP4512201 B2 JP 4512201B2 JP 2007330412 A JP2007330412 A JP 2007330412A JP 2007330412 A JP2007330412 A JP 2007330412A JP 4512201 B2 JP4512201 B2 JP 4512201B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage device
- control unit
- processing
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4418—Suspend and resume; Hibernate and awake
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System (AREA)
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本実施例ではデータ処理システムを起動している間中、データの処理状況に応じて統計情報を更新する構成で説明したが、システム起動直後の一定時間内だけ統計情報を取得するようにしてもよい。業務の進行状況に応じて必要となるデータは異なる場合があり、システム起動時の参照されやすさは起動直後の統計情報を用いた方が高精度となる場合がある。
203…データアンロード制御部、203a…データアンロード制御部、203b…データアンロード制御部、204…データ統計情報格納領域、205…データ管理情報格納領域、206…データ本体格納領域、207…参照確率格納領域、208…統計情報更新部、209…データ処理実行部、209b…データ処理実行部、210…初期データロード部、211…管理情報ロード部、212…データ本体ロード部、213…参照確率算出部、214…管理情報アンロード部、215…データ本体アンロード部、215a…データ本体アンロード部、215b…データ本体アンロード部、216…データ管理情報、217…データ本体、218…原本データ、700…不揮発性メモリ、701…揮発性メモリ、1100…外部記憶装置、1200…データ本体、1201…未ロードデータ取得部。
Claims (12)
- 外部記憶装置と、前記外部記憶装置と接続し、主記憶装置を有し、前記主記憶装置上のデータに対して処理を実行するデータ処理サーバとを含むデータ処理システムにおけるデータ処理方法であって、
前記データ処理サーバのシステム制御部は、該データ処理サーバのOSが起動し、起動された前記OSにより前記主記憶装置上にロードされて起動され、前記データに対する処理要求の有無に関わらず、前記外部記憶装置に参照確率の降順に連続領域に格納された、前記データを含む一連のデータを連続的に読み出して前記主記憶装置へロードするデータロード制御部の実行と並行して、該システム制御部からの前記データに対する前記処理要求を受け付けるデータ処理制御部を実行し、
前記処理要求に対応する前記データが、前記データロード制御部の実行によって前記主記憶装置へロードされていないとき、前記データロード制御部の実行によって前記データが前記主記憶装置へロードされた後に、前記データ処理制御部が前記主記憶装置へロードされた前記データに対して前記処理要求に対応する処理を実行し、
前記システム制御部は、システム終了コマンドが入力されると、前記データ処理制御部によるデータ処理を終了させ、前記一連のデータを前記主記憶装置から前記外部記憶装置へアンロードするアンロード制御部を実行し、
前記アンロード制御部は、前記データ処理サーバに接続する入力装置からの入力情報及び前記データの処理に関する統計情報の少なくとも一方に基づいて、前記データの参照のされやすさを数値化した前記参照確率を求め、
前記アンロード制御部は、前記データを含む前記一連のデータを、前記主記憶装置から、前記データロード制御部によって前記参照確率の降順に連続的に読み出される前記外部記憶装置へ前記参照確率の降順にアンロードすることを特徴とするデータ処理方法。 - 前記データの処理に関する統計情報には、前記参照確率に反映する前記データの処理回数及び前記データの処理日時の少なくとも一方を含むことを特徴とする請求項1記載のデータ処理方法。
- 前記データロード制御部は、前記外部記憶装置から前記参照確率の降順に連続的に読み出される前記データの前記主記憶装置上への格納に応答して、前記データを管理するための管理情報に、前記データ処理制御部が前記処理要求に対応する前記データが前記主記憶装置へロードされているかを判定するために用いる、前記データの前記主記憶装置上の格納アドレスを設定することを特徴とする請求項2記載のデータ処理方法。
- 前記外部記憶装置へアンロードされた前記一連のデータを、前記データロード制御部が前記主記憶装置へロードするときに参照する前記管理情報は、前記主記憶装置を構成する不揮発メモリによる記憶領域に格納されることを特徴とする請求項3記載のデータ処理方法。
- 前記アンロード制御部は、前記一連のデータを、前記データロード制御部によって連続的に読み出される前記外部記憶装置へ前記主記憶装置から前記参照確率の降順にアンロードすると共に、前記データ処理制御部がランダム読み込みする、前記データ処理サーバに接続する他の外部記憶装置へ前記主記憶装置からアンロードすることを特徴とする請求項2記載のデータ処理方法。
- 前記データ処理システムの再起動時に、前記データ処理サーバの前記システム制御部が、前記外部記憶装置へアンロードされた前記一連のデータを、前記データロード制御部を実行して前記主記憶装置へロードして、前記データ処理制御部の処理を再開するとき、前記主記憶装置へロードする前記一連のデータを前記外部記憶装置から前記参照確率の降順に連続的に読み出す前記データロード制御部の実行と並行して、前記システム制御部からの他のデータに対する他の処理要求を受け付ける前記データ処理制御部を実行し、
前記他の処理要求に対応する前記他のデータが、前記データロード制御部によって前記主記憶装置へロードされていないとき、前記データ処理制御部が、前記他のデータを前記他の外部記憶装置から前記主記憶装置へ読み出すことを特徴とする請求項5記載のデータ処理方法。 - 外部記憶装置と、前記外部記憶装置と接続し、主記憶装置を有し、前記主記憶装置上のデータに対して処理を実行するデータ処理サーバとを含むデータ処理システムであって、
前記データ処理サーバのシステム制御部により実行される、前記データに対する処理要求の有無に関わらず、前記外部記憶装置に参照確率の降順に連続領域に格納された、前記データを含む一連のデータを連続的に読み出して前記主記憶装置へロードするデータロード制御部と、
前記データロード制御部の実行と並行して、該システム制御部からの前記データに対する前記処理要求を受け付けるデータ処理制御部とを有し、
前記処理要求に対応する前記データが、前記データロード制御部の実行によって前記主記憶装置へロードされていないとき、前記データロード制御部の実行によって前記データが前記主記憶装置へロードされた後に、前記データ処理制御部は、前記主記憶装置へロードされた前記データに対して前記処理要求に対応する処理を実行し、
前記システム制御部は、システム終了コマンドが入力されると、前記データ処理制御部によるデータ処理を終了させ、前記一連のデータを前記主記憶装置から前記外部記憶装置へアンロードするアンロード制御部を実行し、
前記アンロード制御部は、前記データ処理サーバに接続する入力装置からの入力情報及び前記データの処理に関する統計情報の少なくとも一方に基づいて、前記データの参照のされやすさを数値化した前記参照確率を求め、
前記アンロード制御部は、前記データを含む前記一連のデータを、前記主記憶装置から、前記データロード制御部によって前記参照確率の降順に連続的に読み出される前記外部記憶装置へ前記参照確率の降順にアンロードすることを特徴とするデータ処理システム。 - 前記データの処理に関する統計情報には、前記参照確率に反映する前記データの処理回数及び前記データの処理日時の少なくとも一方を含むことを特徴とする請求項7記載のデータ処理システム。
- 前記データロード制御部は、前記外部記憶装置から前記参照確率の降順に連続的に読み出される前記データの前記主記憶装置上への格納に応答して、前記データを管理するための管理情報に、前記データ処理制御部が前記処理要求に対応する前記データが前記主記憶装置へロードされているかを判定するための、前記データの前記主記憶装置上の格納アドレスを設定することを特徴とする請求項8記載のデータ処理システム。
- 前記外部記憶装置へアンロードされた前記一連のデータを、前記データロード制御部が前記主記憶装置へロードするときに参照する前記管理情報は、前記主記憶装置を構成する不揮発メモリによる記憶領域に格納されることを特徴とする請求項9記載のデータ処理システム。
- 前記アンロード制御部は、前記一連のデータを、前記データロード制御部によって連続的に読み出される前記外部記憶装置へ前記主記憶装置から前記参照確率の降順にアンロードすると共に、前記データ処理制御部がランダム読み込みする、前記データ処理サーバに接続する他の外部記憶装置へ前記主記憶装置からアンロードすることを特徴とする請求項8記載のデータ処理システム。
- 前記データ処理システムの再起動時に、前記データ処理サーバの前記システム制御部は、前記外部記憶装置へアンロードされた前記一連のデータを、前記データロード制御部を実行して前記主記憶装置へロードして、前記データ処理制御部の処理を再開するとき、前記主記憶装置へロードする前記一連のデータを、前記外部記憶装置から前記参照確率の降順の連続的な読み出す前記データロード制御部の実行と並行して、前記システム制御部は、前記システム制御部からの他のデータに対する他の処理要求を受け付ける前記データ処理制御部を実行し、
前記他の処理要求に対応する前記他のデータが、前記データロード制御部によって前記主記憶装置へロードされていないとき、前記データ処理制御部は前記他のデータを前記他の外部記憶装置から前記主記憶装置へ読み出すことを特徴とする請求項11記載のデータ処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007330412A JP4512201B2 (ja) | 2007-12-21 | 2007-12-21 | データ処理方法及びシステム |
US12/048,713 US8191066B2 (en) | 2007-12-21 | 2008-03-14 | Continuously loading series of data whether data is requested or not, in response to end command unloading the data in descendent order of reference probability |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007330412A JP4512201B2 (ja) | 2007-12-21 | 2007-12-21 | データ処理方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009151655A JP2009151655A (ja) | 2009-07-09 |
JP4512201B2 true JP4512201B2 (ja) | 2010-07-28 |
Family
ID=40790237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007330412A Expired - Fee Related JP4512201B2 (ja) | 2007-12-21 | 2007-12-21 | データ処理方法及びシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8191066B2 (ja) |
JP (1) | JP4512201B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5584914B2 (ja) * | 2010-07-15 | 2014-09-10 | 株式会社日立製作所 | 分散計算システム |
CN102819454A (zh) * | 2012-07-30 | 2012-12-12 | 湖南大学 | 基于gpu的有限元显式并行求解仿真方法 |
JP6767653B2 (ja) * | 2016-07-13 | 2020-10-14 | 株式会社バッファロー | 記憶装置、情報処理システム、記憶装置の起動方法及びプログラム |
CN111756754B (zh) * | 2017-07-28 | 2023-04-07 | 创新先进技术有限公司 | 一种训练模型的方法及装置 |
CN111538540B (zh) * | 2019-01-18 | 2022-12-27 | 合肥杰发科技有限公司 | 一种加快嵌入式系统启动速度的方法及其嵌入式系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006260067A (ja) * | 2005-03-16 | 2006-09-28 | Internatl Business Mach Corp <Ibm> | 先読み装置、先読み方法、および先読みプログラム |
JP2007310701A (ja) * | 2006-05-19 | 2007-11-29 | Hitachi Ltd | データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0926906A (ja) | 1995-07-10 | 1997-01-28 | Hitachi Ltd | メモリデータベースの回復方法 |
JPH09128195A (ja) * | 1995-11-06 | 1997-05-16 | Oki Electric Ind Co Ltd | ハイパーメディアシステムにおけるデータのプリローディング方式 |
US5765213A (en) * | 1995-12-08 | 1998-06-09 | Emc Corporation | Method providing for the flexible prefetching of data from a data storage system |
EP0855645A3 (en) * | 1996-12-31 | 2000-05-24 | Texas Instruments Incorporated | System and method for speculative execution of instructions with data prefetch |
US6067565A (en) * | 1998-01-15 | 2000-05-23 | Microsoft Corporation | Technique for prefetching a web page of potential future interest in lieu of continuing a current information download |
US6567894B1 (en) * | 1999-12-08 | 2003-05-20 | International Business Machines Corporation | Method and apparatus to prefetch sequential pages in a multi-stream environment |
US6681295B1 (en) * | 2000-08-31 | 2004-01-20 | Hewlett-Packard Development Company, L.P. | Fast lane prefetching |
JP4162184B2 (ja) * | 2001-11-14 | 2008-10-08 | 株式会社日立製作所 | データベース管理システムの実行情報を取得する手段を有する記憶装置 |
-
2007
- 2007-12-21 JP JP2007330412A patent/JP4512201B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-14 US US12/048,713 patent/US8191066B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006260067A (ja) * | 2005-03-16 | 2006-09-28 | Internatl Business Mach Corp <Ibm> | 先読み装置、先読み方法、および先読みプログラム |
JP2007310701A (ja) * | 2006-05-19 | 2007-11-29 | Hitachi Ltd | データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009151655A (ja) | 2009-07-09 |
US20090165013A1 (en) | 2009-06-25 |
US8191066B2 (en) | 2012-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7640276B2 (en) | Backup system, program and backup method | |
TWI709857B (zh) | 記憶體系統及控制方法 | |
US6970970B2 (en) | Method of storing data in a non-volatile memory and apparatus therefor | |
US10248322B2 (en) | Memory system | |
US9244839B2 (en) | Methods and apparatus for supporting persistent memory | |
US10579267B2 (en) | Memory controller and memory system | |
US8966155B1 (en) | System and method for implementing a high performance data storage system | |
CN103593387A (zh) | 在多个阶段高效地存储和检索数据和元数据的方法和系统 | |
US8370587B2 (en) | Memory system storing updated status information and updated address translation information and managing method therefor | |
TW202001573A (zh) | 記憶系統 | |
US6658541B2 (en) | Computer system and a database access method thereof | |
JP4512201B2 (ja) | データ処理方法及びシステム | |
US7149922B2 (en) | Storage system | |
CN110888769A (zh) | 数据处理方法及计算机设备 | |
JP2006099802A (ja) | 記憶制御装置およびキャッシュメモリの制御方法 | |
WO2016059715A1 (ja) | 計算機システム | |
US7694090B2 (en) | Storage system with journal reflecting area control function | |
US9235349B2 (en) | Data duplication system, data duplication method, and program thereof | |
CN111625477B (zh) | 访问擦除块的读请求的处理方法与装置 | |
KR20150058092A (ko) | 네트워크 부트 시스템 | |
JP4506292B2 (ja) | キャッシュ制御方法およびデータ処理システム並びにその処理プログラム | |
US10848555B2 (en) | Method and apparatus for logical mirroring to a multi-tier target node | |
CN111831589A (zh) | 提高io命令处理并行性的方法与装置 | |
US11748259B2 (en) | System and method to conserve device lifetime for snapshot generation | |
US12007842B2 (en) | Database node soft restart |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100508 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |