JP6891197B2 - 光ディスクに基づくデータベースデュアルコア記憶システム及びそれを用いた方法 - Google Patents

光ディスクに基づくデータベースデュアルコア記憶システム及びそれを用いた方法 Download PDF

Info

Publication number
JP6891197B2
JP6891197B2 JP2018562021A JP2018562021A JP6891197B2 JP 6891197 B2 JP6891197 B2 JP 6891197B2 JP 2018562021 A JP2018562021 A JP 2018562021A JP 2018562021 A JP2018562021 A JP 2018562021A JP 6891197 B2 JP6891197 B2 JP 6891197B2
Authority
JP
Japan
Prior art keywords
database
core
data
record
extension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018562021A
Other languages
English (en)
Other versions
JP2019525286A (ja
Inventor
光毅 陶
光毅 陶
春陽 劉
春陽 劉
宗鵬 陶
宗鵬 陶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tao zongpeng
Original Assignee
Tao zongpeng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tao zongpeng filed Critical Tao zongpeng
Publication of JP2019525286A publication Critical patent/JP2019525286A/ja
Application granted granted Critical
Publication of JP6891197B2 publication Critical patent/JP6891197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/213Schema design and management with details for schema evolution support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/134Distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0677Optical disk device, e.g. CD-ROM, DVD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Description

本発明は、データベース記憶システム及びデータを記憶する方法に関し、特に、データベースのベースコア(basecore)とデータベースのエクステンションコア(extensioncore)を構成する記憶システム及びそれを用いた方法に関する。
巨大な(大量または多量の)紙の歴史資料のデジタル化により生成されるデータと、現代のデジタル化設備およびコンピュータにより生成される巨大なデータとを融合し、完全なデータのリンクを形成することにより実現されるものが、ビッグデータである。ビッグデータを有効利用することで、巨大な社会効果と経済効果を生むことができる。
ビッグデータの十分な利用のために最初にすることはデータ記憶であり、次にすることはデータ集約と統合である。これらのことが行われてはじめて、ビッグデータから必要な情報を有効にすばやく見つけることができる。ビックデータのデータソースは、構造化データや半構造化データに加えて、非結構造化データを含む。非構造化データのフォーマット、数量、容量が著しく増加すると、データの記憶、集約、及び統合に大きな技術問題をもたらす。
既存の技術では、磁気ディスクへの非構造化データの記憶の方式として、基本的に2つの方式を採用する。1つの方式は、非構造化データを直接に記憶し、すなわち、ファイルシステムによってファイルサーバに非構造化データを直接に記憶するものである。この方式は、データの統一管理や制御に不十分である。もう1つの方式は、リレーショナルデータベースのブログフィールドに非構造化データを記憶するものである。この方式では、非構造化データが急増している場合、リレーショナルデータベース内のデータが急速に膨張するから、データベース全体の性能が低下する。光ディスクに非構造化データを記憶する場合、直接に非構造化データを記憶し、または、リレーショナルデータベースのカタログ方式で光ディスクに記憶される非構造化データを管理する。いずれの方式においても、磁気ディスクや光ディスクに非構造化データを記憶する場合、大規模な大容量の非構造化データを管理したり、全文検索や取り戻しをすることが難しい。
ところで、「光ディスクに基づくデータベース記憶システム及びその利用方法」に関する特許出願として、中国特許出願201210431169.3号があり、「ジュークボックスに基づくデータベース記憶システム及びそれを用いた方法」に関する特許出願として、中国特許出願201310136328.1号がある。これらの特許出願には、すべてのデータをデータベースに入れ、データベースのデータの完全性を確保することを前提にして、データベースを光ディスクに構築することができる。従来の技術では、すべてのフォーマットのデータをデータベースに全部入れることができず、一部のフィールドのデータは、データベースと分離して記憶しなければならない。したがって、前記二つの技術方法を利用しても、データベースおよびデータベースと分離して記憶される一部のフィールドのデータを光ディスクに記憶することはできない。
前記技術問題を解決するために、「光ディスクに基づくデータベースのデータの外部記憶システム及びそれを用いた方法」に関する特許出願として、中国特許出願201410273449.5号がある。この特許出願には、レコードの一部のフィールドのデータをデータベースにいれ、ほかのフィールドのデータをデータベースの外部に記憶して、データベースに貼り付ける点、データベースに記憶されるデータとデータベースの外部に記憶されるデータを光ディスクに記憶することができる点、光ディスクにおけるデータベースに記憶されるデータと光ディスクにおけるデータベースの外部に記憶されるデータを統一的に管理する点などが開示されている。このうえで、光ディスクにおけるデータベースの外部に記憶されるデータの管理及びアクセスといった技術問題を解決する。この技術によって、一部のフィールドのデータをデータベースの外部に記憶するから、データベースの内部のデータとデータベースの外部のデータとの全体的な応答操作性能に欠陥が存在し、データ融合とデータ分析に対する大量の事務処理プロセスの需要を満たすことができない。
本発明の目的は、光ディスクに基づくデータベースデュアルコア(dualcore)記憶システムを提供し、すべてのフォーマットのデータと大容量のファイルをデータベースに全部入れることができないという技術問題を解決することにある。
また、本発明のもう一つの目的は、光ディスクに基づくデータベースデュアルコア記憶の方法を提供し、光ディスクにおけるデータベースを利用して、すべてのフォーマットのデータと大容量のファイルを記憶することができないという技術問題を解決することにある。
本発明の光ディスクに基づくデータベースデュアルコア記憶システムは、サーバと前記サーバのCPUと、データ接続によって前記サーバと接続される磁気ディスク記憶装置と光ディスク記憶装置と、を含んでいる。前記サーバには、データベース管理システム、データプロセッサおよびデータコネクタが設けられる。
前記データベース管理システムは、ユーザーのデータ要求に応答し、前記磁気ディスク記憶装置のデータベース管理とデータ管理および前記光ディスク記憶装置のデータベース管理とデータ管理を行う
前記データプロセッサは、前記データベース管理システムのデータ要求に応答し、データベースのベースコア(basecore)のフィールドとデータベースのエクステンションコア(extensioncore)のフィールドを構成し、それぞれ対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアに書き込む。
前記データコネクタは、前記データベース管理システムのデータ要求に応答し、前記データベースのベースコアと前記データベースのエクステンションコアとのデータコネクトを構築する。
前記データベース管理システムは、フィールド構造生成モジュール、レコードインデックス生成モジュール、記憶スペース分配モジュール、記憶スペース状態モジュール、レコードリンクモジュール、レコード分割モジュール、データベース構造生成モジュールおよびデュアルコア生成モジュールを含む。
前記フィールド構造生成モジュールは、前記データベース中の各レコードの、各フィールドのデータタイプと長さを含むフィールド構造情報を読み取り、データベースファイルまたは前記データベース管理システムに書き込む。
前記レコードインデックス生成モジュールは、前記データベース中の各レコードの各々について、当該フィールドの修正時間と修正内容を含むインデックス情報を記録し、前記データベースファイルまたは前記データベース管理システムに書き込む。
前記記憶スペース分配モジュールは、各レコードのために分配された標準記憶セルの前記データベースファイルにおける位置情報を記録し、前記データベースファイルまたは前記データベースの管理システムに書き込む。
前記記憶スペース状態モジュールは、前記データベースファイル中の分配された標準記憶セルにおけるフリースペース情報を記録し、前記データベースファイルまたは前記データベース管理システムに書き込む。
前記レコードリンクモジュールは、前記データベース中の各レコードのフィールド構造情報、インデックス情報、標準記憶セルの位置情報、及びスペース情報を合併し、データベース特徴データを生成し、前記データベース特徴データを前記データベースファイルまたは前記データベース管理システムに書き込む。
前記レコード分割モジュールは、前記データベース管理システムのコマンドにしたがって前記データベース中のレコードを分割し、データ分割はレコードを単位として行い、データベースの特徴データを読み取り、前記レコードの各フィールドのデータ位置とデータ量を確定し、コマンドのパラメータに合うレコードをマークし、前記マークした情報を前記データベースファイルまたは前記データベース管理システムに書き込む。
前記データベース構造生成モジュールは、前記データベースのデータベース構造を独立したデータファイルに形成し、前記独立したデータファイルによって、前記データベースの構造と同じ構造を有するデータベースを光ディスクに構築し、または前記データベースの構造と同じ構造を有する磁気ディスクデータベースをほかの磁気ディスク記憶装置に構築する。
前記デュアルコア生成モジュールは、前記データベース管理システムによって、前記磁気ディスクにおけるデータベースにデータベースのベースコアまたはデータベースのベースコアのデータベースファイルを構成し、データベースのエクステンションコアまたはデータベースのエクステンションコアのデータベースファイルを構成し、または前記光ディスクにおけるデータベースにデータベースのベースコアまたはデータベースのベースコアのデータベースファイルを構成し、データベースのエクステンションコアまたはデータベースのエクステンションコアのデータベースファイルを構成し、前記構成した情報を前記データベースファイルまたは前記データベース管理システムに書き込み、前記データベースのベースコアは構造化データと非構造化データに属する小容量ファイルを記憶し、前記データベースのエクステンションコアは非構造化データに属する大容量ファイルを記憶する
前記データプロセッサは、フィールド構成(configuration)モジュール、及びデータ入力モジュールを含む。
前記フィールド構成モジュールは、レコードの各フィールドのデータタイプと長さによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成し、前記ベースコアのサブレコードと前記エクステンションコアのサブレコードを構成し、フィールド構成情報を前記データベースファイルまたは前記データベース管理システムに書き込む。
前記データ入力モジュールは、前記フィールド構成モジュールに構成される前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドによって、データベース管理システムのコマンドにしたがって、対応するフィールドのデータを磁気ディスクにおける前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込み、または光ディスクにおける前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む。
前記データコネクタは、デュアルコアコネクトモジュールを含み、前記データベース管理システムのコマンドにしたがって、前記データベースのベースコアのサブレコードと対応する前記のエクステンションコアのサブレコードをコネクトして、完全なレコードを構成する。
本発明の光ディスクに基づくデータベースデュアルコア記憶システムによって、前記磁気ディスク記憶装置と光ディスク記憶装置でデータを前記データベースのベースコアと前記データベースのエクステンションコアに記憶する手順は、次のステップを含んでいる。
返される情報を含まない場合、前記データベース管理システムが、前記データベースで前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成する要求を前記データプロセッサに出して、前記データプロセッサが、レコードの各フィールドのデータタイプと長さによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成する。
前記データベース管理システムが、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む要求を前記データプロセッサに出して、前記データプロセッサが、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む。
返される情報を含む場合、前記データベース管理システムが、前記データベースで前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成する要求を前記データプロセッサに出して、前記データプロセッサが、レコードの各フィールドのデータタイプと長さによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成し、前記データベースのベースコアの構成フィールドと前記データベースのエクステンションコアの構成フィールドの情報を返し、前記データベース管理システムが、前記データベースのベースコアの構成フィールドと前記データベースのエクステンションコアの構成フィールドの情報を取得する。
前記データベース管理システムが、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む要求を前記データプロセッサに出して、前記データプロセッサが、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込み、前記データベースのベースコアと前記データベースのエクステンションコアに書き込まれるデータの情報を返し、前記データベース管理システムが、前記データベースのベースコアと前記データベースのエクステンションコアに書き込まれるデータの情報を取得する。
前記データベースのベースコアと前記データベースのエクステンションコアに書き込まれるデータの情報から、前記データコネクタが、完全なレコードの情報を構成する。
本発明の光ディスクに基づくデータベースデュアルコア記憶システムによって、前記データベースを前記光ディスクに直接に構築し、データを前記データベースのデュアルコアに記憶する方法は次のステップを含んでいる。
ステップ110では、前記データベース管理システムが光ディスク記憶媒体の容量パラメータを取得する。
ステップ115では、前記データベース構造生成モジュールによって、前記データベースを前記光ディスク記憶媒体に構築する。
ステップ120では、前記デュアルコア生成モジュールによって、前記光ディスクにおけるデータベースにデータベースのベースコアとデータベースのエクステンションコアを構成する。
ステップ125では、前記フィールド構成モジュールによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションのフィールドを構成する。
ステップ130では、前記データ入力モジュールによって、前記光ディスク記憶媒体における前記データベースにベースコアのサブレコードと前記エクステンションのサブレコードを増加させる一方、前記データベース管理システムが、前記フィールド構造生成モジュールによって対応するベースコアのサブレコードとエクステンションのサブレコードに書き込まれるフィールド構造情報を保留させ、前記レコードインデックス生成モジュールによって対応するベースコアのサブレコードのインデックス情報とエクステンションのサブレコードのインデックス情報を保留させ、前記記憶スペース分配モジュールによって対応するベースコアのサブレコードの標準記憶セルの位置情報とエクステンションのサブレコードの標準記憶セルの位置情報を保留させ、前記記憶スペース状態モジュールによって、前記ベースコアのサブレコードの標準記憶セルのスペース情報と前記エクステンションのサブレコードの標準記憶セルのスペース情報を保留させ、前記レコードリンクモジュールによって形成される対応するデータベース特徴データを保留させる。
ステップ135では、記憶スペースの容量値に達するかどうかの判断において、容量値に達したと判断した場合、ステップ145を実行し、容量値に達しないと判断した場合、140ステップを実行する。
ステップ140では、前記ステップ130を繰り返し行って保留される前記データベース特徴データを更新する。
ステップ145では、前記データベースが光ディスク記憶スペースの容量値に達すると、前記データベース管理システムが、保留される前記データベース特徴データを前記光ディスクにおけるデータベースに書き込んで、前記データベースの構築及び前記ベースコアのサブレコードの記憶と前記エクステンションのサブレコードの記憶を前記光ディスクに行う。
ステップ150では、前記デュアルコアコネクトモジュールによって、前記データベース管理システムのコマンドにしたがって、前記ベースコアのサブレコードと対応する前記エクステンションコアのサブレコードをコネクトして、完全なレコードを構成する。
本発明の光ディスクに基づくデータベースデュアルコア記憶システムによって、前記磁気ディスクに構築されるデータベースと前記データベースのデュアルコアに記憶されるデータを前記光ディスクに移す方法は次のステップを含んでいる。
ステップ210では、前記データベース管理システムが、光ディスク記憶媒体の容量パラメータを取得する。
ステップ215では、前記データベース管理システムが、前記光ディスク記憶媒体の容量に応じて、前記レコード分割モジュールによって、磁気ディスクにおけるデータベースの分割を行い、データ分割はレコードを単位として行い、データベースの特徴データを読み取り、前記レコードの各フィールドのデータ位置とデータ量を確定し、コマンドのパラメータに合うレコードをマークし、サブデータベースのマーク情報を形成する。
ステップ220では、前記データベース構造生成モジュールによって、前記データベースを対応する光ディスクに構築する。
ステップ225では、前記デュアルコア生成モジュールによって、前記光ディスクにおけるデータベースにデータベースのベースコアとデータベースのエクステンションコアを構成する。
ステップ230では、前記フィールド構成モジュールによって、前記磁気ディスクにおけるデータベースのベースコアのフィールドとデータベースのエクステンションのフィールドにしたがって、前記光ディスクにおける前記データベースのベースコアのフィールドと前記データベースのエクステンションのフィールドを構成する。
ステップ235では、前記データ入力モジュールによって、前記対応するベースコアのサブレコードのフィールドのデータとエクステンションコアのサブレコードのフィールドのデータを前記対応する光ディスクにおける前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む。
ステップ240では、前記フィールド構造生成モジュールによって、前記対応するベースコアのサブレコードのフィールド構造情報とエクステンションコアのサブレコードのフィールド構造情報を各光ディスクにおける各データベースファイルに書き込む。
ステップ245では、前記レコードインデックス生成モジュールによって、前記対応するベースコアのサブレコードのインデックス情報とエクステンションコアのサブレコードのインデックス情報を各光ディスクにおける各データベースファイルに書き込む。
ステップ250では、前記記憶スペース分配モジュールによって、前記対応するベースコアのサブレコードの標準記憶セルの位置情報とエクステンションコアのサブレコードの標準記憶セルの位置情報を各光ディスクにおける各データベースファイルに書き込む。
ステップ255では、前記記憶スペース状態モジュールによって、前記標準記憶セルのスペース情報を記録する。
ステップ260では、前記レコードリンクモジュールによって、各光ディスクにおける各データベースに対して、対応するデータベース特徴データを生成し、前記データベースの構築及び前記ベースコアのサブレコードの記憶と前記エクステンションコアのサブレコードの記憶を前記光ディスクに行う。
ステップ270では、前記デュアルコアコネクトモジュールによって、前記データベース管理システムのコマンドにしたがって、前記ベースコアのサブレコードと前記対応するエクステンションコアのサブレコードをコネクトして、完全なレコードを構成する。
本発明の光ディスクに基づくデータベースデュアルコア記憶システムは、磁気ディスクにおけるデータベースにデータベースのベースコアとデータベースのエクステンションコアを構成する。データベースのベースコアは主に構造化データと非構造化データに属する小容量ファイルを記憶する。データベースのエクステンションコアは主に非構造化データに属する大容量ファイルを記憶し、電子文書、イメージ、オーディオとビデオなどを含む。レコードの各フィールドのデータタイプと長さによって、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドは構成される。レコードのフィールドを2つの部分に分け、一部のフィールドはデータベースのベースコアにあり、ほかのフィールドはデータベースのエクステンションコアにある。データベースのベースコアのフィールドはベースコアのサブレコードを構成し、データベースのエクステンションコアのフィールドはエクステンションコアのサブレコードを構成し、ベースコアのサブレコードと、対応するエクステンションコアのサブレコードとは、完全なレコードを構成する。レコードのすべてのフィールドの各種類フォーマットのデータをデータベースに書き込むことができ、データベースが大容量データを管理して記憶する機能と構造を完備する。データベースのベースコアとデータベースのエクステンションコアは分けてはいけない二つの部分であり、ベースコアのサブレコードとエクステンションコアのサブレコードも分けてはいけない二つの部分であるから、データの完全性と安全性が確保される。
本発明の光ディスクに基づくデータベースデュアルコア記憶方法によって、データベースのデータの出力には、データベースのベースコアに記憶されるデータとデータベースのエクステンションコアに記憶されるデータを自動的に出力し、データベースのレコードの出力には、ベースコアのサブレコードとクステンションコアのサブレコードを自動的に出力する。データベースを利用して、各種類のデータの集約と統合を行うことができる。
本発明の光ディスクに基づくデータベースデュアルコア記憶方法によって、光ディスクでデータベースを構築し、光ディスクにおけるデータベースにデータベースのベースコアとデータベースのエクステンションコアを構成する。BD光ディスクの容量の増大にしたがって、100GBのBD光ディスクをすでに量産し、300GBのBD光ディスクの研究開発が成功し、BD光ディスクを利用して大容量のデータベースを記憶することができる。レコードの各フィールドのデータタイプと長さによって、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドは構成される。レコードのフィールドを2つの部分に分け、一部のフィールドはデータベースのベースコアにあり、ほかのフィールドはデータベースのエクステンションコアにある。データベースのベースコアのフィールドはベースコアのサブレコードを構成し、データベースのエクステンションコアのフィールドはエクステンションコアのサブレコードを構成し、ベースコアのサブレコードと、対応するエクステンションコアのサブレコードとは、完全なレコードを構成する。この方法を利用して、レコードのすべてのフィールドのデータを光ディスクにおけるデータベースに書き込む。データベースのベースコアとデータベースのエクステンションコアは分けてはいけない二つの部分であり、ベースコアのサブレコードとエクステンションコアのサブレコードも分けてはいけない二つの部分であるから、光ディスクにおけるデータの完全性と安全性が確保され、光ディスクにデータベースを構築する方法を利用して、大容量ファイル(たとえば、ビデオとイメージなど)を大規模に記憶して、管理して、アクセスすることを実現する。
光ディスク記憶の寿命が長く、エネルギーが節約され、環境が保護され、安全性が高いということに基づいて、磁気ディスクアレイに記憶される大容量のデータを、光ディスクに移して記憶させることができ、磁気ディスクに記憶される、常に使われるが、あまり頻繁に使われない大容量のデータを、光ディスクに移して記憶させることができ、データ記憶とデータ応答の構造を最適化させ、データ記憶のコストを下げられる。
本発明の実施形態に係る光ディスクに基づくデータベースデュアルコア記憶システムの構成を示す概略図である。 本発明の実施形態に係る光ディスクに基づくデータベースデュアルコア記憶システムのデータベース管理システムの構成を示す概略図である。 本発明の光ディスクに基づくデータベースデュアルコア記憶システムの記憶装置でのデータベースのベースコアとデータベースのエクステンションコアのデータ記憶手順を示すフローチャートである。 本発明の実施形態に係る光ディスクに基づくデータベースデュアルコア記憶システムのデータベースファイルの物理的な構成を示す概略図である。 本発明の光ディスクに基づくデータベースデュアルコア記憶システムのデータ処理手順を示すフローチャート1である。 本発明の光ディスクに基づくデータベースデュアルコア記憶システムのデータ処理手順を示すフローチャート2である。
以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。
図1と図2に示すように、本発明の実施例に係る光ディスクに基づくデータベースデュアルコア記憶システムは、サーバ100と、データ接続によってサーバと接続される磁気ディスク記憶装置300と光ディスク記憶装置とするジュークボックス200を含んでいる。サーバ100には、データベース管理システム110、データプロセッサ120及びデータコネクタ130が設けられる。磁気ディスクデータベース320は磁気ディスク記憶装置300に構築される。光ディスクデータベース220はジュークボックス200中の光ディスク210に構築される。ジュークボックス中の光ディスク交換機構によって光ディスクドライブで光ディスク交換を完成し、光ディスクドライブによって各光ディスク読み書きを完成する。データベース管理システム110としてTRIPが採用され、磁気ディスク記憶装置として磁気ディスクアレイRAIDが採用され、ジュークボックスとしてGRUNDIG2105が採用される。
サーバはそれぞれジュークボックス200および磁気ディスク記憶装置300とデータ接続されている。サーバ100には、データベース管理システム110、データプロセッサ120及びデータコネクタ130が設けられる。データベース管理システム110はユーザーのデータ要求に応答し、磁気ディスク記憶装置のデータベース管理とデータ管理および光ディスク記憶装置のデータベース管理とデータ管理を行う
データプロセッサ120は、データベース管理システム110のデータ要求に応答し、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成し、それぞれ対応するフィールドのデータをデータベースのベースコアとデータベースのエクステンションコアに書き込む。
データコネクタ130は、データベース管理システム110のデータ要求に応答し、データベースのベースコアとデータベースのエクステンションコアとのデータコネクトを構築する。
データプロセッサ120によって、データベースに記憶されるレコードのフィールドを2つの部分に分け、一部のフィールドはデータベースのベースコアにあり、データベースのベースコアに対応するデータベース(サブ)ファイルを構成し、ほかのフィールドはデータベースのエクステンションコアにあり、データベースのエクステンションコアに対応するデータベース(サブ)ファイルを構成する。データベースのベースコアのフィールドはベースコアのサブレコードを構成し、データベースのエクステンションコアのフィールドはエクステンションコアのサブレコードを構成し、ベースコアのサブレコードと、対応するエクステンションコアのサブレコードとは、データコネクタ130によって完全なレコードを構成する。データベースのベースコアに対するデータベース(サブ)ファイルと、データベースのエクステンションコアに対するデータベース(サブ)ファイルとは、データコネクタ130によって完全なデータベースファイルを構成する。
実際の応用としては、データベース管理システム110はデータ要求に応答し、データベース320は磁気ディスク記憶装置300に構築され、データベース220は光ディスク210に構築される。ジュークボックス200はデータベース管理システム110のデータコマンドにしたがって、光ディスクドライブでの光ディスク210の交換を完成する。
データベース管理システム110は、フィールド構造生成モジュールu1、レコードインデックス生成モジュールu2、記憶スペース分配モジュールu3、記憶スペース状態モジュールu4、レコードリンクモジュールu5、レコード分割モジュールu6、データベース構造生成モジュールu7およびデュアルコア生成モジュールu8を含む。
フィールド構造生成モジュールu1は、データベース中の各レコードの、各フィールドのデータタイプと長さを含むフィールド構造情報を読み取り、データベースファイルまたはデータベース管理システム110に書き込む。
レコードインデックス生成モジュールu2は、データベース中の各レコードの、各フィールドの修正時間と修正内容を含むインデックス情報を記録し、データベースファイルまたはデータベース管理システム110に書き込む。
スペース分配モジュールu3は、各レコードのために分配された標準記憶セルのデータベースファイルにおける位置情報を記録し、データベースファイルまたはデータベース管理システム110に書き込む。
記憶スペース状態モジュールu4は、データベースファイル中の分配された標準記憶セルにおけるフリースペース情報を記録し、データベースファイルまたはデータベース管理システム110に書き込む。
レコードリンクモジュールu5は、データベース中の各レコードのフィールド構造情報、インデックス情報、標準記憶セルの位置情報、及びスペース情報を合併し、データベース特徴データを生成し、データベース特徴データをデータベースファイルまたはデータベース管理システム110に書き込む。
レコード分割モジュールu6は、データベース管理システム110のコマンドにしたがってデータベース中のレコードを分割し、データ分割はレコードを単位として行い、データベースの特徴データを読み取り、レコードの各フィールドのデータ位置とデータ量を確定し、コマンドのパラメータに合うレコードをマークし、マークした情報をデータベースファイルまたはデータベース管理システム110に書き込む。
データベース構造生成モジュールu7は、データベースのデータベース構造を独立したデータファイルに形成し、独立したデータファイルによって、データベースの構造と同じ構造を有するデータベース220を光ディスクに構築し、またはデータベースの構造と同じ構造を有する磁気ディスクデータベース320をほかの磁気ディスク記憶装置に構築する。
デュアルコア生成モジュールu8は、データベース管理システム110によって、磁気ディスクにおけるデータベース320にデータベースのベースコア330またはデータベースのベースコア330データベースファイルを構成し、データベースのエクステンションコア340またはデータベースのエクステンションコア340データベースファイルを構成し、または光ディスクにおけるデータベース220にデータベースのベースコア230またはデータベースのベースコア230データベースファイルを構成し、データベースのエクステンションコア240またはデータベースのエクステンションコア240データベースファイルを構成し、構成した情報をデータベースファイルまたはデータベース管理システム110に書き込み、前記データベースのベースコアは構造化データと非構造化データに属する小容量ファイルを記憶し、前記データベースのエクステンションコアは非構造化データに属する大容量ファイルを記憶する
データプロセッサ120は、フィールド構成モジュールu9、及びデータ入力モジュールu10を含む。
フィールド構成モジュールu9は、レコードの各フィールドのデータタイプと長さによって、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成し、ベースコアのサブレコードとエクステンションコアのサブレコードを構成し、フィールド構成情報をデータベースファイルまたはデータベース管理システム110に書き込む。
データ入力モジュールu10は、フィールド構成モジュールu9に構成されるデータベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドによって、データベース管理システム110のコマンドにしたがって、対応するフィールドのデータを磁気ディスクにおけるデータベースのベースコア330とデータベースのエクステンションコア340にそれぞれ書き込み、または光ディスクにおけるデータベースのベースコア230とデータベースのエクステンションコア240にそれぞれ書き込む。
データコネクタ130は、デュアルコアコネクトモジュールu11を含み、データベース管理システム110のコマンドにしたがって、データベースのベースコアのサブレコードと対応するエクステンションコアのサブレコードをコネクトして、完全なレコードを構成する。
図2に示すように、磁気ディスクにおける対応するデータベースのベースコア330のデータベース(サブ)ファイルと、データベースのエクステンションコア340のデータベース(サブ)ファイルとは、対応する完全なデータベースファイルを構成する。また、光ディスクにおける対応するデータベースのベースコア230のデータベース(サブ)ファイルと、データベースのエクステンションコア240のデータベース(サブ)ファイルとは、対応する完全なデータベースファイルを構成する。これは異なるデータタイプと長さのフィールドに対する互いに補足する集合である。
データベース構造生成モジュールu7によって、磁気ディスクデータベースの構造と対応するデータベース220を光ディスクに構築し、デュアルコア生成モジュールu8によって、データベース220の構造に基づいてデータベースのベースコア230とデータベースのエクステンションコア240を構成する。データベース管理システム110は、フィールド構造生成モジュールu1によって、磁気ディスクデータベースのレコードのフィールド構造情報を取得することができ、フィールド構成モジュールu9によって、磁気ディスクデータベースのレコードのフィールド構造情報にしたがって光ディスクにおけるデータベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成し、データ入力モジュールu10によって、対応するフィールドのデータを光ディスクにおけるデータベースのベースコア230とデータベースのエクステンションコア240にそれぞれ書き込む。このプロセスにおいて、磁気ディスクにおけるデータベースのベースコア330とデータベースのエクステンションコア340とは、光ディスクにおけるデータベースのベースコア230とデータベースのエクステンションコア240との間に互いに操作することを行うことができる。
磁気ディスクと光ディスクに構成される、対応するデータベースのベースコアとデータベースのエクステンションコアをさらに利用して、容量とデータタイプの上では、データベースのフレキシブルとクリッピングの特性を構成する。データタイプ及びデータ量の累進変化にしたがって、光ディスクにおけるデータベースのバックアップの形成は性能の調整を行うことができ、データベースの完全性と安全性の一致を保ち、読みと書きの性能をさらに強化する。
図3に示すように、磁気ディスク記憶装置と光ディスク記憶装置でデータをデータベースのベースコアとデータベースのエクステンションコアに記憶する手順である。上記手順は、以下に示すステップを含んでいる。
返される情報を含まない場合
データベース管理システム110が、データベースでデータベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成する要求をデータプロセッサ120に出して、データプロセッサ120が、レコードの各フィールドのデータタイプと長さによって、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成する。
データベース管理システム110が、対応するフィールドのデータをデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込む要求をデータプロセッサ120に出して、データプロセッサ120が、対応するフィールドのデータをデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込む。
返される情報を含む場合
データベース管理システム110が、データベースでデータベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成する要求をデータプロセッサ120に出して、データプロセッサ120が、レコードの各フィールドのデータタイプと長さによって、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成し、データベースのベースコアの構成フィールドとデータベースのエクステンションコアの構成フィールドの情報を返し、データベース管理システム110が、データベースのベースコアの構成フィールドとデータベースのエクステンションコアの構成フィールドの情報を取得する。
前記データベース管理システム110が、対応するフィールドのデータをデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込む要求をデータプロセッサ120に出して、データプロセッサ120が、対応するフィールドのデータをデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込み、データベースのベースコアとデータベースのエクステンションコアに書き込まれるデータの情報を返し、データベース管理システム110が、データベースのベースコアとデータベースのエクステンションコアに書き込まれるデータの情報を取得する。
データベースのベースコアとデータベースのエクステンションコアに書き込まれるデータの情報から、データコネクタ130が、完全なレコードの情報を構成する。
上記の方法を利用して、レコードの各フィールドのデータタイプと長さにしたがって、レコードのフィールドを2つの部分に分け、一部のフィールドはデータベースのベースコアにあり、ほかのフィールドはデータベースのエクステンションコアにあり、対応するフィールドのデータをデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込み、すべてのデータはデータベースに高い効率で速く入れることができ、データベースの記憶性能と効率を向上させる。
図4に示すように、データベースはデータベースのベースコアとデータベースのエクステンションコアを含み、一部のフィールドはデータベースのベースコアにあり、ほかのフィールドはデータベースのエクステンションコアにある。データベースのベースコアのフィールドはベースコアのサブレコードを構成し、データベースのエクステンションコアのフィールドはエクステンションコアのサブレコードを構成する。ベースコアのサブレコードと、対応するエクステンションコアのサブレコードとは、完全なレコードを構成する。
本実施例では、データベースのベースコアのフィールドはベースコアのサブレコードを構成し、データベースのエクステンションコアのフィールドはエクステンションコアのサブレコードを構成する。ベースコアのサブレコードとエクステンションコアのサブレコードは分けてはいけない二つの部分であるから、レコードの完全性が確保され、データベースデュアルコア記憶方法は様々なタイプとフォーマットのデータに広く用いられる。
次に、光ディスクに基づくデータベースデュアルコア記憶システムによって、データベースを光ディスクに直接に構築し、データをデータベースのデュアルコアに記憶する方法を、図5を参照して説明する。図5に示すように、上記方法は、以下に示すステップを含んでいる。
ステップ110では、データベース管理システム110が光ディスク記憶媒体の容量パラメータを取得する。
ステップ115では、データベース構造生成モジュールu7によって、データベースを光ディスク記憶媒体に構築する。
ステップ120では、デュアルコア生成モジュールu8によって、光ディスクにおけるデータベース220にデータベースのベースコア230とデータベースのエクステンションコア240を構成する。
ステップ125では、フィールド構成モジュールu9によって、データベースのベースコアのフィールドとデータベースのエクステンションのフィールドを構成する。
ステップ130では、データ入力モジュールu10によって、光ディスク記憶媒体におけるデータベースにベースコアのサブレコードとエクステンションのサブレコードを増加させる一方、データベース管理システム110が、フィールド構造生成モジュールu1によって対応するベースコアのサブレコードとエクステンションのサブレコードに書き込まれるフィールド構造情報を保留させ、レコードインデックス生成モジュールu2によって対応するベースコアのサブレコードのインデックス情報とエクステンションのサブレコードのインデックス情報を保留させ、記憶スペース分配モジュールu3によって対応するベースコアのサブレコードの標準記憶セルの位置情報とエクステンションのサブレコードの標準記憶セルの位置情報を保留させ、記憶スペース状態モジュールu4によって、ベースコアのサブレコードの標準記憶セルのスペース情報とエクステンションのサブレコードの標準記憶セルのスペース情報を保留させ、レコードリンクモジュールu5によって形成される対応するデータベース特徴データを保留させる。
ステップ135では、記憶スペースの容量値に達するかどうかの判断において、容量値に達したと判断した場合、ステップ145を実行し、容量値に達しないと判断した場合、140ステップを実行する。
ステップ140では、ステップ130を繰り返し行って保留されるデータベース特徴データを更新する。
ステップ145では、データベースが光ディスク記憶スペースの容量値に達すると、データベース管理システム110が、保留されるデータベース特徴データを光ディスクにおけるデータベース220に書き込んで、データベースの構築及びベースコアのサブレコードの記憶とエクステンションのサブレコードの記憶を光ディスクに行う。
ステップ150では、デュアルコアコネクトモジュールu11によって、データベース管理システム110のコマンドにしたがって、ベースコアのサブレコードと対応するエクステンションコアのサブレコードをコネクトして、完全なレコードを構成する。
次に、光ディスクに基づくデータベースデュアルコア記憶システムによって、磁気ディスクに構築されるデータベースとデータベースのデュアルコアに記憶されるデータを光ディスクに移す方法について図6を参照して説明する。図6に示すように、上記方法は、以下に示すステップを含んでいる。
まず、ステップ210では、データベース管理システム110が、光ディスク記憶媒体の容量パラメータを取得する。
ステップ215では、データベース管理システム110が、光ディスク記憶媒体の容量に応じて、レコード分割モジュールu6によって、磁気ディスクにおけるデータベース320の分割を行い、データ分割はレコードを単位として行い、データベースの特徴データを読み取り、前記レコードの各フィールドのデータ位置とデータ量を確定し、コマンドのパラメータに合うレコードをマークし、サブデータベースのマーク情報を形成する。
ステップ220では、データベース構造生成モジュールu7によって、データベースを対応する光ディスクに構築する。
ステップ225では、デュアルコア生成モジュールu8によって、光ディスクにおけるデータベースにデータベースのベースコア230とデータベースのエクステンションコア240を構成する。
ステップ230では、フィールド構成モジュールu9によって、磁気ディスクにおけるデータベースのベースコアのフィールドとデータベースのエクステンションのフィールドにしたがって、光ディスクにおけるデータベースのベースコアのフィールドとデータベースのエクステンションのフィールドを構成する。
ステップ235では、データ入力モジュールu10によって、対応するベースコアのサブレコードのフィールドのデータとエクステンションコアのサブレコードのフィールドのデータを対応する光ディスクにおけるデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込む。
ステップ240では、フィールド構造生成モジュールu1によって、対応するベースコアのサブレコードのフィールド構造情報とエクステンションコアのサブレコードのフィールド構造情報を各光ディスクにおける各データベースファイルに書き込む。
ステップ245では、レコードインデックス生成モジュールu2によって、対応するベースコアのサブレコードのインデックス情報とエクステンションコアのサブレコードのインデックス情報を各光ディスクにおける各データベースファイルに書き込む。
ステップ250では、記憶スペース分配モジュール3uによって、対応するベースコアのサブレコードの標準記憶セルの位置情報とエクステンションコアのサブレコードの標準記憶セルの位置情報を各光ディスクにおける各データベースファイルに書き込む。
ステップ255では、記憶スペース状態モジュールu4によって、標準記憶セルのスペース情報を記録する。
ステップ260では、レコードリンクモジュールu5によって、各光ディスクにおける各データベース220に対して、対応するデータベース特徴データを生成し、データベースの構築及びベースコアのサブレコードの記憶とエクステンションコアのサブレコードの記憶を光ディスクに行う。
ステップ270では、デュアルコアコネクトモジュールu11によって、データベース管理システム110のコマンドにしたがって、ベースコアのサブレコードと対応するエクステンションコアのサブレコードをコネクトして、完全なレコードを構成する。
前記実施例に係るデータベース記憶システムに基づき、実際の応用としては、光ディスクに基づくデータベースデュアルコア記憶システムを用いて、データベースを光ディスクに直接に構築する一つの具体的な方法として、以下に示すステップの方法がある。
ステップ1では、サーバをジュークボックスに接続する。
ステップ2では、サーバに、データベース管理システムソフトウェア、データプロセッサ、データコネクタ、及びジュークボックス管理ソフトウェアをインストールする。
ステップ3では、コンフィギュレーションファイルにおいて仮想ジュークボックスのドライブ名を以下のように設定する。
「MYCD=Z:\」
ここで、「MYCD」は仮想ジュークボックスのドライブ名、「Z」はジュークボックスのドライブ名をそれぞれ示している。
ステップ4では、ジュークボックス管理ソフトウェアを利用して、ボリューム「BD1」を光ディスクに構築する。
ステップ5では、光ディスクにデータベースを構築し、コマンド「MYCD:BD1\database1」を実行する。
ステップ6では、光ディスクにおけるデータベースに対応するデータベースのベースコアのデータベース(サブ)ファイル(またはデータベースのベースコア)BAFSと対応するデータベースのエクステンションコアのデータベース(サブ)ファイル(またはデータベースのエクステンションコア)BOFSを構成し、コマンド「MYCD:BD1\database1\database1.BAFS、MYCD:BD1\database1\database1.BOFS」を実行する。
ステップ7では、データベースのベースコアのフィールドとデータベースのエクステンションコアのフィールドを構成する。
ステップ8では、対応するフィールドのデータを光ディスクにおけるデータベースのベースコアとデータベースのエクステンションコアにそれぞれ書き込む。
上述の実施例はただ本発明の好ましい実施方法を説明したが、本発明の範囲を限定するものではなく、本発明のデザイン要旨を逸脱しない前提で、本分野の技術者が本発明の技術方案において行う様々な変更や修正は本発明の特許請求の範囲内に含まれる。
本発明の光ディスクに基づくデータベースデュアルコア記憶システムは、データベースにデータベースのベースコアとデータベースのエクステンションコアを構成する。データベースのベースコアは主に構造化データと非構造化データに属する小容量ファイルを記憶し、データベースのエクステンションコアは主に非構造化データに属する大容量ファイルを記憶する。データベースのベースコアのフィールドはベースコアのサブレコードを構成し、データベースのエクステンションコアのフィールドはエクステンションコアのサブレコードを構成し、ベースコアのサブレコードと、対応するエクステンションコアのサブレコードとは、完全なレコードを構成する。レコードのすべてのフィールドの各種類フォーマットのデータをデータベースに書き込むことができ、データベースが大容量データを管理して記憶する機能と構造を完備する。
磁気ディスクと光ディスクに構成される、対応するデータベースのベースコアとデータベースのエクステンションコアをさらに利用して、容量とデータタイプの上では、データベースのフレキシブルとクリッピングの特性を構成する。データタイプ及びデータ量の累進変化にしたがって、光ディスクにおけるデータベースのバックアップの形成は性能の調整を行うことができ、データベースの完全性と安全性の一致を保ち、読みと書きの性能をさらに強化する。
したがって、本発明は、市場における展望が素晴らしく、工業実用性も高いものである。
100 サーバ
110 データベース管理システム
120 データプロセッサ
130 データコネクタ
200 光ディスク記憶装置、ジュークボックス
210 光ディスク
220 光ディスクデータベース
230 光ディスクデータベースのベースコア
240 光ディスクデータベースのエクステンションコア
300 磁気ディスク記憶装置
320 磁気ディスクデータベース
330 磁気ディスクデータベースのベースコア
340 磁気ディスクデータベースのエクステンションコア
u1 フィールド構造生成モジュール
u2 レコードインデックス生成モジュール
u3 記憶スペース分配モジュール
u4 記憶スペース状態モジュール
u5 レコードリンクモジュール
u6 レコード分割モジュール
u7 データベース構造生成モジュール
u8 デュアルコア生成モジュール
u9 フィールド構成モジュール
u10 データ入力モジュール
u11 デュアルコアコネクトモジュール

Claims (3)

  1. サーバ(100)と前記サーバのCPUと
    データ接続によって前記サーバと接続される磁気ディスク記憶装置(300)と光ディスク記憶装置(200)と、を含み、
    前記サーバ(100)には、データベース管理システム(110)、データプロセッサ(120)およびデータコネクタ(130)が設けられ、
    前記データベース管理システム(110)は、ユーザーのデータ要求に応答し、前記磁気ディスク記憶装置のデータベース管理とデータ管理および前記光ディスク記憶装置のデータベース管理とデータ管理を行い
    前記データベース管理システム(110)は、フィールド構造生成モジュール(u1)、レコードインデックス生成モジュール(u2)、記憶スペース分配モジュール(u3)、記憶スペース状態モジュール(u4)、レコードリンクモジュール(u5)、レコード分割モジュール(u6)、データベース構造生成モジュール(u7)およびデュアルコア生成モジュール(u8)を含み、
    前記フィールド構造生成モジュール(u1)は、データベース中の各レコードの、各フィールドのデータタイプと長さを含むフィールド構造情報を読み取り、データベースファイルまたは前記データベース管理システム(110)に書き込み、
    前記レコードインデックス生成モジュール(u2)は、前記データベース中の各レコードの各々について、当該フィールドの修正時間と修正内容を含むインデックス情報を記録し、前記データベースファイルまたは前記データベース管理システム(110)に書き込み、
    前記記憶スペース分配モジュール(u3)は、各レコードのために分配された標準記憶セルの前記データベースファイルにおける位置情報を記録し、前記データベースファイルまたは前記データベースの管理システム(110)に書き込み、
    前記記憶スペース状態モジュール(u4)は、前記データベースファイル中の分配された標準記憶セルにおけるフリースペース情報を記録し、前記データベースファイルまたは前記データベース管理システム(110)に書き込み、
    前記レコードリンクモジュール(u5)は、前記データベース中の各レコードのフィールド構造情報、インデックス情報、標準記憶セルの位置情報、及びスペース情報を合併し、データベース特徴データを生成し、前記データベース特徴データを前記データベースファイルまたは前記データベース管理システム(110)に書き込み、
    前記レコード分割モジュール(u6)は、前記データベース管理システム(110)のコマンドにしたがって、前記データベース中のレコードを分割し、データ分割はレコードを単位として行い、データベースの特徴データを読み取り、前記レコードの各フィールドのデータ位置とデータ量を確定し、コマンドのパラメータに合うレコードをマークし、前記マークした情報を前記データベースファイルまたは前記データベース管理システム(110)に書き込み、
    前記データベース構造生成モジュール(u7)は、前記データベースのデータベース構造を独立したデータファイルに形成し、前記独立したデータファイルによって、前記データベースの構造と同じ構造を有するデータベース(220)を光ディスクに構築し、または前記データベースの構造と同じ構造を有する磁気ディスクデータベース(320)をほかの磁気ディスク記憶装置に構築し、
    前記デュアルコア生成モジュール(u8)は、前記データベース管理システム(110)によって、前記磁気ディスクにおけるデータベース(320)にデータベースのベースコア(330)またはデータベースのベースコア(330)のデータベースファイルを構成し、データベースのエクステンションコア(340)またはデータベースのエクステンションコア(340)のデータベースファイルを構成し、または前記光ディスクにおけるデータベース(220)にデータベースのベースコア(230)またはデータベースのベースコア(230)のデータベースファイルを構成し、データベースのエクステンションコア(240)またはデータベースのエクステンションコア(240)のデータベースファイルを構成し、前記構成した情報を前記データベースファイルまたは前記データベース管理システム(110)に書き込み、前記データベースのベースコアは構造化データと非構造化データに属する小容量ファイルを記憶し、前記データベースのエクステンションコアは非構造化データに属する大容量ファイルを記憶し、
    前記データプロセッサ(120)は、前記データベース管理システムのデータ要求に応答し、データベースのベースコア(basecore)のフィールドとデータベースのエクステンションコア(extensioncore)のフィールドを構成し、それぞれ対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアに書き込み、
    前記データプロセッサ(120)は、フィールド構成(configuration)モジュール(u9)、及びデータ入力モジュール(u10)を含み、
    前記フィールド構成モジュール(u9)は、レコードの各フィールドのデータタイプと長さによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成し、前記ベースコアのサブレコードと前記エクステンションコアのサブレコードを構成し、フィールド構成情報を前記データベースファイルまたは前記データベース管理システム(110)に書き込み、
    前記データ入力モジュール(u10)は、前記フィールド構成モジュール(u9)に構成される前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドによって、前記データベース管理システム110のコマンドにしたがって、対応するフィールドのデータを磁気ディスクにおける前記データベースのベースコア(330)と前記データベースのエクステンションコア(340)にそれぞれ書き込み、または光ディスクにおける前記データベースのベースコア(230)と前記データベースのエクステンションコア(240)にそれぞれ書き込み、
    前記データコネクタ(130)は、前記データベース管理システムのデータ要求に応答し、前記データベースのベースコアと前記データベースのエクステンションコアとのデータコネクトを構築し、
    前記データコネクタ(130)は、デュアルコアコネクトモジュール(u11)を含み、前記データベース管理システム(110)のコマンドにしたがって、前記データベースのベースコアのサブレコードと対応する前記エクステンションコアのサブレコードをコネクトして、完全なレコードを構成し、
    前記データプロセッサ(120)によって、データベースに記憶されるレコードのフィールドを2つの部分に分け、一部のフィールドは前記データベースのベースコアにあり、ほかのフィールドは前記データベースのエクステンションコアにあり、前記データベースのベースコアのフィールドは前記ベースコアのサブレコードを構成し、前記データベースのエクステンションコアのフィールドは前記エクステンションコアのサブレコードを構成し、前記ベースコアのサブレコードと、対応する前記エクステンションコアのサブレコードとは、前記データコネクタ(130)によって完全なレコードを構成し、
    前記磁気ディスク記憶装置と前記光ディスク記憶装置でデータを前記データベースのベースコアと前記データベースのエクステンションコアに記憶する手順は、次のステップを含んでおり、
    返される情報を含まない場合、
    前記データベース管理システム(110)が、前記データベースで前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成する要求を前記データプロセッサ(120)に出して、前記データプロセッサ(120)が、レコードの各フィールドのデータタイプと長さによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成し、
    前記データベース管理システム(110)が、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む要求を前記データプロセッサ(120)に出して、前記データプロセッサ(120)が、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込み、
    返される情報を含む場合、
    前記データベース管理システム(110)が、前記データベースで前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成する要求を前記データプロセッサ(120)に出して、前記データプロセッサ(120)が、レコードの各フィールドのデータタイプと長さによって、前記データベースのベースコアのフィールドと前記データベースのエクステンションコアのフィールドを構成し、前記データベースのベースコアの構成フィールドと前記データベースのエクステンションコアの構成フィールドの情報を返し、前記データベース管理システム(110)が、前記データベースのベースコアの構成フィールドと前記データベースのエクステンションコアの構成フィールドの情報を取得し、
    前記データベース管理システム(110)が、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込む要求を前記データプロセッサ(120)に出して、前記データプロセッサ(120)が、前記対応するフィールドのデータを前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込み、前記データベースのベースコアと前記データベースのエクステンションコアに書き込まれるデータの情報を返し、前記データベース管理システム(110)が、前記データベースのベースコアと前記データベースのエクステンションコアに書き込まれるデータの情報を取得し、
    前記データベースのベースコアと前記データベースのエクステンションコアに書き込まれるデータの情報から、前記データコネクタ(130)が、完全なレコードの情報を構成することを特徴とする、光ディスクに基づくデータベースデュアルコア記憶システム。
  2. 請求項に記載の光ディスクに基づくデータベースデュアルコア記憶システムによって、前記データベースを前記光ディスクに直接に構築し、データを前記データベースのデュアルコアに記憶する方法であって、
    前記データベース管理システム(110)が光ディスク記憶媒体の容量パラメータを取得するステップ(ステップ110)と、
    前記データベース構造生成モジュール(u7)によって、前記データベースを前記光ディスク記憶媒体に構築するステップ(ステップ115)と、
    前記デュアルコア生成モジュール(u8)によって、前記光ディスクにおけるデータベース(220)にデータベースのベースコア(230)とデータベースのエクステンションコア(240)を構成するステップ(ステップ120)と、
    前記フィールド構成モジュール(u9)によって、前記データベースのベースコアのフィールドと前記データベースのエクステンションのフィールドを構成するステップ(ステップ125)と、
    前記データ入力モジュール(u10)によって、前記光ディスク記憶媒体における前記データベースにベースコアのサブレコードと前記エクステンションのサブレコードを増加させる一方、前記データベース管理システム(110)が、前記フィールド構造生成モジュール(u1)によって対応するベースコアのサブレコードとエクステンションのサブレコードに書き込まれるフィールド構造情報を保留させ、前記レコードインデックス生成モジュール(u2)によって対応するベースコアのサブレコードのインデックス情報とエクステンションのサブレコードのインデックス情報を保留させ、前記記憶スペース分配モジュール(u3)によって対応するベースコアのサブレコードの標準記憶セルの位置情報とエクステンションのサブレコードの標準記憶セルの位置情報を保留させ、前記記憶スペース状態モジュール(u4)によって、前記ベースコアのサブレコードの標準記憶セルのスペース情報と前記エクステンションのサブレコードの標準記憶セルのスペース情報を保留させ、前記レコードリンクモジュール(u5)によって形成される対応するデータベース特徴データを保留させるステップ(ステップ130)と、
    記憶スペースの容量値に達するかどうかの判断において、容量値に達したと判断した場合、ステップ145を実行し、容量値に達しないと判断した場合、140ステップを実行するステップ(ステップ135)と、
    前記ステップ130を繰り返し行って保留される前記データベース特徴データを更新するステップ(ステップ140)と、
    前記データベースが光ディスク記憶スペースの容量値に達すると、前記データベース管理システム(110)が、保留される前記データベース特徴データを前記光ディスクにおけるデータベース(220)に書き込んで、前記データベースの構築及び前記ベースコアのサブレコードの記憶と前記エクステンションのサブレコードの記憶を前記光ディスクに行うステップ(ステップ145)と、
    前記デュアルコアコネクトモジュール(u11)によって、前記データベース管理システム(110)のコマンドにしたがって、前記ベースコアのサブレコードと対応する前記エクステンションコアのサブレコードをコネクトして、完全なレコードを構成するステップ(ステップ150)と、を含むことを特徴とする、光ディスクに基づくデータベースデュアルコア記憶システムを用いた方法。
  3. 請求項に記載の光ディスクに基づくデータベースデュアルコア記憶システムによって、前記磁気ディスクに構築されるデータベースと前記データベースのデュアルコアに記憶されるデータを前記光ディスクに移す方法であって、
    前記データベース管理システム(110)が、光ディスク記憶媒体の容量パラメータを取得するステップ(ステップ210)と、
    前記データベース管理システム(110)が、前記光ディスク記憶媒体の容量に応じて、前記レコード分割モジュール(u6)によって、磁気ディスクにおけるデータベース(320)の分割を行い、データ分割はレコードを単位として行い、データベースの特徴データを読み取り、前記レコードの各フィールドのデータ位置とデータ量を確定し、コマンドのパラメータに合うレコードをマークし、サブデータベースのマーク情報を形成するステップ(ステップ215)と、
    前記データベース構造生成モジュール(u7)によって、前記データベースを対応する光ディスクに構築するステップ(ステップ220)と、
    前記デュアルコア生成モジュール(u8)によって、前記光ディスクにおけるデータベースにデータベースのベースコア(230)とデータベースのエクステンションコア(240)を構成するステップ(ステップ225)と、
    前記フィールド構成モジュール(u9)によって、前記磁気ディスクにおけるデータベースのベースコアのフィールドとデータベースのエクステンションのフィールドにしたがって、前記光ディスクにおける前記データベースのベースコアのフィールドと前記データベースのエクステンションのフィールドを構成するステップ(ステップ230)と、
    前記データ入力モジュール(u10)によって、前記対応するベースコアのサブレコードのフィールドのデータとエクステンションコアのサブレコードのフィールドのデータを前記対応する光ディスクにおける前記データベースのベースコアと前記データベースのエクステンションコアにそれぞれ書き込むステップ(ステップ235)と、
    前記フィールド構造生成モジュール(u1)によって、前記対応するベースコアのサブレコードのフィールド構造情報とエクステンションコアのサブレコードのフィールド構造情報を各光ディスクにおける各データベースファイルに書き込むステップ(ステップ240)と、
    前記レコードインデックス生成モジュール(u2)によって、前記対応するベースコアのサブレコードのインデックス情報とエクステンションコアのサブレコードのインデックス情報を各光ディスクにおける各データベースファイルに書き込むステップ(ステップ245)と、
    前記記憶スペース分配モジュール(u3)によって、前記対応するベースコアのサブレコードの標準記憶セルの位置情報とエクステンションコアのサブレコードの標準記憶セルの位置情報を各光ディスクにおける各データベースファイルに書き込むステップ(ステップ250)と、
    前記記憶スペース状態モジュール(u4)によって、前記標準記憶セルのスペース情報を記録するステップ(ステップ255)と、
    前記レコードリンクモジュール(u5)によって、各光ディスクにおける各データベース(220)に対して、対応するデータベース特徴データを生成し、前記データベースの構築及び前記ベースコアのサブレコードの記憶と前記エクステンションコアのサブレコードの記憶を前記光ディスクに行うステップ(ステップ260)と、
    前記デュアルコアコネクトモジュール(u11)によって、前記データベース管理システム(110)のコマンドにしたがって、前記ベースコアのサブレコードと前記対応するエクステンションコアのサブレコードをコネクトして、完全なレコードを構成するステップ(ステップ270)と、を含むことを特徴とする、光ディスクに基づくデータベースデュアルコア記憶システムを用いた方法。
JP2018562021A 2016-07-04 2017-06-07 光ディスクに基づくデータベースデュアルコア記憶システム及びそれを用いた方法 Active JP6891197B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610519740.5A CN106202340B (zh) 2016-07-04 2016-07-04 基于光盘的数据库双核存储系统及利用该系统的方法
CN201610519740.5 2016-07-04
PCT/CN2017/000381 WO2018006577A1 (zh) 2016-07-04 2017-06-07 基于光盘的数据库双核存储系统及利用该系统的方法

Publications (2)

Publication Number Publication Date
JP2019525286A JP2019525286A (ja) 2019-09-05
JP6891197B2 true JP6891197B2 (ja) 2021-06-18

Family

ID=57466222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562021A Active JP6891197B2 (ja) 2016-07-04 2017-06-07 光ディスクに基づくデータベースデュアルコア記憶システム及びそれを用いた方法

Country Status (4)

Country Link
US (1) US11474981B2 (ja)
JP (1) JP6891197B2 (ja)
CN (1) CN106202340B (ja)
WO (1) WO2018006577A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202340B (zh) * 2016-07-04 2019-11-08 陶光毅 基于光盘的数据库双核存储系统及利用该系统的方法
CN109613412B (zh) * 2018-12-19 2020-12-08 上海哥瑞利软件有限公司 实时分析stdf检测数据的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011338A (ja) * 1996-06-25 1998-01-16 Hitachi Inf Syst Ltd リレーショナル・データベース・システム,該システムへのデータ格納・読み出し方法,およびそのためのプログラムを記録した記録媒体
JPH1011464A (ja) * 1996-06-27 1998-01-16 Pfu Ltd クライアント/サーバ型のデータベース・システム
US6963869B2 (en) * 2002-01-07 2005-11-08 Hewlett-Packard Development Company, L.P. System and method for search, index, parsing document database including subject document having nested fields associated start and end meta words where each meta word identify location and nesting level
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
US7779039B2 (en) * 2004-04-02 2010-08-17 Salesforce.Com, Inc. Custom entities and fields in a multi-tenant database system
JP2007279839A (ja) * 2006-04-03 2007-10-25 R Inc リレーショナルデータベースのデータベース管理システムおよびテーブルの関連付け方法
US7870102B2 (en) * 2006-07-12 2011-01-11 International Business Machines Corporation Apparatus and method to store and manage information and meta data
US7827201B1 (en) * 2007-04-27 2010-11-02 Network Appliance, Inc. Merging containers in a multi-container system
JP4741689B2 (ja) * 2009-03-11 2011-08-03 株式会社日立製作所 データ処理方法、データ処理装置およびデータ処理プログラム
CN102968460B (zh) * 2012-11-01 2015-09-02 陶光毅 基于光盘的数据库存储系统及利用该系统的方法
CN103177127B (zh) * 2013-04-18 2016-03-09 陶光毅 基于光盘库的数据库存储系统及利用该系统的方法
CN104008207B (zh) * 2014-06-18 2017-06-06 广东绿源巢信息科技有限公司 基于光盘的数据库的数据外部存储系统及数据存储方法
CN104537129B (zh) * 2015-01-30 2017-11-07 中国地质大学(武汉) 一种基于Web的数据库虚拟存储处理方法
CN106202340B (zh) * 2016-07-04 2019-11-08 陶光毅 基于光盘的数据库双核存储系统及利用该系统的方法

Also Published As

Publication number Publication date
US11474981B2 (en) 2022-10-18
CN106202340B (zh) 2019-11-08
CN106202340A (zh) 2016-12-07
WO2018006577A1 (zh) 2018-01-11
JP2019525286A (ja) 2019-09-05
US20190294593A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6329247B2 (ja) ジュークボックスに基づくデータベース記憶システム及びそれを用いた方法
JP6178859B2 (ja) 光ディスクに基づくデータベース記憶システム及びその利用方法
US8983967B2 (en) Data storage system having mutable objects incorporating time
EP2735978B1 (en) Storage system and management method used for metadata of cluster file system
CN105144142B (zh) 使用对象多个维度的信息存储对象
JP6766163B2 (ja) 光ディスクに基づく異種データベース記憶システム及びそれを用いた方法
CN104346357B (zh) 一种嵌入式终端的文件存取方法及系统
CN107704211B (zh) 一种磁光电混合光盘库及其管理方法和管理系统
WO2014015828A1 (zh) 数据存储空间的处理方法、处理系统及数据存储服务器
CN104054071A (zh) 访问存储设备的方法和存储设备
WO2013075306A1 (zh) 数据访问方法和装置
JP6891197B2 (ja) 光ディスクに基づくデータベースデュアルコア記憶システム及びそれを用いた方法
CN103473258A (zh) 云存储文件系统
CN116257523A (zh) 一种基于非易失存储器的列式存储索引方法及装置
CN107346209B (zh) 一种多磁盘聚合式数据存储系统及其实现方法与应用方法
CN101751390B (zh) 物件导向储存装置的磁盘配置方法
CN105095111A (zh) 一种提高存储虚拟化安全性的方法及存储虚拟化设备
CN104572711A (zh) 一种分布式文档形数据存取方法及装置
CN103559260B (zh) 基于ramdisk文件系统的i节点表的动态调整方法
Zhao et al. Fat File System Design and Research
Wen A new structure for software defined storage system management
CN110019073A (zh) 使用kv存储设备提供文件系统的方法及其文件系统
CN116738511A (zh) 磁盘分块加密方法
Tai Tiering and Prioritizing Big Storage-In-House and in the Cloud

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210526

R150 Certificate of patent or registration of utility model

Ref document number: 6891197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250