JPH10260876A - データベースのデータ構造及びデータベースのデータ処理方法 - Google Patents

データベースのデータ構造及びデータベースのデータ処理方法

Info

Publication number
JPH10260876A
JPH10260876A JP9065919A JP6591997A JPH10260876A JP H10260876 A JPH10260876 A JP H10260876A JP 9065919 A JP9065919 A JP 9065919A JP 6591997 A JP6591997 A JP 6591997A JP H10260876 A JPH10260876 A JP H10260876A
Authority
JP
Japan
Prior art keywords
data
database
area
segment
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9065919A
Other languages
English (en)
Inventor
Takayoshi Shimokawa
隆義 下川
Kazuo Masai
一夫 正井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP9065919A priority Critical patent/JPH10260876A/ja
Priority to US09/044,163 priority patent/US20010011278A1/en
Publication of JPH10260876A publication Critical patent/JPH10260876A/ja
Priority to US10/084,222 priority patent/US7225178B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】大規模なデータベースにおいて、従来のインデ
クスやバランスドトリー方式では、検索処理や削除処理
に時間がかかり過ぎる。 【解決手段】データベースのエリア管理の最小単位であ
るセグメント毎に分け、、セグメント間にブックマーク
を設ける。データの追加時には、追加した時点の時間情
報を有したブックマーク情報を作成して追加した一連の
セグメント群を管理する。特定のブックマーク以降のデ
ータをまとめて削除する場合、セグメント単位に空エリ
ア化する。 【効果】時系列順に到着するデータの記憶及び削除以外
のデータ変更がない検索用データベースにおいて、高速
に検索しオンライン中であってもデータロード・削除処
理を実現することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データの更新を直
接行わずに、時系列順に更新明細情報として格納し、時
系列順の分析を行うことを目的とする特に超大規模な時
系列データベース処理方式に関する。
【0002】
【従来の技術】大規模なデータベースから特定のデータ
を検索する場合、索引(インデクス)をつけることが一
般的である。インデクスは、検索をする際のキーとなる
項目が特定できる場合には有効である。インデクスは、
データベースの特定のキー項目を集めて、その上位にバ
ランスドトリーの形にポインタを設け、特定の値のキー
がどの範囲にあるかという情報からトリーのリーフに当
たる位置まで高速にたどれるようにした仕掛けであり、
アン イントロダクション トゥ データベースシステ
ムズ、シー ジェイ デイト、アディソン ウェズリ
ー、1986、第68頁から第77頁(An Intr
oduction to Databaseystem
s、 C. J. Date、 ADDISON−WE
SLEY、1986、pp68−pp77)において論
じられている様に、全データ項目についてその格納位置
に相当する情報が得られる仕掛けになっている。
【0003】しかし、百万件程度のデータベースでは問
題がないが、十億件とか一兆件といった超大規模なデー
タベースにおいては、インデクスそのものの維持が膨大
となり、特に時系列で追加をしていくようなキーに関し
ては不適切である。
【0004】時系列でデータを追加すると、時間を示す
項目の値は単純増加をするため、インデクスは一定の方
向に成長する。さらに削除という観点では、一定時間経
過したものを削除していくとインデクスは片方の部分に
ばかりデータがあり、手前の方のノードが存在するのに
項目の値がない形となり、非常に効率の悪い状態となる
ことが知られている。この際は、再編成という技術でイ
ンデクスを再作成してインデクス内の無駄エリアを削除
し、効率を上げるということをする。これも、超大規模
な時系列データベースでは許容範囲をはるかに超える作
業となり現実的でない。
【0005】データベースに高速にデータを追加するに
は、データロード用のユティリティを用いる。データロ
ードユティリティを用いるとデータベースの物理的なエ
リアに直接データを書き込む技術を用いているため高速
に書き込むことが可能である。しかし、物理的なエリア
に直接書き込む高速なデータロード用のユティリティ
は、その特性上、他の検索や更新アクセスと競合するこ
とを禁止している。すなわち、その特定の表または、表
の一部のアクセスを禁止した状態で実行することが義務
付けられている。これでは、毎日のように追加される時
系列データをデータロードする度にデータベースの検索
をいったん打ち切る必要がある。超大規模な時系列デー
タベースにおいては、検索そのものが一日以上かかるケ
ースが有る。この場合、検索を打ち切らないとデータロ
ードできないことが非常に大きな弊害をもたらす。この
状態を避けるために、データロードではなく、通常のデ
ータ挿入操作でデータを追加することも可能だが、物理
的に書き込むタイプのデータローダに比べて一桁近く性
能が悪くなる上に、追加中のデータを見せなくするため
のロックを取得する必要があり、データベース全件を検
索している操作に対する性能的影響が大きい。
【0006】また、データベースの中の一定期間を経過
したデータを削除する場合、通常は、該当するデータを
検索し、一件ずつ削除していく。このため、インデクス
があっても該当する不要データを削除するためには、デ
ータを一件ずつ挿入するときに匹敵する時間がかかる。
もしインデクスを持たない場合には、全件を検索し該当
データを削除するため、超大規模なデータベースにおい
ては、削除処理だけで一日以上かかる操作となり、時系
列データベースとして現実的に成立しない。
【0007】一般に追加削除を繰り返すとデータベース
の中は乱れるため、再編成を定期的に行う必要がある。
この再編成は、全データを読み出し、格納し直すため
に、非常に時間のかかる操作である。超大規模データベ
ースでは、再編成をすることは、数日以上かかる仕事と
なり現実的ではない。
【0008】
【発明が解決しようとする課題】上記従来技術は、デー
タの検索の高速化のためには、キー項目一件ずつに対応
するインデクスを作成していたが、超大規模データベー
スではインデクスのデータ量が大きくなりすぎてしま
う。また、バランスドトリーの形では、時系列追加と削
除を繰り返す操作に弱く、再編成を強いられる。この再
編成の操作は、超大規模なデータベースにとって現実的
ではない。
【0009】データ追加に関しても、インデクスが存在
するとそのインデクスの更新を伴い非常に時間がかか
る。インデクスを追加しないと検索が全件を対象とする
ため、この場合も時間を非常に必要とする。さらに高速
にデータ追加をすることを優先すると、他のデータ検索
操作をいったん打ち切る必要がある。これでは、全件検
索が一日以上かかるデータベースに対して毎日のデータ
追加をすることは、現実的に実現困難である。
【0010】さらに、一定時間を経過したデータの削除
に関しても、インデクスがなければ全件検索時間以上に
かかり、インデクスが存在すれば削除の際にインデクス
の更新も伴い、データ挿入同様非常に時間のかかる操作
となってしまう。これでは、全件検索が一日以上かかる
データベースに対して毎日のデータ削除をすることは、
現実的に実現困難である。
【0011】データを追加及び削除を繰り返す時系列デ
ータベースにおいては、データベースの乱れを直すため
に再編成を行うことになるが、これも超大規模なシステ
ムにおいては数日以上かかる操作となってしまい現実的
ではない。
【0012】
【課題を解決するための手段】前記課題を解決するため
に本発明は、データベースのエリア管理の最小単位であ
るセグメント毎に分け、時系列データを格納する。デー
タベースにデータを追加するときには、追加を開始する
先頭のセグメントに対し、ブックマークとしてその追加
をした時点の時刻を記憶する。ブックマークがあるの
で、時刻指定、または時間間隔指定の検索の場合、この
ブックマークを利用して検索する範囲を物理的に狭める
ことができる。
【0013】データ追加を行う場合には、ブックマーク
を追加中であるという状態にすることでデータベースと
しては追加が完了していない状態を作ることができる。
このため、他の検索に影響を出すことなく物理的なセグ
メントに直接データロードを行うことができる。データ
追加が完了した時点で、データベースとしてブックマー
クを付けて認知する。
【0014】データ削除時には、特定のブックマーク以
降のデータをまとめて削除する場合、セグメント単位に
空エリア化することで、実際のデータをアクセスするこ
となく短時間で削除することができる。データベースの
エリアをラップアラウンド型にセグメントという単位で
管理することで、常にプールされている連続エリアを一
方から使いデータを挿入し、その他方に対してデータ削
除したエリアを補充することができる。
【0015】また本発明は、データベースを有するコン
ピュータシステムと時系列順にデータがデータベースシ
ステムに到着し、時系列のデータ挿入及び削除以外のデ
ータ変更がない検索用データベースシステムに対して特
に有効である。
【0016】
【発明の実施の形態】以下、本発明に一実施例について
図面を用いて説明する。
【0017】図1は、本発明の一実施例を示すシステム
構成図である。データベースシステムは図1に示される
ように、主として、中央処理装置11を有するシステム装
置10とデータを物理的に格納する記憶装置13から構成さ
れる。データベース管理プログラム12はシステム装置10
上で動作し、記憶装置13上に実際のデータを格納する。
記憶装置13には、データ領域14とそのデータの定義情報
を格納するためのシステム定義情報領域15が存在する。
【0018】システム定義情報領域15とデータ領域14を
更に詳細に説明したものが図2の記憶装置の構成図であ
る。本実施例におけるデータ領域14は記憶装置13上の連
続した領域に確保され、セグメント20という管理単位に
分割される。時系列的に発生したデータは一定の時間分
まとめて、連続する記憶装置13からなるデータベースの
データ領域14としてのデータが記憶可能なエリアの管理
単位セグメント群としてまとめて格納される。そのセグ
メント20は、実データを格納する為のデータ格納領域21
とそのデータ格納領域21に格納されているデータの管理
情報を格納するためのブックマーク情報領域22とから構
成される。本実施例では、セグメント20はディスク入出
力の単位であるページが複数個で構成されている。
【0019】システム定義情報15には、時系列データの
格納位置を管理する情報が含まれており、最も時系列的
に古いセグメント20をポイントする情報と、空セグメン
ト領域の先頭をポイントする情報が含まれている。
【0020】図3のブックマーク情報領域22の説明図で
示すとおり、ブックマーク情報領域22では、セグメント
20にデータが格納された時間に関する情報を時間情報領
域23に、セグメント20の遷移状態を示すステータスフラ
グ情報をステータスフラグ領域24に格納する。ステータ
スフラグ情報としては、遷移状態にはそのデータ格納領
域がアクセス可能であることを表す「オンライン」。現
在データを挿入中であることを表す「書き込み中」。そ
してデータ格納領域にはデータが入っていないことを表
す「空き」の三種類があり、セグメント20のステータス
としてはこれらの間を遷移する。
【0021】次に、本実施例の動作について説明する。
時系列データベースにおいては、時間を特定した検索が
頻繁に実施される。例えば、ある出版社の時系列データ
ベースにその出版社から出版された本のタイトルと発行
日が、発行日をキーとして時系列に格納されているよう
な場合、このデータベースに対し1994年の3月から
1994年の5月までの3カ月間に発行された本のタイ
トル一覧の検索などが一例となる。
【0022】図4及び図5を用いて本実施例の検索処理
を説明する。図4は本実施例の検索処理の一実施例を示
す流れ図であり、図5は図4の流れ図を説明するための
記憶装置の構成図である。
【0023】本実施例のデータベースシステムはまず最
も時系列的に古いデータが格納されているセグメント20
をポイントする情報をシステム定義情報15から取得する
(ステップ500)。データベースシステムは、ポイン
トとされているセグメント20のブックマーク情報領域22
から、時間情報t(1994年2月)とステータス情報
(オンライン)を取得する(ステップ501)。
【0024】取得したステータス情報が「空き」もしく
は「書き込み中」であれば、そのセグメント20には対象
となるデータが格納されていないかデータを挿入中であ
るためアクセスは不可と判断できるため、検索処理を終
了する(ステップ502)。
【0025】ステータス情報が「オンライン」であれば
アクセス可能となり次の処理(ステップ503)へ進
む。時間の新しい方の検索要求時間(1994年5月)
とブックマーク情報領域22に格納されていた時間情報
(1994年2月)とを比較し、このデータベースに目
的のデータが格納されているかどうかを判定する。比較
結果が「Yes」であった場合、格納されているデータは
検索対象である範囲(1994年3月〜1994年5
月)よりも時間的に新しいデータが格納されているとい
うことなので、検索処理を終了する。判定処理が「No」
である場合、次の処理(ステップ504)へ進み、現在
ポイントしているセグメント20が検索要求期間内(19
94年3月〜1994年5月)であるかどうかを判定す
る。セグメント20は1994年2月であるため、このデ
ータ格納領域21は検索対象外となり、時系列的に次のデ
ータが格納されているセグメント20をポイントする(ス
テップ506)。例えば、セグメント20のサイズは全て
同じサイズであるとすると、記憶装置13として磁気ディ
スク装置を用いた場合、現在のディスクのヘッダからセ
グメント分のサイズ(磁気ヘッドに対する相対的な移動
量)を動かすことにより、次のセグメントをポイントす
ることが可能になる。
【0026】次セグメント20についても上記と同様(ス
テップ502、503、及び504)の判定処理を実行
する。処理(ステップ504)においてセグメント20は
検索要求に合致するセグメントであることが判定される
と、セグメント20内のデータ格納領域21から実データを
読み込む(ステップ505)。データ格納領域21から実
データを読み込んだ後はディスクのヘッダは時系列的に
次のデータが格納されているセグメント20の先頭を指し
ていることになるので(ステップ506)、またブック
マーク情報領域22から時間情報を取得し、以下、同様に
判定を繰り返す。こうして、セグメント20が順々に読み
出されることになる。セグメント20の判定処理(ステッ
プ503)において、検索対象外であることが判定され
るので、ここで検索処理は終了する。
【0027】次にデータロード処理について図6を用い
て説明する。図6は本実施例におけるデータロード処理
を示す流れ図である。本実施例では、1994年7月分
及び1994年8月分のデータがデータロードされる場
合を説明する。入力データはファイルとして与えられ、
データは既に時系列的にソートされているとする。図5
で表される初期状態にデータが追加される例で説明す
る。
【0028】まず、システム定義情報15から空セグメン
ト情報を読み出す(ステップ600)。その情報により
空セグメント20をポイントする。入力データを読み込む
ため入力ファイルにアクセスし、データ(1994年7
月)を読み込む(ステップ602)。データが存在する
ため、処理(ステップ602)では「有」が判定され、
処理(ステップ603)へ進む。処理(ステップ60
3)で書き込み処理が実行される。まず、ブックマーク
情報領域22に時間情報(1994年7月)と現在ローデ
ィング中であることを表すフラグ「書き込み中」をステ
ータスフラグ領域に書き込み、データ格納領域21に実デ
ータを書き込む。書き込み終わった状態を表したのが図
7である。
【0029】1つのセグメント分のデータが書き終える
と、データベースシステムは次の入力データをファイル
から読み込み(ステップ601)、1994年8月分の
データが存在するため、判定処理(ステップ602)で
「有」の判定をする。1994年7月分のデータを書き
込んだ時と同じロジックによりセグメント20に時間情報
(1994年8月)、ステータスフラグ「書き込み
中」、及び実データをデータ格納領域21に書き込む(ス
テップ603)。
【0030】書き込みが終了すると、さらにシステムは
次のデータをファイルから読み込もうとする(ステップ
601)。しかしながらファイルには既にデータは存在
しないため、判定処理(ステップ602)で「無」と判
定され、次の処理(ステップ604)へ移行する。
【0031】入力データのデータベースへの書き込みが
終了すると、データベースシステムは新たなデータが書
き込まれたセグメント群をアクセス可能にするため、ブ
ックマーク情報領域のステータスフラグの更新を開始す
る(ステップ604)。
【0032】最後のデータを書き込み終えたとき、デー
タベースシステムはシステム定義情報15の空セグメント
情報16を読み込み、新たにデータを最初に書き込んだセ
グメント20をポイントする。そこのブックマーク領域22
のステータスフラグには「書き込み中」と設定されてい
るので、このフラグを「オンライン」に遷移させる。こ
れによりセグメント20に対しての検索が可能となる。本
実施例において、検索の時と同様にセグメントのサイズ
は決められているため、時系列的に次の情報が格納され
ているセグメント20をポイントできる。
【0033】セグメント20のブックマーク情報領域22の
ステータスフラグにも「書き込み中」が設定されている
ので、これを「オンライン」に設定し、セグメント20を
検索が有効である状態へと遷移させる。この「書き込み
中」から「オンライン」への遷移移行処理は、読み込ん
だブックマーク情報領域のステータスフラグが「空き」
になったところで終了し、そのセグメントへのアドレス
情報をシステム定義情報15の空セグメント情報16に設定
する(ステップ605)。データロード処理が全て完了
した状態が図8になる。
【0034】次に削除処理について図9を用いて説明す
る。図9は削除処理の一実施例を示す流れ図である。
【0035】本実施例では図5を初期状態とし、199
4年2月分のセグメント20を削除する処理について説明
する。
【0036】まず、システム定義情報15から先頭セグメ
ント情報20を読み出す(ステップ700)。セグメント
20のブックマーク情報領域22から時間情報(1994年
2月)を取得し、セグメント20が削除対象のセグメント
であるかどうかを判定する(ステップ701)。
【0037】削除対象は1994年2月であるので、そ
のセグメント20が削除対象と判定される。システム定義
情報15の先頭セグメント情報16を時系列的に次のセグメ
ント20へ変更する。セグメントサイズは決まっているた
め、先頭セグメントアドレスはセグメントのサイズ分だ
け加算すればよい(ステップ702)。
【0038】次に、ブックマーク情報領域22に時間情報
(ナル値)を設定し(ステップ703)、ステータスフ
ラグに「空き」を設定する(ステップ704)。ブック
マーク情報領域22を初期化することにより(ステップ7
03及び704)、セグメント20をアクセス不可の状態
へ遷移させる。
【0039】時系列的に次のセグメント20をポイントし
(ステップ705)、セグメント20からブックマーク情
報領域22から時間情報(1994年3月)を取得する。
取得した時間情報(1994年3月)と削除対象である
1994年2月とを比較し、セグメント20が削除対象で
はないこと判定する(ステップ701)。これで削除処
理が終了する。終了後のデータベースの状態は図10のよ
うになる。
【0040】本削除処理は内部のデータを直接アクセス
することなく、ブックマーク情報領域のみを対象にする
ことで、短時間にかつオンライン中に削除が可能とな
る。
【0041】また、セグメント群をラップアラウンド的
に使用することで、追加削除を繰り返しても、一切再編
成を必要としない特徴がある。最後にこのラップアラウ
ンド機構について説明する。
【0042】図11にラップアラウンド機構の実施例を示
す。物理的に一番下位に位置するセグメント20のブック
マーク情報領域22のステータスフラグ領域に「先頭」と
いうフラグを設定し、ラップアラウンドを実現する。こ
のステータスフラグ領域に「先頭」というフラグが設定
されている場合、時間情報領域として時間情報を管理し
ていた領域にセグメント群の先頭セグメント20のアドレ
スを設定しておく。検索・削除・挿入等の処理において
も、常にブックマーク情報領域を参照する処理があるの
で、この処理の延長で先頭アドレスへジャンプする処理
を加えるだけで容易に実現可能である。
【0043】また、図12において示す本発明の他の実
施例のように、ある一定期間のデータは複数のセグメン
ト群20によって管理されている場合の方が多い。従っ
て、本実施例の変形として、ブックマーク情報をシステ
ム定義情報15内に格納し集中管理する方式がある。この
方式はデータを書き込むべきエリアが限定できるという
メリットがありより現実的である。
【0044】以上述べたとおり、本発明の実施例を実施
することによって、インデクスが無くともデータベース
全体を検索すること無く特定の範囲だけを全件検索する
ことで、目的とするデータをアクセスすることができ
る。
【0045】また本発明の実施例を実施することによっ
て、データ追加時には、データロードを事前に空きエリ
ア上に行い、そのデータロードが完了した時点でブック
マークを付けてデータベースの表として実際の追加をす
ることで他の検索を止めること無く同時にかつ非常に高
速にデータロードができる。
【0046】さらに本発明の実施例を実施することによ
り、一定の期間を超過したデータの削除に関しても、ブ
ックマークを検索することで削除対象セグメントと特定
でき、セグメントがデータベースのエリア管理の単位で
あるために空エリア化する事ができ、非常に短時間で
(通常数秒から数分程度で)削除できる。
【0047】また本発明の実施例で説明したように、本
発明によるとエリア管理もラップアラウンド型にできる
ため、再編成は不要となる。
【0048】本発明のによれば、ブックマーク情報は膨
大な実データ量に比べその規模は小さくメンテナンス処
理が非常に容易に実現でき、大規模データベースにおい
ても非常に短時間でブックマーク情報を検索することが
できる。
【0049】
【発明の効果】本発明によれば、膨大な実データ量を有
し、時系列順に到着するデータの記憶及び削除を行う大
規模データベースにおいて、高速に検索しオンライン中
であってもデータロード・削除処理を実現することがで
きる。
【図面の簡単な説明】
【図1】本発明を実現する一実施例を示すシステム構成
図である。
【図2】本発明を実現する一実施例を示す記憶装置の構
成図である。
【図3】ブックマーク情報領域の説明図である。
【図4】検索処理の一実施例を示す流れ図である。
【図5】図4の流れ図を説明する為の記憶装置の構成図
である。
【図6】データロード処理の一実施例を示す流れ図であ
る。
【図7】図6の流れ図を説明する為の記憶装置の途中経
過を表す構成図である。
【図8】図6の流れ図を説明する為の記憶装置の最終結
果を表す構成図である。
【図9】削除処理の一実施例を示す流れ図
【図10】図9の流れ図を説明する為の記憶装置の途中
経過を表す構成図である。
【図11】ラップアラウンド機構の一実施例を示す記憶
装置の構成図である。
【図12】本発明を実現する他の実施例を示す記憶装置
の構成図である。
【符号の説明】
10…システム装置 11…中央処理装置 12…データベース管理プログラム 13…記憶装置 14…データ領域 15…システム定義情報領域 16…格納位置管理情報 20…セグメント 21…データ格納領域 22…ブックマーク情報領域 23…時間情報領域 24…ステータスフラグ領域

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】データベースシステムに到着するデータを
    一定の時間分まとめ、連続するデータベースのエリアの
    管理単位セグメント群にまとめて格納し、当該セグメン
    ト群を管理するブックマークとして時間の管理情報を格
    納する領域を持つことを特徴とするデータベースのデー
    タ構造。
  2. 【請求項2】データベースに到着するデータを一定の時
    間分まとめ、連続するデータベースのエリア管理単位セ
    グメント群にまとめて格納し、当該セグメント群を管理
    する管理情報を格納するまでデータベースとしては挿入
    されていることをエリア的に存在しない管理をして無効
    とすることを特徴とするデータベースのデータ処理方
    法。
  3. 【請求項3】データベースに到着するデータを一定の時
    間分まとめ、連続するデータベースのエリア管理単位セ
    グメント群にまとめて格納し、データを削除する際に、
    削除すべきセグメント群をブックマークから検出し、該
    セグメントエリアを空セグメントエリアに管理情報上で
    変更することを特徴とするデータベースのデータ処理方
    法。
  4. 【請求項4】データベースに到着するデータを一定の時
    間分まとめ、連続するデータベースのエリア管理単位セ
    グメント群にまとめて格納し、当該セグメント群を管理
    するデータ格納時間情報を格納する領域を有し、データ
    を削除する際には、削除すべき前記セグメント群を前記
    データ格納時間情報から検出し、当該セグメントエリア
    を空セグメントエリアに前記データ格納時間情報に変更
    することを特徴とするデータベースのデータ処理方法。
  5. 【請求項5】データベースを有するコンピュータシステ
    ムと時系列順にデータが到着し、時系列のデータ挿入及
    び削除以外のデータ変更が無い検索用データベースにお
    いて到着するデータを一定の時間分まとめて連続するデ
    ータベースのエリアの管理単位セグメント群にまとめて
    格納し、それらセグメント群を管理するブックマークと
    して時間の管理情報を格納する領域を持つことで、索引
    を作成することなく、時間を特定した検索において、デ
    ータベース全体を検索しなくてもその該当セグメントだ
    けを検索することで検索を高速化することを特徴とする
    時系列ブックマークを用いる時系列データベースの管理
    方式。
  6. 【請求項6】データベースを有するコンピュータシステ
    ムと時系列順にデータが到着し、時系列のデータ挿入及
    び削除以外のデータ変更がない検索用データベースにお
    いて到着するデータを一定の時間分まとめて連続するデ
    ータベースのエリア管理単位セグメント群にまとめて格
    納するが、それらセグメント群を管理するブックマーク
    として時間の管理情報を格納するまでデータベースとし
    ては挿入されていることをエリア的に存在しない管理を
    して有効としないことでオンライン中にデータロードを
    可能とすることを特徴とする時系列データベースのデー
    タ追加方式。
  7. 【請求項7】データベースを有するコンピュータシステ
    ムと時系列順にデータが到着し、時系列のデータ挿入及
    び削除以外のデータ変更がない検索用データベースにお
    いて到着するデータを一定の時間分まとめて連続するデ
    ータベースのエリア管理単位セグメント群にまとめて格
    納するが、データ保存期間を越えたデータを削除する際
    には、削除すべきセグメント群をブックマークから検出
    し、該セグメントエリアを空セグメントエリアに管理情
    報上で変更することで内部のデータをアクセスすること
    なく短時間でかつオンライン中に削除を可能とすること
    を特徴とする時系列データベースのデータ削除方式。
  8. 【請求項8】データベースを有するコンピュータシステ
    ムと時系列順にデータが到着し、時系列のデータ挿入及
    び削除以外のデータ変更がない検索用データベースにお
    いてデータベースに到着するデータを一定の時間分まと
    めて連続するデータベースのエリア管理単位セグメント
    群にまとめて格納するが、それらセグメント群を管理す
    るブックマークとして時間の管理情報を格納する領域を
    持つことで、データ保存期間を越えたデータを削除する
    際には、削除すべきセグメント群をブックマークから検
    出し、該セグメントエリアを空セグメントエリアに管理
    情報上で変更することで常に連続エリアを確保し、セグ
    メントエリアをラップアラウンド的にしようとすること
    で追加削除を繰り返すが、いっさい再編成を必要としな
    いことをことを特徴とする時系列データベースのデータ
    エリア管理方式。
JP9065919A 1997-03-19 1997-03-19 データベースのデータ構造及びデータベースのデータ処理方法 Pending JPH10260876A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP9065919A JPH10260876A (ja) 1997-03-19 1997-03-19 データベースのデータ構造及びデータベースのデータ処理方法
US09/044,163 US20010011278A1 (en) 1997-03-19 1998-03-19 Data structure in database, database system for managing database and database managing method and system
US10/084,222 US7225178B2 (en) 1997-03-19 2002-02-28 Data structure in database, database system for managing database and database managing method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9065919A JPH10260876A (ja) 1997-03-19 1997-03-19 データベースのデータ構造及びデータベースのデータ処理方法

Publications (1)

Publication Number Publication Date
JPH10260876A true JPH10260876A (ja) 1998-09-29

Family

ID=13300869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9065919A Pending JPH10260876A (ja) 1997-03-19 1997-03-19 データベースのデータ構造及びデータベースのデータ処理方法

Country Status (2)

Country Link
US (2) US20010011278A1 (ja)
JP (1) JPH10260876A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132300A (ja) * 1998-10-21 2000-05-12 Nec Eng Ltd アラーム履歴記録装置
JP2007140821A (ja) * 2005-11-17 2007-06-07 Mitsubishi Electric Corp データ管理装置、データ管理方法およびデータ管理プログラム
JP2011165000A (ja) * 2010-02-10 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155450B2 (en) * 2001-05-10 2006-12-26 Automsoft R & D Limited Plant information management system
US8874561B2 (en) * 2003-03-31 2014-10-28 Sap Se Time series data management
EP1770544A3 (en) * 2004-05-03 2007-05-09 LG Electronics Inc. Method and apparatus for managing bookmark information for content stored in a network media server
JP4082614B2 (ja) * 2004-11-12 2008-04-30 インターナショナル・ビジネス・マシーンズ・コーポレーション データベース管理システム、データベース管理方法、及びプログラム
JP4148529B2 (ja) * 2006-12-28 2008-09-10 インターナショナル・ビジネス・マシーンズ・コーポレーション データベースにおける索引の整合性をチェックするためのシステム、方法およびプログラム
US7487184B1 (en) 2008-05-09 2009-02-03 International Business Machines Corporation Method, system, and computer program product for improved round robin for time series data
GB2476456B (en) 2009-12-18 2013-06-19 Onzo Ltd Utility data processing system
GB2477366B (en) 2009-11-12 2013-06-19 Onzo Ltd Data storage and transfer
GB2489147A (en) 2009-12-25 2012-09-19 Ibm System, method and program for checking consistency of pointers in hierarchical database
EP2515246B1 (en) 2011-04-18 2013-10-23 Qualtera Data processing method and device
GB2491109B (en) 2011-05-18 2014-02-26 Onzo Ltd Identification of a utility consumption event
GB2494630A (en) * 2011-09-09 2013-03-20 Onzo Ltd Storing time series data

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4646229A (en) 1982-11-15 1987-02-24 At&T Bell Laboratories Time-ordered data base
US4648036A (en) 1985-03-06 1987-03-03 At&T Bell Laboratories Method for controlling query and update processing in a database system
US4823310A (en) * 1987-08-10 1989-04-18 Wang Laboratories, Inc. Device for enabling concurrent access of indexed sequential data files
US4961134A (en) 1988-07-15 1990-10-02 International Business Machines Corporation Method for minimizing locking and reading in a segmented storage space
US4954981A (en) 1988-09-16 1990-09-04 Coworks Method and apparatus for accessing and manipulating time series
US5261069A (en) 1990-08-13 1993-11-09 Hewlett-Packard Company Method of maintaining consistency of cached data in a database system
US5289397A (en) * 1991-07-22 1994-02-22 Itt Corporation High-speed modulo exponentiator device
JPH0581049A (ja) 1991-09-20 1993-04-02 Fujitsu Ltd メモリの時間管理方式
US5280612A (en) 1991-11-26 1994-01-18 International Business Machines Corporation Multiple version database concurrency control system
JP3612339B2 (ja) * 1992-10-23 2005-01-19 株式会社日立製作所 データ処理方法および装置
US5361202A (en) * 1993-06-18 1994-11-01 Hewlett-Packard Company Computer display system and method for facilitating access to patient data records in a medical information system
US5481296A (en) 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
JPH08152976A (ja) 1994-11-28 1996-06-11 Fujitsu Ltd 記憶装置のアクセス方法
US5835915A (en) 1995-01-24 1998-11-10 Tandem Computer Remote duplicate database facility with improved throughput and fault tolerance
JPH08212019A (ja) * 1995-01-31 1996-08-20 Mitsubishi Electric Corp 半導体ディスク装置
US5748952A (en) * 1995-05-10 1998-05-05 International Business Machines Corporation System and method for avoiding complete index tree traversals in sequential and almost sequential index probes
US5933820A (en) 1996-05-20 1999-08-03 International Business Machines Corporation System, method, and program for using direct and indirect pointers to logically related data and targets of indexes
US5878410A (en) 1996-09-13 1999-03-02 Microsoft Corporation File system sort order indexes
US6012060A (en) * 1997-05-30 2000-01-04 Oracle Corporation Sharing, updating data blocks among multiple nodes in a distributed system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132300A (ja) * 1998-10-21 2000-05-12 Nec Eng Ltd アラーム履歴記録装置
JP2007140821A (ja) * 2005-11-17 2007-06-07 Mitsubishi Electric Corp データ管理装置、データ管理方法およびデータ管理プログラム
JP2011165000A (ja) * 2010-02-10 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム

Also Published As

Publication number Publication date
US20020091675A1 (en) 2002-07-11
US7225178B2 (en) 2007-05-29
US20010011278A1 (en) 2001-08-02

Similar Documents

Publication Publication Date Title
CN100458779C (zh) 扩展索引的方法
US6973452B2 (en) Limiting scans of loosely ordered and/or grouped relations using nearly ordered maps
US6049804A (en) Method and apparatus for segmenting a database
US5204958A (en) System and method for efficiently indexing and storing a large database with high data insertion frequency
CN1020014C (zh) 快速开启由路径名识别的磁盘文件的方法
US20040205044A1 (en) Method for storing inverted index, method for on-line updating the same and inverted index mechanism
EP2199935A2 (en) Method and system for dynamically partitioning very large database indices on write-once tables
JPH10260876A (ja) データベースのデータ構造及びデータベースのデータ処理方法
US6415375B2 (en) Information storage and retrieval system
CN110109910A (zh) 数据处理方法及系统、电子设备和计算机可读存储介质
CN107209768A (zh) 用于数据集的可扩展排序的方法和设备
US20180011897A1 (en) Data processing method having structure of cache index specified to transaction in mobile environment dbms
CN109299143A (zh) 基于Redis缓存的数据互操作测试知识库的知识快速索引方法
CN110515897B (zh) Lsm存储系统读性能的优化方法及系统
US20110231404A1 (en) File storage and retrieval method
JP3666907B2 (ja) データベース用ファイル格納管理システム
CN112989130A (zh) B+树操作装置
JPH04112253A (ja) 多層バッファを用いるデータアクセス方法
JP2871755B2 (ja) ダイナミック・ハッシュにおけるスプリット制御方法
CN114416742A (zh) Key-Value存储引擎实现方法及系统
JPH0283640A (ja) データベース更新方法
CN115794960A (zh) 关系型数据库的管理方法及装置
JPH1173353A (ja) 時刻指定によるトランザクション検索処理装置
JPS61278932A (ja) デ−タ追加処理方法
CN113778752A (zh) 用于重复数据删除的哈希数据存储方法及装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050613

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050725

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051202

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080519