JPH07234809A - データ処理方法及びチェックスキップ機能を有する計算機 - Google Patents

データ処理方法及びチェックスキップ機能を有する計算機

Info

Publication number
JPH07234809A
JPH07234809A JP6024509A JP2450994A JPH07234809A JP H07234809 A JPH07234809 A JP H07234809A JP 6024509 A JP6024509 A JP 6024509A JP 2450994 A JP2450994 A JP 2450994A JP H07234809 A JPH07234809 A JP H07234809A
Authority
JP
Japan
Prior art keywords
data
check
identification field
value
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6024509A
Other languages
English (en)
Inventor
Toshio Nakamura
敏夫 中村
Shoichiro Ishigaki
昭一郎 石垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP6024509A priority Critical patent/JPH07234809A/ja
Publication of JPH07234809A publication Critical patent/JPH07234809A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【目的】 本発明の目的は、データベース・システム等
で管理しているレコード群に関するデータ不良検出処理
において、データ不良検出に要する処理時間の削減を可
能とするデータ処理方法を提供することである。 【構成】 本発明は、複数のデータ項目で構成されるレ
コードの集まりからなるレコード群に関するデータ不一
致を検出するデータ処理方法において、レコード内の更
新日付がチェックした日付より以前の場合には、レコー
ド毎または該レコードのデータ項目毎のデータ不一致の
チェックを行わない。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、データ処理方法及びチ
ェックスキップ機能を有する計算機に係り、特に、デー
タベース・システム等で管理している複数データ項目か
らなるレコードの集まりからなるレコード群のデータ不
良の検出処理(データ・チェック処理)を行うデータ処
理方法及びチェックスキップ機能を有する計算機に関す
る。
【0002】データベース・システム等で管理している
レコード群は、レコードの追加・データ項目値の変更が
頻繁に行われることにより、データ不良チェック処理を
定期的に実施する必要がある。本発明は、データ不良チ
ェック処理をレコード及びデータ項目のデータが別デー
タベースのレコード及びデータ項目のデータと比較して
同一の意味を持っているかをチェックする場合の効率化
を図る。
【0003】なお、どちらのデータベースのデータが不
良であるかはわからないため、このチェック結果を基
に、人手で正解値を調査することになる。
【0004】
【従来の技術】データ不良とは、あるデータ項目値(va
lue)が例えば、血液型が正しくは“A型”であるのに、
データ群中では、“B型”となっている等の値の誤りを
言う。
【0005】データ・チェック、即ち、データ不良の検
出方法としては、データベース・システム中のレコード
群と実体(現実の世界の情報を言う)との比較を行う際
に、この実体とレコード群との比較は、通常の場合、多
大な時間と人手を要するという欠点がある。そのため、
簡易な手段として対象とするデータベース・システム
(DB−a)とは別のデータベース(DB−b)で、共
通しているデータ項目(必ずしも同値ではない)に関
し、値を突き合わせることで、データ不良の存在を検出
する方法がある。
【0006】図14は、従来のデータ不良検出方法を説
明するための図である。同図においてデータ不良検出
は、データ不良検出を行う対象データベースDB−a1
0、比較するための別のデータベース(DB−b)2
0、両者のデータベースの等価なデータ項目間の値の突
き合わせを行うデータ不良検出プログラム30及び、デ
ータ不良検出プログラム30の実行結果の出力リスト4
0を用いて行う。
【0007】ここで、定期的に実行するデータ不良検出
処理は、必ず対象データベース10と比較する別のテキ
ストデータベース20とで行うものとする。
【0008】なお、実際には、この逆も当然あり、両方
が対象となるわけであるが、説明を簡単にするために、
仮に対象データベース10、別データベース20と呼ん
でいる。
【0009】図15は、従来のデータ不良検出プログラ
ムの動作を示すフローチャートである。まず、データ不
良検出プログラム30は、前段の処理として、対象デー
タベース10と別データベース20のそれぞれのデータ
群を読み込み、それぞれのキー値の一致しているレコー
ド同士を1対として組み合わせて、全レコードについて
1対の組が選択される。なお、ここで、1対の組が出来
なかったレコードについては、データ不良としてリスト
出力することになるが、ここでは、その処理の詳細につ
いては、説明を省略する。
【0010】なお、対象データベース10と別データベ
ース20間でコード体系が異なる場合(例えば、一方が
INTEGER(4バイト)で、他方がCHARACT
ER(8バイト)の場合等)は、データ変換を行い、キ
ー値の一致しているレコード同士を選択する。
【0011】なお、この処理の詳細な説明は省略する
が、例えば、NTTのデータベース品質管理システムD
QSのマッチングシステム等がその例として挙げられる
(参考文献として、田中他:データベース品質向上を支
援する新システム−データベース品質管理システム(D
QS)の開発−、NTT技術ジャーナル、Vol.4,No.11,
pp.67-68(1992).)。
【0012】次に、両方のデータベース(DB)の1対
のレコードを読み出し(ステップ102)、対応するデ
ータ項目同士の値の突き合わせを行い(ステップ10
5)、“同一の意味を持つ値であるか否かを”を判定す
る。同一意味を持つ値でない場合は、データ不一致とし
て、後述の関連情報も含め、出力リスト40に出力する
(ステップ106)。なお、データ項目によっては、両
者のコード体系が違う場合もあり、その場合には、デー
タ変換後(ステップ104)に突き合わせを行う。
【0013】上記のデータ項目同士の値の突き合わせを
全てのデータ項目について行う(なお、場合によって
は、一部の特定のデータ項目についてのみ突き合わせを
行うこともある)。ここで行うデータ項目同士の突き合
わせは、データの種別・内容等により個々に異なるた
め、詳細な説明は省略する。
【0014】さらに、上記の処理を対象データベース1
0の全てのレコードについて行う(ステップ101)。
その結果、出力リスト40にデータ不一致の情報及び関
連情報を出力する。ここで、関連情報として、例えば、
電話に係わるデータベース/業務の例では、お客様氏
名、お客様住所、電話番号、又はデータ不一致が機器あ
るいはその個数であれば、それを含む関連機器情報等の
各種の情報を出力する。
【0015】上記の処理において、出力リスト40にデ
ータ不一致の情報を出力するのは、データ不良検出プロ
グラム30が通常完全ではないため、データ不良ではな
いが、“データ不一致”としてリストに出力されること
により、出力リスト40は、データ不一致の情報群とい
うことができる。これは、同一の意味を持つ値であるか
否かという判定のケース分けが複雑なため、完全プログ
ラム化することが効率的ではないという理由からであ
る。
【0016】
【発明が解決しようとする課題】しかしながら、上記従
来の方法では、データ不良検出プログラムが同一の意味
を持つか否かの判定方法が複雑であるため、出力リスト
に出力されるデータは、データ不良であるという限定は
できないデータ不一致情報である。また、出力リストに
は、データ不一致情報に加えて、関連情報も出力される
ため、データ不一致情報の件数に比例して出力リスト量
が増大する。このように、従来のデータ不要の検出方法
において、レコード群の全レコードの全データ項目につ
いて突き合わせを行っている。このため、通常のデータ
ベースでは、格納しているレコード数は増加する一方で
あるため、その突き合わせ処理件数、処理時間が増大す
る。
【0017】このように、従来のデータ不良検出処理に
おいては、データ不良検出プログラムにより、全てのレ
コードの全てのデータ項目について、毎回チェック処理
を行っていることにより、データ不良検出に要する処理
時間が大きいという問題がある。
【0018】本発明は、上記の点に鑑みなされたもの
で、上記従来の問題点を解決し、データベース・システ
ム等で管理しているレコード群に関するデータ不良検出
処理において、データ不良検出に要する処理時間の削減
を可能とするデータ処理方法及びチェックスキップ機能
を有する計算機を提供することを目的とする。
【0019】
【課題を解決するための手段】本発明は、複数のデータ
項目で構成されるレコードの集まりからなるレコード群
に関するデータ不一致を検出するデータ処理方法におい
て、レコード内の更新日付がチェックした日付より以前
の場合には、レコード毎または該レコードのデータ項目
毎のデータ不一致のチェックを行わない。
【0020】図1は、本発明の原理を説明するための図
(その1)である。
【0021】本発明は、複数のデータ項目で構成される
レコードの集まりからなるレコード群に関するデータ不
一致を検出するデータ処理方法において、各レコード毎
に、データ不一致をチェックした年月日及びチェックし
た日時(チェック日時)を表すチェック識別フィールド
と、各データ項目毎に、更新した年月日及び時刻(更新
日時)を表す更新識別フィールドを設け、データ項目の
更新時には、更新する1つ或いは複数のデータ項目に対
応する更新識別フィールドに更新日時を設定する(詳細
な説明は省略する)。
【0022】データ不一致をチェックする時は、各レコ
ードにおける各データ項目に対してチェック識別フィー
ルドの値(A)と、データ項目の更新識別フィールドの
値(B)とを比較して(ステップ1)、チェック識別フ
ィールドの値(A)がデータ項目の更新識別フィールド
の値(B)より大きい場合(A>B)は、データ項目は
チェック済として該データ項目に関するデータ不一致の
チェック処理はスキップし、チェック識別フィールドの
値(A)がデータ項目の更新識別フィールドの値(B)
以下である場合(A≦B)は、データ項目のチェックを
行うという処理を順次行い(ステップ1、2、3)、該
レコードを構成するデータ項目全てのチェックが完了し
たとき、チェック識別フィールドにチェック日時を設定
する(ステップ4)。
【0023】図2は、本発明の原理を説明するための図
(その2)である。
【0024】本発明は、データベース・システム等で管
理している複数の集まりからなるレコード群に関するデ
ータ不一致を検出するデータ処理方法において、各レコ
ード毎にチェック識別フィールドと最新更新識別フィー
ルドを設け、データ項目の更新時には、最新更新識別フ
ィールドに、最新更新日時を設定する。
【0025】データ不一致をチェックする時は、各レコ
ードに対して、チェック識別フィールドの値(A)と、
最新更新識別フィールドの値(C)とを比較して(ステ
ップ11)、チェック識別フィールドの値(A)が最新
更新識別フィールドの値(C)より大きけれ(A>C)
ば、レコードは、チェック済として、データ不一致のチ
ェック処理はスキップするとともに、チェック識別フィ
ールドにデータ不一致をチェックした日時を設定し(ス
テップ13)、チェック識別フィールドの値(A)が最
新更新識別フィールドの値(C)以下の場合(A≦C)
は、レコードのデータ項目についてのチェックを行うと
いう処理を順次行い(ステップ12)、データ項目全て
のチェックが完了した時、チェック識別フィールドにデ
ータ不一致をチェックしたチェック日時を設定する(ス
テップ13)。
【0026】図3は、本発明の原理を説明するための図
(その3)である。
【0027】本発明は、データベース・システム等で管
理している複数の集まりからなるレコード群に関するデ
ータ不一致を検出するデータ処理方法において、各レコ
ード毎に、データ不一致をチェックしたチェック日時を
表すチェック識別フィールドと、最新更新した日時を表
す最新更新識別フィールドと、各データ項目毎に更新し
た日時を表す更新識別フィールドを設け、データ項目の
更新時には、更新する1つ或いは複数のデータ項目に対
応する更新識別フィールドに更新日時を設定し、最新更
新識別フィールドに更新日時を設定する。
【0028】データ不一致をチェックする時は、各レコ
ードに対してチェック識別フィールドの値(A)と最新
更新フィールドの値(C)とを比較して(ステップ2
1)、チェック識別フィールドの値(A)が最新更新識
別フィールドの値(C)より大きい場合(A>C)は、
レコードはチェック済として、データ不一致のチェック
処理はスキップすると共に、チェック識別フィールドに
データ不一致をチェックしたチェック日時を設定し(ス
テップ25)、チェック識別フィールドの値(A)が最
新更新識別フィールドの値(C)以下の場合(A≦C)
には、各レコードにおける各データ項目に対してチェッ
ク識別フィールドの値(A)と、データ項目の更新識別
フィールドの値(B)とを比較して(ステップ22)、
チェック識別フィールドの値(A)が該データ項目の更
新識別フィールドの値(B)よりも大きい場合(A>
B)には、データ項目はチェック済として、データ項目
に関するデータ不一致のチェック処理はスキップし、チ
ェック識別フィールドの値(A)がデータ項目の更新識
別フィールドの値(B)以下である場合(A≦B)に
は、データ項目のチェックを行う処理を順次行い(ステ
ップ22、23、24)、レコードを構成するデータ項
目全てのチェックが完了した時、チェック識別フィール
ドにチェック日時を設定する(ステップ25)。
【0029】また、本発明のチェックスキップ機能を有
する計算機は、複数のデータ項目で構成されるレコード
の集まりからなるレコード群に関するデータ不一致を検
出する計算機において、レコード内の更新日付が、デー
タ不一致のチェックを行った日付より以前の場合には、
レコード毎または該レコードのデータ項目毎のデータ不
一致のチェックを行わないように制御する制御手段を有
する。
【0030】
【作用】本発明は、第1にチェック識別フィールドの値
とデータ項目の更新識別フィールドの値とを比較して、
チェック識別フィールドの値>データ項目の更新識別フ
ィールドの値であれば、データ項目はチェック済とし
て、データ項目に関するデータ不一致のチェック処理は
スキップすることができるため、データ不良検出に要す
る処理時間の削減が可能である。
【0031】また、本発明は、第2にチェック識別フィ
ールドの値と最新更新識別フィールドの値を比較して、
チェック識別フィールドの値>最新更新識別フィールド
の値である場合には、当該レコードはチェック済とし
て、データ不一致のチェック処理はスキップすることが
できるため、データ不要検出に要する処理時間の削減が
可能である。
【0032】また、本発明は、第3に各レコードに対し
てチェック識別フィールドの値と最新更新識別フィール
ドの値とを比較し、また、各レコードの各データ項目対
しては、チェック識別フィールドの値とデータ項目の更
新識別フィールドの値とを比較して、チェック済のレコ
ードあるいは、データ項目に対するデータ不一致のチェ
ック処理はスキップすることができるので、データ不良
検出に要する処理時間を削減することが可能である。
【0033】即ち、本発明は、レコード又はレコード内
のデータ項目の更新された日時がチェックを行った日付
より以前であれば、更新後、既にチェックは完了してい
ることになるので、この場合の不一致チェックは行わな
い。これによりチェック処理の時間が削減される。
【0034】
【実施例】以下、図面とともに本発明の実施例を詳細に
説明する。
【0035】図4は、本発明のデータ処理のシステム構
成を示す。同図において、図14と同一構成部分には、
同一符号を付す。同図に示すデータ処理システムは、デ
ータ不良検出を行う対象データベース(DB−a)1
0、比較対象のデータベース(DB−b)20、両者の
データベースの等価なデータ項目間の値の突き合わせを
行うデータ不良検出プログラム35、データ不良検出プ
ログラム35の実行結果として出力する出力リスト40
より構成される。
【0036】[第1の実施例]最初に、本発明の第1の
実施例としてチェック識別フィールドの値とデータ項目
の更新識別フィールドの値を比較する例について説明す
る。
【0037】図5は、本発明の第1の実施例のデータベ
ースのレコードの論理構成を示す。同図に示すレコード
は、対象データベース10(以下対象DBと呼ぶ)及び
比較する別のデータベース20(以下別DBと呼ぶ)の
データを一意に識別するキー値50、データ不良をチェ
ックした年月日及び時刻(チェック日時)を表すチェッ
ク識別フィールド60、対象DB10、別DB20のレ
コードのデータ項目の値70、データ項目毎の更新した
年月日及び時刻(更新日時)を表す更新識別フィールド
80より構成されている。なお、データ項目の値70と
データ項目毎の更新識別フィールド80は、全てのデー
タ項目について繰り返しとなっている。即ち、それぞれ
のフィールドの数は、データ項目の値701 〜70n
更新識別フィールド801 〜80n である。
【0038】更新識別フィールド80は、データ項目の
値70を更新した時、その時の更新日時を設定する。よ
って、更新識別フィールド80は、データ項目の最新更
新日時を表していることになる。なお、レコードの挿入
(INSERT)の場合には、レコードを構成している
全てのデータ項目に対応する更新識別フィールド80
は、更新した同一時刻が設定される。また、対象DB1
0、別DB20に対して、1回も、データの不一致のチ
ェックが行われていない場合は、全てのレコードのチェ
ック識別フィールド60には、未チェックの印として
“NULL”あるいはオール“0”が設定されているも
のとする。また、データチェック後、追加されたレコー
ドについては、チェック識別フィールド60は、“NU
LL”或いはオール“0”が設定されるものとする。以
降の説明中ではオール“0”(all 0)で説明するもの
とする。
【0039】以下に対象データベース10のデータ不一
致の検出処理(チェック処理)の動作を説明する。図
6、図7は、本発明の第1の実施例のチェック処理を説
明するためのフローチャートである。
【0040】データ不良検出プログラム35は、前段の
処理として、対象DB10と別DB20からレコードを
読み出し、それぞれのキー値の一致しているレコード同
士を1対として組み合わせて、全レコードについて1対
の組が選択される。なお、ここで、1対の組ができなか
ったレコードについては、データ不良としてリスト出力
することになるが、ここでは、その処理の詳細について
は説明を省略する。
【0041】なお、読み出したレコードのキー値のコー
ド体系が異なっている場合には、データ変換を行い、読
み出したデータ群からキー値50が一致するレコード同
士を選択する(従来の技術と同様)。
【0042】次に、キー値50が一致したDB10とD
B20の一対のレコードを読み出し(ステップ20
2)、データに対応するデータ項目70の値の突き合わ
せを行い“同一の意味を持つ値であるか否か”を判定す
る。詳しくは、まず、対象DB10の最初のレコードの
チェック識別フィールド60の値を見て、“all 0”で
あり(ステップ203,Yes)、全てのデータ項目に
ついてデータ変換が必要なデータ項目については(ステ
ップ204)データ変換を行い(ステップ205)、別
DB20の対となる対象DB10のデータ項目70の値
の突き合わせを行う(ステップ206)。突き合わせに
より同一の意味を持つか否かを判定し、同一意味を持つ
値でない場合は、データ不一致として関連情報を含めて
出力リスト40に出力する(ステップ207)。ここ
で、関連情報としては、対象DB10が電話情報を管理
しているデータベースであれば、電話番号、カスタマ氏
名・住所、使用形態等を出力リスト40に表示する。な
お、本実施例では、データ不一致の場合に出力リスト4
0に表示するように構成しているが、この例に限定され
ることなく、ディスプレイ装置上に表示してもよい。
【0043】また、対象DB10の最初のレコードのチ
ェック識別フィールド60の値が“all 0”ではない場
合(ステップ203,No)には、先頭のデータ項目の
更新識別フィールド80とチェック識別フィールド60
を比較して(ステップ211)、チェック識別フィール
ド60の値>当該データ項目の更新識別フィールド80
である場合には(ステップ211,>)、データ・チェ
ック後の更新が行われていないことを意味しており、当
該データ項目はチェック済(チェック不要)として、デ
ータ項目に関するデータ不一致のチェックは行わず、ス
テップ216に移行する。例えば、図5において(b)
の例では、 であるため、8月20日に更新し、12月10日にチェ
ックを行っているため、再度チェックは不要である。
【0044】また、ステップ211において、 チェック識別フィールド60の値≦当該データ項目の更
新識別フィールド80 の場合に、当該データ項目の値70についてデータ変換
が必要な場合は(ステップ212、Yes)データ変換
を行い(ステップ213)、別DB20のデータ項目7
0と対となる対象DB10のデータ項目の値70との値
の突き合わせを行い(ステップ214)、“同一の意味
を持つ値であるか否か”を判定する。同一の意味を持た
ない場合は、データ不一致として関連情報を含め出力リ
スト40に出力する(ステップ215)。例えば、図5
(c)の例において、 であるから当該データ項目70のチェックを行う。この
場合は、チェック日時が12月10日であり、それ以降
の日付である12月20日に更新を行っているため、デ
ータ項目70のチェックが必要となる。
【0045】上記のステップ211からステップ216
の処理を順次行い、当該レコードを構成するデータ項目
全てについてデータの不一致のチェックを行う。データ
項目全てについてのチェックが完了したら、チェック識
別フィールド60にチェック日時を付与する(ステップ
220)。
【0046】上記の処理を全てのレコードについて行う
(ステップ201)。
【0047】[第2の実施例]次に、本発明の第2の実
施例について説明する。
【0048】図8は、本発明の第2の実施例のデータベ
ースレコードの論理構成を示す。同図(a)は、DB1
0,DB20に共通のレコードのフォーマットを示し、
同図(b)、(c)は、レコードの内容を示す。図8
(a)に示すように、データベースレコードは、対象D
B10及び別DB20のデータを一意に識別するキー値
50、データ不要をチェックした年月日及び時刻(チェ
ック日時)を表すチェック識別フィールド60、レコー
ドの更新した年月日及び時刻(最新更新日時)を表す最
新更新識別フィールド90から構成される。
【0049】最新更新識別フィールド90は、当該レコ
ードのどれか1つのデータ項目の値を更新した時、その
時の更新日時を設定する。従って、最新更新識別フィー
ルド90の値は、当該レコードの最新の更新日時を示し
ていることになる。なお、レコードの挿入(INSER
T)の場合にも当該レコードの最新更新識別フィールド
90に同様に設定される。
【0050】また、データベース・システムに対して1
回もデータの不一致のチェックが行われていない場合に
は、全てのレコードのチェック識別フィールド60に
は、未チェックの印として“NULL”或いはオール0
(all 0)が設定されているものとする。また、データ
チェック後、レコード追加されたレコードについては、
チェック識別フィールド60は、“NULL”或いは
“all 0”が設定される。以降の説明では、前述の第1
の実施例と同様に“all 0”を用いて説明するものとす
る。
【0051】対象DB10のデータ不一致の検出処理
(チェック処理)は以下の手順で行う。図9、10は、
本発明の第2の実施例のチェック処理を説明するための
フローチャートである。
【0052】まず、データ不良検出プログラム35は、
前段の処理として対象DB10と別DB20からレコー
ドを読み出し、それぞれのキー値の一致しているレコー
ド同士を1対として組み合わせて、全レコードについて
1対の組が選択される。なお、ここで、1対の組ができ
なかったレコードについては、データ不良としてリスト
出力することになるが、ここでは、その処理の詳細につ
いては、説明を省略する。読み出したレコードのキー値
のコード体系が異なっている場合にはデータ変換を行
い、読み出したデータ群からキー値50が一致するレコ
ード同士を選択する(従来の技術と同様)。
【0053】次に、キー値50が一致したDB10とD
B20の一対のレコードを読み出し(ステップ30
2)、対応するデータ項目同士の突き合わせを行い“同
一の意味を持つ値であるか否か”を判定する。詳しく
は、まず、対象DB10の最初のレコードのチェック識
別フィールド60の値を見て、“all 0”であれば(ス
テップ303,Yes)、全てのデータ項目についてデ
ータ変換が必要なデータ項目については(ステップ30
4)データ変換を行い(ステップ305)、別DB20
の対となる対象DB10のデータ項目の値の突き合わせ
を行う(ステップ306)。突き合わせにより同一の意
味を持つか否かを判定し、同一意味を持つ値でない場合
は、データ不一致として関連情報を含めて出力リスト4
0に出力する(ステップ307)。
【0054】次に、対象DB10の最初のレコードのチ
ェック識別フィールド60の値を見て“all 0”でなけ
れば(ステップ303、No)、チェック識別フィール
ド60と最新更新識別フィールド90を比較する(ステ
ップ311)。比較の結果チェック識別フィールド60
の値>最新更新識別フィールド90の値であれば、デー
タチェック後の更新を行っていないことを意味している
ので、当該レコードはチェック済(チェック不要)とし
てデータ不一致のチェック処理はスキップする。例え
ば、図8(b)の例では、 であるため、8月20日に更新し、12月10日にチェ
ックを行っているため、再度チェックは不要である。従
って、チェック処理は行わずステップ320に移行す
る。
【0055】また、ステップ311において、 チェック識別フィールド60の値≦最新更新識別フィー
ルド90の値 である場合には、当該レコードのデータ項目についてデ
ータ変換が必要なものについては(ステップ312,Y
es)、データ変換を行い(ステップ313)、別DB
20の対となるデータ項目の値との突き合わせを行い
“同一の意味を持つ値であるか否か”を判定する(ステ
ップ314)。同一意味を持つ値でない場合には、デー
タ不一致として関連情報も含め、出力リスト40に出力
する(ステップ315)。
【0056】当該レコードのデータ項目全てのチェック
が完了した時、チェック識別フィールド60にデータ不
一致をチェックした年月日及び時刻(チェック日時)を
設定する(ステップ320)。例えば、図8(c)の例
では、 であるため、更新日時がチェック日付より後であるから
全データ項目についてデータ不一致処理を行う。
【0057】上記の処理を全レコードについて行う(ス
テップ301)。
【0058】[第3の実施例]次に、本発明の第3の実
施例として、各レコードに対してチェック識別フィール
ドと最新更新識別フィールドを比較し、各レコードの各
データ項目に対しては、チェック識別フィールドと更新
識別フィールドの値を比較してデータ項目に対するデー
タ不一致のチェック処理を行う場合について説明する。
【0059】図11は本発明の第3の実施例のデータベ
ースレコードの論理構成を示す。同図(a)は、データ
ベースレコードの論理構成を示し、同図(b),(c)
は、レコードの内容を示す。
【0060】同図(a)において、対象DB10及び別
DB20のデータを一意に識別するキー値50、データ
不要をチェックした年月日及び時刻(チェック日時)を
表すチェック識別フィールド70、当該データ項目毎の
更新識別フィールドした年月日及び時刻(更新日時)を
表す更新識別フィールド80から構成されている。な
お、データ項目の値70とデータ項目毎の更新識別フィ
ールド80は、全てのデータ項目について繰り返しとな
っている。即ち、それぞれのフィールド数は、データ項
目の値701 〜70n 、更新識別フィールド801 〜8
n である。
【0061】データ項目毎の更新識別フィールド80
は、データ項目の値を更新したとき、その時の更新日時
を設定する。従って更新識別フィールド80は、データ
項目の最新更新日時を表している。さらに、最新更新識
別フィールド90はレコードを更新した時の日時を設定
する。従って、最新更新識別フィールド90の値は、レ
コードの最新更新日時を表していることになる。なお、
レコードの挿入(INSERT)の場合には、レコード
を構成している全てのデータ項目に対応する更新識別フ
ィールド90及び最新更新識別フィールド90には、更
新した同一時刻が設定されていることになる。
【0062】なお、データベース・システムに対して1
回もデータ不一致のチェックが行われていない場合は、
全てのレコードのチェック識別フィールドには、未チェ
ックの印として“NULL”或いはオール“0”(all
0)が設定されているものとする。また、データ・チェ
ック後、レコード追加されたレコードについてはチェッ
ク識別フィールドは、“NULL”或いはオール“0”
(all 0)が設定される。以降の説明においては、前述
の第1、第2の実施例と同様に、“all 0”を用いて説
明する。
【0063】対象DB10のデータ不一致の検出処理
(チェック処理)は、以下の手順で行う。
【0064】図12、図13は、本発明の第3の実施例
のチェック処理の動作を示すフローチャートである。
【0065】まず、データ不良検出プログラム35は、
前段の処理として、対象DB10と別DB20からレコ
ードを読み出し、それぞれのキー値の一致しているレコ
ード同士を1対として組み合わせて全レコードについて
1対の組が選択される。なお、ここで、1対の組ができ
なかったレコードについては、データ不良としてリスト
出力することになるが、ここでは、その処理の詳細につ
いては説明を省略する。読み出したレコードのキー値の
コード体系が異なっている場合には、データ変換を行
い、読み出したデータ群からキー値50が一致するレコ
ード同士を選択する(従来の技術と同様)。
【0066】次に、キー値50が一致したDB10とD
B20の一対のレコードを読み出し(ステップ40
2)、対応するデータ項目同士の突き合わせを行い“同
一の意味を持つ値であるか否か”を判定する。詳しく
は、まず、対象DB10の最初のレコードのチェック識
別フィールド60の値を見て、“all 0”であれば(ス
テップ403,Yes)、全てのデータ項目についてデ
ータ変換が必要なデータ項目については(ステップ40
4)データ変換を行い(ステップ405)、別DB20
の対となる対象DB10のデータ項目の値の突き合わせ
を行う(ステップ406)。突き合わせにより同一の意
味を持つか否かを判定し、同一意味を持つ値でない場合
は、データ不一致として関連情報を含めて出力リスト4
0に出力する(ステップ407)。
【0067】次に、チェック識別フィールド60の値が
“all 0”でなければ(ステップ403,No)、最新
更新識別フィールド90とチェック識別フィールド60
を比較して、 チェック識別フィールド60の値>最新更新識別フィー
ルド90の値 であれば、データチェック後の更新がないということで
あり、当該レコードはチェック済(チェック不要)とし
てデータ不一致のチェック処理はスキップすると共に、
チェック識別フィールド60にデータ不一致をチェック
した年月日及び時刻(チェック日時)を設定する(ステ
ップ420)。図11の例では、 であるから、当該レコードは更新後にチェック処理が済
んでいるため、チェックは不要である。
【0068】また、チェック識別フィールド60の値と
最新更新識別フィールド90の値を比較して(ステップ
411)、 チェック識別フィールド60の値≦最新更新識別フィー
ルド90の値 であれば、先頭のデータ項目の更新識別フィールド80
とチェック識別フィールド60を比較して(ステップ4
12)、 チェック識別フィールド60>データ項目の更新識別フ
ィールド80の値 である場合には、データチェック後の更新がないという
ことであり、当該データ項目はチェック済(チェック不
要)として当該データ項目に関するデータ不一致のチェ
ック処理はスキップし、ステップ417に移行する。例
えば、図11の例では、 であるから、チェック日時の1993年12月10日以降には、
当該データ項目は更新されていないため、当該データ項
目のチェックは不要である。
【0069】また、チェック識別フィールド60≦デー
タ項目の更新識別フィールド80の値である場合には、
データ項目の値70についてデータ変換処理が必要な場
合には(ステップ413)、データ変換処理を行い(ス
テップ414)、別DB20の対となるデータ項目の値
70と値の突き合わせを行い、“同一の意味を持つ値で
あるか否か”を判定する(ステップ415)。同一意味
を持たないである場合には、データ不一致として関連情
報も含めて出力リスト40に出力する(ステップ41
6)。例えば、図11の(c)の例では、 であるから、チェック日時1993年12月10日以降の日付19
93年12月20に当該データ項目が更新されているため、デ
ータ項目のチェックが必要となる。
【0070】上記の処理を当該レコードを構成するデー
タ項目全てについて行う(ステップ417)。上記の処
理が完了した時、チェック識別フィールド60にチェッ
ク日時を設定する(ステップ420)。
【0071】以上、本発明の第1〜第3の実施例につい
て説明したが、本発明は、上記実施例に限定されるもの
ではなく、その要旨を逸脱しない範囲において種々変更
可能である。
【0072】例えば、上記の実施例では、データ不良検
出プログラム35において、チェック日付と更新日付を
比較してチェックのスキップ処理を行っていたが、この
プログラムに限定されることなく、チェック日付と更新
日付が入力された場合に比較を行い、チェック日付が更
新日付より以前の場合のみ、データ項目のチェックを行
うプログラムを呼び出すような制御部を備えてもよい。
【0073】さらに、上記の実施例では、チェック識別
フィールド、レコードの最新更新識別フィールド、デー
タ項目対応の更新識別フィールドをレコード中に保持す
る方法としたが、別テーブル等で管理する方法等があ
る。
【0074】
【発明の効果】上述のように本発明によれば、データ不
良検出プログラムでの不要なチェックを省略することが
できるため、データ不良検出のための処理時間を削減す
ることが可能である。
【図面の簡単な説明】
【図1】本発明の原理を説明するための図(その1)
【図2】本発明の原理を説明するための図(その2)
【図3】本発明の原理を説明するための図(その3)
【図4】本発明のデータ処理のシステム構成図である。
【図5】本発明の第1の実施例のデータベースのレコー
ドの論理構成図である。
【図6】本発明の第1の実施例のチェック処理を説明す
るためのフローチャート(その1)である。
【図7】本発明の第1の実施例のチェック処理を説明す
るためのフローチャート(その2)である。
【図8】本発明の第2の実施例のデータベースレコード
の論理構成図である。
【図9】本発明の第2の実施例のチェック処理を説明す
るためのフローチャート(その1)である。
【図10】本発明の第2の実施例のチェック処理を説明
するためのフローチャート(その2)である。
【図11】本発明の第3の実施例のデータベースレコー
ドの論理構成図である。
【図12】本発明の第3の実施例のチェック処理を説明
するためのフローチャート(その1)である。
【図13】本発明の第3の実施例のチェック処理を説明
するためのフローチャート(その2)である。
【図14】従来のデータ不良検出方法を説明するための
図である。
【図15】従来のデータ不良検出ルログラム動作を示す
フローチャートである。
【符号の説明】
10 対象データベース 20 比較するための別データベース 30,35 データ不要検出プログラム 40 出力リスト 50 キー値 60 チェック識別フィールド 70 データ項目の値 80 当該データ項目の更新識別フィールド 90 当該レコードの最新更新識別フィールド

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 複数のデータ項目で構成されるレコード
    の集まりからなるレコード群に関するデータ不一致を検
    出するデータ処理方法において、 レコード内の更新日付が、データ不一致のチェックを行
    った日付より以前の場合には、レコード毎または該レコ
    ードのデータ項目毎のデータ不一致のチェックを行わな
    いことを特徴とするデータ処理方法。
  2. 【請求項2】 複数のデータ項目で構成されるレコード
    の集まりからなるレコード群に関するデータ不一致を検
    出するデータ処理方法において、 各レコード毎に、データ不一致をチェックした年月日及
    びチェックした日時(チェック日時)をを表すチェック
    識別フィールドと、各データ項目毎に、更新した年月日
    及び時刻(更新日時)を表す更新識別フィールドを設
    け、 データ項目の更新時には、更新する1つ或いは複数のデ
    ータ項目に対応する更新識別フィールドに更新日時を設
    定し、 データ不一致をチェックする時は、各レコードにおける
    各データ項目に対してチェック識別フィールドの値と、
    該データ項目の更新識別フィールドの値とを比較して、
    チェック識別フィールドの値が該データ項目の更新識別
    フィールドの値より大きい場合は、該データ項目はチェ
    ック済として該データ項目に関するデータ不一致のチェ
    ック処理はスキップし、 チェック識別フィールドの値が該データ項目の更新識別
    フィールドの値以下である場合は、該データ項目のチェ
    ックを行うという処理を順次行い、該レコードを構成す
    るデータ項目全てのチェックが完了したとき、チェック
    識別フィールドにチェック日時を設定する請求項1記載
    のデータ処理方法。
  3. 【請求項3】 データベース・システム等で管理してい
    る複数の集まりからなるレコード群に関するデータ不一
    致を検出するデータ処理方法において、 各レコード毎にチェック識別フィールドと最新更新識別
    フィールドを設け、 データ項目の更新時には最新更新識別フィールドに最新
    更新日時を設定し、 データ不一致をチェックする時は、各レコードに対し
    て、チェック識別フィールドの値と、最新更新識別フィ
    ールドの値とを比較して、該チェック識別フィールドの
    値が該最新更新識別フィールドの値より大きければ、該
    レコードは、チェック済として、データ不一致のチェッ
    ク処理はスキップするとともに、チェック識別フィール
    ドにデータ不一致をチェックした日時を設定し、 該チェック識別フィールドの値が該最新更新識別フィー
    ルドの値以下の場合は、該レコードのデータ項目につい
    てのチェックを行うという処理を順次行い、データ項目
    全てのチェックが完了した時、チェック識別フィールド
    にデータ不一致をチェックしたチェック日時を設定する
    請求項1記載のデータ処理方法。
  4. 【請求項4】 データベース・システム等で管理してい
    る複数の集まりからなるレコード群に関するデータ不一
    致を検出するデータ処理方法において、 各レコード毎に、データ不一致をチェックしたチェック
    日時を表すチェック識別フィールドと、最新更新した日
    時を表す最新更新識別フィールドと、各データ項目毎に
    更新した日時を表す更新識別フィールドを設け、 データ項目の更新時には、更新する1つ或いは複数のデ
    ータ項目に対応する更新識別フィールドに更新日時を設
    定し、さらに、 該最新更新識別フィールドに更新日時を設定し、 データ不一致をチェックする時は、各レコードに対して
    チェック識別フィールドの値と該最新更新フィールドの
    値とを比較して、該チェック識別フィールドの値が該最
    新更新識別フィールドの値より大きい場合は、該レコー
    ドはチェック済としてデータ不一致のチェック処理はス
    キップすると共に、チェック識別フィールドにデータ不
    一致をチェックしたチェック日時を設定し、 該チェック識別フィールドの値が該最新更新識別フィー
    ルドの値以下の場合には、各レコードにおける各データ
    項目に対してチェック識別フィールドの値と、該データ
    項目の更新識別フィールドの値とを比較して、該チェッ
    ク識別フィールドの値が該データ項目の更新識別フィー
    ルドの値よりも大きい場合には、該データ項目はチェッ
    ク済として、該データ項目に関するデータ不一致のチェ
    ック処理はスキップし、 該チェック識別フィールドの値が該データ項目の更新識
    別フィールドの値以下である場合には、該データ項目の
    チェックを行う処理を順次行い、該レコードを構成する
    データ項目全てのチェックが完了した時、チェック識別
    フィールドにチェック日時を設定する請求項1記載のデ
    ータ処理方法。
  5. 【請求項5】 複数のデータ項目で構成されるレコード
    の集まりからなるレコード群に関するデータ不一致を検
    出する計算機において、 レコード内の更新日付が、データ不一致のチェックを行
    った日付より以前の場合には、レコード毎または該レコ
    ードのデータ項目毎のデータ不一致のチェックを行わな
    いように制御するチェックスキップ機能を有する計算
    機。
JP6024509A 1994-02-22 1994-02-22 データ処理方法及びチェックスキップ機能を有する計算機 Pending JPH07234809A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6024509A JPH07234809A (ja) 1994-02-22 1994-02-22 データ処理方法及びチェックスキップ機能を有する計算機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6024509A JPH07234809A (ja) 1994-02-22 1994-02-22 データ処理方法及びチェックスキップ機能を有する計算機

Publications (1)

Publication Number Publication Date
JPH07234809A true JPH07234809A (ja) 1995-09-05

Family

ID=12140151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6024509A Pending JPH07234809A (ja) 1994-02-22 1994-02-22 データ処理方法及びチェックスキップ機能を有する計算機

Country Status (1)

Country Link
JP (1) JPH07234809A (ja)

Similar Documents

Publication Publication Date Title
US7092956B2 (en) Deduplication system
CN106033436B (zh) 一种数据库的合并方法
US7165078B2 (en) Collaborative data cleansing
CN113342750B (zh) 一种文件的数据比对方法、装置、设备及存储介质
US20070005543A1 (en) System and method for rule-based data object matching
US20040034699A1 (en) Managing data integrity using a filter condition
US20040034668A1 (en) Managing data integrity
US20070005619A1 (en) Method and system for detecting tables to be modified
CN110555770B (zh) 一种基于增量哈希的区块链世界状态校验和恢复方法
CN107368513B (zh) 客户端数据库更新的方法及装置
CN111428095B (zh) 图数据质量验证方法及图数据质量验证装置
CN114780138B (zh) 流场模拟软件代码版本管理方法、装置和存储介质
CN111949315A (zh) 用于区块链账本数据的管理装置和方法
CN114564500A (zh) 在区块链系统中实现结构化数据存储和查询的方法和系统
JPH07234809A (ja) データ処理方法及びチェックスキップ機能を有する計算機
CN111309370A (zh) 多项目多系统环境的版本号有向图排序稽核方法和系统
CN116739397B (zh) 一种新能源指标的动态管理方法
CN114924978B (zh) 基于人工智能的多分支增量检查方法及相关设备
JPH06332957A (ja) データ処理方法
JP3376874B2 (ja) データ分割による検索効率化方式
JP2699436B2 (ja) パラメータ検査処理方法
JPH06332956A (ja) データ処理方法
JPH06314226A (ja) データ更新方法
CN109325031A (zh) 一种数据统计方法、装置、设备和存储介质
JPH11238010A (ja) データベースの管理装置とその方法及びこの方法を記録した記録媒体