JP6527984B1 - 差異データ抽出装置、差異データ抽出プログラムおよび差異データ抽出方法 - Google Patents
差異データ抽出装置、差異データ抽出プログラムおよび差異データ抽出方法 Download PDFInfo
- Publication number
- JP6527984B1 JP6527984B1 JP2018085812A JP2018085812A JP6527984B1 JP 6527984 B1 JP6527984 B1 JP 6527984B1 JP 2018085812 A JP2018085812 A JP 2018085812A JP 2018085812 A JP2018085812 A JP 2018085812A JP 6527984 B1 JP6527984 B1 JP 6527984B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- mask
- difference
- difference data
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013075 data extraction Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000013508 migration Methods 0.000 claims description 86
- 230000005012 migration Effects 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 23
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000007704 transition Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 238000013480 data collection Methods 0.000 description 7
- 238000013509 system migration Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
出力データがたとえば帳票形式のCSVファイルであるとき、2つのファイルのデータ比較を行うと日時データ項目(タイムスタンプやデータ作成日時等)は必ず差異が出るが、日時データ項目については差異があっても問題ないものである。ところが日時データ項目の差異についても「差異データ」と判別してしまうと、差異を目視で確認するとき確認すべき項目が多数となってしまう。それにより、本来差異を見つけなければならない、たとえばロジック誤りによる不正項目を見逃してしまう可能性もある。
特許文献1では、処理単位を示す箱単位でデータ比較を行うことが開示されている。しかしながら特許文献1では、必ず差異が出る日時データ項目を考慮して、差異と判定しないことについては開示がない。
本実施の形態において、差異データ抽出装置100は、移行前データ(第1のデータ)11と移行後データ(第2のデータ)12とを比較し、差異があるデータを抽出する。移行前データ11とは、移行前サーバ(移行前システム)200で動作する所定処理(たとえば処理A)からの出力データである。また移行後データ12とは、移行後サーバ(移行後システム)300で動作する、移行前サーバ200の所定処理(たとえば処理A)と同等の処理(たとえば処理a)からの出力データである。差異データ抽出装置100は、システムの試験に関連して移行前サーバ200で動作している処理が移行後サーバ300で正しく動作するか、つまりシステム移行が正しくされているかを、対応する処理からの出力データを比較することで実現している。
また本実施の形態における「データマスク処理」とは、一般的にマスキングとも呼ばれる処理であり、機密情報や個人情報等、部分的にデータ公開を避けたい場合にも用いられる。具体的には、文字データのうち該当データを特定の数値や文字列に置き換えることを言う。あるいは、データそのものの存在を隠し、何らかの抽出の対象外とすることも考えられる。またデータマスク処理を行った文字データを画面に表示するときは、伏字(*等)で表示するように構成してもよい。
図2は、本実施の形態における差異データ抽出装置100の構成図を示した図である。差異データ抽出装置100は、コンピュータであり、プロセッサ910、記憶装置920、入力インタフェース930、出力インタフェース940といったハードウェアを備える。
また差異データ抽出装置100は、機能構成として、データ収集部1、マスク設定部2、表示部3、マスク処理部4、データ比較部5および記憶部150を備える。以下の説明では、データ収集部1と、マスク設定部2と、表示部3と、マスク処理部4と、データ比較部5との機能を、差異データ抽出装置100の「部」の機能という。差異データ抽出装置100の「部」の機能は、ソフトウェアで実現される。
また記憶部150は、記憶装置920で実現される。記憶部150には、移行前データ11、移行後データ12、マスク候補情報13、マスク設定情報14、マスク済移行前データ15、マスク済移行後データ16および差異データ17が記憶されている。
プロセッサ910は、プロセッシングを行うIC(Integrated・Circuit)である。プロセッサ910は、具体的には、CPU(Central・Processing・Unit)である。
なお、入力インタフェース930は、LAN(Local・Area・Network)と接続されるポートであってもよい。
差異データ抽出装置100は、1つのプロセッサ910のみを備えていてもよいし、複数のプロセッサ910を備えていてもよい。複数のプロセッサ910が「部」の機能を実現するプログラムを連携して実行してもよい。
なお、「部」の機能を実現するプログラムを差異データ抽出プログラム120ともいう。
差異データ抽出プログラム120は、「部」として説明している機能を実現するプログラムである。また、差異データ抽出プログラムプロダクトと称されるものは、差異データ抽出プログラム120が記録された記憶媒体及び記憶装置であり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。
マスク設定部2は、移行前データ11に含まれる同一処理(たとえば処理A)からの出力である複数データの差異を「差異ありデータ」として認定した後、マスク候補情報13に記憶する。その後マスク候補情報13に基づき、一部または全部のデータを「差異ありデータ」としない「マスクデータ」と設定し、その「マスクデータ」をマスク設定情報14に登録する。マスク設定部2は、たとえば管理者からの指定に基づき、マスク候補情報13の「差異ありデータ」の一部または全体を「マスクデータ」と設定し、マスク設定情報14に記憶する。つまり「マスクデータ」とは、差異があっても問題がないデータであり、そのため実体のデータを隠すデータのことを示す。
ルールの一例としては、1つの項目について列全体の値が差異ありデータとなったとき、列全体をマスクデータにすることが考えられる。つまりその項目は、日時データ項目等、必ず差異が発生する項目と言える。別のルールとしては、値の形式が8桁の数値である等日時データとみなされる項目は、マスクデータとすることが考えられる。
マスク処理部4は、移行前データ11および移行後データ12のうち、マスク設定情報14に記憶されたマスクデータに含まれる部分についてデータマスク処理を行う。
データ比較部5は、マスク処理部4がデータマスク処理を行った、マスク済第1のデータ15とマスク済第2のデータ16とのデータ比較を行い、差異データ17を出力する。このとき、データ比較部5は、マスク済第1のデータ15とマスク済第2のデータ16とが同等の対応する処理からの出力であることを判別した上で、データ比較を行う。具体的には、データ比較部5は、処理Aからの出力であるマスク済第1のデータ15と、処理aからの出力であるマスク済第2のデータ16が対応することを確認した上で、データ比較を行う。
本実施の形態では、移行前サーバ200で動作する処理Aの出力データと、移行後サーバ300で動作する処理aの出力データを比較するものとする。また差異データ抽出装置100の各部は、処理Aと処理aの対応、処理Aが出力した移行前データ11と処理aが出力した移行後データ12の対応を判別できるものとする。
具体的には、処理Aと処理aの対応付け情報は、管理者からの指定により記憶部150に記憶する。あるいは、差異データ抽出装置100上でシステム的に処理Aと処理aとの対応付けるように構成してもよい。その上で移行前サーバ200および移行後サーバ300から、移行前データ11および移行後データ12を受信するとき、合わせて処理名(処理Aまたは処理a)を受信する。あるいは移行前データ11および移行後データ12内に処理名を埋め込むことで、実現できる。
図7では、マスク候補情報13をマークアップ言語と呼ばれるタグで囲まれた形式で表しているが、マスク候補情報13の形式はそれに限定されるものではない。<report id= >で示されるタブで項目ID(PID)が指定され、<columnName>で示されるタグで項目IDに対応して値の差異がある項目名が指定される。項目ID=P01では、UDATEの値に差異があること、項目ID=P02はUDATEおよびデータ2の値に差異があることが定義されている。同様に、項目ID=P03はデータ1およびUDATEの値に差異があることが定義されている。
移行前データ11aと移行前データ11bとは、たとえば直近とその1つ前の移行前データ11であるが、どのような選択でも構わない。
なお管理者からの選択の受け付け方法は、項目をタッチパネルで選択する等、任意の方法で実現可能である。
なお図4で示したステップS12では、管理者の指定に基づきマスク設定情報14を生成しているが、前述したように一定のルールに基づきマスク設定情報14を生成することも可能である。1つめのルールとしては、1つの項目について列全体の値が差異ありデータとなったとき、それらをマスクデータにする。図7に示したマスク候補情報13では、項目名UDATEが全てのreport idに対応して記憶されているので、マスク設定部2は項目名UDATEの列全体の値が差異ありデータであり、すなわちそれらをマスクデータであると判別する。
データ比較部5は、マスク済移行前データ15とマスク済移行後データ16との比較を行い、差異のあるデータを差異データ17に出力する(ステップS24)その後、データ比較部5は表示部3を用いて管理者に対して、差異データ17に表示する(ステップS25)。
また異なるコンピュータからの出力に限定されず、第1のコンピュータ200および第2のコンピュータ300とは同じコンピュータであってもよく、第1のデータ11と第2のデータ12が同一コンピュータ上の異なる処理からの出力データであったとしても、それ同士を比較する場合にも用いることができる。よって、本実施の形態によると、同等の処理同士の出力データが正しいかどうかの確認処理を行うことができる。
図16を用いて、本実施の形態の変形例に係る差異データ抽出装置100の構成について説明する。
処理回路909は、前述した「部」の機能及び記憶部150を実現する専用の電子回路である。処理回路909は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate・Array)、ASIC(Application・Specific・Integrated・Circuit)、または、FPGA(Field−Programmable・Gate・Array)である。
「部」の機能は、1つの処理回路909で実現されてもよいし、複数の処理回路909に分散して実現されてもよい。
プロセッサ910、記憶装置920、および、処理回路909を、総称して「プロセッシングサーキットリ」という。つまり、差異データ抽出装置100の構成が図1および図16のいずれに示した構成であっても、「部」の機能及び記憶部150は、プロセッシングサーキットリにより実現される。「部」を「工程」又は「手順」又は「処理」に読み替えてもよい。また、「部」の機能をファームウェアで実現してもよい。
このように動作することにより、本実施の形態では管理者は本来見つけなければならない、差異データを効率的に抽出し、必要な対策を講じることができる。また差異データ抽出装置100ではデータ比較するデータ量を削減することができるので、処理効率の向上が見込まれる。
本実施の形態における「データ」には、画像データが含まれる。画像データは出力された文字データをスクリーンショット等の方法で画像に変換したデータであり、BMP、JPEG、GIF等の形式で保存される。
また本実施の形態における「データマスク処理」の対象は画像データであり、該当領域に上からマスク用の画像(マスク領域)を重ね合わせるような処理を実行することにより、該当領域の色情報を変換することを言う。
図13〜図14を用いて本実施の形態における処理の流れの一例を示す。図13は、移行前データ11cと移行前データ11dとに基づき、マスク設定部2が生成したマスク候補情報13を例示している。移行前データ11cと移行前データ11dは、画像データであり、図13において矩形で囲んだ箇所はマスク候補領域である。図4に示したステップS11の処理において、マスク設定部2が画像データである移行前データ11cと移行前データ11dとを比較し、画像として差異がある領域を画像データとしたマスク候補情報13を生成する。図13におけるマスク候補情報13は、黒塗りされている領域である。なおステップS11における画像データの比較処理は、抽出した特徴量の比較等、既存の技術で実行する。
1つめのルールとしては、マスク候補情報13に含まれる黒塗りされている領域が1つの列全体に及ぶものをマスク領域とする。図13に示したマスク候補情報13で、特定の項目名に関して黒塗りされている領域が列全体にかかっているものがあれば、この領域をマスク領域であると判別する。
2つめのルールとしては、予め定めた一定の大きさより黒塗りされている領域が大きい場合、項目全体に及ぶ領域と判定し、この領域をマスク領域とする。図13に示したマスク候補情報13で、項目名UDATEに関して黒塗りされている領域が一定の大きさ以上である場合、項目名UDATEに関する領域をマスク領域であると判別する。
例示した差異データ17bは、差異がある領域についてマスク済移行前データ15aおよびマスク済移行後データ16aの領域が登録されている。(わかりやすさのため、差異データ17aおよび差異データ17bの表示例では、項目を区別する線を表示している。)
ステップS25で、表示部3がこれらいずれかの差異データ17に基づき該当の処理名と差異領域を表示することにより、管理者は本来見つけなければならない、差異データを画像データとして効率的に抽出し、必要な対策を講じることができる。
画像データの比較処理の方が文字データの比較より効率的であることが見込める場合、本実施の形態での処理方法は、差異データ抽出装置100の処理負荷軽減としても有効になる。
Claims (9)
- 第1のデータと第2のデータとの差異データを抽出する差異データ抽出装置であって、
上記第1のデータに含まれる同一処理からの出力である複数データの差異を差異ありデータとしてマスク候補情報に記憶し、上記マスク候補情報に基づき差異ありデータとしないマスクデータをマスク設定情報に登録するマスク設定部と、
上記第1のデータおよび上記第2のデータのうち、上記マスク設定情報に登録されたマスクデータに含まれる部分についてデータマスク処理を行うマスク処理部とを
備えた差異データ抽出装置。 - さらに、
上記マスク処理部がデータマスク処理を行った、マスク済第1のデータとマスク済第2のデータとのデータ比較を行い、差異データを出力するデータ比較部
を備えたことを特徴とする請求項1に記載の差異データ抽出装置。 - 上記第1のデータおよび上記第2のデータは文字データであり、上記マスクデータは項目を特定する情報であり、
上記マスク処理部が行うデータマスク処理とは、上記第1のデータおよび上記第2のデータのうち、上記マスクデータに含まれる項目の値を予め定めた値に変換することを特徴とする請求項1または2に記載の差異データ抽出装置。 - 上記第1のデータおよび上記第2のデータは文字データであり、上記マスクデータは項目を特定する情報であり、
上記マスク処理部が行うデータマスク処理とは、上記マスクデータに含まれる項目と項目の値とを上記第1のデータおよび上記第2のデータから除外することを特徴とする請求項1または2に記載の差異データ抽出装置。 - 上記第1のデータ、上記第2のデータ、および上記マスクデータは画像データであり、
上記マスク処理部が行うデータマスク処理とは、上記マスクデータに含まれる画像データに基づき、上記第1のデータおよび上記第2のデータの所定領域を所定の色に変換することを特徴とする請求項1または2に記載の差異データ抽出装置。 - 上記第1のデータとは移行前サーバで動作する所定処理からの出力データであり、上記第2のデータとは移行後サーバで動作する上記所定処理と同等の処理からの出力データであることを特徴とする請求項1〜5のいずれか1項に記載の差異データ抽出装置。
- さらに、
管理者から上記マスク設定情報に関する指定を受け付ける画面を表示し、上記データ比較部が出力した上記差異データを表示する表示部と
を備えたことを特徴とする請求項2に記載の差異データ抽出装置。 - コンピュータを、請求項1〜7のいずれか1項に記載の差異データ抽出装置として機能させる差異データ抽出プログラム。
- マスク設定部が、第1のデータに含まれる同一処理からの出力である複数データの差異を差異あり項目としてマスク候補情報に記憶し、管理者からの指定に基づき上記マスク候補情報から差異ありデータとしないマスクデータをマスク設定情報に登録するステップと、
マスク処理部が、上記第1のデータと第2のデータのうち、上記マスク設定情報に登録されたマスクデータに含まれる部分についてデータマスク処理を行うステップとを
備えた差異データ抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085812A JP6527984B1 (ja) | 2018-04-26 | 2018-04-26 | 差異データ抽出装置、差異データ抽出プログラムおよび差異データ抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085812A JP6527984B1 (ja) | 2018-04-26 | 2018-04-26 | 差異データ抽出装置、差異データ抽出プログラムおよび差異データ抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6527984B1 true JP6527984B1 (ja) | 2019-06-12 |
JP2019192038A JP2019192038A (ja) | 2019-10-31 |
Family
ID=66821532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018085812A Active JP6527984B1 (ja) | 2018-04-26 | 2018-04-26 | 差異データ抽出装置、差異データ抽出プログラムおよび差異データ抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6527984B1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4093426B2 (ja) * | 2005-07-06 | 2008-06-04 | 大日本印刷株式会社 | 検査装置、検査方法 |
JP2015141472A (ja) * | 2014-01-27 | 2015-08-03 | 株式会社東芝 | 情報処理装置及び情報処理プログラム |
-
2018
- 2018-04-26 JP JP2018085812A patent/JP6527984B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019192038A (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8751465B2 (en) | Document management apparatus, document management system, and document management method | |
JP6260130B2 (ja) | ジョブ遅延検知方法、情報処理装置、およびプログラム | |
US9002877B2 (en) | Quick font match | |
US20160098390A1 (en) | Command history analysis apparatus and command history analysis method | |
US10769216B2 (en) | Data acquisition method, data acquisition apparatus, and recording medium | |
JP4591229B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JPWO2018066661A1 (ja) | ログ分析方法、システムおよび記録媒体 | |
CN109933502A (zh) | 电子装置、用户操作记录的处理方法和存储介质 | |
CN112650909A (zh) | 产品展示方法、装置、电子设备及存储介质 | |
JP6527984B1 (ja) | 差異データ抽出装置、差異データ抽出プログラムおよび差異データ抽出方法 | |
JP7235110B2 (ja) | 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム | |
JP5355497B2 (ja) | 成果物管理装置、成果物管理方法及び成果物管理プログラム | |
JP2020197777A (ja) | 監視装置、および監視システム | |
WO2019225007A1 (ja) | 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム | |
US20230367884A1 (en) | Cyber attack scenario generation method and device | |
KR20220073951A (ko) | 블룸필터를 이용한 분산식별자 검색 방법 | |
US8788537B2 (en) | Computer readable medium storing information processing program, information processing apparatus, and information processing method | |
JP2011059864A (ja) | 画像処理装置及び画像処理プログラム | |
US20210356947A1 (en) | Information processing apparatus, information processing method and computer readable medium | |
WO2023105696A1 (ja) | 情報付与装置、情報付与方法及び情報付与プログラム | |
US20180081951A1 (en) | Information generation system, a method and a non-transitory computer readable medium thereof | |
JP6455087B2 (ja) | 帳票情報処理プログラム、帳票情報処理装置、および帳票情報処理方法 | |
US12124353B2 (en) | Operation logs acquiring device, operation logs acquiring method, and operation logs acquiring program | |
EP4435688A1 (en) | Information processing apparatus, information processing program, and information processing method | |
US20240045416A1 (en) | Logging support apparatus, logging system, method for logging support, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6527984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |