JP6360956B1 - Data acquisition system - Google Patents

Data acquisition system Download PDF

Info

Publication number
JP6360956B1
JP6360956B1 JP2017211986A JP2017211986A JP6360956B1 JP 6360956 B1 JP6360956 B1 JP 6360956B1 JP 2017211986 A JP2017211986 A JP 2017211986A JP 2017211986 A JP2017211986 A JP 2017211986A JP 6360956 B1 JP6360956 B1 JP 6360956B1
Authority
JP
Japan
Prior art keywords
data
capture
processing unit
identification information
identity identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017211986A
Other languages
Japanese (ja)
Other versions
JP2019086836A (en
Inventor
哲也 喜多
哲也 喜多
健史 赤西
健史 赤西
晃司 内田
晃司 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osk Co Ltd
Original Assignee
Osk Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osk Co Ltd filed Critical Osk Co Ltd
Priority to JP2017211986A priority Critical patent/JP6360956B1/en
Application granted granted Critical
Publication of JP6360956B1 publication Critical patent/JP6360956B1/en
Publication of JP2019086836A publication Critical patent/JP2019086836A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】データを取り込むためのデータ取込システムを提供する。
【解決手段】データを取り込むためのデータ取込システムであって,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,取込履歴情報記憶部を参照して比較する比較処理部と,比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部と,を有する。
【選択図】図1
A data capturing system for capturing data is provided.
A data capture system for capturing data, a capture history information storage unit for storing identity identification information based on a data file describing data that has been captured or is being captured, and a capture A comparison processing unit that compares whether there is identity identification information that matches the identity identification information generated based on the data file that describes the target data with reference to the acquisition history information storage unit, and comparison processing And a fetch processing unit that executes a data fetch process of the data file to be fetched when it is determined that there is no matching identity identification information.
[Selection] Figure 1

Description

本発明は,データを取り込むためのデータ取込システムに関する。   The present invention relates to a data capturing system for capturing data.

企業などでは,さまざまな業務が行われており,その業務遂行を管理するためのコンピュータシステムが用いられている。このコンピュータシステムは,業務システムと一般的に呼ばれている。業務システムでは,システム更新などのさまざまな場面において,業務システムで管理するデータを,所定のデータ項目の配置にしたがって,テキスト形式などの所定のデータ形式(データフォーマット)のデータファイルで出力をし,出力したデータファイルを読み込むことで,データを取り込むことが行われる。   Various businesses are carried out in companies and the like, and a computer system for managing the business execution is used. This computer system is generally called a business system. In a business system, in various situations such as system updates, the data managed by the business system is output as a data file in a predetermined data format (data format) such as text format according to the arrangement of the predetermined data items. Data is read by reading the output data file.

データを取り込む際に,同一内容のデータをすでに取り込んでいるにもかかわらず,再度,同じデータを取り込んでしまう可能性がある。とくに業務システムは複数のユーザが使用をするため,あるユーザがすでに取り込んでいるにもかかわらず,別のユーザが同一のデータを取り込む可能性がある。   When capturing data, there is a possibility that the same data will be captured again even though the same data has already been captured. In particular, since the business system is used by a plurality of users, there is a possibility that another user may capture the same data even though one user has already captured it.

そこでデータの重複取込を防止するためのシステムが下記特許文献1に開示されている。   Therefore, a system for preventing duplicated data capture is disclosed in Patent Document 1 below.

特開2016−126489号公報Japanese Patent Laying-Open No. 2006-1264889

特許文献1に開示するシステムでは,データファイルにおけるデータを直接,比較するため,重複取込の判定処理に時間を要することとなり,データ取込に時間を要してしまう。また,比較のために,取り込む対象となったデータファイルまたはすべてのデータを保持しておく必要があり,記憶容量を圧迫する問題点があった。   In the system disclosed in Patent Document 1, since data in a data file is directly compared, it takes time to determine whether to take duplicates, which takes time for data fetching. In addition, for comparison, it is necessary to hold the data file to be imported or all the data, and there is a problem that the storage capacity is pressed.

そこで本発明者は,上記問題点に鑑み,重複取込の判定処理の時間を短くし,また取り込む対象となったデータファイルまたはデータの保持も不要とすることで記憶容量を節約できるデータ取込システムを発明した。   Therefore, in view of the above problems, the present inventor has made it possible to reduce the time required for the duplicate capture determination process, and to eliminate the need to retain the data file or data to be captured, thereby saving the storage capacity. Invented the system.

第1の発明は,データを取り込むためのデータ取込システムであって,前記データ取込システムは,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,前記取込履歴情報記憶部を参照して比較する比較処理部と,前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部と,前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部と,を有しており,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行した上で,前記取込処理部における取込処理を実行する,データ取込システムである。
A first invention is a data capturing system for capturing data, the data capturing system storing identity identification information based on a data file describing data that has been captured or is being captured. Refer to the acquisition history information storage unit for whether there is identity identification information that matches the identity identification information generated based on the data file describing the data to be acquired and the data to be acquired. A comparison processing unit that performs comparison, and when the comparison processing unit determines that there is no matching identity identification information, a capture processing unit that executes data capture processing of the data file to be captured; A warning processing unit for displaying a predetermined warning when the comparison processing unit determines that there is matching identity identification information, and the warning processing unit is a result of the warning display. , When accepting the selection of continuing the write process, again, in terms of executing the comparison process identity identification information in the comparison processing unit, executes the acquisition process in the acquisition processor, by the data acquisition system is there.

本発明のように,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を取込履歴として記憶しておき,その取込履歴における同一性識別情報と,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報とが一致するかを比較することで,重複登録を判定することで,取り込む対象となったデータファイルまたはすべてのデータを保持しておく必要がなくなる。また重複取込の判定(比較)の処理時間を短くできる。そのため,データ取込に要する時間を短くし,また記憶容量を節約することができる。
また,本発明のように構成することで,同一内容のデータを取り込む際に,ユーザに対して注意を促すことができる。
さらに,すでに取り込んでいるデータであっても,そのデータの保存を失念した,データを消去してしまったなどの各種事情によって,再度,取り込みたい場合もある。その場合,そのまま取込の処理を実行してもよいが,取り込む前に,再度,同一性識別情報の比較処理を実行することが好ましい。比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためである。
As in the present invention, identity identification information based on a data file describing data that has already been captured or being captured is stored as a capture history, and the identity identification information in the capture history and the capture target Retains the data file to be imported or all data by judging whether duplicate registration is performed by comparing whether the identity identification information generated based on the data file that describes the data to be matched matches There is no need to keep it. In addition, the processing time for determination (comparison) of duplicate capture can be shortened. As a result, the time required for data acquisition can be shortened and the storage capacity can be saved.
Further, by configuring as in the present invention, the user can be alerted when data having the same content is fetched.
Furthermore, even if the data has already been captured, there are cases where it is desired to retrieve again due to various circumstances such as forgetting to save the data or deleting the data. In this case, the capturing process may be executed as it is, but it is preferable to execute the identity identification information comparison process again before capturing. This is because another user may be performing the process of capturing the same data after the comparison process and before the operation for continuing the capture process for the warning.

上述の発明において,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象として,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,データ取込システムのように構成することができる。
In the above-described invention, when the warning processing unit accepts the selection of continuing the capture process as a result of the warning display, the operation date and time of the capture history corresponding to the identity identification information that matched in the previous comparison. It can be configured as a data fetching system in which the comparison process of the identity identification information in the comparison processing unit is executed again with the later date and time as a comparison target .

すでに取り込んでいるデータであっても,そのデータの保存を失念した,データを消去してしまったなどの各種事情によって,再度,取り込みたい場合もある。その場合,そのまま取込の処理を実行してもよいが,取り込む前に,再度,同一性識別情報の比較処理を実行することが好ましい。比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためである。Even if the data has already been captured, there are cases where it is desired to retrieve the data again due to various reasons such as forgetting to save the data or erasing the data. In this case, the capturing process may be executed as it is, but it is preferable to execute the identity identification information comparison process again before capturing. This is because another user may be performing the process of capturing the same data after the comparison process and before the operation for continuing the capture process for the warning.
その場合,再度の比較処理は,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象とする。取込処理を継続する場合において問題となるのは,前回の比較処理後,警告に対する取込処理の継続操作の間までに,別のユーザが同一のデータを取り込む処理をしている可能性があるためであり,その間の取込履歴だけを比較すれば十分だからである。これによって無駄な比較処理や警告表示を防止できる。In that case, in the comparison process again, the date and time after the operation date and time of the capture history corresponding to the identity identification information matched in the previous comparison is set as the comparison target. The problem when continuing the capture process is that there may be another user capturing the same data between the previous comparison process and the continuous capture process for the warning. This is because it is sufficient to compare only the acquisition history during that period. This can prevent unnecessary comparison processing and warning display.

上述の発明において,前記データ取込システムは,前記取込対象となるデータを記述するデータファイルの指定を受け付け,前記指定を受け付けたデータファイルに対して前処理を実行するデータファイル指定処理部,を有するデータ取込システムのように構成することができる。
In the above-described invention, the data capturing system receives a data file specification that describes the data to be captured, and performs a preprocessing on the data file that has received the specification. It can be configured like a data acquisition system having

上述の発明において,前記データ取込システムは,前記取込履歴情報記憶部に記憶した取込履歴が0件の場合,その取込履歴を削除する,データ取込システムのように構成することができる。
In the above invention, the data capture system may be configured as a data capture system that deletes the capture history when the capture history stored in the capture history information storage unit is zero. it can.

上述の発明において,前記データ取込システムは,前記取込処理部における前記取込対象となるデータファイルのデータの取込処理を実行する前に,前記取込対象となるデータに対してエラーチェック処理を実行する,データ取込システムのように構成することができる。
In the above invention, the data capture system performs error checking on the data to be captured before executing the data capture process of the data file to be captured in the capture processing unit. It can be configured like a data acquisition system that executes processing.

上述の発明において,前記比較処理部は,前記比較処理を行う間は,前記取込処理部における取込処理を行わせない排他制御をする,データ取込システムのように構成することができる。   In the above-described invention, the comparison processing unit can be configured as a data capture system that performs exclusive control that prevents the capture processing in the capture processing unit during the comparison process.

比較処理を行っている最中に,同一内容のデータの取込処理が別のユーザによって行われてしまうと,比較漏れが発生し,重複登録となってしまう。そのため,本発明のように,比較処理をしている間は取込処理を行わせない排他制御をすることで,比較漏れの発生を防止できる。   If another user takes in data having the same contents while the comparison process is being performed, a comparison omission occurs, resulting in duplicate registration. Therefore, as in the present invention, it is possible to prevent the occurrence of comparison omission by performing exclusive control that does not perform the capture process during the comparison process.

上述の発明において,前記データ取込システムは,さらに,取込対象となるデータファイルのデータに基づいて同一性識別情報を生成する同一性識別情報生成処理部,を有しており,前記同一性識別情報はハッシュ関数により生成されるハッシュ値である,データ取込システムのように構成することができる。   In the above-described invention, the data capture system further includes an identity identification information generation processing unit that generates identity identification information based on data of a data file to be captured. The identification information is a hash value generated by a hash function, and can be configured as a data capturing system.

同一性識別情報としてハッシュ値を用いることが好ましい。   It is preferable to use a hash value as the identity identification information.

上述の各発明におけるデータ取込システムは,業務システムの一機能として機能してもよい。   The data capture system in each of the above-described inventions may function as one function of the business system.

第1の発明のデータ取込システムは,本発明のプログラムをコンピュータに読み込ませて実行することで,実現することができる。すなわち,コンピュータを,取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部を参照して比較する比較処理部,前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部,前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部,として機能させることを特徴とするデータ取込プログラムであって,前記警告処理部は,前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行した上で,前記取込処理部における取込処理を実行する,データ取込プログラムである。
The data fetching system of the first invention can be realized by reading the program of the present invention into a computer and executing it. In other words, the computer describes whether or not there is identity identification information that matches the identity identification information generated based on the data file that describes the data to be imported. A comparison processing unit for comparing with reference to an acquisition history information storage unit that stores identity identification information based on a data file, and if the comparison processing unit determines that there is no matching identity identification information, An import processing unit that executes an import process of data of a target data file, an alert processing unit that displays a predetermined alert when it is determined that there is matching identity identification information in the comparison processing unit, be made to function a data acquisition program characterized as the warning processing unit, the warning display results, it accepts the option of continuing the acquisition process again On executing the comparison process identity identification information in the comparison processing unit, executes the acquisition process in the acquisition process unit, a data acquisition program.

本発明のデータ取込システムでは,取込対象となるデータファイルに基づく同一性識別情報を比較することから,データを直接比較する場合などの従来技術と比較して,重複取込の判定処理が短時間で行える。そのため,データ取込の処理に要する時間を短時間とし,また取り込む対象となったデータファイルまたはデータの保持も不要とすることで記憶容量を節約することができる。   In the data capture system of the present invention, the identity identification information based on the data file to be captured is compared. Therefore, compared with the prior art such as direct comparison of data, duplicate capture determination processing is performed. It can be done in a short time. Therefore, it is possible to save the storage capacity by shortening the time required for the data fetching process and eliminating the need to hold the data file or data to be fetched.

本発明のデータ取込システムの全体のシステム構成の一例を模式的に示す図である。It is a figure which shows typically an example of the whole system configuration | structure of the data acquisition system of this invention. 本発明のデータ取込システムを機能させるコンピュータのハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware constitutions of the computer which functions the data acquisition system of this invention. 本発明のデータ取込システムの処理プロセスの一例を示すフローチャートである。It is a flowchart which shows an example of the processing process of the data acquisition system of this invention. 取込履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows an example of an acquisition log | history information storage part typically. 取込画面の一例を模式的に示す図である。It is a figure which shows an example of a capture screen typically. 取り込む対象のデータファイルを指定した状態の取込画面の一例を模式的に示す図である。It is a figure which shows typically an example of the acquisition screen of the state which designated the data file of the object to import. データファイルのデータを取り込んだ状態の取引履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows typically an example of the transaction history information storage part of the state which took in the data of the data file. 別のユーザが取り込む対象のデータファイルを指定した状態の取込画面の一例を模式的に示す図である。It is a figure which shows typically an example of the capture screen of the state which designated the data file of the object which another user captures. 警告画面の一例を模式的に示す図である。It is a figure which shows an example of a warning screen typically. データファイルのデータを取り込んでいる状態の取引履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows typically an example of the transaction history information storage part of the state which is taking in the data of a data file. データファイルのデータを取り込んだ状態の取引履歴情報記憶部の一例を模式的に示す図である。It is a figure which shows typically an example of the transaction history information storage part of the state which took in the data of the data file.

本発明のデータ取込システム1のシステム構成の一例を図1に模式的に示す。また,データ取込システム1が機能するコンピュータのハードウェア構成の一例を図2に模式的に示す。図1では,データ取込システム1の機能が,ユーザ端末3とサーバ2とに分かれている場合を示しているが,データ取込システム1の各機能は,一台のコンピュータで機能してもよいし,その各機能が適宜,複数台のコンピュータで機能してもよい。本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。   An example of the system configuration of the data acquisition system 1 of the present invention is schematically shown in FIG. An example of a hardware configuration of a computer on which the data capturing system 1 functions is schematically shown in FIG. Although FIG. 1 shows a case where the functions of the data capturing system 1 are divided into the user terminal 3 and the server 2, each function of the data capturing system 1 can be functioned by a single computer. Alternatively, each function may function as appropriate with a plurality of computers. Each means in the present invention is only logically distinguished in function, and may be physically or virtually the same area.

データ取込システム1は,業務システム(図示せず)の一機能として機能することが好ましいが,業務システムとは別のシステムと連携して,あるいは独立して機能することもできる。業務システムとは,企業の業務遂行を管理するためのコンピュータシステムである。業務システムにはさまざまなシステムがあり,その限定はないが,たとえば,人事,給与,財務会計,販売,購買等などを行うためのコンピュータシステムが一例としてあげられる。また業務システムはグループウェアシステムに組み込まれていても良い。グループウェアシステムは,企業の業務遂行を管理するためのコンピュータシステムであって,企業内のコンピュータネットワークを利用して,情報の共有などを行うことで,複数人での作業を行うことを支援するコンピュータシステムである。グループウェアシステムにもさまざまなシステムがあり,その限定はない。   The data capture system 1 preferably functions as one function of a business system (not shown), but can also function in cooperation with a system different from the business system or independently. A business system is a computer system for managing business execution of a company. There are various business systems, and there are no limitations. For example, a computer system for performing personnel, salary, financial accounting, sales, purchasing, etc. is an example. The business system may be incorporated in the groupware system. A groupware system is a computer system for managing business operations of a company, and supports the work of multiple people by sharing information using a computer network in the company. It is a computer system. There are various types of groupware systems, and there is no limitation.

データ取込システム1におけるサーバ2やユーザ端末3は,コンピュータによって実現される。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,ディスプレイなどの表示措置72と,キーボードやポインティングデバイス(マウスやテンキーなど)などの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。   The server 2 and the user terminal 3 in the data capturing system 1 are realized by a computer. The computer includes an arithmetic unit 70 such as a CPU for executing arithmetic processing of a program, a storage unit 71 such as a RAM and a hard disk for storing information, a display unit 72 such as a display, a keyboard and a pointing device (such as a mouse and a numeric keypad). And a communication device 74 that transmits and receives processing results of the arithmetic device 70 and information stored in the storage device 71 via a network such as the Internet or a LAN.

本発明の業務システムは,企業や社団,財団,学校などの各種法人のほか,各種の組織体で用いられる。その業務としてはその組織体ごとに適したものを用いることができる。   The business system of the present invention is used in various organizations such as corporations, associations, foundations, schools, and the like. As the business, a business suitable for each organization can be used.

データ取込システム1は,データファイル指定処理部31と同一性識別情報生成処理部32と取込履歴情報記憶部21と受付処理部22と比較処理部23と取込処理部24と警告処理部25とを有する。   The data capture system 1 includes a data file designation processing unit 31, an identity identification information generation processing unit 32, a capture history information storage unit 21, a reception processing unit 22, a comparison processing unit 23, a capture processing unit 24, and a warning processing unit. 25.

データファイル指定処理部31は,取り込む対象となるデータを記述するデータファイル(たとえばテキストファイル)の指定を受け付ける。なお,データファイル指定処理部31は,データファイルの指定を受け付けてから,後述する同一性識別情報生成処理部32において同一性識別情報を生成するまでの間に,データファイルに対して前処理を行ってもよい。前処理としては,たとえばデータファイルが複数行(1行が1データまたは複数行が1データ)からなるテキストファイルである場合,各行を抽出して複数データに変換する,データファイルから空白行を削除して新規のデータファイルとするなどの処理がある。前者の場合,1データごとに同一性識別情報を生成することができる。また後者の場合,空白行のみが異なるデータファイルであっても同一のファイルと判断することができる。複数行が1データの場合など,1行が1データでない場合であっても,たとえば1データの範囲をユーザに指定させることなどにより,複数データに変換することができる。   The data file designation processing unit 31 accepts designation of a data file (for example, a text file) that describes data to be imported. The data file specification processing unit 31 performs preprocessing on the data file after receiving the specification of the data file and before generating the identity identification information in the identity identification information generation processing unit 32 described later. You may go. As preprocessing, for example, if the data file is a text file consisting of multiple lines (one line is one data or multiple lines is one data), each line is extracted and converted to multiple data. Blank lines are deleted from the data file And processing such as creating a new data file. In the former case, identity identification information can be generated for each piece of data. In the latter case, even if the data files differ only in blank lines, they can be determined as the same file. Even when one row is not one data, such as when one row has one data, it can be converted into a plurality of data, for example, by allowing the user to specify the range of one data.

同一性識別情報生成処理部32は,データファイル指定処理部31で指定を受け付けたデータファイルに基づいて,同一性識別情報を生成する。たとえば指定を受け付けたデータファイルに記述されるデータについてハッシュ関数を用いてハッシュ値を生成する。この場合,ハッシュ値が同一性識別情報となる。データファイルに基づく同一性識別情報とは,データファイルのファイル名や更新日時などのメタデータは含まず,データファイルのデータ自体(データファイルに記述されるデータの一部または全部)を引数として,ハッシュ関数などの所定の関数で演算して生成する値を指す。関数としては,単射となることが好ましいが,それに限定しない。なお,データファイルが複数行(1行が1データまたは複数行が1データ)からなるデータを記述するテキストファイルである場合,その各データについて同一性識別情報を生成する処理を実行してもよい。   The identity identification information generation processing unit 32 generates identity identification information based on the data file that has been designated by the data file designation processing unit 31. For example, a hash value is generated using a hash function for data described in a data file that has received a specification. In this case, the hash value becomes the identity identification information. The identity identification information based on the data file does not include metadata such as the file name or update date of the data file, and the data file data itself (part or all of the data described in the data file) is used as an argument. A value generated by calculating with a predetermined function such as a hash function. The function is preferably injective, but is not limited thereto. If the data file is a text file describing data composed of a plurality of lines (one line is one data or a plurality of lines is one data), processing for generating identity identification information may be executed for each data. .

取込履歴情報記憶部21は,データの取込履歴を記憶する。取込済のデータの取込履歴,取込中のデータの取込履歴を記憶することが好ましい。図4に取込履歴情報記憶部21の一例を模式的に示す。取込履歴としては,操作日時(取込日時),ログインID(取込操作をしたユーザのユーザ識別情報),データの取込を行ったか否かを示す状態の情報(「更新済」は取込済,「更新中」は取込中),同一性識別情報(ハッシュ値など),ファイル名(取り込むデータを記述するデータファイルのファイル識別情報),ファイル日時(取り込むデータを記述するデータファイル自体の保存日時)があるがこれらに限定するものではない。   The acquisition history information storage unit 21 stores a data acquisition history. It is preferable to store the acquisition history of the acquired data and the acquisition history of the data being acquired. FIG. 4 schematically shows an example of the acquisition history information storage unit 21. The import history includes the operation date and time (capture date and time), login ID (user identification information of the user who performed the capture operation), and status information indicating whether or not data has been captured ("Updated" is Imported, "Updating" is being imported), identity identification information (hash value, etc.), file name (file identification information of the data file that describes the data to be imported), file date and time (data file itself that describes the data to be imported) However, the present invention is not limited to these.

なお,後述する取込処理部24における取込処理の終了後,さまざまな事情によってデータファイルに記述されたデータの取込が正常に行えなかった場合がある。この場合,取込件数が0件となる。そこで,取込件数が0件の場合,当該取込履歴を削除することがより好ましい。すなわち,すべてが空白行のデータファイルや,取込処理側が想定するレイアウトに即していないデータファイルであっても処理が行われる可能性がある。このようなデータファイルのデータを取り込む場合,実際にはデータを取り込むことはできないので,実際の取込件数は0件となる。一方,これらのようなデータファイルであっても,同一性識別情報は生成され,取込履歴は残ることとなる。そして,このような取込履歴を残した場合,再度,同じデータファイルのデータを取り込もうとしたときに,すでに取込済であることを示す警告が表示されてしまうと,実際には取り込まれていないにもかかわらず,取り込まれたかのような誤解がユーザに生じかねない。そこで,取込件数が0件の場合には,取込履歴を削除する。   It should be noted that there are cases in which the data described in the data file cannot be normally taken in due to various circumstances after the take-in process in the take-in processing unit 24 to be described later. In this case, the number of imports is 0. Therefore, when the number of captures is 0, it is more preferable to delete the capture history. In other words, there is a possibility that processing is performed even for data files that are all blank lines or data files that do not conform to the layout assumed by the capture processing side. When the data of such a data file is captured, the actual number of captures is 0 because the data cannot actually be captured. On the other hand, even in the case of such data files, the identity identification information is generated, and the capture history remains. And if you keep such import history, when you try to import the data of the same data file again, a warning indicating that it has already been captured is displayed. In spite of the absence, the user may be misunderstood as if it was captured. Therefore, when the number of captures is 0, the capture history is deleted.

受付処理部22は,データファイル指定処理部31で指定を受け付けたデータファイルに記述されるデータまたはデータファイルと,同一性識別情報生成処理部32で生成した同一性識別情報とを受け付ける。なお,受付処理部22は,データ指定ファイル指定処理部31で指定を受け付けたデータファイルのデータを,ユーザ端末3から受け付けることが好ましい。これにより,ネットワーク帯域の圧迫やサーバへの負荷を低減することができる。そのため,ユーザ端末3では,データファイル指定処理部31で指定を受け付けたデータファイルについて,そのデータファイルを読み込み,データファイルに記述されたデータをサーバ2に送信する。データの送信は,データを複数まとめて送信するようにしてもよい。たとえばデータが複数行(1行が1データまたは複数行が1データ)からなるデータファイルである場合,所定行ごとに送信するようにしてもよい。   The reception processing unit 22 receives the data or data file described in the data file whose specification is received by the data file specification processing unit 31 and the identity identification information generated by the identity identification information generation processing unit 32. In addition, it is preferable that the reception processing unit 22 receives data of the data file whose specification is received by the data specification file specification processing unit 31 from the user terminal 3. This can reduce network bandwidth pressure and server load. Therefore, the user terminal 3 reads the data file that has been designated by the data file designation processing unit 31 and transmits the data described in the data file to the server 2. The data transmission may be performed by transmitting a plurality of data collectively. For example, when the data is a data file composed of a plurality of rows (one row is one data or a plurality of rows is one data), the data may be transmitted every predetermined row.

比較処理部23は,受付処理部22で受け付けた同一性識別情報と,取込履歴情報記憶部21に記憶している同一性識別情報とを比較し,一致する同一性識別情報があるかを判定する。なお,比較チェックを行っている最中に同一のデータの取込処理が開始されると,重複登録の可能性が発生してしまうため,同一性識別情報の比較処理を行う前に,後述する取込処理部24における取込処理は一時中止し(排他制御を開始し),比較処理の終了後,取込処理部24における取込処理を再開させる(排他制御を終了する)。   The comparison processing unit 23 compares the identity identification information received by the reception processing unit 22 with the identity identification information stored in the acquisition history information storage unit 21, and determines whether there is matching identity identification information. judge. Note that if the same data acquisition process is started during the comparison check, there is a possibility of duplicate registration. Therefore, before performing the identification identification information comparison process, it will be described later. The capture processing in the capture processing unit 24 is temporarily stopped (exclusive control is started), and after completion of the comparison processing, the capture processing in the capture processing unit 24 is resumed (exclusive control is terminated).

取込処理部24は,比較処理部23における比較の結果,取込履歴情報記憶部21に一致する同一性識別情報がない場合に,操作日時,操作者(データの取込操作を行ったユーザのユーザ識別情報),同一性識別情報,ファイル名,ファイル日時などの取込履歴を取込履歴情報記憶部21に記憶させる。また,受付処理部22で受け付けたデータまたはデータファイルに記述されているデータを取り込む処理を実行する。   If there is no identity identification information that matches the acquisition history information storage unit 21 as a result of comparison in the comparison processing unit 23, the acquisition processing unit 24 operates the operation date and time, the operator (the user who performed the data acquisition operation) , User identification information), identity identification information, file name, file date and time, and the like are stored in the acquisition history information storage unit 21. In addition, a process of fetching data received by the reception processing unit 22 or data described in the data file is executed.

警告処理部25は,比較処理部23における比較の結果,取込履歴情報記憶部21に一致する同一性識別情報があった場合に,警告画面を表示させる。この場合,一致した取込履歴情報記憶部21の取込履歴の一部または全部の情報を警告画面に表示させてもよい。この警告画面では,同一内容のデータをすでに取り込んでいるか,取込中であることを通知し,それでも取込処理を継続するか否かの選択を受け付ける。継続することの選択を受け付けると,取込処理部24における取込処理を実行する。この際に,再度,比較処理部23における同一性識別情報の比較処理を実行するとよい。ただしこの場合の比較対象は,警告画面表示後に別のユーザが同一データの取込を行っている可能性に対するものであるので,前回の比較処理部23における比較処理で一致した同一性識別情報が対応する操作日付より後の同一性識別情報を対象として比較処理を実行する。   The warning processing unit 25 displays a warning screen when there is matching identification information in the acquisition history information storage unit 21 as a result of the comparison in the comparison processing unit 23. In this case, a part or all of the acquisition history in the acquisition history information storage unit 21 may be displayed on the warning screen. In this warning screen, it is notified that the data of the same content has already been taken in or is being taken in, and the selection of whether or not to continue the fetching process is accepted. When the selection to continue is accepted, the capture processing in the capture processing unit 24 is executed. At this time, the comparison processing of the identity identification information in the comparison processing unit 23 may be executed again. However, since the comparison target in this case is for the possibility that another user is taking in the same data after the warning screen is displayed, the identity identification information matched in the comparison process in the previous comparison processing unit 23 is The comparison process is executed for the identity identification information after the corresponding operation date.

警告処理部25は,警告画面において中止することの選択を受け付けると,取込処理を中止する。   When the warning processing unit 25 receives a selection to cancel on the warning screen, the warning processing unit 25 stops the capture process.

つぎに本発明のデータ取込システム1の処理プロセスを,図3のフローチャートを用いて説明する。なお,処理の開始前の取込履歴情報記憶部21は図4の状態であったとする。   Next, the processing process of the data capturing system 1 of the present invention will be described with reference to the flowchart of FIG. It is assumed that the acquisition history information storage unit 21 before the start of processing is in the state shown in FIG.

データの取込を行うことを所望するユーザ(USER_C)は,ユーザ端末3において所定の操作を実行する。この操作がユーザ端末3で行われると,データファイル指定処理部31は,図5に示す取込画面を表示させる。図5は仕訳明細を取り込む場合の取込画面の一例である。   A user (USER_C) who desires to take in data executes a predetermined operation on the user terminal 3. When this operation is performed on the user terminal 3, the data file designation processing unit 31 displays the capture screen shown in FIG. FIG. 5 shows an example of an import screen for importing journal entries.

ユーザは取込画面に対して所定の操作を行うことで,取り込む対象となるデータを記述するデータファイルを指定する(S100)。データファイルが指定された状態の取込画面の一例が図6である。図6では,ユーザ(USER_C)のユーザ端末3のデスクトップにある「20170924.txt」のデータファイルが指定された状態を示している。   The user designates a data file describing data to be captured by performing a predetermined operation on the capture screen (S100). An example of an import screen in a state where a data file is designated is shown in FIG. FIG. 6 shows a state in which the data file “20170924.txt” on the desktop of the user terminal 3 of the user (USER_C) is designated.

そしてユーザが取込画面における「実行」ボタンを押下することで,同一性識別情報生成処理部32は,S100で指定されたデータファイル「20170924.txt」に対してハッシュ関数を用いて,ハッシュ値を生成する(S110)。ここで生成したハッシュ値が「A01DD213B9・・・」であったとする。なおハッシュ関数は,データファイルを引数としてハッシュ値を演算する。   Then, when the user presses the “execute” button on the capture screen, the identity identification information generation processing unit 32 uses the hash function for the data file “20170924.txt” specified in S100 to generate a hash value. Is generated (S110). Assume that the hash value generated here is “A01DD213B9...”. The hash function calculates a hash value using a data file as an argument.

そしてデータファイル指定処理部31は,S100で指定されたデータファイル「20170924.txt」と,同一性識別情報生成処理部32が生成したハッシュ値「A01DD213B9・・・」とをサーバ2に送り,サーバ2の受付処理部22でデータファイル「20170924.txt」に記述されたデータとハッシュ値「A01DD213B9・・・」とを受け付ける(S120)。この際に,指定されたデータファイルのファイル名「20170924.txt」やメタデータ,たとえばファイルの更新日時「20170924172045」などがユーザ端末3からサーバ2に送られ,サーバ2の受付処理部22で受け付ける。   Then, the data file designation processing unit 31 sends the data file “20170924.txt” designated in S100 and the hash value “A01DD213B9...” Generated by the identity identification information generation processing unit 32 to the server 2, 2 accepts the data described in the data file “20170924.txt” and the hash value “A01DD213B9...” (S120). At this time, the file name “20170924.txt” of the designated data file and metadata, for example, the update date of the file “20170924172045” are sent from the user terminal 3 to the server 2 and received by the reception processing unit 22 of the server 2. .

S120においてデータとハッシュ値とを受け付けると,比較処理部23は,排他制御を開始し(S130),受け付けたハッシュ値「A01DD213B9・・・」と同一のハッシュ値が取込履歴情報記憶部21に記憶されているかを比較する(S140)。図4の取込履歴情報記憶部21には,一致するハッシュ値がないことを判定する。そして比較処理の終了後,排他制御を終了する(S150)。   When the data and the hash value are received in S120, the comparison processing unit 23 starts exclusive control (S130), and the same hash value as the received hash value “A01DD213B9...” Is stored in the acquisition history information storage unit 21. The stored information is compared (S140). It is determined that there is no matching hash value in the acquisition history information storage unit 21 in FIG. Then, after the comparison process is finished, the exclusive control is finished (S150).

ここでは,同一のハッシュ値が取込履歴情報記憶部21に記憶されていないので(S160),取込処理部24は,操作日時,操作者(データの取込操作を行ったユーザのユーザ識別情報),ハッシュ値「A01DD213B9・・・」,ファイル名「20170924.txt」,ファイル日時「20170924172045」などの取込履歴を取込履歴情報記憶部21に記憶させる。この状態の取込履歴情報記憶部21の一例を図7に示す。そして,データファイル「20170924.txt」のデータの取込処理を実行する(S170)。   Here, since the same hash value is not stored in the acquisition history information storage unit 21 (S160), the acquisition processing unit 24 determines the operation date and time, the operator (the user identification of the user who performed the data acquisition operation). Information), hash value “A01DD213B9...”, File name “20170924.txt”, file date and time “20170924172045”, and the like are stored in the acquisition history information storage unit 21. An example of the capture history information storage unit 21 in this state is shown in FIG. Then, the data file “20170924.txt” is fetched (S170).

以上のようにして,データファイルに記述するデータの取込が正常に完了できる。   As described above, the import of data described in the data file can be completed normally.

つぎに別のユーザ(USER_A)が,先ほどのユーザ(USER_C)とは同一内容(同一データ)のデータファイルを取り込む場合を説明する。   Next, a case where another user (USER_A) loads a data file having the same content (same data) as the previous user (USER_C) will be described.

ユーザ(USER_A)は,そのユーザ端末3において所定の操作を実行し,取込画面(図5)を表示させる。そして,取り込む対象となるデータを記述するデータファイルを指定する(S100)。ユーザ(USER_A)がデータファイルを指定した状態の取込画面の一例が図8である。図8では,ユーザ(USER_A)のユーザ端末3のデスクトップにある「0924仕入.txt」のデータファイルが指定された状態を示している。   The user (USER_A) executes a predetermined operation on the user terminal 3 to display the capture screen (FIG. 5). Then, a data file that describes data to be imported is designated (S100). FIG. 8 shows an example of an import screen in a state where the user (USER_A) designates a data file. FIG. 8 shows a state in which the data file “0924 purchase.txt” on the desktop of the user terminal 3 of the user (USER_A) is designated.

そしてユーザ(USER_A)が取込画面における「実行」ボタンを押下することで,同一性識別情報生成処理部32は,S100で指定されたデータファイル「0924仕入.txt」に対してハッシュ関数を用いて,ハッシュ値を生成する(S110)。ここで生成したハッシュ値が「A01DD213B9・・・」であったとする。   Then, when the user (USER_A) presses the “execute” button on the capture screen, the identity identification information generation processing unit 32 applies a hash function to the data file “0924 purchase.txt” specified in S100. Using this, a hash value is generated (S110). Assume that the hash value generated here is “A01DD213B9...”.

そしてデータファイル指定処理部31は,S100で指定されたデータファイル「0924仕入.txt」と,同一性識別情報生成処理部32が生成したハッシュ値「A01DD213B9・・・」とをサーバ2に送り,サーバ2の受付処理部22でデータファイル「0924仕入.txt」に記述されたデータとハッシュ値「A01DD213B9・・・」とを受け付ける(S120)。この際に,指定されたデータファイルのファイル名「0924仕入.txt」やメタデータ,たとえばファイルの更新日時「20170924172045」などがユーザ端末3からサーバ2に送られ,サーバ2の受付処理部22で受け付ける。   The data file specification processing unit 31 sends the data file “0924 purchase.txt” specified in S100 and the hash value “A01DD213B9...” Generated by the identity identification information generation processing unit 32 to the server 2. , The reception processing unit 22 of the server 2 receives the data described in the data file “0924 purchase.txt” and the hash value “A01DD213B9...” (S120). At this time, the file name “0924 purchase.txt” of the specified data file and metadata, for example, the file update date and time “20170924172045” are sent from the user terminal 3 to the server 2, and the reception processing unit 22 of the server 2 is sent. Accept.

S120においてデータとハッシュ値とを受け付けると,比較処理部23は,排他制御を開始し(S130),受け付けたハッシュ値「A01DD213B9・・・」と同一のハッシュ値が取込履歴情報記憶部21に記憶されているかを比較する(S140)。図7の取込履歴情報記憶部21には,一致するハッシュ値があることを判定する。そして比較処理の終了後,排他制御を終了する(S150)。   When the data and the hash value are received in S120, the comparison processing unit 23 starts exclusive control (S130), and the same hash value as the received hash value “A01DD213B9...” Is stored in the acquisition history information storage unit 21. The stored information is compared (S140). It is determined that there is a matching hash value in the capture history information storage unit 21 in FIG. Then, after the comparison process is finished, the exclusive control is finished (S150).

ここでは,同一のハッシュ値が取込履歴情報記憶部21に記憶されているので(S160),警告処理部25は,同一と判断した取込履歴の一部または全部の情報をユーザ端末3に送り,警告画面に表示させる(S180)。図9に警告画面の一例を示す。   Here, since the same hash value is stored in the acquisition history information storage unit 21 (S160), the warning processing unit 25 sends part or all of the acquisition history determined to be the same to the user terminal 3. The feed and warning screen is displayed (S180). FIG. 9 shows an example of the warning screen.

ユーザはこの警告画面を閲覧することで,同一内容(同一データ)のデータファイルが取り込まれていることを認識できる。そして,取込処理を中止する場合には(S190),警告画面の「いいえ」を押下することで,取込処理を中止する情報がユーザ端末3からサーバ2に送られ,サーバ2は取込処理を中止する。   By viewing this warning screen, the user can recognize that a data file having the same contents (same data) has been captured. When canceling the capture process (S190), by pressing “No” on the warning screen, information for canceling the capture process is sent from the user terminal 3 to the server 2, and the server 2 captures the capture process. Cancel processing.

一方,すでに同一内容のデータファイルを取り込んでいたとしても,そのデータの保存を失念した,誤って削除したなどの事情から,再度,取込を行いたい場合もある。そのような場合には,取込処理を続行するので(S190),警告画面の「はい」を押下する。「はい」が押下されることで,取込処理を続行する情報がユーザ端末3からサーバ2に送られ,サーバ2の比較処理部23は,再度,比較処理を実行する。   On the other hand, even if a data file having the same contents has already been captured, there are cases where it is desired to retrieve the data again due to reasons such as forgetting to save the data or deleting it by mistake. In such a case, since the capturing process is continued (S190), "Yes" on the warning screen is pressed. When “Yes” is pressed, information for continuing the capture process is sent from the user terminal 3 to the server 2, and the comparison processing unit 23 of the server 2 executes the comparison process again.

この際に,比較処理部23は,まず比較処理の比較対象として,前回の比較の際に一致した同一性識別情報が対応する取込履歴の操作日時(取込開始日時)(平成29年9月24日19時08分13秒)より後の日時を比較対象として設定し(S200),排他制御を開始する(S130)。そして,前回の比較処理で一致した同一性識別情報が対応する操作日時(取込開始日時)(平成29年9月24日19時08分13秒)より後の日時で,取込履歴情報記憶部21に一致する同一性識別情報があるかを比較する(S140)。そして排他制御を終了する(S150)。   At this time, the comparison processing unit 23 first operates as the comparison target of the comparison process, the operation date and time (capture start date and time) of the capture history corresponding to the identity identification information that matched in the previous comparison (September 2017). The date and time after 19:08:13 on March 24 is set as a comparison target (S200), and exclusive control is started (S130). Then, the acquisition history information storage is performed at a date after the operation date and time (capture start date and time) (September 24, 2017 19:08:13) corresponding to the identity identification information matched in the previous comparison process. It is compared whether there is identity identification information that matches the part 21 (S140). And exclusive control is complete | finished (S150).

ここでは,一致する同一性識別情報はないので(S160),取込処理部24は,操作日時,操作者(データの取込操作を行ったユーザのユーザ識別情報),ハッシュ値「A01DD213B9・・・」,ファイル名「0924仕入.txt」,ファイル日時「20170924172045」などの取込履歴を取込履歴情報記憶部21に記憶させる。この状態の取込履歴情報記憶部21の一例を図10に示す。そして,データファイル「0924仕入.txt」のデータの取込処理を実行する(S170)。なお,取込処理が完了するまでは,「状態」としては取込中であることを示す「更新中」が記憶される。そして取込処理の完了後,「状態」が取込中から取込が終了したことを示す「更新済」に変更して記憶される。この状態の取込履歴情報記憶部21の一例を図11に示す。   Here, since there is no matching identity identification information (S160), the capture processing unit 24, the operation date and time, the operator (user identification information of the user who performed the data capture operation), the hash value “A01DD213B9. “”, File name “0924 purchase.txt”, file date and time “20170924172045” and the like are stored in the acquisition history information storage unit 21. An example of the capture history information storage unit 21 in this state is shown in FIG. Then, the data file “0924 purchase.txt” is fetched (S170). Until the capturing process is completed, “updating” indicating that the capturing is being performed is stored as the “state”. Then, after the acquisition process is completed, the “status” is changed from “during acquisition” to “updated” indicating that the acquisition is completed, and stored. An example of the capture history information storage unit 21 in this state is shown in FIG.

以上のようにして,同一内容のデータファイルの場合であっても,データファイルに記述するデータの取込が正常に完了できる。   As described above, even if the data files have the same contents, the importing of data described in the data file can be completed normally.

つぎに実施例1の異なる実施態様として,実施例1のデータの取込処理を実行する前に,エラーチェック処理を実行してもよい。エラーチェック処理とは,取り込んだデータを用いる業務システムにおけるデータ項目の配置に適しているか,データ形式が一致しているかなどのチェックを行う処理である。   Next, as a different embodiment of the first embodiment, the error check process may be executed before the data fetch process of the first embodiment is executed. The error check process is a process for checking whether it is suitable for the arrangement of data items in the business system using the captured data and whether the data format is the same.

そしてエラーチェック処理を行う場合にも,その前に実施例1と同様に同一性識別情報を用いて比較処理を実行することができる。   Even when the error check process is performed, the comparison process can be executed using the identity identification information in the same manner as in the first embodiment.

この場合,ユーザ端末3の取込画面において,エラーチェックの処理対象となるデータファイルの指定を行う(S100)。そして,取込画面における「エラーチェック」のボタンが押下されると,同一性識別情報生成処理部32は,指定されたデータファイルに対してハッシュ関数を用いて,ハッシュ値を生成する(S110)。   In this case, the data file to be processed for error check is specified on the capture screen of the user terminal 3 (S100). When the “error check” button on the capture screen is pressed, the identity identification information generation processing unit 32 generates a hash value for the specified data file using a hash function (S110). .

そしてデータファイル指定処理部31は,指定されたデータファイルと,同一性識別情報生成処理部32が生成したハッシュ値とをサーバ2に送り,サーバ2の受付処理部22でデータとハッシュ値とを受け付ける(S120)。   Then, the data file specification processing unit 31 sends the specified data file and the hash value generated by the identity identification information generation processing unit 32 to the server 2, and the reception processing unit 22 of the server 2 outputs the data and hash value. Accept (S120).

サーバ2の受付処理部22でデータとハッシュ値とを受け付けると,比較処理部23は,排他制御を開始し(S130),受け付けたハッシュ値と同一のハッシュ値が取込履歴情報記憶部21に記憶されているかを比較する(S140)。そして比較処理の終了後,排他制御を終了する(S150)。   When the reception processing unit 22 of the server 2 receives the data and the hash value, the comparison processing unit 23 starts exclusive control (S130), and the same hash value as the received hash value is stored in the acquisition history information storage unit 21. The stored information is compared (S140). Then, after the comparison process is finished, the exclusive control is finished (S150).

同一のハッシュ値が取込履歴情報記憶部21に記憶されていない場合には(S160),データファイルにおけるデータのチェック処理を実行する(S170)。また,同一のハッシュ値が取込履歴情報記憶部21に記憶されている場合には(S160),図9に示す警告画面を表示し,実施例1と同様に,S180以降の処理を実行する。   When the same hash value is not stored in the acquisition history information storage unit 21 (S160), a data check process in the data file is executed (S170). If the same hash value is stored in the acquisition history information storage unit 21 (S160), the warning screen shown in FIG. 9 is displayed, and the processing after S180 is executed as in the first embodiment. .

同一性識別情報生成処理部32が同一性識別情報を生成するタイミングは,実施例1,実施例2の場合に限られず,たとえばファイルが指定された段階,ユーザ端末3からサーバ2に送信された段階,サーバ2で受信した段階,比較処理部23における処理の直前など,比較処理部23における比較処理の前までの任意のタイミングで実行することができる。   The timing at which the identity identification information generation processing unit 32 generates the identity identification information is not limited to that in the first and second embodiments. For example, when the file is specified, the identity identification information generation processing unit 32 is transmitted from the user terminal 3 to the server 2. It can be executed at any timing before the comparison processing in the comparison processing unit 23, such as the stage, the stage received by the server 2, or immediately before the processing in the comparison processing unit 23.

本発明のデータ取込システム1を用いることによって,取込対象となるデータファイルにおけるデータに基づく同一性識別情報を比較することから,データを直接比較する場合などの従来技術と比較して,重複取込の判定処理が短時間で行える。そのため,データ取込の処理に要する時間を短時間とし,また取り込む対象となったデータファイルまたはデータの保持も不要とすることで記憶容量を節約することができる。   By using the data capture system 1 of the present invention, the identity identification information based on the data in the data file to be captured is compared, and therefore compared with the prior art such as when directly comparing data. Acquisition judgment processing can be performed in a short time. Therefore, it is possible to save the storage capacity by shortening the time required for the data fetching process and eliminating the need to hold the data file or data to be fetched.

1:データ取込システム
2:サーバ
3:ユーザ端末
21:取込履歴情報記憶部
22:受付処理部
23:比較処理部
24:取込処理部
25:警告処理部
31:データファイル指定処理部
32:同一性識別情報生成処理部
70:演算装置
71:記憶装置
72:表示措置
73:入力装置
74:通信装置
1: data capture system 2: server 3: user terminal 21: capture history information storage unit 22: reception processing unit 23: comparison processing unit 24: capture processing unit 25: warning processing unit 31: data file designation processing unit 32 : Identity identification information generation processing unit 70: arithmetic device 71: storage device 72: display measure 73: input device 74: communication device

Claims (9)

データを取り込むためのデータ取込システムであって,
前記データ取込システムは,
取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部と,
取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,前記取込履歴情報記憶部を参照して比較する比較処理部と,
前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部と,
前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部と,を有しており,
前記警告処理部は,
前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行した上で,前記取込処理部における取込処理を実行する,
ことを特徴とするデータ取込システム。
A data capturing system for capturing data,
The data capture system is:
A capture history information storage unit for storing identity identification information based on a data file describing data that has been captured or is being captured;
A comparison processing unit that compares whether there is identity identification information that matches identity identification information generated based on a data file that describes data to be captured with reference to the capture history information storage unit; ,
If it is determined in the comparison processing unit that there is no matching identity identification information, a capture processing unit that executes a data capture process of the data file to be captured;
A warning processing unit for displaying a predetermined warning when the comparison processing unit determines that there is matching identity identification information;
The warning processing unit
As a result of the warning display, when the selection to continue the capture process is received, the comparison process of the identity identification information in the comparison processor is executed again, and then the capture process in the capture processor is executed. Do,
A data acquisition system characterized by that.
前記警告処理部は,The warning processing unit
前記警告表示の結果,取込処理を継続することの選択を受け付けると,前回の比較において一致した同一性識別情報が対応する取込履歴の操作日時より後の日時を比較対象として,再度,前記比較処理部における同一性識別情報の比較処理を実行させる,As a result of the warning display, when the selection to continue the capture process is accepted, the date and time after the operation date and time of the capture history corresponding to the identity identification information matched in the previous comparison is compared again, Causing the comparison processing unit to perform comparison processing of identity identification information,
ことを特徴とする請求項1に記載のデータ取込システム。The data capturing system according to claim 1, wherein:
前記データ取込システムは,The data capture system is:
前記取込対象となるデータを記述するデータファイルの指定を受け付け,前記指定を受け付けたデータファイルに対して前処理を実行するデータファイル指定処理部,A data file specification processing unit that accepts specification of a data file that describes the data to be imported, and executes preprocessing for the data file that has received the specification;
を有することを特徴とする請求項1または請求項2に記載のデータ取込システム。The data capturing system according to claim 1, further comprising:
前記データ取込システムは,
前記取込履歴情報記憶部に記憶した取込履歴が0件の場合,その取込履歴を削除する,
ことを特徴とする請求項1から請求項3のいずれかに記載のデータ取込システム。
The data capture system is:
If the capture history stored in the capture history information storage unit is 0, delete the capture history;
The data capturing system according to any one of claims 1 to 3, wherein
前記比較処理部は,
前記比較処理を行う間は,前記取込処理部における取込処理を行わせない排他制御をする,
ことを特徴とする請求項1から請求項4のいずれかに記載のデータ取込システム。
The comparison processing unit
During the comparison process, exclusive control is performed so as not to perform the capture process in the capture processing unit.
The data capturing system according to any one of claims 1 to 4, wherein
前記データ取込システムは,さらに,
取込対象となるデータファイルのデータに基づいて同一性識別情報を生成する同一性識別情報生成処理部,を有しており,
前記同一性識別情報はハッシュ関数により生成されるハッシュ値である,
ことを特徴とする請求項1から請求項5のいずれかに記載のデータ取込システム。
The data capture system further includes:
An identity identification information generation processing unit that generates identity identification information based on data of a data file to be captured;
The identity identification information is a hash value generated by a hash function.
The data capturing system according to any one of claims 1 to 5, wherein
前記データ取込システムは,The data capture system is:
前記取込処理部における前記取込対象となるデータファイルのデータの取込処理を実行する前に,前記取込対象となるデータに対してエラーチェック処理を実行する,Before executing the data acquisition process of the data file to be acquired in the acquisition processing unit, execute an error check process for the data to be acquired,
ことを特徴とする請求項1から請求項6のいずれかに記載のデータ取込システム。The data capturing system according to any one of claims 1 to 6, wherein
請求項1から請求項のいずれかに記載のデータ取込システムを備えた業務システム。 A business system comprising the data capturing system according to any one of claims 1 to 7 . コンピュータを,
取込対象となるデータを記述するデータファイルに基づいて生成された同一性識別情報と一致する同一性識別情報があるかを,取込済または取込中のデータを記述するデータファイルに基づく同一性識別情報を記憶する取込履歴情報記憶部を参照して比較する比較処理部,
前記比較処理部において一致する同一性識別情報がないことを判定した場合には,取込対象となるデータファイルのデータの取込処理を実行する取込処理部,
前記比較処理部において一致する同一性識別情報があることを判定した場合には,所定の警告表示を行う警告処理部,として機能させることを特徴とするデータ取込プログラムであって,
前記警告処理部は,
前記警告表示の結果,取込処理を継続することの選択を受け付けると,再度,前記比較処理部における同一性識別情報の比較処理を実行した上で,前記取込処理部における取込処理を実行する,
ことを特徴とするデータ取込プログラム。
Computer
Identifies whether there is identity identification information that matches the identity identification information generated based on the data file that describes the data to be imported, based on the data file that describes the data that has already been imported or is being imported. A comparison processing unit for comparing with reference to an acquisition history information storage unit for storing sex identification information;
If it is determined in the comparison processing unit that there is no matching identity identification information, a capture processing unit that executes a data capture process of the data file to be captured;
When the comparison processing unit determines that there is matching identity identification information , the data capturing program is configured to function as a warning processing unit that performs a predetermined warning display ,
The warning processing unit
As a result of the warning display, when the selection to continue the capture process is received, the comparison process of the identity identification information in the comparison processor is executed again, and then the capture process in the capture processor is executed. Do,
A data acquisition program characterized by that.
JP2017211986A 2017-11-01 2017-11-01 Data acquisition system Active JP6360956B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017211986A JP6360956B1 (en) 2017-11-01 2017-11-01 Data acquisition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017211986A JP6360956B1 (en) 2017-11-01 2017-11-01 Data acquisition system

Publications (2)

Publication Number Publication Date
JP6360956B1 true JP6360956B1 (en) 2018-07-18
JP2019086836A JP2019086836A (en) 2019-06-06

Family

ID=62904918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017211986A Active JP6360956B1 (en) 2017-11-01 2017-11-01 Data acquisition system

Country Status (1)

Country Link
JP (1) JP6360956B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150012A (en) * 2020-09-27 2020-12-29 高维智慧社会信息咨询(江苏)有限公司 Operator environment data analysis system based on root theory

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072740A (en) * 2008-09-16 2010-04-02 Hitachi Software Eng Co Ltd Transfer data management system in internet backup
WO2010100733A1 (en) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 Integral double exclusion system, data storage device, and server device
JP2011203842A (en) * 2010-03-24 2011-10-13 Toshiba Corp Storage device cooperating with host device to exclude duplicate data, storage system including the same and duplication exclusion method in the system
JP2015503777A (en) * 2012-01-25 2015-02-02 株式会社日立製作所 Method of single instance using file clone and file storage device using the same
JP2016126489A (en) * 2014-12-26 2016-07-11 株式会社日本デジタル研究所 Account processing system, method, and program
WO2017042978A1 (en) * 2015-09-11 2017-03-16 株式会社日立製作所 Computer system, storage device, and data management method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072740A (en) * 2008-09-16 2010-04-02 Hitachi Software Eng Co Ltd Transfer data management system in internet backup
WO2010100733A1 (en) * 2009-03-05 2010-09-10 日立ソフトウエアエンジニアリング株式会社 Integral double exclusion system, data storage device, and server device
JP2011203842A (en) * 2010-03-24 2011-10-13 Toshiba Corp Storage device cooperating with host device to exclude duplicate data, storage system including the same and duplication exclusion method in the system
JP2015503777A (en) * 2012-01-25 2015-02-02 株式会社日立製作所 Method of single instance using file clone and file storage device using the same
JP2016126489A (en) * 2014-12-26 2016-07-11 株式会社日本デジタル研究所 Account processing system, method, and program
WO2017042978A1 (en) * 2015-09-11 2017-03-16 株式会社日立製作所 Computer system, storage device, and data management method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150012A (en) * 2020-09-27 2020-12-29 高维智慧社会信息咨询(江苏)有限公司 Operator environment data analysis system based on root theory

Also Published As

Publication number Publication date
JP2019086836A (en) 2019-06-06

Similar Documents

Publication Publication Date Title
US7058663B2 (en) Automatic data update
US8126919B2 (en) Update manager for database system
JP3873365B2 (en) Business processing system using bulletin board type database and processing method thereof
US7567988B2 (en) Synchronizing agent for multiple clients/applications on a computer system
US7870099B2 (en) Computer readable recording medium having stored therein database synchronizing process program, and apparatus for and method of performing database synchronizing process
US10719385B2 (en) Method and apparatus for improved error handling
JP6360956B1 (en) Data acquisition system
JP2012064129A (en) Gui integration method of multiple applications
BRPI0612625A2 (en) context-based work environment
JP2018025894A (en) Delivery management method and delivery management system
US8190559B2 (en) Document management apparatus, storage medium storing program for document management apparatus, and method for managing documents
JP6862889B2 (en) Work support equipment and programs
JP2019102034A (en) Determination program, determination apparatus and determination method
JP7265144B2 (en) Repaired part extraction program, repaired part extraction method, and repaired part extraction device
JP7120875B2 (en) Management device, management method and program
JP6946664B2 (en) Work support system, work support method and program
JP2009289042A (en) Control method for retrieval device and retrieval device
JP4067948B2 (en) Sales person management method, server and program in electronic commerce
JP7426763B1 (en) Information processing system, information processing method and program
JP5292650B2 (en) Data management system and data deletion method
JP2020102155A (en) Real estate business management device, real estate business management method, and real estate business management program
JP6756638B2 (en) Branch business system
US20220327165A1 (en) Information processing system, data management apparatus, and data management method
JP6848576B2 (en) Information processing device, function restriction setting method and program
JP6905999B2 (en) Information processing equipment, information processing methods, programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171108

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171108

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20171108

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180625

R150 Certificate of patent or registration of utility model

Ref document number: 6360956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250