WO2019169693A1 - 数据快速批量导入方法、电子装置及计算机可读存储介质 - Google Patents

数据快速批量导入方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2019169693A1
WO2019169693A1 PCT/CN2018/082976 CN2018082976W WO2019169693A1 WO 2019169693 A1 WO2019169693 A1 WO 2019169693A1 CN 2018082976 W CN2018082976 W CN 2018082976W WO 2019169693 A1 WO2019169693 A1 WO 2019169693A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
file
verification
suffix
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/082976
Other languages
English (en)
French (fr)
Inventor
朱军
冯心
吴训术
李长春
曾涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2019169693A1 publication Critical patent/WO2019169693A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G06F16/2386—Bulk updating operations

Definitions

  • the present application relates to the field of computer technology, and relates to a data rapid batch import method, an electronic device, and a computer readable storage medium.
  • batch importing records by uploading EXCEL or CSV files is a common function.
  • batch import greatly speeds up user entry speed, and in a single working window.
  • you can view the global data to adjust the local data such as adjusting the performance of some employees according to the ratio, and avoid frequently switching buttons such as “Add”, “Modify” and “Delete” in the business system. The behavior is more error-prone.
  • batch import is also more friendly. Historical EXCEL legacy data does not need to be manually added to the system. Simply adjust the format to quickly import the system.
  • the technical problem to be solved by the present application is to overcome the data import workload and the difficulty of maintenance in the prior art, and propose a data rapid batch import method, an electronic device and a computer readable storage medium to reduce the workload of the business system developer. So that it can concentrate on the specific business implementation.
  • a data rapid batch import method includes the following steps:
  • An electronic device includes a memory and a processor, and the memory stores a data rapid batch importing system executable by the processor, where the data fast batch importing system comprises:
  • a file receiving module configured to receive the uploaded file
  • a file verification module configured to perform suffix verification on the received file
  • a data reading module configured to read data in the file after the suffix verification is passed
  • a data verification module configured to: after the data is successfully read, obtain a verification rule corresponding to the suffix of the file from a preset number of verification rules to verify the read data;
  • a script obtaining module configured to acquire, after the data verification is passed, a data storage script corresponding to the memory for storing the data from the preset data storage script
  • a data storage module configured to: according to the acquired data storage script, call the connection information of the corresponding memory, and save the data in the file to the memory;
  • the prompt sending module is configured to send a prompt that the format of the upload file is incorrect after the suffix verification fails and the data read fails, and send a prompt that the verification fails if the data verification fails.
  • a computer readable storage medium having a data rapid batch import system stored therein, the data fast batch import system being executable by at least one processor to implement the following steps:
  • FIG. 1 is a schematic diagram showing the hardware architecture of an embodiment of an electronic device of the present application.
  • FIG. 2 is a schematic diagram of a program module of an embodiment of a data fast batch importing system in an electronic device of the present application
  • FIG. 3 is a schematic diagram of a sub-module of a data reading module in an embodiment of a data fast batch importing system in an electronic device of the present application;
  • FIG. 4 is a flowchart showing Embodiment 1 of the data rapid batch importing method of the present application.
  • FIG. 5 is a flowchart of Embodiment 2 of the data fast batch importing method of the present application.
  • Figure 6 shows a student transcript recorded using an excel spreadsheet.
  • Electronic device 2 Rapid data batch import system 20 Memory twenty one processor twenty two Network Interface twenty three File receiving module 201 File verification module 202 Data reading module 203
  • the present application proposes an electronic device.
  • the electronic device 2 is an apparatus capable of automatically performing numerical calculation and/or information processing in accordance with an instruction set or stored in advance.
  • the electronic device 2 can be a smartphone, a tablet, a laptop, a desktop computer, a rack server, a blade server, a tower server, or a rack server (including a stand-alone server, or a server cluster composed of multiple servers).
  • the electronic device 2 includes at least, but not limited to, a memory 21, a processor 22, a network interface 23, and a data fast batch import system 20 that are communicably coupled to each other through a system bus. among them:
  • the memory 21 includes at least one type of computer readable storage medium including a flash memory, a hard disk, a multimedia card, a card type memory (eg, SD or DX memory, etc.), a random access memory (RAM), Static Random Access Memory (SRAM), Read Only Memory (ROM), Electrically Erasable Programmable Read Only Memory (EEPROM), Programmable Read Only Memory (PROM), magnetic memory, magnetic disk, optical disk, and the like.
  • the memory 21 may be an internal storage unit of the electronic device 2, such as a hard disk or a memory of the electronic device 2.
  • the memory 21 may also be an external storage device of the electronic device 2, such as a plug-in hard disk equipped on the electronic device 2, a smart memory card (SMC), and a secure digital device. (Secure Digital, SD) card, flash card, etc.
  • the memory 21 can also include both the internal storage unit of the electronic device 2 and its external storage device.
  • the memory 21 is generally used to store an operating system installed in the electronic device 2 and various types of application software, such as program codes of the data fast batch import system 20. Further, the memory 21 can also be used to temporarily store various types of data that have been output or are to be output.
  • the processor 22 may be a Central Processing Unit (CPU), controller, microcontroller, microprocessor, or other data processing chip in some embodiments.
  • the processor 22 is typically used to control the overall operation of the electronic device 2, such as performing control and processing associated with data interaction or communication with the electronic device 2.
  • the processor 22 is configured to run program code or process data stored in the memory 21, such as running the data fast batch import system 20 and the like.
  • the network interface 23 may comprise a wireless network interface or a wired network interface, which is typically used to establish a communication connection between the electronic device 2 and other electronic devices.
  • the network interface 23 is configured to connect the electronic device 2 to an external terminal through a network, establish a data transmission channel, a communication connection, and the like between the electronic device 2 and an external terminal.
  • the network may be an intranet, an Internet, a Global System of Mobile communication (GSM), a Wideband Code Division Multiple Access (WCDMA), a 4G network, or a 5G network.
  • Wireless or wired networks such as network, Bluetooth, Wi-Fi, etc.
  • FIG. 1 only shows the electronic device 2 with the components 21-23, but it should be understood that not all illustrated components are required to be implemented, and more or fewer components may be implemented instead.
  • the data fast batch import system 20 stored in the memory 21 may be divided into one or more program modules, the one or more program modules being stored in the memory 21, and may be one or A plurality of processors (this embodiment is processor 22) are executed to complete the application.
  • FIG. 2 is a schematic diagram of a program module of an embodiment of the data fast batch importing system 20.
  • the data fast batch importing system 20 can be divided into a file receiving module 201 and a file checking module 202.
  • the program module referred to in the present application refers to a series of computer program instruction segments capable of performing a specific function. The following description will specifically describe the specific functions of the program modules 201-207.
  • the file receiving module 201 is configured to receive an uploaded file.
  • the file has a variety of formats, including plain text files, text documents, and excel spreadsheets.
  • plain text documents usually refer to files with a .csv suffix.
  • the file uses commas to data in the file. Separated into columns; a text document is a file with a .txt suffix that does not have a default delimiter.
  • the business system developer configures the delimiter to separate the data within the file into columns.
  • plain text files, text documents, and content in excel spreadsheets can all be represented using a two-dimensional array.
  • the file verification module 202 is configured to perform suffix verification on the received file.
  • the suffix verification is specifically: the business system developer pre-sets a suffix white list, and is set according to the type of the derivable; for example, if a plain text file can be received, the suffix .csv is added to the suffix white list. If the suffix of the uploaded file is in the suffix whitelist, the suffix is passed and the next step can be performed.
  • the data reading module 203 is configured to read data in the file after the suffix verification is passed.
  • the reading file described here directly uses third-party components. Since the system supports batch import of multiple formats, a plurality of third-party components are built in advance, such as a third-party component apache poi for reading an excel spreadsheet, and the like. A third-party component such as java API for reading plain text files or text documents.
  • the intercepting sub-module 2031 is configured to intercept a suffix name of the file to determine a format of the file; the calling sub-module 2032 is configured to invoke a corresponding third-party component according to a format of the file; the reader The module 2033 is configured to read data in the file by using the third-party component; the determining sub-module 2034 is configured to determine whether the read failure or the read is successful according to whether the read data is empty.
  • the data verification module 204 is configured to: after the data is successfully read, obtain a verification rule corresponding to the suffix of the file from a preset number of verification rules to verify the read data.
  • the data check includes duplicate row check, script check, expression check, and global check.
  • the global check mainly checks the global uniqueness of the row data, and can specify multiple columns for uniqueness check. For example, if three columns A, B, and C are specified, as long as there are A, B, and C in two rows. If the column value is the same, the verification will not pass; and if the row check verifies the validity of the current row record, it supports expression verification. If the row A of the row is empty or contains a certain value, column A+ Whether column B is equal to column C, etc., multiple expressions can be combined using logical AND, OR, XOR, which can be configured by the developer according to actual needs.
  • the script obtaining module 205 is configured to obtain, after the data verification is passed, a data storage script corresponding to the memory for storing the data from the preset data storage script.
  • the memory may be a database or other target storage device. Different data storage scripts are required according to different memories. Specifically, the data storage script corresponding to the database is a SQL script, and the data storage script corresponding to the target storage device is used. For shell scripts.
  • the memory and corresponding data storage scripts described herein are pre-configured by the business system developer in conjunction with actual needs.
  • the data storage module 206 is configured to save the connection information of the corresponding memory according to the acquired data storage script, and save the data in the file into the memory.
  • the parsing script When storing, the parsing script is used to obtain a column value expression. For each row of the file to be imported, the actual value of the corresponding column is obtained and the script is executed on the memory.
  • the prompt sending module 207 is configured to send a prompt that the format of the upload file is incorrect after the suffix verification fails and the data read fails, and send a prompt that the verification fails if the data verification fails.
  • the prompts are preset by the business system developer, and different prompt statements are provided corresponding to different verification settings.
  • the present application proposes a data rapid batch import method.
  • the data fast batch import method includes the following steps:
  • S1 Receive the uploaded file, perform suffix verification on the file, and execute S2 if the suffix verification passes, otherwise send a prompt for the format error of the uploaded file and end.
  • the suffix verification is specifically: intercepting the suffix name of the file, determining whether the suffix name is located in a preset suffix white list, and if yes, verifying;
  • the suffixes included in the suffix white list include, but are not limited to, .csv, .txt, .xls, and .xlsx, the .csv corresponds to a plain text file format, and the .txt corresponds to a text document format, .xls and .xlsx. Both correspond to excel spreadsheets (the difference is in the version). Assuming that the suffix whitelist includes only .csv and .txt, it means that the suffix check can pass only when the uploaded file format is a plain text file or a text document, and then proceeds to the next data reading step.
  • plain text documents use commas to separate the data in the file into columns by default, so there is no need for business system developers to configure them; however, text documents do not have a default delimiter, which needs to be configured by the business system developer to delimit the files. The data is separated into columns.
  • plain text files, text documents, and content in excel spreadsheets can all be represented using a two-dimensional array.
  • third-party components are specifically used to read the data in the file.
  • the preset verification rule includes a duplicate row check, a script check, an expression check, and a global check, and each check rule is applicable to documents of various formats.
  • the global check mainly checks the global uniqueness of the row data, and can specify multiple columns for uniqueness check. For example, if columns A, B, and C are specified, as long as there are two rows of A, B, and C column values. The same, the verification does not pass.
  • the row check verifies the validity of the current row record, and supports expression verification; if the row A of the row is empty or contains a certain value, whether the column A+B column is equal to the C column, etc., multiple expressions
  • the formula can be combined using logical AND, OR, XOR, which can be configured by the developer according to actual needs.
  • the line check here also supports SQL script verification, adding the current line to the calculation check of the database, such as verifying whether the employee name of the current line exists in the database or the like.
  • a plurality of other verification rules can be defined, and corresponding error prompts can be set for different verification rules, and the prompt can use a line number expression, such as the "$ ⁇ rownum ⁇ line. 3 columns cannot be empty", etc.; for verification failure, it can be configured to return the current verification failure prompt immediately, or this will continue to check to the end of the document and then integrate multiple verification failure prompts to return.
  • the memory may be a database or other target storage device, and the data storage script required for the database corresponds to a SQL script, and the data storage script required for other target storage devices corresponds to a shell script.
  • the business system developer configures the SQL script or shell script in combination with actual needs.
  • the script can use the column value expression (such as $1 for the first column actual value, $5 for the fifth column actual value%) to get the row corresponding The actual value of the column; if the data is saved to the database, you can provide SQL scripts, you can use a shell script if you need to save to other storage devices.
  • the connection information of the database needs to be provided in advance for the SQL script.
  • the shell script is used, the connection information of the target server needs to be provided in advance.
  • the script is parsed, and the column value expression is obtained. For each row of the imported file, the actual value of the corresponding column is obtained, and the script is executed on the database or other target server to save the data.
  • the business system developer can configure the amount of data executed in batches. For large files, the number of concurrent files can also be configured to speed up Execution speed.
  • the reading of the data in S2 specifically includes the following sub-steps:
  • the third-party components are required to read data corresponding to different formats; in other words, the selection of the third-party component is determined by the uploaded file format, and the file format is adopted.
  • the suffix name of the file is used to judge.
  • the plain text file has a suffix of .csv
  • the text file has a suffix of .txt
  • the excel spreadsheet has a suffix of .xls or .xlsx.
  • the third-party components are specifically: the excel spreadsheet corresponds to the third-party component apache poi to read the data in the file, and the plain text file or the text document corresponds to the third-party component java API to read the file. data.
  • the start position and the end position of the data reading can be configured by the business system developer; for example, if the first line is the first line, the reading can be started from the second line, or the expression can be configured. Skip some lines that match the expression rules for reading.
  • the method is further described by taking the batch introduction of student achievement into the database as an example.
  • the student achievement (as shown in FIG. 6) is recorded in the form of an excel spreadsheet, and the four columns A, B, C, and D represent respectively.
  • Number, language, mathematics and total scores, the process of batch import is as follows:
  • the suffix imported into the file is named .xls, which corresponds to the file format of the excel spreadsheet. Therefore, the data in the file is read by the third-party component apache poi corresponding to the format. After the data is read, the read is judged. The data is not empty, go to the next step of data verification.
  • the present application is a computer readable storage medium having a data fast batch import system 20 stored therein, which can be quickly executed when executed by one or more processors. Batch import method or operation of an electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据快速批量导入方法，属于计算机技术领域。一种数据快速批量导入方法，包括如下步骤：S1、接收上传的文件，对所述文件进行后缀校验，若后缀校验通过则执行 S2；S2、读取所述文件中的数据，若数据读取成功则执行 S3；S3、从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验，若数据校验通过则执行 S4；S4、从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；S5、根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中。

Description

数据快速批量导入方法、电子装置及计算机可读存储介质
本申请申明享有2018年3月8日递交的申请号为201810192796.3、名称为“数据快速批量导入方法、电子装置及计算机可读存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及计算机技术领域，涉及一种数据快速批量导入方法、电子装置及计算机可读存储介质。
背景技术
企业办公或者其他管理类系统中，通过上传EXCEL或者CSV文件进行批量导入记录是常见的功能，在需要新增或者修改记录比较多的情况下，批量导入大大加快用户录入速度，且在单个工作窗口进行增加或调整记录，既可纵览全局数据以调整局部数据，如根据比例调整部分员工绩效，也可避免在业务系统中频繁点击类似“新增”、“修改”和“删除”等按钮切换页面的行为，更不易出错。针对更喜欢使用EXCEL进行数据管理的用户，批量导入也更加友好，历史EXCEL遗留数据也无须手动一条条添加至系统，只需要简单调整格式即可快速导入系统。
目前，业界业务系统批量导入实现，普遍由业务系统开发人员根据具体的业务场景，编写代码实现上传、读取、校验、保存数据库操作，存在如下问题：
1)工作量大，针对不同格式的文件，需要编写相应的读取文件内容的代码，以及与数据存储设施连接、通信、操作等代码，针对每个批量导入功能，都需要编写大量代码；
2)业务逻辑代码与文件读取、数据存储设施操作等代码混在一起，不易维护。
发明内容
本申请要解决的技术问题是为了克服现有技术中数据导入工作量和不易维护，提出了一种数据快速批量导入方法、电子装置及计算机可读存储介质，以减少业务系统开发人员的工作量，使其得以将精力主要集中于具体业务实现上。
本申请是通过下述技术方案来解决上述技术问题：
一种数据快速批量导入方法，包括如下步骤：
S1、接收上传的文件，对所述文件进行后缀校验，若后缀校验通过则执行S2，否则发送上传文件格式错误的提示并结束；
S2、读取所述文件中的数据，若数据读取成功则执行S3，否则发送上传文件格式错误的提示并结束；
S3、从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验，若数据校验通过则执行S4，否则发送校验不通过的提示并结束；
S4、从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；
S5、根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中。
一种电子装置，包括存储器和处理器，所述存储器上存储有可被所述处理器执行的数据快速批量导入系统，所述数据快速批量导入系统包括：
文件接收模块，用于接收上传的文件；
文件校验模块，用于对接收到的文件进行后缀校验；
数据读取模块，用于在后缀校验通过后读取文件中的数据；
数据校验模块，用于在数据读取成功后，从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验；
脚本获取模块，用于在数据校验通过后，从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；
数据存储模块，用于根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中；
提示发送模块，用于在后缀校验不通过和数据读取失败后发送上传文件格式错误的提示，以及在数据校验不通过后发送校验不通过的提示。
一种计算机可读存储介质，所述计算机可读存储介质内存储有数据快速批量导入系统，所述数据快速批量导入系统可被至少一个处理器所执行，以实现以下步骤：
S1、接收上传的文件，对所述文件进行后缀校验，若后缀校验通过则执行S2，否则发送上传文件格式错误的提示并结束；
S2、读取所述文件中的数据，若数据读取成功则执行S3，否则发送上传文件格式错误的提示并结束；
S3、从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验，若数据校验通过则执行S4，否则发送校验不通过的提示并结束；
S4、从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；
S5、根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中。
本申请的积极进步效果在于：
1)让开发人员只需要关注于具体业务实现，无需困扰于如何读取纯文本文件、文本文档和excel电子表格等文件，从各种格式文件读取、分析中解脱出来，让开发人员更加集中于数据业务逻辑，极大地减少了开发人员的 工作量。
2)提供文件后缀白名单功能，加强系统安全性。
3)业务系统开发人员只需要提供脚本及目标存储器连接的相关信息，即可实现数据保存到目标存储器，业务系统开发人员无须实现与目标存储设施连接、通信、执行脚本等功能，大大减少工作量，且集中式配置脚本配置管理，很方便增加、删除、修改，极大提高了可维护性。
附图说明
图1示出了本申请电子装置一实施例的硬件架构示意图；
图2示出了本申请电子装置中数据快速批量导入系统一实施例的程序模块示意图；
图3示出了本申请电子装置中数据快速批量导入系统一实施例中数据读取模块的子模块示意图；
图4示出了本申请数据快速批量导入方法实施例一的流程图；
图5示出了本申请数据快速批量导入方法实施例二的流程图；
图6示出了采用excel电子表格记录的学生成绩表。
附图标记：
电子装置 2
数据快速批量导入系统 20
存储器 21
处理器 22
网络接口 23
文件接收模块 201
文件校验模块 202
数据读取模块 203
数据校验模块 204
脚本获取模块 205
数据存储模块 206
提示发送模块 207
知识图谱模块 209
流程步骤 S1-S5，S21-S24
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面通过实施例的方式进一步说明本申请，但并不因此将本申请限制在所述的实施例范围之中。
首先，本申请提出了一种电子装置。
参阅图1所示，是本申请电子装置一实施例的硬件架构示意图。本实施例中，所述电子装置2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述电子装置2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据快速批量导入系统20。其中：
所述存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21 可以是所述电子装置2的内部存储单元，例如该电子装置2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述电子装置2的外部存储设备，例如该电子装置2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括所述电子装置2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述电子装置2的操作系统和各类应用软件，例如所述数据快速批量导入系统20的程序代码等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述电子装置2的总体操作，例如执行与所述电子装置2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行所述的数据快速批量导入系统20等。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述电子装置2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述电子装置2与外部终端相连，在所述电子装置2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图1仅示出了具有组件21-23的电子装置2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
在本实施例中，存储于存储器21中的所述数据快速批量导入系统20可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并可由一个或多个处理器(本实施例为处理器22)所执行，以完成本申请。
例如，图2示出了所述数据快速批量导入系统20一实施例的程序模块示意图，该实施例中，所述数据快速批量导入系统20可以被分割为文件接收模块201、文件校验模块202、数据读取模块203、数据校验模块204、脚本获取模块205、数据存储模块206和提示发送模块207。其中，本申请所称的程序模块是指能够完成特定功能的一系列计算机程序指令段。以下描述将具体介绍所述程序模块201-207的具体功能。
所述文件接收模块201用于接收上传的文件。所述文件的格式有多种，主要包括纯文本文件、文本文档和excel电子表格等；需要指出的是，纯文本文档通常指后缀为.csv的文件，该文件默认使用逗号将文件内的数据分隔成列；文本文档是指后缀为.txt的文件，该文件没有默认的分隔符，需要由业务系统开发人员配置分隔符将文件内的数据分隔成列。最终，纯文本文件、文本文档和excel电子表格中的内容都能使用二维数组来表示。
所述文件校验模块202用于对接收到的文件进行后缀校验。
所述后缀校验具体为：业务系统开发人员预设有后缀白名单，根据可导数的类型进行设置；举例来说，如果可接收纯文本文件，则将后缀.csv加入到后缀白名单。如果上传的文件的后缀名在后缀白名单中，则后缀校验通过，可以进行后一步的操作。
所述数据读取模块203用于在后缀校验通过后读取文件中的数据。
这里所述读取文件直接采用第三方组件，由于本系统支持多种格式的批量导入，预先内置有多个第三方组件，比如用于读取excel电子表格的第三方组件apache poi，又比如用于读取纯文本文件或文本文档的第三方组件java  API等。
采用何种第三方组件则由文件格式决定，而文件格式通过其后缀名来判断，进而所述数据读取模块203又可以进一步被分割为如图3示出的四个子模块2031-2034，这四个子模块的功能具体如下：
所述截取子模块2031用于截取所述文件的后缀名以判断所述文件的格式；所述调用子模块2032用于根据所述文件的格式调用相对应的第三方组件；所述读取子模块2033用于通过所述第三方组件读取所述文件中的数据；所述判断子模块2034用于根据读取的数据是否为空来判断读取失败还是读取成功。
所述数据校验模块204用于在数据读取成功后，从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验。
所述数据校验包括重复行校验、脚本校验、表达式校验和全局校验。举例来说，全局校验主要校验行数据的全局唯一性，可以指定多列进行唯一性校验，如指定A、B、C三列，则只要存在某两行中的A、B、C列值相同，则校验不通过；又如行校验针对当前行记录的合法性进行校验，支持表达式校验，如行的A列是否为空或是否包含某个值，A列+B列是否等于C列等，多个表达式可以使用逻辑与、或、异或进行组合，这些都可以由开发人员根据实际需求进行配置。
所述脚本获取模块205用于在数据校验通过后，从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本。
所述存储器可以是数据库或者其他目标存储设备，根据不同的存储器，需要采用不同的数据存储脚本；具体为，所述数据库对应的数据存储脚本为SQL脚本，所述目标存储设备对应的数据存储脚本为shell脚本。
这里所述存储器和相对应的数据存储脚本都由业务系统开发人员结合实际需求进行预先配置。
所述数据存储模块206用于根据获取的数据存储脚本调用相对应的存储 器的连接信息，将所述文件中的数据保存至所述存储器中。
存储时，通过解析脚本，获取到列取值表达式，针对待导入文件的每一行，获取对应的列的实际值在存储器上执行脚本。
所述提示发送模块207用于在后缀校验不通过和数据读取失败后发送上传文件格式错误的提示，以及在数据校验不通过后发送校验不通过的提示。
所述提示都由业务系统开发人员进行预设，对应不同的校验设置有不同的提示语句。
通过采用本系统，让开发人员只需要关注于具体业务实现，无需困扰于如何读取纯文本文件、文本文档和excel电子表格等文件，从各种格式文件的读取、分析中解脱出来，让开发人员更加集中于数据业务逻辑，极大地减少了开发人员的工作量。
其次，本申请提出一种数据快速批量导入方法。
在实施例一中，如图4所示，所述的数据快速批量导入方法包括如下步骤：
S1、接收上传的文件，对所述文件进行后缀校验，若后缀校验通过则执行S2，否则发送上传文件格式错误的提示并结束。
所述的后缀校验具体为：截取所述文件的后缀名，判断该后缀名是否位于预设的后缀白名单中，若是则校验通过；
所述后缀白名单中包含的后缀名包括但不限于.csv、.txt、.xls和.xlsx，所述.csv对应纯文本文件格式，所述.txt对应文本文档格式，.xls和.xlsx均对应excel电子表格(区别在于版本不同)。假设所述后缀白名单仅包括.csv和.txt，则表示仅在上传的文件格式为纯文本文件或文本文档时，后缀校验可以通过，进而进入下一步的数据读取步骤。
需要指出的是，纯文本文档默认使用逗号将文件内的数据分隔成列，因而无需业务系统开发人员进行配置；但是文本文档没有默认的分隔符，需要 由业务系统开发人员配置分隔符将文件内的数据分隔成列。最终，纯文本文件、文本文档和excel电子表格中的内容都能使用二维数组来表示。
S2、读取所述文件中的数据，若数据读取成功则执行S3，否则发送上传文件格式错误的提示并结束。
这里具体采用第三方组件来读取文件中的数据。
S3、从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验，若数据校验通过则执行S4，否则发送校验不通过的提示并结束。
本步骤中，所述预设的校验规则包括重复行校验、脚本校验、表达式校验和全局校验，每种校验规则均适用于各种格式的文档。
具体而言，全局校验主要校验行数据的全局唯一性，可以指定多列进行唯一性校验，如指定A、B、C列，则只要存在某两行的A、B、C列值相同，校验不通过。
行校验则针对当前行记录的合法性进行校验，支持表达式校验；如行的A列是否为空或是否包含某个值，A列+B列是否等于C列等，多个表达式可以使用逻辑与、或、异或进行组合，这些都可以由开发人员根据实际需求进行配置。此外，这里的行校验还支持SQL脚本校验，将当前行加入到数据库的计算校验中，比如校验当前行的员工姓名是否存在于数据库中等。
此外，针对文件中的数据还可以定义其他多种校验规则，且针对不同的校验规则可以设置对应的错误提示语，提示语可以使用行号表达式，如“${rownum}行的第3列不能为空”等；对于校验失败，可配置为立即返回当前校验失败提示语，或这继续校验至文档末尾后整合多次校验失败提示语一并返回。
S4、从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本。
本步骤中，所述存储器可以是数据库，也可以是其他的目标存储设备， 针对数据库需要采用的数据存储脚本对应为SQL脚本，而针对其他目标存储设备需要采用的数据存储脚本对应为shell脚本。业务系统开发人员结合实际需求进行SQL脚本或者shell脚本的配置。
配置时，需要指定脚本类型type＝[sql/shell]，脚本可以使用列取值表达式(如$1代表取第一列实际值，$5代表取第5列实际值...)以取得行对应列的实际值；如果数据保存至数据库，可以提供SQL脚本，需要保存至其他存储设备则可以使用shell脚本。
S5、根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中。
本步骤中，根据脚本类型，为SQL脚本时需要预先提供数据库的连接信息，为shell脚本时，则需要预先提供目标服务器的连接信息。本步骤保存数据时会解析脚本，获取到列取值表达式，针对导入文件的每一行，获取对应的列的实际值在数据库或其他目标服务器上执行脚本以实现数据保存。
更进一步地，当脚本类型为SQL脚本时，为了提高执行效率，减少对数据库连接的占用，业务系统开发人员可以配置每次批量执行的数据的多少，对于大文件，还可以配置并发数以加快执行速度。
在实施例二中，基于实施例一的基础上，如图5所示，S2中数据的读取具体包括以下分步骤：
S21、截取所述文件的后缀名以判断所述文件的格式；
S22、调用与所述文件的格式相对应的第三方组件；
S23、采用所述第三方组件读取所述文件中的数据；
S24、判断读取的数据是否为空，若是则读取失败，若否则读取成功。
本实施例中，由于可以上传的文件格式不止一种，因而对应不同格式需要采用不同的第三方组件进行数据的读取；换言之，第三方组件的选取由上传的文件格式决定，而文件格式通过文件的后缀名来判断。举例来说，纯文 本文档对应后缀为.csv，文本文档对应后缀为.txt，excel电子表格对应后缀为.xls或.xlsx。对应不同的文件格式，采用的第三方组件具体为：excel电子表格对应采用第三方组件apache poi读取文件中的数据，纯文本文件或文本文档则对应采用第三方组件java API读取文件中的数据。
此外，本实施例中对于数据读取的开始位置及结束位置，均可以由业务系统开发人员进行配置；举例来说，如果第一行为行头，则可以从第二行开始读取，或者配置表达式跳过某些符合表达式规则的行进行读取。
下面，以批量导入学生成绩至数据库中为例对本方法做进一步说明，所述学生成绩(如图6所示)采用excel电子表格的形式进行记录，A、B、C、D四列分别代表学号、语文、数学和总分，成绩批量导入的过程如下：
1、上传图6中示出的学生成绩表，该表采用excel电子表格的形式记录，后缀名为.xls，经后缀验证，确认后缀名.xls位于预设的后缀白名单中，因此验证通过进入文件读取步骤。
2、截取导入到文件的后缀名为.xls，对应为excel电子表格的文件格式，因此采用与该格式对应的第三方组件apache poi读取文件中的数据，数据读取完成后，判断读取的数据不为空，进入下一步数据校验步骤。
3、首先进行全局校验，对A、B、C、D四列中的值进行唯一性校验，校验得知这四列的值并不相同；接着进行行校验，校验得知学号20170156不存在于数据库中，还得知第四行中B列+C列不等于D列，针对这些错误，待全部文件中的数据校验完成之后，整合多次校验失败提示语一并返回。
4、假设前一步校验反馈的错误一一修正之后，文件重新上传，经后缀校验通过、文件中的数据读取成功且通过所有校验规则，之后进入到脚本获取阶段，由于本例中将学生成绩导入到数据库中，这里预先配置的脚本类型为SQL脚本，因此，本步骤中获取到的是预先配置的SQL脚本。
5、根据SQL脚本调用相对应的数据库连接信息，解析脚本，获取到列取值表达式，针对导入文件的每一行，获取对应的列的实际值(学生成绩) 在数据库上执行脚本，最终将学生成绩的批量导入至数据库中。
通过使用本方法实现数据的批量导入，让开发人员只需要关注于具体业务实现，无需困扰于如何读取纯文本文件、文本文档和excel电子表格等文件，从各种格式文件读取、分析中解脱出来。其次，采用后缀白名单校验加强了系统安全性。此外，业务系统开发人员使用本方法实现数据的批量导入无须实现与目标存储器连接、通信、执行脚本等功能，只需要提供脚本及目标存储器连接的相关信息即可，工作量大大减少，且维护方便。
此外，本申请一种计算机可读存储介质，该计算机可读存储介质内存储有数据快速批量导入系统20，该数据快速批量导入系统20可被一个或多个处理器执行时，实现上述数据快速批量导入方法或电子装置的操作。
虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。

Claims (16)

  1. 一种数据快速批量导入方法，其特征在于，包括如下步骤：
    S1、接收上传的文件，对所述文件进行后缀校验，若后缀校验通过则执行S2，否则发送上传文件格式错误的提示并结束；
    S2、读取所述文件中的数据，若数据读取成功则执行S3，否则发送上传文件格式错误的提示并结束；
    S3、从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验，若数据校验通过则执行S4，否则发送校验不通过的提示并结束；
    S4、从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；
    S5、根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中。
  2. 根据权利要求1所述的数据快速批量导入方法，其特征在于，S1中所述的后缀校验具体为：截取所述文件的后缀名，判断该后缀名是否位于预设的后缀白名单中，若是则校验通过；
    所述后缀白名单中包含的后缀名包括.csv、.txt、.xls和.xlsx。
  3. 根据权利要求1所述的数据快速批量导入方法，其特征在于，S2具体包括以下分步骤：
    S21、截取所述文件的后缀名以判断所述文件的格式；
    S22、调用与所述文件的格式相对应的第三方组件；
    S23、采用所述第三方组件读取所述文件中的数据；
    S24、判断读取的数据是否为空，若是则读取失败，若否则读取成功。
  4. 根据权利要求3所述的数据快速批量导入方法，其特征在于，S21中所述文件的格式包括纯文本文件、文本文档和excel电子表格，所述纯文 本文件对应的后缀名为.csv，所述文本文档对应的后缀名为.txt，所述excel电子表格对应的后缀名为.xls或.xlsx。
  5. 根据权利要求4所述的数据快速批量导入方法，其特征在于，S22中与所述纯文本文件或所述文本文档相对应的第三方组件为java API，与所述excel电子表格相对应的第三方组件为apache poi。
  6. 根据权利要求1所述的数据快速批量导入方法，其特征在于，S3中所述预设的校验规则包括重复行校验、脚本校验、表达式校验和全局校验。
  7. 根据权利要求1所述的数据快速批量导入方法，其特征在于，S4中所述存储器包括数据库和目标存储设备；所述数据库对应的数据存储脚本为SQL脚本，所述目标存储设备对应的数据存储脚本为shell脚本。
  8. 一种电子装置，包括存储器和处理器，其特征在于，所述存储器上存储有可被所述处理器执行的数据快速批量导入系统，所述数据快速批量导入系统包括：
    文件接收模块，用于接收上传的文件；
    文件校验模块，用于对接收到的文件进行后缀校验；
    数据读取模块，用于在后缀校验通过后读取文件中的数据；
    数据校验模块，用于在数据读取成功后，从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验；
    脚本获取模块，用于在数据校验通过后，从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；
    数据存储模块，用于根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中；
    提示发送模块，用于在后缀校验不通过和数据读取失败后发送上传文件格式错误的提示，以及在数据校验不通过后发送校验不通过的提示。
  9. 根据权利要求8所述的电子装置，其特征在于，所述数据读取模块具体包括以下子模块：
    截取子模块，用于截取所述文件的后缀名以判断所述文件的格式；
    调用子模块，用于根据所述文件的格式调用相对应的第三方组件；
    读取子模块，用于通过所述第三方组件读取所述文件中的数据；
    判断子模块，用于根据读取的数据是否为空来判断读取失败还是读取成功。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有数据快速批量导入系统，所述数据快速批量导入系统可被至少一个处理器所执行，以实现以下步骤：
    S1、接收上传的文件，对所述文件进行后缀校验，若后缀校验通过则执行S2，否则发送上传文件格式错误的提示并结束；
    S2、读取所述文件中的数据，若数据读取成功则执行S3，否则发送上传文件格式错误的提示并结束；
    S3、从预设的若干校验规则中获取与所述文件的后缀相对应的校验规则对读取的数据进行校验，若数据校验通过则执行S4，否则发送校验不通过的提示并结束；
    S4、从预设的数据存储脚本中获取与用于存储数据的存储器相对应的数据存储脚本；
    S5、根据获取的数据存储脚本调用相对应的存储器的连接信息，将所述文件中的数据保存至所述存储器中。
  11. 根据权利要求10所述的计算机可读存储介质，其特征在于，S1中所述的后缀校验具体为：截取所述文件的后缀名，判断该后缀名是否位于预设的后缀白名单中，若是则校验通过；
    所述后缀白名单中包含的后缀名包括.csv、.txt、.xls和.xlsx。
  12. 根据权利要求10所述的计算机可读存储介质，其特征在于，S2具体包括以下分步骤：
    S21、截取所述文件的后缀名以判断所述文件的格式；
    S22、调用与所述文件的格式相对应的第三方组件；
    S23、采用所述第三方组件读取所述文件中的数据；
    S24、判断读取的数据是否为空，若是则读取失败，若否则读取成功。
  13. 根据权利要求12所述的计算机可读存储介质，其特征在于，S21中所述文件的格式包括纯文本文件、文本文档和excel电子表格，所述纯文本文件对应的后缀名为.csv，所述文本文档对应的后缀名为.txt，所述excel电子表格对应的后缀名为.xls或.xlsx。
  14. 根据权利要求13所述的计算机可读存储介质，其特征在于，S22中与所述纯文本文件或所述文本文档相对应的第三方组件为java API，与所述excel电子表格相对应的第三方组件为apache poi。
  15. 根据权利要求10所述的计算机可读存储介质，其特征在于，S3中所述预设的校验规则包括重复行校验、脚本校验、表达式校验和全局校验。
  16. 根据权利要求10所述的计算机可读存储介质，其特征在于，S4中所述存储器包括数据库和目标存储设备；所述数据库对应的数据存储脚本为SQL脚本，所述目标存储设备对应的数据存储脚本为shell脚本。
PCT/CN2018/082976 2018-03-08 2018-04-13 数据快速批量导入方法、电子装置及计算机可读存储介质 Ceased WO2019169693A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810192796.3A CN108491475B (zh) 2018-03-08 2018-03-08 数据快速批量导入方法、电子装置及计算机可读存储介质
CN201810192796.3 2018-03-08

Publications (1)

Publication Number Publication Date
WO2019169693A1 true WO2019169693A1 (zh) 2019-09-12

Family

ID=63338313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/082976 Ceased WO2019169693A1 (zh) 2018-03-08 2018-04-13 数据快速批量导入方法、电子装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108491475B (zh)
WO (1) WO2019169693A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292040A (zh) * 2020-02-18 2020-06-16 上海东普信息科技有限公司 快件代签收信息接入方法、系统及存储介质
CN111324783A (zh) * 2020-03-18 2020-06-23 上海东普信息科技有限公司 数据处理方法及装置
CN111460017A (zh) * 2020-03-20 2020-07-28 平安国际智慧城市科技股份有限公司 文档数据导入方法、文档数据导出方法、装置和存储介质
CN111476661A (zh) * 2020-05-04 2020-07-31 武汉众邦银行股份有限公司 一种循环校验入账的总账系统批处理方法
CN111476009A (zh) * 2020-03-23 2020-07-31 一汽奔腾轿车有限公司 一种新车报税配置信息一致性校验系统
CN111581210A (zh) * 2020-04-30 2020-08-25 深圳壹账通智能科技有限公司 数据的导入方法及系统
CN111813439A (zh) * 2020-07-17 2020-10-23 前海人寿保险股份有限公司 发布材料质量控制方法、装置、设备和计算机存储介质
CN112163242A (zh) * 2020-09-11 2021-01-01 杭州安恒信息技术股份有限公司 一种磁盘数据校验的方法
CN112463633A (zh) * 2020-12-11 2021-03-09 苏州浪潮智能科技有限公司 一种片上存储器的地址译码校验方法、装置、设备及介质
WO2021056708A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 一种大批量数据导入方法、装置、计算机设备及存储介质
CN112597228A (zh) * 2020-12-26 2021-04-02 中国农业银行股份有限公司 一种文件处理方法及系统
CN113094359A (zh) * 2021-02-24 2021-07-09 华南师范大学 基于决策规则的考试数据预处理方法、系统、装置及介质
CN113157794A (zh) * 2021-05-14 2021-07-23 中国建设银行股份有限公司 自动化批量调整数据方法、通用修数装置、反射驱动装置
CN113505580A (zh) * 2021-07-26 2021-10-15 京东科技控股股份有限公司 表格文件的解析方法和装置
CN113505115A (zh) * 2021-07-07 2021-10-15 北京金山云网络技术有限公司 一种数据批量导入方法、装置及电子设备
CN113535649A (zh) * 2021-07-28 2021-10-22 山东浪潮通软信息科技有限公司 一种支持交互的数据处理方法、设备以及介质
CN113626593A (zh) * 2021-07-13 2021-11-09 深圳希施玛数据科技有限公司 一种Excel文件校验方法、装置及设备
CN113641999A (zh) * 2021-08-27 2021-11-12 四川中电启明星信息技术有限公司 一种在web系统文件上传过程中的文件类型自动校验方法
CN114281532A (zh) * 2021-12-15 2022-04-05 深圳前海环融联易信息科技服务有限公司 一种处理excel大数据导入的任务切分执行方法
CN114331350A (zh) * 2021-12-27 2022-04-12 中国邮政储蓄银行股份有限公司 服务编排的处理方法和装置
CN114444432A (zh) * 2020-11-03 2022-05-06 长鑫存储技术有限公司 晶圆脚本设定方法、装置、设备及存储介质
CN114896259A (zh) * 2022-05-09 2022-08-12 南京安元科技有限公司 一种数据和文件一起导入的方法
CN115185908A (zh) * 2022-07-08 2022-10-14 中国银行股份有限公司 一种加载文本的方法及装置
CN116757170A (zh) * 2023-08-21 2023-09-15 成都数联云算科技有限公司 一种基于JAVA语言的Excel表格导入方法和系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291130B (zh) * 2018-12-06 2024-03-01 北京沃东天骏信息技术有限公司 Hive表一致性校验方法、系统、设备及存储介质
CN109635033B (zh) * 2018-12-27 2023-03-21 贵州省广播电视信息网络股份有限公司 一种千万级存量数据的处理、日志收集及导入数据库的方法
CN110377563A (zh) * 2019-07-23 2019-10-25 中国工商银行股份有限公司 文件处理方法和装置、以及电子设备和可读存储介质
CN110489251A (zh) * 2019-08-15 2019-11-22 中国银行股份有限公司 一种基于信息系统的数据导入防重方法、设备以及系统
CN110958292A (zh) * 2019-09-17 2020-04-03 平安银行股份有限公司 文件上传方法、电子装置、计算机设备及存储介质
CN110781231B (zh) * 2019-09-19 2023-07-21 平安科技（深圳）有限公司 基于数据库的批量导入方法、装置、设备及存储介质
CN110765479B (zh) * 2019-11-03 2020-04-24 长沙豆芽文化科技有限公司 一种大数据防丢失方法、装置及设备
CN112947846B (zh) * 2019-12-11 2024-08-13 北京金山云网络技术有限公司 对象存储系统的批处理任务执行方法、装置及电子设备
CN111445344A (zh) * 2020-04-21 2020-07-24 重庆新致金服信息技术有限公司 保险业务清单处理方法、电子设备及存储介质
CN112287009A (zh) * 2020-11-03 2021-01-29 平安普惠企业管理有限公司 接口调用和接口数据入库方法、装置、设备及存储介质
CN112738085B (zh) * 2020-12-28 2023-08-08 深圳前海微众银行股份有限公司 文件安全校验方法、装置、设备及存储介质
CN114764422A (zh) * 2021-01-14 2022-07-19 京东科技控股股份有限公司 数据导入方法、装置及电子设备
CN113051224A (zh) * 2021-04-08 2021-06-29 平安国际智慧城市科技股份有限公司 文件传输方法、装置、电子设备及计算机可读存储介质
CN113887188A (zh) * 2021-10-09 2022-01-04 上海通联金融服务有限公司 一种基于excel文件解析生成制卡文件的实现方法
CN114567859B (zh) * 2022-01-26 2023-10-13 银盛通信有限公司 一种移动转售系统机器卡批量套外限制设置的方法
CN115328865B (zh) * 2022-06-30 2026-02-27 深圳市汉云科技有限公司 一种csv文件的批量导入方法和相关设备
CN115982121B (zh) * 2022-11-07 2026-03-17 北京广利核系统工程有限公司 一种核电dcs安全控制显示装置数据库生成方法和装置
CN116521092B (zh) * 2023-06-30 2023-09-05 昆山工业大数据创新中心有限公司 一种工业设备数据的存储方法和装置
CN118550927B (zh) * 2024-05-28 2024-11-29 北京优特捷信息技术有限公司 一种资产数据批量插入大数据分析平台的数据插入方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347092A (zh) * 2013-07-22 2013-10-09 星云融创（北京）信息技术有限公司 一种识别缓存文件的方法及装置
US20140280254A1 (en) * 2013-03-15 2014-09-18 Feichtner Data Group, Inc. Data Acquisition System
CN105245703A (zh) * 2015-09-25 2016-01-13 努比亚技术有限公司 分类存储文件的移动终端及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278336A1 (en) * 2011-04-29 2012-11-01 Malik Hassan H Representing information from documents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280254A1 (en) * 2013-03-15 2014-09-18 Feichtner Data Group, Inc. Data Acquisition System
CN103347092A (zh) * 2013-07-22 2013-10-09 星云融创（北京）信息技术有限公司 一种识别缓存文件的方法及装置
CN105245703A (zh) * 2015-09-25 2016-01-13 努比亚技术有限公司 分类存储文件的移动终端及方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056708A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 一种大批量数据导入方法、装置、计算机设备及存储介质
CN111292040A (zh) * 2020-02-18 2020-06-16 上海东普信息科技有限公司 快件代签收信息接入方法、系统及存储介质
CN111292040B (zh) * 2020-02-18 2023-07-11 上海东普信息科技有限公司 快件代签收信息接入方法、系统及存储介质
CN111324783A (zh) * 2020-03-18 2020-06-23 上海东普信息科技有限公司 数据处理方法及装置
CN111324783B (zh) * 2020-03-18 2023-08-29 上海东普信息科技有限公司 数据处理方法及装置
CN111460017A (zh) * 2020-03-20 2020-07-28 平安国际智慧城市科技股份有限公司 文档数据导入方法、文档数据导出方法、装置和存储介质
CN111476009A (zh) * 2020-03-23 2020-07-31 一汽奔腾轿车有限公司 一种新车报税配置信息一致性校验系统
CN111581210A (zh) * 2020-04-30 2020-08-25 深圳壹账通智能科技有限公司 数据的导入方法及系统
CN111476661A (zh) * 2020-05-04 2020-07-31 武汉众邦银行股份有限公司 一种循环校验入账的总账系统批处理方法
CN111476661B (zh) * 2020-05-04 2023-07-11 武汉众邦银行股份有限公司 一种循环校验入账的总账系统批处理方法
CN111813439B (zh) * 2020-07-17 2024-03-29 前海人寿保险股份有限公司 发布材料质量控制方法、装置、设备和计算机存储介质
CN111813439A (zh) * 2020-07-17 2020-10-23 前海人寿保险股份有限公司 发布材料质量控制方法、装置、设备和计算机存储介质
CN112163242A (zh) * 2020-09-11 2021-01-01 杭州安恒信息技术股份有限公司 一种磁盘数据校验的方法
CN114444432A (zh) * 2020-11-03 2022-05-06 长鑫存储技术有限公司 晶圆脚本设定方法、装置、设备及存储介质
CN112463633A (zh) * 2020-12-11 2021-03-09 苏州浪潮智能科技有限公司 一种片上存储器的地址译码校验方法、装置、设备及介质
CN112463633B (zh) * 2020-12-11 2023-01-10 苏州浪潮智能科技有限公司 一种片上存储器的地址译码校验方法、装置、设备及介质
CN112597228A (zh) * 2020-12-26 2021-04-02 中国农业银行股份有限公司 一种文件处理方法及系统
CN112597228B (zh) * 2020-12-26 2024-06-07 中国农业银行股份有限公司 一种文件处理方法及系统
CN113094359A (zh) * 2021-02-24 2021-07-09 华南师范大学 基于决策规则的考试数据预处理方法、系统、装置及介质
CN113157794A (zh) * 2021-05-14 2021-07-23 中国建设银行股份有限公司 自动化批量调整数据方法、通用修数装置、反射驱动装置
CN113505115A (zh) * 2021-07-07 2021-10-15 北京金山云网络技术有限公司 一种数据批量导入方法、装置及电子设备
CN113626593A (zh) * 2021-07-13 2021-11-09 深圳希施玛数据科技有限公司 一种Excel文件校验方法、装置及设备
CN113626593B (zh) * 2021-07-13 2024-04-19 深圳希施玛数据科技有限公司 一种Excel文件校验方法、装置及设备
CN113505580A (zh) * 2021-07-26 2021-10-15 京东科技控股股份有限公司 表格文件的解析方法和装置
CN113535649A (zh) * 2021-07-28 2021-10-22 山东浪潮通软信息科技有限公司 一种支持交互的数据处理方法、设备以及介质
CN113641999A (zh) * 2021-08-27 2021-11-12 四川中电启明星信息技术有限公司 一种在web系统文件上传过程中的文件类型自动校验方法
CN114281532A (zh) * 2021-12-15 2022-04-05 深圳前海环融联易信息科技服务有限公司 一种处理excel大数据导入的任务切分执行方法
CN114331350A (zh) * 2021-12-27 2022-04-12 中国邮政储蓄银行股份有限公司 服务编排的处理方法和装置
CN114896259A (zh) * 2022-05-09 2022-08-12 南京安元科技有限公司 一种数据和文件一起导入的方法
CN115185908A (zh) * 2022-07-08 2022-10-14 中国银行股份有限公司 一种加载文本的方法及装置
CN116757170B (zh) * 2023-08-21 2023-10-20 成都数联云算科技有限公司 一种基于JAVA语言的Excel表格导入方法和系统
CN116757170A (zh) * 2023-08-21 2023-09-15 成都数联云算科技有限公司 一种基于JAVA语言的Excel表格导入方法和系统

Also Published As

Publication number Publication date
CN108491475A (zh) 2018-09-04
CN108491475B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
WO2019169693A1 (zh) 数据快速批量导入方法、电子装置及计算机可读存储介质
CN109558575B (zh) 在线表格编辑方法、装置、计算机设备及存储介质
US11216447B2 (en) Control systems with independent data processing
US20200356624A1 (en) Collaborative document editing system and method
CN110196971A (zh) 在线文档编辑方法、装置、终端设备及存储介质
CN114490664A (zh) 数据校验方法、装置、计算机设备、存储介质
CN112558940B (zh) 基于表格的网站页面开发方法、装置、设备及存储介质
CN111858727B (zh) 一种基于模板配置的多数据源数据导出系统及方法
CN111580874A (zh) 数据申请的系统安全控制方法、系统和计算机设备
CN110362630B (zh) 数据管理方法、装置、设备与计算机可读存储介质
CN110780860A (zh) 建表脚本的生成方法、装置、计算机设备及存储介质
CN110958292A (zh) 文件上传方法、电子装置、计算机设备及存储介质
US11714812B2 (en) System for augmenting and joining multi-cadence datasets
US11816163B2 (en) Systems and methods for improved transactional mainframes
CN114721641A (zh) 一种自动生成代码的方法、装置、电子设备及存储介质
CN108255914B (zh) 网页生成方法及应用服务器
US10599755B2 (en) System and method for automatically inserting correct escaping functions for field references in a multi-tenant computing environment
CN117493309A (zh) 一种标准模型生成方法、装置、设备及存储介质
US11025575B2 (en) Message recognition system and method configurable to define new message formats
CN110569089A (zh) 一种管理平台的插件拓展方法、设备以及存储介质
CN111881155B (zh) 数据查询方法、数据查询装置和电子设备
US9679015B2 (en) Script converter
CN114741408A (zh) 数据调度方法、系统、计算机设备及可读存储介质
CN111563038A (zh) Sdk测试方法、装置、计算机设备及计算机可读存储介质
US12561700B2 (en) Method, apparatus, device and storage medium for processing information

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11/12/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18909188

Country of ref document: EP

Kind code of ref document: A1