WO2011095029A1 - 一种高效的数据处理方法及装置 - Google Patents

一种高效的数据处理方法及装置 Download PDF

Info

Publication number
WO2011095029A1
WO2011095029A1 PCT/CN2010/078963 CN2010078963W WO2011095029A1 WO 2011095029 A1 WO2011095029 A1 WO 2011095029A1 CN 2010078963 W CN2010078963 W CN 2010078963W WO 2011095029 A1 WO2011095029 A1 WO 2011095029A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
record
module
data processing
information set
Prior art date
Application number
PCT/CN2010/078963
Other languages
English (en)
French (fr)
Inventor
曹民
范畅
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2011095029A1 publication Critical patent/WO2011095029A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results

Definitions

  • the present invention relates to data processing techniques in the field of communications, and more particularly to an efficient data processing method and apparatus. Background technique
  • GUI processes and displays the data, and usually displays the data in a table.
  • Each row in the table is usually formed by splicing multiple tables in the database. Then, the entire table composed of multiple rows of records needs to be performed. The number of spliced tables will be large.
  • a multi-table splicing process of data is usually implemented by running a SQL script or the like in a database system, and then the spliced result is saved as a new table for display to the user.
  • the existing processing methods have certain drawbacks:
  • the existing processing method cannot dynamically display the data processing result.
  • the reason is: The existing processing method is to splicing all the records one by one, and then displaying the entire table to the user at one time, during the process, The records that have been spliced are stored in the database memory and cannot be displayed to the user in time. The user can only see the results after all the records have been processed. Therefore, the user takes a long time to wait for the database to process the data, which leads to the user's satisfaction. Degree is reduced. Summary of the invention
  • the main object of the present invention is to provide an efficient data processing method and apparatus, which can reduce resource consumption of a database, reduce user waiting time, and improve user satisfaction.
  • the invention provides an efficient data processing method, the method comprising:
  • Each original table is locally encoded to generate a corresponding data file, and a corresponding record positioning information set is configured for each data file;
  • the data file of each of the original tables is composed of a plurality of data records generated by each of the original table codes.
  • the record location information set corresponding to each data file is composed of a plurality of record location information elements.
  • the one record location information element corresponds to an index that stores all data in one data record.
  • the present invention also provides an efficient data processing apparatus, the apparatus comprising: a download module, a data processing module, and a data display module;
  • the downloading module is configured to download all the original forms involved in the table display from the database to the local and store the content, and send the downloaded content to the data processing module;
  • the data processing module is configured to perform a splicing operation on the original table downloaded by the download module, obtain all the data records to be displayed, and send the spliced data records to the data display module while splicing;
  • the data display module is configured to display the spliced data records sent by the data processing module in a table.
  • the data processing module performs the splicing operation locally, obtains all the data records to be displayed, and sends the spliced data records to the data display module at the same time of splicing, specifically:
  • the data processing module locally encodes each original table to generate a corresponding data file, and configures a corresponding record positioning information set for each data file; splicing the keywords in each record positioning information set to form new record positioning information
  • the collection combines the new record location information set with the corresponding data file to parse the corresponding data record one by one, and sends the parsed data record to the data display module while parsing the data record.
  • the data processing module further includes: an encoding configuration module and a splicing parsing module; wherein
  • the encoding configuration module is configured to encode each original table downloaded by the download module to generate a corresponding data file, and configure a corresponding record positioning information set for each data file, and set all the data files and corresponding record positioning information sets. Send to the stitching parsing module;
  • the splicing parsing module is configured to splicing keywords in each record positioning information set sent by the encoding configuration module to form a new record positioning information set, and combining the new record positioning information
  • the data file corresponding to the new record positioning information set sent by the information collection and coding configuration module parses the corresponding data record one by one, and sends the parsed data record to the data display module while parsing the data record;
  • the downloading module is further configured to send the downloaded content to the encoding configuration module;
  • the data display module is further configured to display the spliced data records sent by the code configuration module in a table.
  • the data file of each of the original tables is composed of a plurality of data records generated by each of the original table codes.
  • the high-efficiency data processing method and device downloads all the original forms involved in the table display from the database to the local and stores them; performs a splicing operation on the original table locally, and obtains all the data records to be displayed, and The spliced data records are displayed in the table while splicing.
  • the invention downloads all the original forms required for the final table display in the database to the local, the subsequent multi-table splicing process is executed locally, and can be separated from the database environment, so that the resource consumption of the database is reduced, thereby saving the operation of the database. cost.
  • the present invention sets a data processing thread independent of the splicing process, and each time a new data record is parsed, a new data record is displayed, and the purpose of dynamically displaying the data processing result is achieved. User waiting time can be reduced, and user satisfaction is improved.
  • FIG. 1 is a schematic diagram showing an implementation flow of an efficient data processing method according to the present invention
  • FIG. 2 is a schematic structural view of an efficient data processing apparatus of the present invention. detailed description
  • the basic idea of the invention is: to display all the original forms involved in the table from the database Downloading to the local and storing; performing a splicing operation on the original table locally, obtaining all the data records to be displayed, and displaying the spliced data records in the table while splicing.
  • the process of performing the splicing operation locally, obtaining all the data records to be displayed, and displaying the spliced data records while splicing is:
  • each original table is encoded to generate a corresponding data file, and a corresponding record positioning information set is configured for each data file; each keyword in the record positioning information set is spliced together to form a new record positioning information set, and combined
  • the new record location information set and the corresponding data file parse the corresponding data record one by one, and display the parsed data record in the table while parsing the data record.
  • the data file corresponding to each original table includes a plurality of data records generated by encoding the original table, that is, a plurality of encoded data records jointly form a data file of each original table;
  • the information set includes a plurality of record location information elements, each record location information element corresponding to each of the data records.
  • FIG. 1 is a schematic diagram of an implementation process of an efficient data processing method according to the present invention. As shown in FIG. 1, the implementation process of the method is as follows:
  • Step 101 Download all the original forms involved in the table display from the database to the local and store them;
  • the File Transfer Protocol downloads all the original forms involved in the final table display from the database to the local, that is, directly download all the original forms to the local and save them locally, for later processing, here, available
  • the File Transfer Protocol (FTP) downloads all the original forms involved to the local, and can of course be downloaded in other ways.
  • Step 102 Encode each original table to generate a corresponding data file
  • each original table stored locally is encoded by an existing encoding method to generate a plurality of data records, and the plurality of data records constitute a data file corresponding to the original table, for example: using a PrintWriter method in the Java language
  • the original table downloaded in the database generates a data file in txt format, that is, each original table corresponds to one data file, and multiple original tables correspond to multiple data files, and the original table and the data file have a one-to-one correspondence.
  • Step 103 Configure a corresponding record positioning information set for each data file.
  • a corresponding record positioning information set is configured for each data file, where the record positioning information set includes a plurality of record positioning information elements, and each record positioning information element corresponds to one of the data files in the data file in step 102. That is, the number of data records included in the data file corresponding to each table is equal to the number of recording positioning information elements, and each record positioning information element is used to store all data included in the corresponding data record. index of.
  • Step 104 splicing the keywords in each record positioning information set to form a new record positioning information set
  • each record location information set that is, the record location information elements required for subsequent stitching in each record location information set are spliced according to rules to form a keyword set, that is, a new record location is formed.
  • the relevant operator can determine the rules of the stitching keyword according to the final display needs, for example:
  • Table 1, Table 2 and Table 3 There are three original tables, namely: Table 1, Table 2 and Table 3, and the record positioning information set of Table 1 includes eight record positioning information.
  • the record positioning information set of the table 2 includes ten record positioning information elements, and the record positioning information set of the form 3 includes twelve record positioning information elements, and is selected in the record positioning information set of the form 1 according to the needs of the data display.
  • Three record positioning information elements are selected, five record positioning information elements are selected in the record positioning information set of the form 2, and six record positioning information elements are selected in the record positioning information set of the form 3, and then according to the displayed
  • the selected keywords need to be spliced in order, that is, according to the three record positioning information elements of Table 1 and the five record positioning information elements of Table 2 and the six record positioning information elements of Table 3, to form a new one. Record a collection of location information.
  • some or all of the record location information elements in the record location information set of each original table may be selected according to requirements, and may be arranged in different orders, that is, the record location information elements in the new record location information set are The number is less than or equal to the total number of record positioning information elements in all the original table record positioning information sets. If only some of the record positioning information elements in the record positioning information set of each original table are selected, the other unselected record positions are proved. The information element has nothing to do with the final table display.
  • Step 105 Combine the new record location information set and the corresponding data file to parse the corresponding data record one by one, and display the parsed data record in the table while parsing the data record;
  • each record positioning information element in the new record positioning information set is found in the data file corresponding to the new record positioning information set, and each record corresponding information element is corresponding to each
  • the data is spliced according to the splicing rules of the record location information element to form a complete data record. For example: Let the data corresponding to the three record positioning information elements of Table 1 + the data corresponding to the five record positioning information elements of Table 2 + the data of the six record positioning information elements of Table 3, and finally form a new complete data. Record, the above is the whole process of analysis.
  • a data processing thread independent of the decoding process is set in the process of parsing, for dynamically loading the parsed data record into the table for display to the user, that is, each time a new data record is parsed, the display is performed.
  • a new data record that reduces the user's waiting time.
  • the apparatus includes: a downloading module, a data processing module, and a data display module;
  • the download module is configured to display all the original forms involved in the table display from the database Loaded locally and stored, and the downloaded content is sent to the data processing module;
  • the data processing module is configured to perform a splicing operation on the original table downloaded by the download module, obtain all the data records to be displayed, and send the spliced data records to the data display module while splicing;
  • the data display module is configured to display the spliced data records sent by the data processing module in a table.
  • the data processing module performs the splicing operation locally, obtains all the data records to be displayed, and sends the spliced data records to the data display module at the same time of splicing, specifically:
  • the data processing module locally encodes each original table to generate a corresponding data file, and configures a corresponding record positioning information set for each data file; splicing the keywords in each record positioning information set to form new record positioning information
  • the collection combines the new record location information set with the corresponding data file to parse the corresponding data record one by one, and sends the parsed data record to the data display module while parsing the data record.
  • the data processing module further includes: an encoding configuration module and a splicing parsing module; wherein
  • the encoding configuration module is configured to encode each original table downloaded by the download module to generate a corresponding data file, and configure a corresponding record positioning information set for each data file, and set all the data files and corresponding record positioning information sets. Send to the stitching parsing module;
  • the splicing parsing module is configured to splicing keywords in each record positioning information set sent by the encoding configuration module to form a new recording positioning information set, and combining the new recording positioning information set and the coding configuration module
  • the data file corresponding to the new record positioning information set parses the corresponding data record one by one, and sends the parsed data record to the data display module while parsing the data record;
  • the downloading module is further configured to send the downloaded content to the encoding configuration mode.
  • Piece
  • the data display module is further configured to display the spliced data records sent by the code configuration module in a table.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

一种高效的数据处理方法及装置 技术领域
本发明涉及通信领域中的数据处理技术， 尤其涉及一种高效的数据处 理方法及装置。 背景技术
在现有计算机数据的处理过程中， 相关技术人员釆用图形用户接口
( GUI )处理并显示数据， 且通常利用表格显示数据， 所述表格里的每行记 录通常都是由数据库中的多张表拼接形成的， 那么， 多行记录组成的整张 表格所需进行拼接的表格数目将会很大。 在目前的解决方案中， 通常利用 在数据库系统中运行 SQL脚本等的方法来实现数据的多表拼接过程， 之后 将拼接好的结果保存为一张新的表格显示给用户。 但是， 所述已有的处理 方法存在一定缺陷：
1 ) 由于数据的拼接过程是在数据库系统中进行的， 当需处理的表格数 目很大时， 即需处理的数据量很大时， 需要数据库系统做很长时间的运算， 导致数据库系统长时间被占用， 浪费了数据库资源， 使得数据库的运行成 本很高；
2 )现有的处理方法无法动态地显示数据处理结果， 原因为： 现有的处 理方法是将所有记录均逐条拼接完成后， 才将整张表格一次性地显示给用 户， 在处理过程中， 已经拼接完毕的记录存储于数据库内存中， 不能及时 显示给用户， 用户只能在所有记录均处理完毕后才能看到结果， 因此， 用 户需花费很长时间等待数据库处理数据， 从而导致用户的满意度降低。 发明内容
有鉴于此， 本发明的主要目的在于提供一种高效的数据处理方法及装 置， 可降低数据库的资源消耗， 减少用户等待时间， 提高用户的满意度。
为达到上述目的， 本发明的技术方案是这样实现的：
本发明提供了一种高效的数据处理方法， 该方法包括：
将表格显示所涉及到的所有原始表格从数据库下载到本地并存储； 在 本地对所述原始表格执行拼接操作， 得到所要显示的所有数据记录， 并在 拼接的同时将已拼接完毕的数据记录显示在表格中。
其中， 所述在本地执行拼接操作， 同时显示已拼接完毕的数据记录的 过程， 具体为：
在本地将每张原始表格编码生成对应的数据文件， 并为每个数据文件 配置对应的记录定位信息集合；
将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息 集合， 结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应 的数据记录， 并在解析数据记录的同时将已解析完毕的数据记录显示在表 格中。
其中， 所述每张原始表格的数据文件由所述每张原始表格编码生成的 多条数据记录组成。
其中， 所述每个数据文件对应的记录定位信息集合由多个记录定位信 息元组成。
其中， 所述一个记录定位信息元对应存储一条数据记录中所有数据的 索引。
上述方案中， 所述同时将已解析完毕的数据记录显示在表格中的操作， 为：
在解析的过程中设置一个独立于解码过程的数据处理线程， 每解析完 一条新的数据记录， 则显示一条新的数据记录。
本发明还提供了一种高效的数据处理装置， 该装置包括： 下载模块、 数据处理模块和数据显示模块； 其中，
所述下载模块， 用于将表格显示所涉及到的所有原始表格从数据库下 载到本地并存储， 并将下载的内容发送到数据处理模块；
所述数据处理模块， 用于在本地对所述下载模块下载的原始表格执行 拼接操作， 得到所要显示的所有数据记录， 并在拼接的同时将已拼接完毕 的数据记录发送到数据显示模块；
所述数据显示模块， 用于将数据处理模块所发的已拼接完毕的数据记 录显示在表格中。
其中， 所述数据处理模块在本地执行拼接操作， 得到所要显示的所有 数据记录， 并在拼接的同时将已拼接完毕的数据记录发送到数据显示模块， 具体为：
数据处理模块在本地将每张原始表格编码生成对应的数据文件， 并为 每个数据文件配置对应的记录定位信息集合； 将每个记录定位信息集合中 的关键字拼接起来组成新的记录定位信息集合， 结合新的记录定位信息集 合和与之对应的数据文件逐条解析出对应的数据记录， 并在解析数据记录 的同时将已解析完毕的数据记录发送到数据显示模块。
其中， 所述数据处理模块中进一步包括： 编码配置模块和拼接解析模 块； 其中，
所述编码配置模块， 用于将下载模块下载的每张原始表格编码生成对 应的数据文件， 并为每个数据文件配置对应的记录定位信息集合， 并将所 有数据文件及对应的记录定位信息集合发送到拼接解析模块；
所述拼接解析模块， 用于将编码配置模块所发的每个记录定位信息集 合中的关键字拼接起来组成新的记录定位信息集合， 结合新的记录定位信 息集合和编码配置模块所发的与新的记录定位信息集合对应的数据文件逐 条解析出对应的数据记录， 并在解析数据记录的同时将已解析完毕的数据 记录发送到数据显示模块；
相应的， 所述下载模块， 进一步用于将下载的内容发送到编码配置模 块；
所述数据显示模块， 进一步用于将编码配置模块所发的已拼接完毕的 数据记录显示在表格中。
其中， 所述每张原始表格的数据文件由所述每张原始表格编码生成的 多条数据记录组成。
本发明提供的高效的数据处理方法及装置， 将表格显示所涉及到的所 有原始表格从数据库下载到本地并存储； 在本地对所述原始表格执行拼接 操作， 得到所要显示的所有数据记录， 并在拼接的同时将已拼接完毕的数 据记录显示在表格中。 本发明将数据库中最终表格显示所需的所有原始表 格下载到本地后， 后续的多表拼接的过程均在本地执行， 可脱离数据库环 境， 使得数据库的资源消耗得到降低， 从而可节省数据库的运行成本。
此外， 本发明在执行拼接操作的过程中， 设置一独立于拼接过程的数 据处理线程， 每解析完一条新的数据记录， 则显示一条新的数据记录， 达 到了动态显示数据处理结果的目的， 可减少用户的等待时间， 用户的满意 度得到提高。 附图说明
图 1为本发明高效的数据处理方法的实现流程示意图；
图 2为本发明高效的数据处理装置的结构示意图。 具体实施方式
本发明的基本思想是： 将表格显示所涉及到的所有原始表格从数据库 下载到本地并存储； 在本地对所述原始表格执行拼接操作， 得到所要显示 的所有数据记录， 并在拼接的同时将已拼接完毕的数据记录显示在表格中。
其中， 所述在本地执行拼接操作， 得到所要显示的所有数据记录， 并 在拼接的同时显示已拼接完毕的数据记录的过程为：
在本地将每张原始表格编码生成对应的数据文件， 并为每个数据文件 配置对应的记录定位信息集合； 将每个记录定位信息集合中的关键字拼接 起来组成新的记录定位信息集合， 结合新的记录定位信息集合和与之对应 的数据文件逐条解析出对应的数据记录， 并在解析数据记录的同时将已解 析完毕的数据记录显示在表格中。
这里， 所述每张原始表格对应的数据文件中包括对原始表格进行编码 生成的多条数据记录， 也就是多条经编码生成的数据记录共同组成每张原 始表格的数据文件； 所述记录定位信息集合包括多个记录定位信息元， 每 个记录定位信息元与所述每条数据记录——对应。
下面结合附图及具体实施例对本发明作进一步详细说明。
图 1为本发明高效的数据处理方法的实现流程示意图， 如图 1所示， 该方法的实现流程如下：
步骤 101 :将表格显示所涉及到的所有原始表格从数据库下载到本地并 存储；
具体为： 将最终表格显示时所涉及到的所有原始表格从数据库下载到 本地， 也就是直接将所有原始表格原封不动的下载到本地， 并保存于本地， 以备后续处理， 这里， 可利用文件传输协议（FTP )将涉及到的所有原始表 格下载到本地， 当然也可釆用其它方式下载。
本发明中， 所述将表格显示所涉及到的所有原始表格从数据库下载到 本地后， 后续的处理流程均在本地执行， 以达到降低数据库的资源消耗的 目的。 步骤 102: 将每张原始表格编码生成对应的数据文件；
具体为： 将本地存储的每张原始表格釆用现有的编码方法编码生成多 条数据记录， 所述多条数据记录组成与原始表格对应的数据文件， 例如： 利用 java语言中的 PrintWriter方法将数据库中下载的原始表格生成 txt格式 的数据文件， 也就是每个原始表格对应一个数据文件， 多张原始表格对应 多个数据文件， 原始表格和数据文件之间是一一对应的关系。
步骤 103: 为每个数据文件配置对应的记录定位信息集合；
具体为： 为每个数据文件配置对应的记录定位信息集合， 所述记录定 位信息集合包括多个记录定位信息元， 每个记录定位信息元与步骤 102 中 所述数据文件中的一条数据记录对应， 也就是说， 每个表格对应的数据文 件中所包括的数据记录的条数与记录定位信息元的个数相等， 每个记录定 位信息元用于存储所对应的数据记录中包括的所有数据的索引。
其中， 所述数据的索引用于后续执行解析操作时， 可快速定位数据。 步骤 104: 将每个记录定位信息集合中的关键字拼接起来， 组成新的记 录定位信息集合；
具体为： 将每个记录定位信息集合中的关键字， 也就是将每个记录定 位信息集合中后续拼接所需的记录定位信息元按规则拼接起来， 组成关键 字集合， 即组成新的记录定位信息集合。
这里， 相关操作人员可根据最终的显示需要确定拼接关键字的规则， 例如： 有三个原始表格， 为： 表格 1、 表格 2和表格 3 , 表格 1的记录定位 信息集合中包括八个记录定位信息元， 表格 2 的记录定位信息集合中包括 十个记录定位信息元， 表格 3 的记录定位信息集合中包括十二个记录定位 信息元， 根据数据显示的需要在表格 1 的记录定位信息集合中选出三个记 录定位信息元， 在表格 2的记录定位信息集合中选出五个记录定位信息元， 在表格 3 的记录定位信息集合中选出六个记录定位信息元， 再按照显示的 需要将选出的关键字按顺序拼接， 即按表格 1的三个记录定位信息元 +表格 2的五个记录定位信息元 +表格 3的六个记录定位信息元的先后顺序排列， 组成新的记录定位信息集合。
这里， 可根据需要选出各原始表格的记录定位信息集合中的部分或全 部记录定位信息元， 并可按不同的顺序排列， 也就是说， 新的记录定位信 息集合中的记录定位信息元个数小于或等于所有原始表格记录定位信息集 合中的记录定位信息元的总个数， 如果只选出各原始表的记录定位信息集 合中的部分记录定位信息元， 证明其它未被选择的记录定位信息元与最终 的表格显示无关。
步骤 105:结合新的记录定位信息集合和与之对应的数据文件逐条解析 出对应的数据记录， 并在解析数据记录的同时将已解析完毕的数据记录显 示在表格中；
具体为： 根据新的记录定位信息集合中每个记录定位信息元中存储的 数据索引在与新的记录定位信息集合对应的数据文件中找到对应的数据， 将每个记录定位信息元对应的所有数据按记录定位信息元的拼接规则拼接 起来， 组成一条完整的数据记录。 例如： 令表格 1 的三个记录定位信息元 对应的数据 +表格 2的五个记录定位信息元对应的数据 +表格 3的六个记录 定位信息元对应的数据， 最后形成一条新的完整的数据记录， 以上即为解 析的全过程。
此外， 在解析的过程中设置一独立于解码过程的数据处理线程， 用于 动态地将已解析完毕的数据记录加载在表格中以显示给用户， 即每解析完 一条新的数据记录， 则显示一条新的数据记录， 减少了用户的等待时间。
图 2为本发明高效的数据处理装置的结构示意图， 如图 2所示， 该装 置包括： 下载模块、 数据处理模块和数据显示模块； 其中，
所述下载模块， 用于将表格显示所涉及到的所有原始表格从数据库下 载到本地并存储， 并将下载的内容发送到数据处理模块；
所述数据处理模块， 用于在本地对所述下载模块下载的原始表格执行 拼接操作， 得到所要显示的所有数据记录， 并在拼接的同时将已拼接完毕 的数据记录发送到数据显示模块；
所述数据显示模块， 用于将数据处理模块所发的已拼接完毕的数据记 录显示在表格中。
其中， 所述数据处理模块在本地执行拼接操作， 得到所要显示的所有 数据记录， 并在拼接的同时将已拼接完毕的数据记录发送到数据显示模块， 具体为：
数据处理模块在本地将每张原始表格编码生成对应的数据文件， 并为 每个数据文件配置对应的记录定位信息集合； 将每个记录定位信息集合中 的关键字拼接起来组成新的记录定位信息集合， 结合新的记录定位信息集 合和与之对应的数据文件逐条解析出对应的数据记录， 并在解析数据记录 的同时将已解析完毕的数据记录发送到数据显示模块。
所述数据处理模块中进一步包括： 编码配置模块和拼接解析模块； 其 中，
所述编码配置模块， 用于将下载模块下载的每张原始表格编码生成对 应的数据文件， 并为每个数据文件配置对应的记录定位信息集合， 并将所 有数据文件及对应的记录定位信息集合发送到拼接解析模块；
所述拼接解析模块， 用于将编码配置模块所发的每个记录定位信息集 合中的关键字拼接起来组成新的记录定位信息集合， 结合新的记录定位信 息集合和编码配置模块所发的与新的记录定位信息集合对应的数据文件逐 条解析出对应的数据记录， 并在解析数据记录的同时将已解析完毕的数据 记录发送到数据显示模块；
相应的， 所述下载模块， 进一步用于将下载的内容发送到编码配置模 块；
所述数据显示模块， 进一步用于将编码配置模块所发的已拼接完毕的 数据记录显示在表格中。
以上所述， 仅为本发明的较佳实施例而已， 并非用于限定本发明的保 护范围， 凡在本发明的精神和原则之内所作的任何修改、 等同替换和改进 等， 均应包含在本发明的保护范围之内。

Claims

权利要求书
1、 一种高效的数据处理方法， 其特征在于， 该方法包括：
将表格显示所涉及到的所有原始表格从数据库下载到本地并存储； 在 本地对所述原始表格执行拼接操作， 得到所要显示的所有数据记录， 并在 拼接的同时将已拼接完毕的数据记录显示在表格中。
2、 根据权利要求 1所述的高效的数据处理方法， 其特征在于， 所述在 本地执行拼接操作， 同时显示已拼接完毕的数据记录的过程， 为：
在本地将每张原始表格编码生成对应的数据文件， 并为每个数据文件 配置对应的记录定位信息集合；
将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息 集合， 结合新的记录定位信息集合和与之对应的数据文件， 逐条解析出对 应的数据记录， 并在解析数据记录的同时将已解析完毕的数据记录显示在 表格中。
3、 根据权利要求 2所述的高效的数据处理方法， 其特征在于， 所述每 张原始表格的数据文件由所述每张原始表格编码生成的多条数据记录组 成。
4、 根据权利要求 2或 3所述的高效的数据处理方法， 其特征在于， 所 述每个数据文件对应的记录定位信息集合由多个记录定位信息元组成。
5、 根据权利要求 4所述的高效的数据处理方法， 其特征在于， 所述一 个记录定位信息元对应存储一条数据记录中所有数据的索引。
6、 根据权利要求 2或 3所述的高效的数据处理方法， 其特征在于， 所 述同时将已解析完毕的数据记录显示在表格中， 为：
在解析的过程中设置一个独立于解码过程的数据处理线程， 每解析完 一条新的数据记录， 则显示一条新的数据记录。
7、 一种高效的数据处理装置， 其特征在于， 该装置包括： 下载模块、 数据处理模块和数据显示模块； 其中，
所述下载模块， 用于将表格显示所涉及到的所有原始表格从数据库下 载到本地并存储， 并将下载的内容发送到数据处理模块；
所述数据处理模块， 用于在本地对所述下载模块下载的原始表格执行 拼接操作， 得到所要显示的所有数据记录， 并在拼接的同时将已拼接完毕 的数据记录发送到数据显示模块；
所述数据显示模块， 用于将数据处理模块所发的已拼接完毕的数据记 录显示在表格中。
8、 根据权利要求 7所述的高效的数据处理装置， 其特征在于， 所述数 据处理模块执行拼接操作， 同时将已拼接完毕的数据记录发送到数据显示 模块， 为：
数据处理模块在本地将每张原始表格编码生成对应的数据文件， 并为 每个数据文件配置对应的记录定位信息集合； 将每个记录定位信息集合中 的关键字拼接起来组成新的记录定位信息集合， 结合新的记录定位信息集 合和与之对应的数据文件， 逐条解析出对应的数据记录， 并在解析数据记 录的同时， 将已解析完毕的数据记录发送到数据显示模块。
9、 根据权利要求 8所述的高效的数据处理装置， 其特征在于， 所述数 据处理模块中进一步包括： 编码配置模块和拼接解析模块； 其中，
所述编码配置模块， 用于将下载模块下载的每张原始表格编码生成对 应的数据文件， 并为每个数据文件配置对应的记录定位信息集合， 并将所 有数据文件及对应的记录定位信息集合发送到拼接解析模块；
所述拼接解析模块， 用于将编码配置模块所发的每个记录定位信息集 合中的关键字拼接起来组成新的记录定位信息集合， 结合新的记录定位信 息集合、 和编码配置模块所发的与新的记录定位信息集合对应的数据文件， 逐条解析出对应的数据记录， 并在解析数据记录的同时将已解析完毕的数 据记录发送到数据显示模块；
相应的， 所述下载模块， 进一步用于将下载的内容发送到编码配置模 块；
所述数据显示模块， 进一步用于将编码配置模块所发的已拼接完毕的 数据记录显示在表格中。
10、 根据权利要求 8或 9所述的高效的数据处理装置， 其特征在于， 所述每张原始表格的数据文件由所述每张原始表格编码生成的多条数据记 录组成。
PCT/CN2010/078963 2010-02-03 2010-11-22 一种高效的数据处理方法及装置 WO2011095029A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201010110840.5A CN101727505B (zh) 2010-02-03 2010-02-03 一种高效的数据处理方法及装置
CN201010110840.5 2010-02-03

Publications (1)

Publication Number Publication Date
WO2011095029A1 true WO2011095029A1 (zh) 2011-08-11

Family

ID=42448391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/078963 WO2011095029A1 (zh) 2010-02-03 2010-11-22 一种高效的数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN101727505B (zh)
WO (1) WO2011095029A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020227A (zh) * 2012-12-13 2013-04-03 中国银行股份有限公司 计算机设备中的数据处理方法和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727505B (zh) * 2010-02-03 2014-12-10 中兴通讯股份有限公司 一种高效的数据处理方法及装置
CN105100285B (zh) * 2012-12-19 2019-02-01 北京奇虎科技有限公司 一种数据下载方法和装置
US9544386B2 (en) * 2012-12-19 2017-01-10 Beijing Qihoo Technology Company Limited Device and method for processing slice data
CN111723088B (zh) * 2019-03-20 2024-04-05 北京沃东天骏信息技术有限公司 一种推送汇总层表的方法和装置
CN111859879B (zh) * 2020-07-31 2024-01-30 抖音视界有限公司 基于虚拟表格的数据展示方法、装置以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162151A (zh) * 1996-02-20 1997-10-15 国际商业机器公司 功耗降低的计算机
CN1834957A (zh) * 2005-03-17 2006-09-20 华为技术有限公司 一种数据库多表信息初始化方法
CN101295312A (zh) * 2008-06-18 2008-10-29 中兴通讯股份有限公司 一种使用表格呈现数据的方法
CN101727505A (zh) * 2010-02-03 2010-06-09 中兴通讯股份有限公司 一种高效的数据处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464413A (zh) * 2002-06-13 2003-12-31 英业达股份有限公司 以网页为基础的提案数据检索管理系统及其方法
CN101436129A (zh) * 2008-11-18 2009-05-20 浪潮集团山东通用软件有限公司 一种基础信息集中管理的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162151A (zh) * 1996-02-20 1997-10-15 国际商业机器公司 功耗降低的计算机
CN1834957A (zh) * 2005-03-17 2006-09-20 华为技术有限公司 一种数据库多表信息初始化方法
CN101295312A (zh) * 2008-06-18 2008-10-29 中兴通讯股份有限公司 一种使用表格呈现数据的方法
CN101727505A (zh) * 2010-02-03 2010-06-09 中兴通讯股份有限公司 一种高效的数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020227A (zh) * 2012-12-13 2013-04-03 中国银行股份有限公司 计算机设备中的数据处理方法和系统
CN103020227B (zh) * 2012-12-13 2016-06-29 中国银行股份有限公司 计算机设备中的数据处理方法和系统

Also Published As

Publication number Publication date
CN101727505A (zh) 2010-06-09
CN101727505B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
US8458666B2 (en) Methods and systems for implementing a test automation framework for testing software applications on UNIX/LINUX based machines
US8566648B2 (en) Automated testing on devices
WO2011095029A1 (zh) 一种高效的数据处理方法及装置
CN110704398B (zh) 从MySQL到Oracle的数据库迁移方法、装置及计算机设备
US9594845B2 (en) Automating web tasks based on web browsing histories and user actions
JP2018509011A (ja) 対話式音声応答システム・クローラ
US8972936B2 (en) Version labeling in a version control system
US20150169435A1 (en) Method and apparatus for mining test coverage data
WO2012034440A1 (zh) 一种数据库升级脚本的生成方法和装置
US10878006B2 (en) Systems to interleave search results and related methods therefor
WO2020248375A1 (zh) 数据库间数据同步方法、系统、计算机设备及存储介质
CN111651468A (zh) 基于sql解析的数据更新方法、装置、电子设备及存储介质
JP2012113706A (ja) データベース・クエリ最適化のためのコンピュータで実装される方法、コンピュータ・プログラム、およびデータ処理システム
CN114036425A (zh) 页面访问方法、客户端、服务端及系统
CN111538659B (zh) 业务场景的接口测试方法、系统、电子设备和存储介质
US9971751B1 (en) Version-specific request processing
US9335987B2 (en) Data object with common statement series
CN112988600A (zh) 业务场景测试方法、装置、电子设备及存储介质
KR20150123603A (ko) 데이터베이스 관리 방법 및 데이터베이스 관리 시스템
CN114968917A (zh) 一种文件数据快速导入方法及装置
US8606773B2 (en) Method for combining and processing web data using tables and programming-by-demonstration
CN106326310B (zh) 一种手机客户端软件的资源加密更新方法
CN107508705A (zh) 一种http元素的资源树构建方法及计算设备
CN105204937B (zh) 内核函数调用方法、装置及操作系统
US11556542B2 (en) Optionally compressed output from command-line interface

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10845112

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10845112

Country of ref document: EP

Kind code of ref document: A1