WO2020000719A1 - 报表系统的数据处理方法、装置及计算机可读存储介质 - Google Patents

报表系统的数据处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2020000719A1
WO2020000719A1 PCT/CN2018/107505 CN2018107505W WO2020000719A1 WO 2020000719 A1 WO2020000719 A1 WO 2020000719A1 CN 2018107505 W CN2018107505 W CN 2018107505W WO 2020000719 A1 WO2020000719 A1 WO 2020000719A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
report
displayed
query request
client
Prior art date
Application number
PCT/CN2018/107505
Other languages
English (en)
French (fr)
Inventor
祝亮
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020000719A1 publication Critical patent/WO2020000719A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Definitions

  • the present application relates to the field of computer technology, and in particular, to a data processing method, device, and computer-readable storage medium of a reporting system.
  • Existing reporting systems can use relational databases, non-relational databases, or data provided through the restful interface as data sources.
  • the restful interface is based on REST (Representational State Transfer).
  • Architectural interface the existing data collection method of the reporting system can only support one type of data source at the same time. If the reporting system needs to support multiple different types of data sources at the same time, it is necessary to use a corresponding one for each type of data source associated with it.
  • Data collection methods, and the current reporting system mostly uses a single data type as the data source.
  • the system does not have a unified data adapter layer and report data access interface.
  • the report components need to pass different interfaces and use different data collection logics. Data is loaded into a data source of a certain type, which results in a high degree of complexity of the report access interface, which in turn causes the reporting system to obtain data from the data source inefficiently.
  • the present application provides a data processing method, device, and computer-readable storage medium of a report system, whose main purpose is to solve the technical problem of low efficiency of the existing report system in obtaining data from a data source.
  • the present application further provides a data processing method of a report system, which method includes:
  • the present application further provides a data processing device of a report system.
  • the device includes a memory and a processor.
  • the memory stores a data processing program that can run on the processor.
  • the data When the processing program is executed by the processor, the following steps are implemented:
  • the present application also provides a computer-readable storage medium, where the computer-readable storage medium stores a data processing program, and the data processing program can be executed by one or more processors to implement The following steps:
  • the data processing method, device, and computer-readable storage medium of the report system provided by the present application when the time interval of data loading reaches a preset time interval, determine a plurality of preset data sources to be connected and match each preset data source respectively.
  • Data loading logic according to the data loading logic, read updated report data from the corresponding preset data source and load it into the preset cache area, and convert the report data loaded in the cache area into the preset data format and store it as Temporary data.
  • the data to be displayed of the report client is determined according to the data query request, and the data to be displayed is searched from the temporary data. The found data to be displayed will be Send to report client for display.
  • the above solution of the present application summarizes different types of data sources, converts them into a unified format, and stores them in the cache.
  • users query data they can send data query requests through a unified report data query interface to implement data query, which improves The efficiency of the reporting system in obtaining data from data sources.
  • FIG. 1 is a schematic flowchart of a data processing method of a reporting system provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of an internal structure of a data processing device of a reporting system provided by an embodiment of the present application
  • FIG. 3 is a schematic diagram of a module of a data processing program in a data processing device of a reporting system according to an embodiment of the present application.
  • This application provides a data processing method for a report system.
  • a schematic flowchart of a data processing method of a reporting system provided by an embodiment of the present application is shown. The method may be performed by a device, which may be implemented by software and / or hardware.
  • the data processing method of the report system includes:
  • step S10 when a time interval for data loading reaches a preset time interval, a plurality of preset data sources to be docked and data loading logic respectively matching each of the preset data sources are determined.
  • step S20 according to the data loading logic, the updated report data is read from a corresponding preset data source and loaded into a preset cache area.
  • the execution subject of the method proposed in this embodiment may be a server of a reporting system.
  • the data source types mainly include database data sources, text data sources, program data sources, and restful interface data sources.
  • the database data sources include RDS databases (Relational Database Service, relational database services), nosql databases (Not Only Structured, Query, Language, Language).
  • text data sources mainly include data stored in files such as excel files, txt files.
  • data loading logic For different types of data sources, there is corresponding data loading logic.
  • a JDBC Java Database Connectivity, java database connection
  • the reporting system displays data
  • the data source connected to a reporting system includes both database data sources and text data. source.
  • the data to be displayed needs to be obtained from the data source.
  • the data source that is connected will update the data updated in the preset time interval to the server in an incremental manner.
  • the server For each type of data source, there is matching data loading logic in the server.
  • This logic mainly includes the way to establish a connection with the data source, the interface to access, and the way to read data from the data source. Wait.
  • the preset time interval can be one hour, one day, etc.
  • the user can set the preset time interval according to the period of data update in the data source.
  • the report data updated by the data source within a preset time interval is loaded into a preset cache area. It can be understood that when the server is first started, all the data in each data source is read into the cache area. During the operation of the server, the data source is incrementally updated at preset time intervals. The updated data is read into the cache area.
  • step S30 the report data loaded in the cache area is converted into a preset data format and stored as temporary data.
  • Step S40 When receiving a data query request sent by the report client through the report data query interface, determine the data to be displayed of the report client according to the data query request, and find the data to be displayed from the temporary data .
  • Step S50 Send the found data to be displayed to the report client for display.
  • the read report data is converted into a preset data format and stored as temporary data.
  • a unified report data query interface needs to be opened. The user sends a data query request to the server through this interface.
  • the data to be displayed on the client is determined according to the request, and the data to be displayed is found from the temporary data and sent to the report client for reporting The client is displayed in the front-end report component.
  • step S40 may include the following detailed steps:
  • the client of the report system provides a data query setting interface for users to input query parameters and query conditions on the above interface.
  • the client according to the above query parameters, query conditions, and pre-configured standard SQL (Structured Query Language, structured query) Language) statement to generate a query statement, generate a data query request based on the query statement, and send the data query request to the server through a report data query interface opened by the server.
  • the server receives the data query request, it obtains the data query statement from the data query request, parses the data query statement, determines the query parameters and query conditions, and determines the fields and report cells to be queried based on the query parameters and query conditions. Range, and then find the corresponding report data from the temporary data according to the field to be queried and the range of the report cell.
  • corresponding access authority is granted to the data column of the report data.
  • the method further includes the steps of: obtaining user identification information from the data query request, and obtaining a stored rights profile; determining the relationship with the user according to the rights profile
  • the access authority information corresponding to the identification information.
  • the access authority information defines the data columns that the user has permission to access.
  • the access authority information restricts the data columns that the user has permission to access.
  • xx user has access to the xx column of the xx report Permissions; according to the access permission information, filtering report data found from temporary data in memory, filtering out data columns that do not match the access permission information, and retaining data columns that match the access permission information .
  • the filtered data is sent to the user terminal for the front-end report component of the user terminal to display the report data.
  • the user logs in to the system and opens the report viewing page, they can only see the data columns that match their permissions.
  • the data loading logic of the changed data source needs to be changed.
  • the data processing program may also be executed by the processor to implement the following steps: when an update instruction of the data loading logic is received, a data source to be updated and a data source to be updated of the data source are determined according to the update instruction. Data loading logic; updating data loading logic corresponding to the data source to be updated according to the data loading logic to be updated.
  • the data processing program may also be executed by the processor to implement the following steps:
  • the size of the data to be loaded determines the size of the data to be loaded, determine the footprint of the data to be loaded and initialize the data cache area based on the amount of data.
  • the remaining space of the current cache area is monitored in real time to determine whether the cache area is full, and if it is detected that the cache area is full, the data loading is terminated. Operation; if the cache area is not full, continue loading data into the cache area.
  • the time interval of data loading reaches a preset time interval
  • a plurality of preset data sources to be docked and data loading logic respectively matched with each preset data source are determined, according to the data.
  • the loading logic reads the updated report data from the corresponding preset data source and loads it into the preset cache area.
  • the report data loaded in the cache area is converted into the preset data format and stored as temporary data.
  • the above solution of the present application summarizes different types of data sources, converts them into a unified format, and stores them in the cache.
  • users query data they can send data query requests through a unified report data query interface to implement data query, which improves The efficiency of the reporting system in obtaining data from data sources.
  • the application also provides a data processing device of a report system.
  • a data processing device of a report system Referring to FIG. 2, a schematic diagram of an internal structure of a data processing device of a reporting system according to an embodiment of the present application is shown.
  • the data processing device 1 of the report system may be a PC (Personal Computer) or a terminal device such as a smart phone, a tablet computer, or a portable computer.
  • the data processing device 1 of the report system includes at least a memory 11, a processor 12, a communication bus 13, and a network interface 14.
  • the memory 11 includes at least one type of readable storage medium.
  • the readable storage medium includes a flash memory, a hard disk, a multimedia card, a card-type memory (for example, SD or DX memory, etc.), a magnetic memory, a magnetic disk, an optical disk, and the like.
  • the memory 11 may be an internal storage unit of the data processing apparatus 1 of the reporting system in some embodiments, such as a hard disk of the data processing apparatus 1 of the reporting system.
  • the memory 11 may also be an external storage device of the data processing device 1 of the report system in other embodiments, for example, a plug-in hard disk and a smart memory card (SMC) provided on the data processing device 1 of the report system. Secure Digital (SD) card, Flash Card, etc.
  • SD Secure Digital
  • Flash Card etc.
  • the memory 11 may include both an internal storage unit and an external storage device of the data processing apparatus 1 of the reporting system.
  • the memory 11 can be used not only to store the application software and various types of data of the data processing device 1 installed in the reporting system, such as the code of the data processing program 01, but also to temporarily store the data that has been or will be output.
  • the processor 12 may be a central processing unit (CPU), a controller, a microcontroller, a microprocessor, or a data processing chip of another reporting system in some embodiments, and is configured to run a program stored in the memory 11 Code or process data, such as executing data processing program 01 and so on.
  • CPU central processing unit
  • controller a controller
  • microcontroller a microprocessor
  • data processing chip of another reporting system in some embodiments, and is configured to run a program stored in the memory 11 Code or process data, such as executing data processing program 01 and so on.
  • the communication bus 13 is used to implement connection and communication between these components.
  • the network interface 14 may optionally include a standard wired interface, a wireless interface (such as a WI-FI interface), and is generally used to establish a communication connection between the device 1 and other electronic devices.
  • a standard wired interface such as a WI-FI interface
  • the device 1 may further include a user interface.
  • the user interface may include a display, an input unit such as a keyboard, and the optional user interface may further include a standard wired interface and a wireless interface.
  • the display may be an LED display, a liquid crystal display, a touch-type liquid crystal display, an OLED (Organic Light-Emitting Diode, organic light emitting diode) touch device, or the like.
  • the display may also be appropriately called a display screen or a display unit for displaying information processed in the data processing device 1 of the report system and a user interface for displaying visualization.
  • FIG. 2 only shows the data processing device 1 of the reporting system with components 11-14 and the data processing program 01.
  • FIG. 1 does not constitute a data processing device for the reporting system.
  • the definition of 1 may include fewer or more components than shown, or some components may be combined, or different component arrangements.
  • the device 1 may further include a touch sensor.
  • An area provided by the touch sensor for a user to perform a touch operation is referred to as a touch area.
  • the touch sensor described herein may be a resistive touch sensor, a capacitive touch sensor, or the like.
  • the touch sensor includes not only a touch sensor of a contact type, but also a touch sensor of a proximity type and the like.
  • the touch sensor may be a single sensor or multiple sensors arranged in an array.
  • the area of the display of the device 1 may be the same as that of the touch sensor, or may be different.
  • a display and the touch sensor are stacked to form a touch display screen. The device 1 detects a touch operation triggered by a user based on a touch display screen.
  • the device 1 may further include a camera, an RF (Radio Frequency) circuit, a sensor, an audio circuit, a WiFi module, and the like.
  • sensors such as light sensors, motion sensors, and other sensors.
  • the light sensor may include an ambient light sensor and a proximity sensor. If the device 1 is a mobile terminal, the ambient light sensor may adjust the brightness of the display screen according to the brightness of the ambient light.
  • the proximity sensor may be moved to the ear of the mobile terminal. , Turn off the display and / or backlight.
  • the gravity acceleration sensor can detect the magnitude of acceleration in various directions (generally three axes). It can detect the magnitude and direction of gravity when it is stationary.
  • the mobile terminal can be used to identify the posture of mobile terminals (such as horizontal and vertical screen switching, Related games, magnetometer attitude calibration), vibration recognition related functions (such as pedometer, tap), etc.
  • the mobile terminal can also be equipped with other sensors such as gyroscope, barometer, hygrometer, thermometer, infrared sensor, etc., here No longer.
  • the data processing program 01 is stored in the memory 11; when the processor 12 executes the data processing program 01 stored in the memory 11, the following steps are implemented:
  • the updated report data is read from a corresponding preset data source and loaded into a preset cache area.
  • the report data loaded in the cache area is converted into a preset data format and stored as temporary data.
  • the data to be displayed of the report client is determined according to the data query request, and the data to be displayed is searched from the temporary data.
  • the data processing apparatus may be a server of a reporting system.
  • the data source types mainly include database data sources, text data sources, program data sources, and restful interface data sources.
  • the database data sources include RDS databases, nosql databases, and text data sources mainly include stored in files such as excel files and txt files. Data.
  • data loading logic For different types of data sources, there is corresponding data loading logic. For example, for a database data source, a JDBC connection is required to obtain data from the database. Therefore, data loading logic adapted to it is required.
  • a data source connected to a reporting system has both a database data source and text data. source.
  • the data to be displayed needs to be obtained from the data source.
  • the data source that is connected will update the data updated in the preset time interval to the server in increments.
  • the server For each type of data source, there is matching data loading logic in the server.
  • This logic mainly includes the way to establish a connection with the data source, the interface to access, and the way to read data from the data source. Wait.
  • the preset time interval can be one hour, one day, etc.
  • the user can set the preset time interval according to the period of data update in the data source.
  • the report data updated by the data source within a preset time interval is loaded into a preset cache area.
  • the read report data is converted into a preset data format and stored as temporary data.
  • a unified report data query interface needs to be opened. The user sends a data query request to the server through this interface.
  • the data to be displayed on the client is determined according to the request, and the data to be displayed is found from the temporary data and sent to the report client for reporting The client is displayed in the front-end report component.
  • the data to be displayed of the report client is determined according to the data query request, and the pending data is searched from the temporary data.
  • the steps of displaying data can include the following detailed steps:
  • the client of the report system provides a data query setting interface for users to input query parameters and query conditions on the above interface.
  • the client generates query statements based on the above query parameters, query conditions, and pre-configured standard SQL statements, and based on the query
  • the statement generates a data query request, and sends the data query request to the server through the report data query interface opened by the server.
  • the server receives the data query request, it obtains the data query statement from the data query request, parses the data query statement, determines the query parameters and query conditions, and determines the fields and report cells to be queried based on the query parameters and query conditions. Range, and then find the corresponding report data from the temporary data according to the field to be queried and the range of the report cell.
  • the data processing program may also be executed by the processor to determine the data to be displayed on the report client according to the data query request, and find the data to be displayed from the temporary data, and send the found data to be displayed to the report client.
  • the following steps are also implemented: obtaining user identification information from the data query request, and obtaining a stored rights profile; and determining access rights information corresponding to the user identity information according to the rights profile .
  • the access permission information limits the data columns that the user has permission to access, for example, the xx user has access permissions to the xx column of the xx report; according to the access permission information, the report data found from the temporary data is stored in memory Perform filtering to filter out data columns that do not match the access authority information, and retain data columns that match the access authority information.
  • the filtered data is sent to the user terminal for the front-end report component of the user terminal to display the report data.
  • the data loading logic of the changed data source needs to be changed.
  • the data processing program may also be executed by the processor to implement the following steps: when an update instruction of the data loading logic is received, a data source to be updated and a data source to be updated of the data source are determined according to the update instruction. Data loading logic; updating data loading logic corresponding to the data source to be updated according to the data loading logic to be updated.
  • the data processing program may also be executed by the processor to implement the following steps:
  • the size of the data to be loaded determines the size of the data to be loaded, determine the footprint of the data to be loaded and initialize the data cache area based on the amount of data.
  • the remaining space of the current cache area is monitored in real time to determine whether the cache area is full, and if it is detected that the cache area is full, the data loading is terminated. Operation; if the cache area is not full, continue loading data into the cache area.
  • the data processing device of the report system proposed in this embodiment determines a plurality of preset data sources to be docked and data loading logic respectively matched with each preset data source when the time interval of data loading reaches a preset time interval, according to the data
  • the loading logic reads the updated report data from the corresponding preset data source and loads it into the preset cache area.
  • the report data loaded in the cache area is converted into the preset data format and stored as temporary data.
  • the above solution of the present application summarizes different types of data sources, converts them into a unified format, and stores them in the cache.
  • users query data they can send data query requests through a unified report data query interface to implement data query, which improves The efficiency of the reporting system in obtaining data from data sources.
  • the data processing program may also be divided into one or more modules, and the one or more modules are stored in the memory 11 and processed by one or more processors (in this embodiment, The processor 12) executes to complete this application.
  • the modules referred to in this application refer to a series of computer program instruction segments capable of performing specific functions, and are used to describe the execution process of a data processing program in a data processing device of a reporting system.
  • FIG. 3 it is a schematic diagram of a program module of a data processing program in an embodiment of a data processing device of the reporting system of the present application.
  • the data processing program may be divided into a data determination module 10 and a data loading module. 20.
  • the data conversion module 30, the data search module 40, and the data sending module 50 for example:
  • the data determining module 10 is configured to: when a time interval for data loading reaches a preset time interval, determine a plurality of preset data sources to be connected, and data loading logic respectively matching each of the preset data sources;
  • the data loading module 20 is configured to: according to the data loading logic, read updated report data from a corresponding preset data source and load the updated report data into a preset cache area;
  • the data conversion module 30 is configured to: convert the report data loaded in the cache area into a preset data format and store it as temporary data;
  • the data search module 40 is configured to: when receiving a data query request sent by a report client through a report data query interface, determine the data to be displayed of the report client according to the data query request, and search for the data from the temporary data. Describe the data to be displayed;
  • the data sending module 50 is configured to send the found data to be displayed to the report client for display.
  • an embodiment of the present application further provides a computer-readable storage medium.
  • the computer-readable storage medium stores a data processing program, and the data processing program can be executed by one or more processors to implement the following operations:
  • the time interval for data loading reaches a preset time interval, a plurality of preset data sources to be docked and data loading logic respectively matching each of the preset data sources are determined; according to the data loading logic, the corresponding It is assumed that the updated report data is read from the data source and loaded into a preset cache area; the report data loaded in the cache area is converted into a preset data format and stored as temporary data; the report client receives the report through the report When a data query request is sent by the data query interface, determining the data to be displayed of the report client according to the data query request, and searching the data to be displayed from the temporary data;

Abstract

一种报表系统的数据处理装置以及一种计算机可读存储介质，该方法包括：当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个预设数据源匹配的数据加载逻辑(S10)；按照数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中(S20)；将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据(S30)；在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从临时数据中查找待展示数据(S40)；将查找到的所述待展示数据发送至报表客户端展示(S50)。解决了现有的报表系统从数据源获取数据的效率低下的技术问题。

Description

报表系统的数据处理方法、装置及计算机可读存储介质
本申请基于巴黎公约申明享有2018年06月29日递交的申请号为201810694254.6、名称为“报表系统的数据处理方法、装置及计算机可读存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种报表系统的数据处理方法、装置及计算机可读存储介质。
背景技术
现有的报表系统可以将关系型数据库、非关系型的数据库或者通过restful接口提供的数据等类型的数据作为数据源，其中，restful接口是一种基于REST(Representational State Transfer，表述性状态转移)架构风格的接口。但是，现有的报表系统的数据采集方式只能同时支持一个类型的数据源，如果报表系统要同时支持多种不同类型的数据源，需要针对关联的每一个类型的数据源采用与之对应的数据采集方式，而当前的报表系统多是采用单一的数据类型作为数据源，系统没有统一的数据适配器层和报表数据访问接口，报表组件需要通过不同的接口、并且采用不同的数据采集逻辑从各个类型的数据源中加载数据，这会导致报表访问接口的复杂程度高，进而导致报表系统从数据源获取数据的效率低下。
发明内容
本申请提供一种报表系统的数据处理方法、装置及计算机可读存储介质，其主要目的在于解决现有的报表系统从数据源获取数据的效率低下的技术问题。
为实现上述目的，本申请还提供一种报表系统的数据处理方法，该方法包括：
当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据 源、以及分别与各个所述预设数据源匹配的数据加载逻辑；
按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；
在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
将查找到的所述待展示数据发送至所述报表客户端展示。
此外，为实现上述目的，本申请还提供一种报表系统的数据处理装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑；
按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；
在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
将查找到的所述待展示数据发送至所述报表客户端展示。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序可被一个或者多个处理器执行，以实现如下步骤：
当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑；
按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数 据；
在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
将查找到的所述待展示数据发送至所述报表客户端展示。
本申请提出的报表系统的数据处理方法、装置及计算机可读存储介质，在数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源以及分别与各个预设数据源匹配的数据加载逻辑，按照数据加载逻辑从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中，将缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据，在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据数据查询请求确定报表客户端的待展示数据，并从临时数据中查找待展示数据，将查找到的待展示数据发送至报表客户端展示。本申请的上述方案将不同类型的数据源进行汇总，并转换为统一的格式后存储至缓存中，用户查询数据时，通过统一的报表数据查询接口发送数据查询请求即可实现数据的查询，提高报表系统从数据源获取数据的效率。
附图说明
图1为本申请一实施例提供的报表系统的数据处理方法的流程示意图；
图2为本申请一实施例提供的报表系统的数据处理装置的内部结构示意图；
图3为本申请一实施例提供的报表系统的数据处理装置中数据处理程序的模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种报表系统的数据处理方法。参照图1所示，为本申请一 实施例提供的报表系统的数据处理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，报表系统的数据处理方法包括：
步骤S10，当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑。
步骤S20，按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中。
本实施例提出的方法的执行主体可以是报表系统的服务器。数据源类型主要包括数据库数据源、文本数据源、程序数据源以及restful接口数据源等，其中，数据库数据源包括RDS数据库(Relational Database Service，关系型数据库服务)，nosql数据库(Not Only Structured Query Language，泛指非关系型的数据库)，文本数据源主要包括如excel文件、txt文件等存储在文件中的数据。针对不同类型的数据源，有与之对应的数据加载逻辑。例如，针对数据库数据源，需要JDBC(Java Database Connectivity，java数据库连接)连接才能从数据库获取数据，因此，就需要与之适配的数据加载逻辑。
由于报表系统在展示数据时，由于展示数据的丰富性等需求，需要报表系统同时对接多个不同类型的数据源，例如，与一个报表系统连接的数据源中，既有数据库数据源也有文本数据源。在报表系统的客户端展示数据时，作为展示对象的数据需要从数据源中获取。在服务器端，每间隔预设时间间隔，将对接的数据源将在这预设时间间隔内更新的数据以增量的方式更新到服务器中。
对于每一种类型的数据源，在服务器中都有与之相匹配的数据加载逻辑，该逻辑中主要包括与数据源建立连接的方式、访问的接口、从数据源中读取数据的方式等等。预设时间间隔可以是一小时、一天等，用户可以根据数据源中的数据更新的周期设置预设时间间隔。在加载数据的时间间隔达到预设时间间隔时，确定对接的多个预设数据源以及与分别与各个数据源匹配的数据加载逻辑，按照数据加载逻辑，从对应的预设数据源中读取数据源在预设时间间隔内更新的报表数据并加载至预设的缓存区域中。可以理解的是，在服务器首次启动时，将各个数据源中的数据全部读取到缓存区域中，在服务器的运行过程中，每间隔预设时间间隔，以增量更新的方式将数据源中更新 的数据读取到缓存区域中。
步骤S30，将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据。
步骤S40，在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据。
步骤S50，将查找到的所述待展示数据发送至所述报表客户端展示。
在从数据源读取报表数据后，将读取的报表数据转换为预设数据格式后存储为临时数据，此处是将来自于不同数据源的不同格式的数据转换为统一的数据格式进行存储，以便于用户通过存储的这些临时数据为用户提供数据查询服务，也就是说，只需要开放一个统一的报表数据查询接口即可。用户通过该接口向服务器发送数据查询请求。
在接收到报表客户端发送通过报表数据查询接口发送的数据查询请求时，根据该请求确定要在客户端展示的数据，从上述临时数据中查找待展示的数据发送至报表客户端，以供报表客户端在前端报表组件中展示。
通过上述方案，实现了将不同类型数据源的数据进行汇总存储，报表客户端在查询数据时，服务器从这个缓存中获取统一数据格式的数据展示给用户，提高从数据源获取数据的效率。此外，就算是后面加了数据源类型，对于用户来说，只需要修改数据加载逻辑即可，不需要修改前端报表数据查询接口，这样报表展示这块的功能就不会因为受到增加数据源类型的影响而出错，提高了系统的友好性，同时提高了报表组件从数据源获取数据的速度。
具体地，在上述步骤S40可以包括如下细化步骤：
在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，从所述数据查询请求中获取数据查询语句；
根据所述数据查询语句确定查询参数和查询条件，根据所述查询参数、所述查询条件确定待查询的字段和报表单元格的范围；
根据所述待查询的字段和报表单元格的范围，从所述临时数据中查找对应的报表数据。
报表系统的客户端提供有数据查询设置界面，以供用户在上述界面上输入查询参数和查询条件，客户端根据上述查询参数、查询条件以及预先配置 好的标准SQL(Structured Query Language，结构化查询语言)语句生成查询语句，基于该查询语句生成数据查询请求，通过服务器开放的报表数据查询接口将该数据查询请求发送至服务器。服务器在接收到数据查询请求时，从数据查询请求中获取数据查询语句，对该数据查询语句进行解析，确定查询参数和查询条件，根据查询参数、查询条件确定待查询的字段和报表单元格的范围，进而根据待查询的字段和报表单元格的范围从临时数据中查找对应的报表数据。
进一步地，在其他实施例中，根据不同用户的权限信息不同，针对报表数据的数据列授予相应的访问权限。具体地，在步骤S40与步骤S50之间，该方法还包括如下步骤：从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息，该访问权限信息中限定了用户有权限访问的数据列，该访问权限信息中限定了用户有权限访问的数据列，例如，xx用户有xx报表的xx列的访问权限；根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。并将经过滤处理后的数据发送至用户终端，以供用户终端的前端报表组件显示报表数据。当用户登录系统后，打开报表查看页面时，只能看到与自己的权限匹配的数据列。
进一步地，在另外一些实施例中，当服务器对接的数据源有变更时，例如有数据源的删除、添加或者变更等，需要对这些发生变更的数据源的数据加载逻辑进行变更。具体地，数据处理程序还可被所述处理器执行，以实现如下步骤：当接收到数据加载逻辑的更新指令时，根据所述更新指令确定待更新的数据源以及该数据源的待更新的数据加载逻辑；根据所述待更新的数据加载逻辑，对所述待更新的数据源对应的数据加载逻辑进行更新。
进一步地，在另外一些实施例中，数据处理程序还可被所述处理器执行，以实现如下步骤：
在将数据加载至所述缓存区域的过程中，对所述缓存区域的剩余空间进行实时监测，以判断所述缓存区域是否已经写满；
若所述缓存区域已经写满，则终止数据加载操作，并输出提示信息；
若所述缓存区域未写满，则继续执行数据加载操作。
在从数据源中加载数据到缓存区域之前，确定待加载的数据量大小，根据数据量确定待加载的数据的占用空间并初始化数据缓存区域。并且，在将数据源中的数据加载到缓存区域的过程中，对当前的缓存区域的剩余空间进行实时监测，判断缓存区域是否已经写满，如果检测到缓存区域已经写满，则终止数据加载操作；如果缓存区域未写满，则继续将数据加载至缓存区域。
本实施例提出的报表系统的数据处理方法，在数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源以及分别与各个预设数据源匹配的数据加载逻辑，按照数据加载逻辑从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中，将缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据，在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据数据查询请求确定报表客户端的待展示数据，并从临时数据中查找待展示数据，将查找到的待展示数据发送至报表客户端展示。本申请的上述方案将不同类型的数据源进行汇总，并转换为统一的格式后存储至缓存中，用户查询数据时，通过统一的报表数据查询接口发送数据查询请求即可实现数据的查询，提高报表系统从数据源获取数据的效率。
本申请还提供一种报表系统的数据处理装置。参照图2所示，为本申请一实施例提供的报表系统的数据处理装置的内部结构示意图。
在本实施例中，报表系统的数据处理装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该报表系统的数据处理装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是报表系统的数据处理装置1的内部存储单元，例如该报表系统的数据处理装置1的硬盘。存储器11在另一些实施例中也可以是报表系统的数据处理装置1的外部存储设备，例如报表系统的数据处理装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括报表系统的数据处理装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于报表系统的 数据处理装置1的应用软件及各类数据，例如数据处理程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他报表系统的数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据处理程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在报表系统的数据处理装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及数据处理程序01的报表系统的数据处理装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对报表系统的数据处理装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
可选地，该装置1还可以包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为阵列布置的多个传感器。该装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置1基于触摸显示屏侦测用户触发的触控操作。
可选地，该装置1还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器， 其中，若该装置1为移动终端，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
在图2所示的装置1实施例中，存储器11中存储有数据处理程序01；处理器12执行存储器11中存储的数据处理程序01时实现如下步骤：
当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑。
按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中。
将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据。
在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据。
将查找到的所述待展示数据发送至所述报表客户端展示。
本实施例提出数据处理装置可以是报表系统的服务器。数据源类型主要包括数据库数据源、文本数据源、程序数据源以及restful接口数据源等，其中，数据库数据源包括RDS数据库，nosql数据库，文本数据源主要包括如excel文件、txt文件等存储在文件中的数据。针对不同类型的数据源，有与之对应的数据加载逻辑。例如，针对数据库数据源，需要JDBC连接才能从数据库获取数据，因此，就需要与之适配的数据加载逻辑。
由于报表系统在展示数据时，由于展示数据的丰富性等需求，需要报表系统同时对接多个不同类型的数据源，例如，与一个报表系统连接的数据源中，既有数据库数据源也有文本数据源。在报表系统的客户端展示数据时，作为展示对象的数据需要从数据源中获取。在服务器端，每间隔预设时间间隔，将对接的数据源将在这预设时间间隔内更新的数据以增量的形式更新到 服务器中。
对于每一种类型的数据源，在服务器中都有与之相匹配的数据加载逻辑，该逻辑中主要包括与数据源建立连接的方式、访问的接口、从数据源中读取数据的方式等等。预设时间间隔可以是一小时、一天等，用户可以根据数据源中的数据更新的周期设置预设时间间隔。在加载数据的时间间隔达到预设时间间隔时，确定对接的多个预设数据源以及与分别与各个数据源匹配的数据加载逻辑，按照数据加载逻辑，从对应的预设数据源中读取数据源在预设时间间隔内更新的报表数据并加载至预设的缓存区域中。
在从数据源读取报表数据后，将读取的报表数据转换为预设数据格式后存储为临时数据，此处是将来自于不同数据源的不同格式的数据转换为统一的数据格式进行存储，以便于用户通过存储的这些临时数据为用户提供数据查询服务，也就是说，只需要开放一个统一的报表数据查询接口即可。用户通过该接口向服务器发送数据查询请求。
在接收到报表客户端发送通过报表数据查询接口发送的数据查询请求时，根据该请求确定要在客户端展示的数据，从上述临时数据中查找待展示的数据发送至报表客户端，以供报表客户端在前端报表组件中展示。
通过上述方案，实现了将不同类型数据源的数据进行汇总存储，报表客户端在查询数据时，服务器从这个缓存中获取统一数据格式的数据展示给用户，提高从数据源获取数据的效率。此外，就算是后面加了数据源类型，对于用户来说，只需要修改数据加载逻辑即可，不需要修改前端报表数据查询接口，这样报表展示这块的功能就不会因为受到增加数据源类型的影响而出错，提高了系统的友好性，同时提高了报表组件从数据源获取数据的速度。
具体地，在上述在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤可以包括如下细化步骤：
在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，从所述数据查询请求中获取数据查询语句；
根据所述数据查询语句确定查询参数和查询条件，根据所述查询参数、所述查询条件确定待查询的字段和报表单元格的范围；
根据所述待查询的字段和报表单元格的范围，从所述临时数据中查找对 应的报表数据。
报表系统的客户端提供有数据查询设置界面，以供用户在上述界面上输入查询参数和查询条件，客户端根据上述查询参数、查询条件以及预先配置好的标准SQL语句生成查询语句，基于该查询语句生成数据查询请求，通过服务器开放的报表数据查询接口将该数据查询请求发送至服务器。服务器在接收到数据查询请求时，从数据查询请求中获取数据查询语句，对该数据查询语句进行解析，确定查询参数和查询条件，根据查询参数、查询条件确定待查询的字段和报表单元格的范围，进而根据待查询的字段和报表单元格的范围从临时数据中查找对应的报表数据。
进一步地，在其他实施例中，根据不同用户的权限信息不同，针对报表数据的数据列授予相应的访问权限。具体地，数据处理程序还可被处理器执行，以在根据数据查询请求确定报表客户端的待展示数据，并从临时数据中查找待展示数据的步骤与将查找到的待展示数据发送至报表客户端展示的步骤之间，还实现如下步骤：从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息，该访问权限信息中限定了用户有权限访问的数据列，例如，xx用户有xx报表的xx列的访问权限；根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。并将经过滤处理后的数据发送至用户终端，以供用户终端的前端报表组件显示报表数据。当用户登录系统后，打开报表查看页面时，只能看到与自己的权限匹配的数据列。
进一步地，在另外一些实施例中，当服务器对接的数据源有变更时，例如有数据源的删除、添加或者变更等，需要对这些发生变更的数据源的数据加载逻辑进行变更。具体地，数据处理程序还可被所述处理器执行，以实现如下步骤：当接收到数据加载逻辑的更新指令时，根据所述更新指令确定待更新的数据源以及该数据源的待更新的数据加载逻辑；根据所述待更新的数据加载逻辑，对所述待更新的数据源对应的数据加载逻辑进行更新。
进一步地，在另外一些实施例中，数据处理程序还可被所述处理器执行，以实现如下步骤：
在将数据加载至所述缓存区域的过程中，对所述缓存区域的剩余空间进行实时监测，以判断所述缓存区域是否已经写满；
若所述缓存区域已经写满，则终止数据加载操作，并输出提示信息；
若所述缓存区域未写满，则继续执行数据加载操作。
在从数据源中加载数据到缓存区域之前，确定待加载的数据量大小，根据数据量确定待加载的数据的占用空间并初始化数据缓存区域。并且，在将数据源中的数据加载到缓存区域的过程中，对当前的缓存区域的剩余空间进行实时监测，判断缓存区域是否已经写满，如果检测到缓存区域已经写满，则终止数据加载操作；如果缓存区域未写满，则继续将数据加载至缓存区域。
本实施例提出的报表系统的数据处理装置，在数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源以及分别与各个预设数据源匹配的数据加载逻辑，按照数据加载逻辑从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中，将缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据，在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据数据查询请求确定报表客户端的待展示数据，并从临时数据中查找待展示数据，将查找到的待展示数据发送至报表客户端展示。本申请的上述方案将不同类型的数据源进行汇总，并转换为统一的格式后存储至缓存中，用户查询数据时，通过统一的报表数据查询接口发送数据查询请求即可实现数据的查询，提高报表系统从数据源获取数据的效率。
可选地，在其他的实施例中，数据处理程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本申请，本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述数据处理程序在报表系统的数据处理装置中的执行过程。
例如，参照图3所示，为本申请报表系统的数据处理装置一实施例中的数据处理程序的程序模块示意图，该实施例中，数据处理程序可以被分割为数据确定模块10、数据加载模块20、数据转换模块30、数据查找模块40和数据发送模块50，示例性地：
数据确定模块10用于：当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载 逻辑；
数据加载模块20用于：按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
数据转换模块30用于：将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；
数据查找模块40用于：在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
数据发送模块50用于：将查找到的所述待展示数据发送至所述报表客户端展示。
上述数据确定模块10、数据加载模块20、数据转换模块30、数据查找模块40和数据发送模块50等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序可被一个或多个处理器执行，以实现如下操作：
当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑；按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
将查找到的所述待展示数据发送至所述报表客户端展示。本申请计算机可读存储介质具体实施方式与上述报表系统的数据处理装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种 过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种报表系统的数据处理方法，其特征在于，所述方法包括：
    当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑；
    按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
    将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；
    在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
    将查找到的所述待展示数据发送至所述报表客户端展示。
  2. 如权利要求1所述的报表系统的数据处理方法，其特征在于，所述方法还包括如下步骤：
    当接收到数据加载逻辑的更新指令时，根据所述更新指令确定待更新的数据源以及该数据源的待更新的数据加载逻辑；
    根据所述待更新的数据加载逻辑，对所述待更新的数据源对应的数据加载逻辑进行更新。
  3. 如权利要求1所述的报表系统的数据处理方法，其特征在于，所述方法还包括如下步骤：
    在将数据加载至所述缓存区域的过程中，对所述缓存区域的剩余空间进行实时监测，以判断所述缓存区域是否已经写满；
    若所述缓存区域已经写满，则终止数据加载操作，并输出提示信息；
    若所述缓存区域未写满，则继续执行数据加载操作。
  4. 如权利要求2所述的报表系统的数据处理方法，其特征在于，所述在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤包括：
    在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，从所述数据查询请求中获取数据查询语句；
    根据所述数据查询语句确定查询参数和查询条件，根据所述查询参数、所述查询条件确定待查询的字段和报表单元格的范围；
    根据所述待查询的字段和报表单元格的范围，从所述临时数据中查找对应的报表数据。
  5. 如权利要求2所述的报表系统的数据处理方法，其特征在于，所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还包括如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。
  6. 如权利要求3所述的报表系统的数据处理方法，其特征在于，所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还包括如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。
  7. 如权利要求4所述的报表系统的数据处理方法，其特征在于，所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还包括如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限 信息匹配的数据列。
  8. 一种报表系统的数据处理装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如下步骤：
    当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑；
    按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
    将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；
    在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
    将查找到的所述待展示数据发送至所述报表客户端展示。
  9. 如权利要求8所述的报表系统的数据处理装置，其特征在于，所述数据处理程序还可被所述处理器执行，以实现如下步骤：
    当接收到数据加载逻辑的更新指令时，根据所述更新指令确定待更新的数据源以及该数据源的待更新的数据加载逻辑；
    根据所述待更新的数据加载逻辑，对所述待更新的数据源对应的数据加载逻辑进行更新。
  10. 如权利要求8所述的报表系统的数据处理装置，其特征在于，所述数据处理程序还可被所述处理器执行，以实现如下步骤：
    在将数据加载至所述缓存区域的过程中，对所述缓存区域的剩余空间进行实时监测，以判断所述缓存区域是否已经写满；
    若所述缓存区域已经写满，则终止数据加载操作，并输出提示信息；
    若所述缓存区域未写满，则继续执行数据加载操作。
  11. 如权利要求9所述的报表系统的数据处理装置，其特征在于，所述在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤包括：
    在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，从所述数据查询请求中获取数据查询语句；
    根据所述数据查询语句确定查询参数和查询条件，根据所述查询参数、所述查询条件确定待查询的字段和报表单元格的范围；
    根据所述待查询的字段和报表单元格的范围，从所述临时数据中查找对应的报表数据。
  12. 如权利要求9所述的报表系统的数据处理装置，其特征在于，所述数据处理程序还可被所述处理器执行，以在所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还实现如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。
  13. 如权利要求10所述的报表系统的数据处理装置，其特征在于，所述数据处理程序还可被所述处理器执行，以在所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还实现如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。
  14. 如权利要求11所述的报表系统的数据处理装置，其特征在于，所述数据处理程序还可被所述处理器执行，以在所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之 间，还实现如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序可被一个或者多个处理器执行，以实现如下步骤：
    当数据加载的时间间隔达到预设时间间隔时，确定对接的多个预设数据源、以及分别与各个所述预设数据源匹配的数据加载逻辑；
    按照所述数据加载逻辑，从对应的预设数据源中读取更新的报表数据并加载至预设的缓存区域中；
    将所述缓存区域中加载的报表数据转换为预设数据格式后存储为临时数据；
    在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据；
    将查找到的所述待展示数据发送至所述报表客户端展示。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述数据处理程序还可被所述处理器执行，以实现如下步骤：
    当接收到数据加载逻辑的更新指令时，根据所述更新指令确定待更新的数据源以及该数据源的待更新的数据加载逻辑；
    根据所述待更新的数据加载逻辑，对所述待更新的数据源对应的数据加载逻辑进行更新。
  17. 如权利要求15所述的计算机可读存储介质，其特征在于，所述数据处理程序还可被所述处理器执行，以实现如下步骤：
    在将数据加载至所述缓存区域的过程中，对所述缓存区域的剩余空间进行实时监测，以判断所述缓存区域是否已经写满；
    若所述缓存区域已经写满，则终止数据加载操作，并输出提示信息；
    若所述缓存区域未写满，则继续执行数据加载操作。
  18. 如权利要求16所述的计算机可读存储介质，其特征在于，所述在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤包括：
    在接收到报表客户端通过报表数据查询接口发送的数据查询请求时，从所述数据查询请求中获取数据查询语句；
    根据所述数据查询语句确定查询参数和查询条件，根据所述查询参数、所述查询条件确定待查询的字段和报表单元格的范围；
    根据所述待查询的字段和报表单元格的范围，从所述临时数据中查找对应的报表数据。
  19. 如权利要求16所述的计算机可读存储介质，其特征在于，所述数据处理程序还可被所述处理器执行，以在所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还实现如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限信息匹配的数据列。
  20. 如权利要求17所述的计算机可读存储介质，其特征在于，所述数据处理程序还可被所述处理器执行，以在所述根据所述数据查询请求确定所述报表客户端的待展示数据，并从所述临时数据中查找所述待展示数据的步骤与所述将查找到的所述待展示数据发送至所述报表客户端展示的步骤之间，还实现如下步骤：
    从所述数据查询请求中获取用户标识信息，并获取存储的权限配置文件；
    根据所述权限配置文件确定与所述用户标识信息对应的访问权限信息；
    根据所述访问权限信息，在内存中对从临时数据中查找到的报表数据进行筛选，过滤掉与所述访问权限信息不匹配的数据列，保留与所述访问权限 信息匹配的数据列。
PCT/CN2018/107505 2018-06-29 2018-09-26 报表系统的数据处理方法、装置及计算机可读存储介质 WO2020000719A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810694254.6A CN109325053A (zh) 2018-06-29 2018-06-29 报表系统的数据处理方法、装置及计算机可读存储介质
CN201810694254.6 2018-06-29

Publications (1)

Publication Number Publication Date
WO2020000719A1 true WO2020000719A1 (zh) 2020-01-02

Family

ID=65263189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/107505 WO2020000719A1 (zh) 2018-06-29 2018-09-26 报表系统的数据处理方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109325053A (zh)
WO (1) WO2020000719A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032593A (zh) * 2019-03-12 2019-07-19 平安城市建设科技(深圳)有限公司 房屋信息查询方法、装置、设备及计算机可读存储介质
CN110032567B (zh) * 2019-04-24 2022-09-06 江苏满运软件科技有限公司 报表查询方法、装置、服务器和存储介质
CN110502514B (zh) * 2019-08-15 2023-06-27 中国平安财产保险股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN110837511B (zh) * 2019-11-15 2022-08-23 金蝶软件（中国）有限公司 一种数据处理方法、系统及相关设备
CN111078691B (zh) * 2019-11-22 2024-04-16 湖南水羊科技有限公司 一种管理报表数据处理方法及相关装置
CN111177755A (zh) * 2019-12-25 2020-05-19 平安医疗健康管理股份有限公司 报表应用中数据权限的处理方法、装置、计算机设备及计算机存储介质
CN111159164B (zh) * 2020-01-16 2024-01-30 四川天翼网络股份有限公司 基于参数化传递的报表数据访问权限控制方法
CN111324579A (zh) * 2020-03-10 2020-06-23 畅捷通信息技术股份有限公司 Erp文件的查询方法、系统、终端和存储介质
CN111444696B (zh) * 2020-03-26 2024-04-19 中国银行股份有限公司 报表展示与编辑方法及装置
CN113688116A (zh) * 2020-05-19 2021-11-23 长鑫存储技术有限公司 数据展示系统、方法、设备及计算机可读存储介质
CN111930772A (zh) * 2020-07-30 2020-11-13 中粮招商局(深圳)粮食电子交易中心有限公司 数据的导出方法、装置、系统及计算机可读存储介质
CN112069218A (zh) * 2020-11-16 2020-12-11 浙江岩华文化科技有限公司 大数据实时处理方法、装置、电子装置和存储介质
CN112287649B (zh) * 2020-12-22 2021-03-19 畅捷通信息技术股份有限公司 一种报表动态生成方法、装置、介质
CN112883082B (zh) * 2021-02-24 2023-04-14 浪潮通用软件有限公司 一种查询动态列的实现方法、装置及设备
CN113239125B (zh) * 2021-04-14 2024-02-09 深圳市数商时代科技有限公司 数据展示方法、装置及存储介质
CN116048985B (zh) * 2023-01-10 2023-10-20 睿智合创(北京)科技有限公司 一种决策数据即测即看结果报表方法
CN117668003B (zh) * 2024-02-01 2024-05-03 福建省华大数码科技有限公司 实现数据库中集合数据类型的数据处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
CN105512168A (zh) * 2015-11-16 2016-04-20 天津南大通用数据技术股份有限公司 一种集群数据库复合加载数据的方法及装置
CN105808778A (zh) * 2016-03-30 2016-07-27 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN106874461A (zh) * 2017-02-14 2017-06-20 北京慧正通软科技有限公司 一种工作流引擎支持多数据源配置安全访问系统及方法
CN107368588A (zh) * 2017-07-24 2017-11-21 人教数字出版有限公司 一种异构资源同构化方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777079B (zh) * 2010-03-11 2011-11-09 浙江鸿程计算机系统有限公司 一种快速生成电子报表的实现方法
CN104158844A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 远程实时监测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
CN105512168A (zh) * 2015-11-16 2016-04-20 天津南大通用数据技术股份有限公司 一种集群数据库复合加载数据的方法及装置
CN105808778A (zh) * 2016-03-30 2016-07-27 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN106874461A (zh) * 2017-02-14 2017-06-20 北京慧正通软科技有限公司 一种工作流引擎支持多数据源配置安全访问系统及方法
CN107368588A (zh) * 2017-07-24 2017-11-21 人教数字出版有限公司 一种异构资源同构化方法及装置

Also Published As

Publication number Publication date
CN109325053A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
WO2020000719A1 (zh) 报表系统的数据处理方法、装置及计算机可读存储介质
JP7021228B2 (ja) ブロックチェーンベースのデータ記憶および照会方法およびデバイス
CN107943841B (zh) 流式数据处理方法、系统和计算机可读存储介质
CN107741937B (zh) 一种数据查询方法及装置
US20130226889A1 (en) Database query using a user-defined function
WO2019085474A1 (zh) 计算引擎实现方法、电子装置及存储介质
CN110457346B (zh) 数据查询方法、装置及计算机可读存储介质
US11561972B2 (en) Query conversion for querying disparate data sources
CN108401026B (zh) 基于区块链的数据存储方法、系统及计算机可读存储介质
CN113051268A (zh) 数据查询方法、数据查询装置、电子设备及存储介质
US10558663B2 (en) Automated application of query hints
US20140358517A1 (en) Method for providing text conversion service and electronic device thereof
CN108052661B (zh) 分布式环境下的聚合检索的方法、装置及可读存储介质
CN108388616B (zh) 数据收集装置、方法、系统及计算机可读存储介质
CN107480240B (zh) 一种数据库系统及其数据处理方法
CN112508720A (zh) 保险客户身份属性的筛选方法、筛选装置及电子设备
WO2019071907A1 (zh) 基于操作页面识别帮助信息的方法及应用服务器
WO2023231615A1 (zh) 一种基于数据湖的物化列创建方法以及数据查询方法
WO2019080412A1 (zh) 数据服务方法、电子装置及存储介质
CN109189728B (zh) 智能硬件设备、磁盘数据处理方法和存储介质
CN109063061B (zh) 跨分布式系统数据处理方法、装置、设备及存储介质
CN115113989B (zh) 事务执行方法、装置、计算设备及存储介质
CN111221917B (zh) 智能分区存储方法、装置及计算机可读存储介质
WO2019000697A1 (zh) 信息检索方法、系统、服务器及可读存储介质
CN114510605A (zh) 数据存储方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924311

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924311

Country of ref document: EP

Kind code of ref document: A1