WO2019095424A1 - 数据采集的方法、装置、存储介质及终端 - Google Patents

数据采集的方法、装置、存储介质及终端 Download PDF

Info

Publication number
WO2019095424A1
WO2019095424A1 PCT/CN2017/112778 CN2017112778W WO2019095424A1 WO 2019095424 A1 WO2019095424 A1 WO 2019095424A1 CN 2017112778 W CN2017112778 W CN 2017112778W WO 2019095424 A1 WO2019095424 A1 WO 2019095424A1
Authority
WO
WIPO (PCT)
Prior art keywords
data source
data
sql
report template
model
Prior art date
Application number
PCT/CN2017/112778
Other languages
English (en)
French (fr)
Inventor
梁博
王定鑫
温善安
李磊
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019095424A1 publication Critical patent/WO2019095424A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/213—Schema design and management with details for schema evolution support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Definitions

  • the present application belongs to the field of communications technologies, and in particular, to a data acquisition method, apparatus, storage medium, and terminal.
  • the existing data collection methods mainly use background tools, such as PLSQL to collect data. It is a procedural language. There is no visual operation interface, and IT personnel who are familiar with the technology need to enter the background database to operate. The collection process needs to pre-query and confirm the data that needs to be collected, and then the IT personnel can manually complete the download. The operation is professional and inconvenient. Other non-IT personnel cannot collect data by themselves, nor can they design data display pages independently. The data collection efficiency is low, the operation risk on the database is high, and only Oracle database collection is supported. Since the existing data collection methods require pre-confirmation of the data to be acquired, timing acquisition cannot be achieved.
  • the embodiment of the present invention provides a method, a device, a storage medium, and a terminal for collecting data, so as to solve the problem that the prior art has low collection efficiency, high operation risk, and cannot be collected regularly during data collection.
  • An embodiment of the present application provides a data collection method, where the method includes:
  • the SQL statement in the SQL model is read, data is collected from the set data source according to the SQL statement, and the collected data is displayed through the report template.
  • the method further includes:
  • the method further includes:
  • Data is collected from the set data source according to the SQL statement, and the collected data is displayed through the report template.
  • the configuring a data source based on the data source management interface, the data source type including an Oracle database or a Hive database includes:
  • the basic information includes a data source type, a data source platform name, a data source URL, and a data source effective state
  • the data source type includes an Oracle database or a Hive database.
  • the constructing the SQL model and generating a corresponding report template according to the SQL model includes:
  • the modified report element is saved to generate a report template.
  • reading the SQL statement in the SQL model, and collecting data from the set data source according to the SQL statement includes:
  • Data is collected from the set data source based on the selected SQL statement.
  • the embodiment of the present application further provides an apparatus for data collection, where the apparatus includes:
  • a data source configuration module configured to load a data source management interface, and configure a data source based on the data source management interface, where the data source type includes an Oracle database or a Hive database;
  • a report template configuration module configured to load a report template management interface, set a data source of the report template based on the report template management interface, construct a SQL model, and generate a corresponding report template according to the SQL model;
  • the data collection module is configured to: when the data is collected, read the SQL statement in the SQL model, collect data from the set data source according to the SQL statement, and display the collected data through the report template. .
  • the device further includes:
  • a data saving module configured to load the collected data into a specified document, convert the specified document into a compressed file, and save the file to a file server;
  • the data sending module is configured to obtain a uniform resource locator of the compressed file in the file server.
  • data source configuration module is specifically configured to:
  • the basic information includes a data source type, a data source platform name, a data source URL, and a data source effective state
  • the data source type includes an Oracle database or a Hive database.
  • report template configuration module further includes:
  • a first acquiring unit configured to obtain, by using the report template management interface, tag information and type information of the input SQL model
  • a second obtaining unit configured to obtain at least one input SQL statement by using the report template management interface
  • a model generating unit configured to save the label information, type information, and SQL statement, generate a SQL model, and enter a visual control editing window;
  • An adding unit configured to add a report element in the visual control editing window according to the SQL model, where one SQL statement corresponds to one report element;
  • An editing unit configured to modify the report element according to the selected edit control
  • a template generating unit is configured to save the modified report element and generate a report template.
  • the data collection module further includes:
  • the name obtaining unit is configured to obtain the name information of the report template when receiving the data collection instruction
  • Selecting a prompting unit configured to acquire an SQL model configured by the report template according to the name information, read an SQL statement in the SQL model, and output a selection interface of the SQL statement;
  • the collecting unit is configured to collect data from the set data source according to the selected SQL statement.
  • the device further includes:
  • a timing setting module configured to set a timing collection time of the report template
  • the timing collection module is configured to detect whether the current system time meets the timing collection time according to a preset time interval, and if the current system time meets the timing collection time, read the SQL statement in the SQL model, according to the SQL The statement collects data from the set data source and displays the collected data through the report template.
  • the embodiment of the present application further provides a computer readable storage medium, where the computer readable instructions are stored, and when the computer readable instructions are executed by the processor, the following steps are implemented:
  • the SQL statement in the SQL model is read, data is collected from the set data source according to the SQL statement, and the collected data is displayed through the report template.
  • the embodiment of the present application further provides a terminal, where the terminal includes a memory, a processor, and computer readable instructions stored on the memory and executable on the processor, when the processor executes the computer readable instructions.
  • the SQL statement in the SQL model is read, data is collected from the set data source according to the SQL statement, and the collected data is displayed through the report template.
  • the embodiment of the present application provides an operation interface visualized by the administrator and the collector by improving the operation flow of the data collection; before the data collection, the data source management interface is first loaded, according to the data of the administrator.
  • the operation on the source management interface configures the data source for the collector to select.
  • the data source type includes an Oracle database or a Hive database.
  • the report template management interface is loaded, and the report is set according to the operation of the collector on the report template management interface.
  • a data source of the template constructing a SQL model, and generating a corresponding report template according to the SQL model; when performing data collection, directly reading the SQL statement in the SQL model, and setting the data according to the SQL statement
  • the data is collected in the source, and the collected data is displayed through the report template; thereby enabling the collector to perform data collection operations autonomously, improving the efficiency of data collection, avoiding entering the background database, and reducing the risk of data collection.
  • the regular database Oracle but also support the data warehouse Hive Collection, enriched the type of data collection.
  • FIG. 1 is a first implementation flowchart of a method for data collection provided by an embodiment of the present application
  • FIG. 2 is a flowchart of implementing a SQL model provided by an embodiment of the present application, and generating a corresponding report template according to the SQL model;
  • FIG. 3 is a second implementation flowchart of a method for data collection provided by an embodiment of the present application.
  • FIG. 4 is a third implementation flowchart of a method for data collection provided by an embodiment of the present application.
  • FIG. 5 is a fourth implementation flowchart of a method for data collection provided by an embodiment of the present application.
  • FIG. 6 is a structural diagram of a device for data collection provided by an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a terminal provided by an embodiment of the present application.
  • FIG. 1 shows a first implementation flow of a data collection method provided by an embodiment of the present application.
  • the data collection method is applied to a terminal, including but not limited to a computer, a server, etc., for reading and downloading data from a database.
  • the data collection method includes:
  • step S101 the data source management interface is loaded, and the data source is configured based on the data source management interface, and the data source type includes an Oracle database or a Hive database.
  • the data source management interface is a visual operation interface for assisting database management.
  • the member creates bi source information of the selectable database, including configuring, on the data source management interface, basic information of the data source according to the operation of the administrator, and setting an extended attribute of the data source.
  • the basic information includes, but is not limited to, a data source type, a data source platform name, a URL to which the data source belongs, and a data source effective state.
  • the data source types include an Oracle database or a Hive database, and other database types such as MyBatis 3.2.3, staticReporet 1.0, IBM Cognos 8.4, IBM Cognos 10.2, and Pentaho saiku 5.
  • the extended attributes corresponding to different data source types are different.
  • the extended attributes that need to be set include, but are not limited to, the data source driver type, the data source user, the data source password, and the data source link.
  • the corresponding selection item is added in the report template management interface, so that the collector can select the required database when creating the report, thereby enriching the type of data collection, and not only supporting the collection of the conventional database Oracle. It also supports the collection of data warehouse Hive and realizes the collection of massive data.
  • step S102 the report template management interface is loaded, the data source of the report template is set based on the report template management interface, the SQL model is constructed, and a corresponding report template is generated according to the SQL model.
  • the report template management interface is a visual operation interface, which is used to assist the collector to configure the data query condition and the design data display page, that is, the report template.
  • the collector triggers the management identifier, the report management identifier, the new report, or the modified report page identifier.
  • the terminal loads the report template management interface and enters the visual edit page.
  • the collector can complete the self-design of the report template on the report template management interface, including selecting a data source and inputting a SQL statement to collect data, so that the background database does not need to be entered.
  • the terminal sequentially sets the data source according to the operation of the user, constructs the SQL model according to the input SQL statement, and finally generates a report template containing the field information queried by the SQL statement according to the SQL model.
  • FIG. 2 shows a process for constructing a SQL model described in step S102 provided by the embodiment of the present application, and generates an implementation process of a corresponding report template according to the SQL model.
  • the SQL model is constructed, and a corresponding report template is generated according to the SQL model.
  • step S201 the label information and type information of the input SQL model are obtained through the report template management interface.
  • the report template management interface includes a label information input box of the SQL model, a type information input box, an input window of the SQL statement, and a directory.
  • the tag information is ID information of the SQL model, and is used to distinguish different SQL models;
  • the type information is a representation manner of the directory, including a table and a non-form.
  • step S202 at least one input SQL statement is obtained through the report template management interface.
  • each SQL statement includes a query parameter and an alias.
  • the SQL statement written in the input window is displayed through the directory for the convenience of the user.
  • the alias needs to be the same as the result alias in the SQL configuration. If there is no alias, you need to use uppercase letters.
  • the SQL statement written in the input window includes:
  • the content in the directory includes four items, respectively:
  • COUNT (L.ID_REPORT_OPR_LOG), the amount of traffic.
  • step S203 the tag information, the type information, and the SQL statement are saved, the SQL model is generated, and the visual control editing window is entered.
  • the visual control editing window is used by a collector.
  • Self-designed report template which includes a number of different control functions, the collector clicks on the corresponding control will pop up the operation window.
  • common controls include, but are not limited to, From form controls, single-line text controls, insert time controls, insert button controls, insert ⁇ edit table controls, save controls, and the like.
  • the collector can complete the self-editing operation of the report template.
  • step S204 a report element is added in the visual control editing window according to the SQL model, wherein one SQL statement corresponds to one report element.
  • the report element is a field in the report template and its field value input box.
  • the terminal first obtains the label information of the SQL model input by the collector through the From form control, and then obtains the corresponding SQL model and the configured SQL statement according to the label information, and finally displays the corresponding in the visual control editing window according to the SQL statement. Field and its field value input box.
  • step S205 the report element is modified according to the selected edit control.
  • an operation window pops up to prompt the user to define how the report element is modified.
  • an alias, a name, a character width, a type input box, and a confirmation identifier are included.
  • the name is used to specify which report element to edit, and needs to be consistent with the query parameter of the configured SQL statement;
  • the character width is used to control the length of the field value input box in the visual control editing window, the type
  • the format used to define the contents of the input box such as text, images, and so on. If it is detected that the collector triggers the confirmation identifier, the modification manner defined on the operation window is applied to the report element for preview.
  • step S206 the modified report element is saved, and a report template is generated.
  • the report element currently displayed in the edit window of the visual control is saved, that is, the report element after the modification mode is applied, and the corresponding report is generated.
  • Report template The report template should be consistent with the report element displayed by the visual control editing window.
  • the above embodiment implements a visual report template editing process, and the collector can independently set the SQL statement for data collection and set the report template for data display without the participation of IT personnel or Need to enter the database, which is conducive to improve the efficiency of data collection and reduce the operational risk of the database.
  • step S103 when data acquisition is performed, the SQL statement in the SQL model is read, data is collected from the set data source according to the SQL statement, and the collected data is displayed through the report template.
  • the collector can collect data at any time.
  • the terminal collects data from the selected data source according to the SQL statement in the constructed SQL model.
  • data is collected according to the configured data source, that is, the connection string information of the Hive database.
  • the collector does not need to find the database manager or IT staff to operate each time the data is collected, which is beneficial to reduce the risk of database operation and improve the efficiency of data collection.
  • the generated report template can be used by the collectors of the multi-party business.
  • the fields in the report template are not all required by the collector. For different business party collectors, some fields may be meaningless.
  • the prior art collects all the fields, which obviously increases the pressure on the collector to view the data. In view of this, based on the first implementation flow of the data collection method provided in FIG. 1 , a second implementation flow of the data collection method provided by the embodiment of the present application is proposed.
  • step S103 when the data is collected, the SQL statement in the SQL model is read, according to the SQL statement.
  • Collecting data from the set data source includes:
  • step S1031 when the data collection instruction is received, the name information of the report template is obtained.
  • the name information is the ID information of the report template, and is used to distinguish different report templates, such as a car insurance correction list, a life insurance monthly sales list, and the like.
  • step S1032 the SQL model configured by the report template is acquired according to the name information, the SQL statement in the SQL model is read, and a selection interface of the SQL statement is output.
  • each report template has a corresponding name information and one or more SQL models that have been configured.
  • query the corresponding report template and its configured SQL model and obtain all the SQL statements, thereby obtaining all the fields defined in the report template setting process, and outputting the selection interface of the SQL statement.
  • For the collector to select the SQL statement required for this data collection.
  • step S1033 data is collected from the set data source according to the selected SQL statement.
  • the collector can select the field by checking the check box.
  • the terminal sets a specified flag bit of the SQL statement according to the check operation to distinguish the selected field from the unselected field.
  • the collector can select the field to be collected from the configured SQL statement of the report template before collecting or downloading the data, thereby effectively reducing the collected invalid data. Reduces the pressure on the collector to view the data.
  • FIG. 4 it is a third implementation flowchart of the data collection method provided by the embodiment of the present application, where the method further includes:
  • step S104 the collected data is loaded into the specified document, the specified document is converted into a compressed file, and saved to the file server.
  • the specified document may be an excel document
  • the compressed file may be a zip file.
  • the collected data is written to the excel document, then compressed into a zip file and saved to the file server.
  • step S105 a uniform resource locator of the compressed file in the file server is obtained.
  • the uniform resource locator is an access address of a compressed file in a file server.
  • the file server After the file is saved to the file server, the file server generates a uniform resource locator URL according to the storage address and sends it to the terminal.
  • the terminal obtains the uniform resource locator and sends the data to the collector in a preset communication manner, so that the collector can access and view the collected data through the uniform resource locator, thereby simplifying the viewer's viewing operation, and By setting up a dedicated file server to save the collected data, the integrity of the data is ensured, and the data is not lost even when the data collection is too large.
  • the preset communication manner may be an email.
  • FIG. 5 it is a fourth implementation flowchart of the data collection method provided by the embodiment of the present application, where the method further includes:
  • step S501 the data source management interface is loaded, and the data source is configured based on the data source management interface, and the data source type includes an Oracle database or a Hive database.
  • step S502 the report template management interface is loaded, the data source of the report template is set based on the report template management interface, the SQL model is constructed, and a corresponding report template is generated according to the SQL model.
  • the steps S501 and S502 are the same as the steps S101 and S102 described in the embodiment of the present invention. For details, refer to the description of the foregoing embodiment, and details are not described herein again.
  • the method further includes:
  • step S503 a timing acquisition time of the report template is set.
  • the timing acquisition is to perform data collection for a specified time point in which the collection period is days, weeks, or months. Therefore, the timing collection time includes the specified time point, the collection period, and further includes an acquisition start time and an acquisition end time.
  • the scheduled acquisition time should be one with each report template. A correspondence.
  • the set timing acquisition time is saved to the database for scheduled task detection.
  • step S504 it is detected whether the current system time meets the timing collection time according to a preset time interval.
  • the job task in Oracle has a timed execution function, which can perform tasks at a specified point in time or at a certain point in time every day.
  • the job collection task may select a job task.
  • the job task detects the timed collection time stored in the database according to a preset time interval. If the current system time is within the time collection time range, indicating that the timing time arrives, triggering the data collection task, and executing step S505.
  • the preset time interval may be 5 minutes.
  • step S505 the SQL statement in the SQL model is read.
  • step S506 data is collected from the set data source according to the SQL statement, and the collected data is displayed through the report template.
  • the embodiment of the present application further adds a timing setting function for the data collection operation on the report template management interface, and adds a timing task detection.
  • the set timing collection time realizes the timing collection of data, solves the problem that the prior art cannot realize data timing acquisition, and effectively improves the efficiency of data collection.
  • the size of the serial number of each step does not mean the order of execution order, and the order of execution of each step should be determined by its function and internal logic, and should not constitute any implementation process of the embodiment of the present application. limited.
  • FIG. 6 is a structural diagram of a device for collecting data provided by an embodiment of the present application. For convenience of description, only parts related to the embodiment of the present application are shown.
  • the data collection device is used to implement the data collection method described in the foregoing embodiments of FIG. 1, FIG. 2, FIG. 3, FIG. 4, and FIG. 5, and may be a software unit built in the terminal.
  • a hardware unit, a combination of hardware and software the terminal includes but is not limited to a computer, a server, or the like.
  • the device for data collection includes:
  • a data source configuration module 61 configured to load a data source management interface, and configure a data source based on the data source management interface, where the data source type includes an Oracle database or a Hive database;
  • the report template configuration module 62 is configured to load a report template management interface, set a data source of the report template based on the report template management interface, construct a SQL model, and generate a corresponding report template according to the SQL model;
  • the data collection module 63 is configured to: when the data is collected, read the SQL statement in the SQL model, collect data from the set data source according to the SQL statement, and display the collected data through the report template. data.
  • the device further includes:
  • a data saving module 64 configured to load the collected data into a specified document, convert the specified document into a compressed file, and save the file to a file server;
  • the data sending module 65 is configured to obtain a uniform resource locator of the compressed file in the file server.
  • the data source configuration module 61 is specifically configured to:
  • the basic information includes a data source type, a data source platform name, a data source URL, and a data source effective state
  • the data source type includes an Oracle database or a Hive database.
  • the report template configuration module 62 further includes:
  • the first obtaining unit 621 is configured to obtain, by using the report template management interface, tag information and type information of the input SQL model;
  • the second obtaining unit 622 is configured to obtain, by using the report template management interface, at least one input SQL statement;
  • the model generating unit 623 is configured to save the label information, the type information, and the SQL statement. Into the SQL model and enter the visual control editing window;
  • the adding unit 624 is configured to add a report element in the visual control editing window according to the SQL model, where one SQL statement corresponds to one report element;
  • the editing unit 625 is configured to modify the report element according to the selected edit control
  • the template generating unit 626 is configured to save the modified report element and generate a report template.
  • the data collection module 63 further includes:
  • the name obtaining unit 631 is configured to obtain the name information of the report template when receiving the data collection instruction;
  • the selection prompting unit 632 is configured to acquire the SQL model configured by the report template according to the name information, read the SQL statement in the SQL model, and output a selection interface of the SQL statement;
  • the collecting unit 633 is configured to collect data from the set data source according to the selected SQL statement.
  • the device further includes:
  • a timing setting module 66 configured to set a timing collection time of the report template
  • the timing collection module 67 is configured to detect whether the current system time meets the timing collection time according to a preset time interval. If the current system time meets the timing collection time, read the SQL statement in the SQL model, according to the The SQL statement collects data from the set data source and displays the collected data through the report template.
  • each module/unit in the embodiment of the present application may be used to implement all the technical solutions in the foregoing method embodiments, and the specific working process may refer to the corresponding process in the foregoing method embodiments, and details are not described herein again. .
  • the embodiment provides a computer readable storage medium having stored thereon computer readable instructions, which are implemented by the processor to implement the data collection method in Embodiment 1, in order to avoid repetition, here No longer.
  • the functions of the modules/units in the apparatus for implementing data collection in Embodiment 2 when the computer readable instructions are executed by the processor are not described herein again to avoid repetition.
  • FIG. 7 is a schematic diagram of a terminal according to an embodiment of the present disclosure, where the terminal includes but is not limited to a server and a mobile terminal.
  • the terminal 7 of this embodiment includes a processor 70, a memory 71, and computer readable instructions 72 stored in the memory 71 and executable on the processor 70.
  • the steps in the method embodiment for implementing the data acquisition when the processor 70 executes the computer readable instructions 72 such as steps S101 to S103 shown in FIG. 1 and steps S201 to S206 in the embodiment of FIG. 2, Steps S1031 to S1033 described in the embodiment of FIG. 3, steps S104 to S105 described in the embodiment of FIG. 4, and steps S501 to S505 described in the embodiment of FIG. 5; or, the processor 70 executes the computer readable
  • the function of each module/unit in the apparatus embodiment of the above data acquisition is implemented at the time of instruction 72, such as the functions of modules 61 to 67 shown in FIG.
  • the computer readable instructions 72 may be partitioned into one or more modules/units that are stored in the memory 71 and executed by the processor 70, To complete the data processing process of this application.
  • the one or more modules/units may be a series of computer readable instruction segments capable of performing a particular function for describing the execution of the computer readable instructions 72 in the terminal 7.
  • the computer readable instructions 72 can be divided into a data source configuration module, a report template configuration module, and a data acquisition module. The specific functions of each module are as follows:
  • a data source configuration module configured to load a data source management interface, and configure a data source based on the data source management interface, where the data source type includes an Oracle database or a Hive database;
  • a report template configuration module configured to load a report template management interface, set a data source of the report template based on the report template management interface, construct a SQL model, and generate a corresponding according to the SQL model Report template;
  • the data collection module is configured to: when the data is collected, read the SQL statement in the SQL model, collect data from the set data source according to the SQL statement, and display the collected data through the report template. .
  • the terminal 7 can be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal may include, but is not limited to, a processor 70, a memory 71. It will be understood by those skilled in the art that FIG. 7 is merely an example of the terminal 7, and does not constitute a limitation of the terminal 7, and may include more or less components than those illustrated, or combine some components, or different components, such as
  • the terminal may also include an input/output device, a network access device, a bus, and the like.
  • the processor 70 may be a central processing unit (CPU), or may be other general-purpose processors, a digital signal processor (DSP), an application specific integrated circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware components, etc.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like, which is a control center of the terminal, and connects various parts of the entire terminal using various interfaces and lines.
  • the memory 71 can be used to store the computer readable instructions and/or modules, by executing or executing computer readable instructions and/or modules stored in the memory, and invoking data stored in the memory Implementing various functions of the terminal.
  • the memory may mainly include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function (such as a sound playing function, an image playing function, etc.), and the like; the storage data area may be stored. Data created based on the use of the terminal, etc.
  • the memory may include a high-speed random access memory, and may also include non-volatile memory such as a hard disk, a memory, a plug-in hard disk, a smart memory card (SMC), and a secure digital card (Secure Digital, SD). , Flash Card, at least one disk storage device, flash memory device, or other volatile solid-state storage device.
  • non-volatile memory such as a hard disk, a memory, a plug-in hard disk, a smart memory card (SMC), and a secure digital card (Secure Digital, SD).
  • SD Secure Digital
  • Flash Card at least one disk storage device, flash memory device, or other volatile solid-state storage device.
  • each functional unit in each embodiment of the present application may be integrated in one processing unit. It is also possible that each unit physically exists alone, or two or more units may be integrated in one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated modules/units if implemented in the form of software functional units and sold or used as separate products, may be stored in a computer readable storage medium.
  • the present application implements all or part of the processes in the foregoing embodiments, and may also be implemented by computer readable instructions, which may be stored in a computer readable storage medium.
  • the computer readable instructions when executed by a processor, may implement the steps of the various method embodiments described above.
  • the computer readable instructions comprise computer readable instruction code, which may be in the form of source code, an object code form, an executable file or some intermediate form or the like.
  • the computer readable storage medium may include any entity or device capable of carrying the computer readable instruction code, a recording medium, a USB flash drive, a removable hard disk, a magnetic disk, an optical disk, a computer memory, a read only memory (ROM, Read- Only Memory), Random Access Memory (RAM), electrical carrier signals, telecommunications signals, and software distribution media. It should be noted that the content contained in the computer readable storage medium may be appropriately increased or decreased according to the requirements of legislation and patent practice in a jurisdiction, for example, in some jurisdictions, according to legislation and patent practice, computer readable The storage medium does not include an electrical carrier signal and a telecommunication signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于通信技术领域，提供了一种数据采集的方法、装置、存储介质及终端，包括：加载数据源管理界面，基于所述数据源管理界面配置数据源，以供采集者选择，所述数据源类型包括Oracle数据库或Hive数据库；加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。本申请实现了采集者自主的数据采集操作，提高了数据采集的效率，降低了数据采集的风险，支持对常规数据库Oracle或数据仓库Hive的采集，丰富了数据采集的类型。

Description

数据采集的方法、装置、存储介质及终端
本专利申请以2017年11月16日提交的申请号为201711140378.1，名称为“数据采集的方法、装置、存储介质及终端”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请属于通信技术领域，尤其涉及一种数据采集的方法、装置、存储介质及终端。
背景技术
现有的数据采集方式，主要采用后台工具，比如PLSQL对数据进行采集，是一种过程化语言，没有可视化的操作界面，需要熟悉技术的IT人员进入后台数据库中操作。采集过程需要预先查询并确认所需采集的数据，然后由IT人员手动完成下载，操作专业性强，不方便。其他非IT人员无法自行进行数据采集，也不能自主设计数据展示页面，数据采集效率低，对数据库的操作风险高，且仅仅支持Oracle数据库采集。由于现有的数据采集方式需要预先确认所需采集的数据，无法实现定时采集。
发明内容
本申请实施例提供了一种数据采集的方法、装置、存储介质及终端，以解决现有技术在进行数据采集时采集效率低、操作风险高、无法定时采集的问题。
本申请实施例提供了一种数据采集的方法，所述方法包括：
加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
进一步地，所述方法还包括：
将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
获取所述压缩文件在文件服务器中的统一资源定位符。
进一步地，在构建SQL模型，并根据所述SQL模型生成对应的报表模板之后，所述方法还包括：
设置所述报表模板的定时采集时间；
按照预设时间间隔检测当前系统时间是否满足所述定时采集时间；
若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句；
按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
进一步地，所述基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库包括：
在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；
其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。
进一步地，所述构建SQL模型，并根据所述SQL模型生成对应的报表模板包括：
通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；
通过所述报表模板管理界面获取输入的至少一个SQL语句；
保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口；
根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；
根据所选择的编辑控件对所述报表元素进行修改；
保存修改后的所述报表元素，生成报表模板。
进一步地，所述在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据包括：
当接收到数据采集指令时，获取报表模板的名称信息；
根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；
根据所选取的SQL语句从所设置的数据源中采集数据。
本申请实施例还提供了一种数据采集的装置，所述装置包括：
数据源配置模块，用于加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
报表模板配置模块，用于加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
数据采集模块，用于在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
进一步地，所述装置还包括：
数据保存模块，用于将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
数据发送模块，用于获取所述压缩文件在文件服务器中的统一资源定位符。
进一步地，所述数据源配置模块具体用于：
在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；
其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。
进一步地，所述报表模板配置模块还包括：
第一获取单元，用于通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；
第二获取单元，用于通过所述报表模板管理界面获取输入的至少一个SQL语句；
模型生成单元，用于保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口；
添加单元，用于根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；
编辑单元，用于根据所选择的编辑控件对所述报表元素进行修改；
模板生成单元，用于保存修改后的所述报表元素，生成报表模板。
进一步地，所述数据采集模块还包括：
名称获取单元，用于当接收到数据采集指令时，获取报表模板的名称信息；
选择提示单元，用于根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；
采集单元，用于根据所选取的SQL语句从所设置的数据源中采集数据。
进一步地，所述装置还包括：
定时设置模块，用于设置所述报表模板的定时采集时间；
定时采集模块，用于按照预设时间间隔检测当前系统时间是否满足所述定时采集时间，若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如下步骤：
加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
本申请实施例还提供了一种终端，所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
与现有技术相比，本申请实施例通过改进数据采集的操作流程，提供管理员和采集者可视化的操作界面；在进行数据采集前，首先加载数据源管理界面，根据管理员在所述数据源管理界面上的操作配置数据源，以供采集者选择，所述数据源类型包括Oracle数据库或Hive数据库；然后加载报表模板管理界面，根据采集者在所述报表模板管理界面上的操作设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；在进行数据采集时，则直接读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据；从而使得采集者可以自主地进行数据采集操作，提高了数据采集的效率，避免了进入后台数据库，降低了数据采集的风险，且不限于对常规数据库Oracle的采集，还支持对数据仓库Hive的采集，丰富了数据采集的类型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1是本申请实施例提供的数据采集的方法的第一实现流程图；
图2是本申请实施例提供的构建SQL模型，并根据所述SQL模型生成对应的报表模板的实现流程图；
图3是本申请实施例提供的数据采集的方法的第二实现流程图；
图4是本申请实施例提供的数据采集的方法的第三实现流程图；
图5是本申请实施例提供的数据采集的方法的第四实现流程图；
图6是本申请实施例提供的数据采集的装置的组成结构图；
图7是本申请实施例提供的终端的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1
图1示出了本申请实施例提供的数据采集的方法的第一实现流程。
在本申请实施例中，所述数据采集的方法应用于终端，包括但不限于计算机、服务器等，用于从数据库中读取并下载数据。
参阅图1，所述数据采集的方法包括：
在步骤S101中，加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库。
在这里，所述数据源管理界面为可视化的操作界面，用于辅助数据库管理 员创建可供选择的数据库的bi源信息，包括在所述数据源管理界面上，根据所述管理员的操作配置数据源的基础信息以及设置数据源的扩展属性。其中，所述基础信息包括但不限于数据源类型、数据源平台名称、数据源所属URL、数据源生效状态。所述数据源类型包括Oracle数据库或者Hive数据库，以及MyBatis3.2.3、staticReporet1.0、IBMCognos8.4、IBMCognos10.2、Pentaho saiku5等其他数据库类型。不同的数据源类型对应的扩展属性不相同，其中，对于Oracle数据库和Hive数据库，所需设置的扩展属性包括但不限于数据源驱动类型、数据源用户、数据源密码、数据源链接。
对完成配置的数据源，则在报表模板管理界面中增加对应的选择项，以供采集者在创建报表时选择所需的数据库，从而丰富了数据采集的类型，不仅支持对常规数据库Oracle的采集，还支持对数据仓库Hive的采集，实现了海量数据的采集方式。
在步骤S102中，加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板。
在这里，所述报表模板管理界面为可视化的操作界面，用于辅助采集者自主配置数据查询条件以及设计数据展示页面，即报表模板。当进行数据采集时，采集者依次触发管理标识、报表管理标识、新增报表或修改报表页面标识后，终端加载报表模板管理界面，进入可视化的编辑页面。采集者可在所述报表模板管理界面上完成对报表模板的自助设计，包括选择数据源、输入要采集数据的SQL语句，从而无需进入后台数据库。终端则根据用户的操作依次设置数据源，根据所输入的SQL语句构建SQL模型，最后根据所述SQL模型生成包含所述SQL语句所查询出来的字段信息的报表模板。
作为本申请的一个优选示例，图2示出了本申请实施例提供的步骤S102中所述的构建SQL模型，并根据所述SQL模型生成对应的报表模板的实现流程。参阅图2，所述构建SQL模型，并根据所述SQL模型生成对应的报表模板 包括：
在步骤S201中，通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息。
在这里，所述报表模板管理界面上包括SQL模型的标签信息输入框、类型信息输入框、SQL语句的输入窗口以及目录。所述标签信息为SQL模型的ID信息，用于区分不同的SQL模型；所述类型信息为目录的表现方式，包括表格和非表格。
在步骤S202中，通过所述报表模板管理界面获取输入的至少一个SQL语句。
在本申请实施例中，每一个SQL语句包括查询参数、别名。在输入窗口中写入的SQL语句，通过所述目录来展示，以方便用户查看。其中别名需要与SQL配置中的结果别名一样，如果没有别名，则需要使用大写字母。
示例性地，假设输入窗口中写入的SQL语句包括：
SELECT R.NAME AS报表名称，L.OPR_USERNAME AS用户名，r.IS_VALID AS是否有效，COUNT(L.ID_REPORT_OPR_LOG)AS访问量FROM XXX
此时，所述目录中的内容包括四条，分别为：
NAME，报表名称；
OPR_USERNAME，用户名；
IS_VALID，是否有效；
COUNT(L.ID_REPORT_OPR_LOG)，访问量。
在步骤S203中，保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口。
在完成SQL语句的配置后，若检测到保存指令时，则关联存储所述标签信息、类型信息以及SQL语句，生成以所述标签信息命名的SQL模型，然后进入可视控件编辑窗口。在本申请实施例中，所述可视控件编辑窗口用于采集者 自主设计报表模板，其中包括多个不同功能的控件，采集者点击到相应的控件会弹出操作窗口。可选地，常用控件包括但不限于From表单控件、单行文本控件、插入时间控件、插入按钮控件、插入\编辑表格控件、保存控件等。在所述可视控件编辑窗口中，采集者可以完成对报表模板的自主编辑操作。
在步骤S204中，根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素。
在这里，所述报表元素为报表模板中的字段及其字段值输入框。终端首先获取采集者通过From表单控件输入的SQL模型的标签信息，然后根据标签信息获取对应的SQL模型及已配置的SQL语句，最后根据所述SQL语句在所述可视控件编辑窗口中展示对应的字段及其字段值输入框。
在步骤S205中，根据所选择的编辑控件对所述报表元素进行修改。
不同的编辑控件能够实现不同的编辑功能。示例性地，如前文所述，若检测到单行文本控件被选中时，则弹出操作窗口，以提示用户定义报表元素的修改方式。在所述操作窗口中，包括别名、名称、字符宽度、类型输入框以及确认标识。其中，所述名称用于指定对哪个报表元素进行编辑，需要与所配置的SQL语句的查询参数一致；所述字符宽度用于控制可视控件编辑窗口中字段值输入框的长度，所述类型用于定义输入框内容的格式，比如文本、图片等。若检测到采集者触发所述确认标识时，则将所述操作窗口上所定义的修改方式应用到报表元素上进行预览。
在步骤S206中，保存修改后的所述报表元素，生成报表模板。
当完成对所有报表元素的修改后，若检测到采集者触发所述保存控件时，则保存所述可视控件编辑窗口中当前所显示的报表元素，即应用修改方式后的报表元素，生成对应的报表模板。所述报表模板应当与所述可视控件编辑窗口所显示的报表元素一致。
上述实施例实现了可视化的报表模板编辑过程，采集者可以自主地设置数据采集的SQL语句以及设置数据展示的报表模板，无需IT人员的参与，也无 需进入数据库，有利于提高数据采集效率，降低对数据库的操作风险。
在步骤S103中，在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
在完成数据源选择和报表模板的设计之后，采集者可以随时进行数据采集。终端依据所构建的SQL模型中的SQL语句从所选择的数据源中采集数据。示例性地，如所选择的数据源为Hive数据源时，则根据所配置的数据源也就是Hive数据库的连接串信息采集数据。采集者每次数据采集时无需再找数据库管理者或者IT人员进行操作，有利于降低数据库操作风险，提高数据采集的效率。
进一步地，现有技术在进行数据采集时，只能按照SQL模型中的所有SQL语句采集全部的字段。而生成的报表模板是可以提供给多方业务的采集者使用的，报表模板中的字段并非全部都是采集者所需的。对不同的业务方采集者，有些字段可能是无实际意义的，现有技术采集全部字段，明显增加了采集者查看数据的压力。鉴于此，基于图1提供的数据采集的方法的第一实现流程的基础上，提出本申请实施例提供的数据采集的方法的第二实现流程。
如图3所示，是本申请实施例提供的数据采集的方法的第二实现流程图，所述步骤S103在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据包括：
在步骤S1031中，当接收到数据采集指令时，获取报表模板的名称信息。
在这里，所述名称信息为报表模板的ID信息，用于区分不同的报表模板，比如车险批改清单、寿险月售清单等。
在步骤S1032中，根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面。
在本申请实施例中，不同的报表模板可以共享相同的SQL模型。每一个报表模板都有对应的名称信息，以及已经配置好的一个或多个SQL模型。在进行 数据采集时，根据所获取的名称信息，查询对应的报表模板及其已配置的SQL模型，得到所有SQL语句，从而得到报表模板设置过程中所定义的所有字段，输出所述SQL语句的选择界面，以供所述采集者选取本次数据采集所需的SQL语句。
在步骤S1033中，根据所选取的SQL语句从所设置的数据源中采集数据。
在所述选择界面上，每一个SQL语句对应的字段前有一个复选框，采集者可通过勾选所述复选框完成对字段的选取。终端根据所述勾选操作对SQL语句的指定标志位进行置位，以将选取的字段与未选取的字段区分开来。在完成字段的选取之后，当检测到查询或下载指令时，遍历所有的SQL语句，查找指定标志位已置位的SQL语句，得到所有选取的SQL语句，并根据所选取的SQL语句完成数据采集。
本申请实施例通过添加动态选取字段的功能，使得采集者可以在采集或下载数据之前再次从报表模板已配置的SQL语句中选取所需采集的字段，有效地减少了采集出来的无效数据，也减轻了采集者查看数据的压力。
进一步地，基于图1提供的数据采集的方法的第一实现流程的基础上，提出本申请实施例提供的数据采集的方法的第三实现流程。
如图4所示，是本申请实施例提供的数据采集的方法的第三实现流程图，所述方法还包括：
在步骤S104中，将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中。
示例性地，所述指定文档可以为excel文档，所述压缩文件可以为zip文件。采集到的数据会写入到excel文档中，然后压缩成zip文件，保存至文件服务器中。
在步骤S105中，获取所述压缩文件在文件服务器中的统一资源定位符。
在这里，所述统一资源定位符为压缩文件在文件服务器中的访问地址。压 缩文件保存至文件服务器之后，文件服务器根据存放地址生成统一资源定位符URL，并发送至终端。终端获取所述统一资源定位符，采用预设的通信方式发送至采集者，使得采集者可以通过所述统一资源定位符访问、查看所采集到的数据，从而简化了采集者的查看操作，且通过设置专门的文件服务器来保存采集到的数据，确保了数据的完整性，即使在数据采集量过大时也可保证数据不会丢失。可选地，所述预设的通信方式可以为电子邮件。
进一步地，现有技术进行数据采集时，采集过程需要预先查询并确认所需采集的数据，然后由IT人员手动完成下载，由于存在预先查询和确认的环节，使得现有技术无法实现定时采集。为解决上述技术问题，基于图1提供的数据采集的方法的第一实现流程的基础上，提出本申请实施例提供的数据采集的方法的第四实现流程。
如图5所示，是本申请实施例提供的数据采集的方法的第四实现流程图，所述方法还包括：
在步骤S501中，加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库。
在步骤S502中，加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板。
其中，步骤S501、步骤S502与图1实施例中所述的步骤S101、S102相同，具体请参见上述实施例的叙述，此处不再赘述。
在根据所述SQL模型生成对应的报表模板之后，所述方法还包括：
在步骤S503中，设置所述报表模板的定时采集时间。
在这里，定时采集是针对采集周期为天、周或月的指定时间点去执行数据采集。因此，所述定时采集时间包括所述指定时间点、采集周期，此外，还包括采集开始时间和采集结束时间。所述定时采集时间应当与每一个报表模板一 一对应。所设置的定时采集时间会保存至数据库中，以备定时任务检测。
在步骤S504中，按照预设时间间隔检测当前系统时间是否满足所述定时采集时间。
在这里，Oracle中job任务有定时执行的功能，能够在指定的时间点或者每天的某个时间点自行执行任务。在本申请实施例中，定时采集任务可以选用job任务。所述job任务按照预设时间间隔去检测数据库中所存储的定时采集时间。若当前系统时间在所述定时采集时间范围内时，表明定时时间到达，触发数据采集任务，执行步骤S505。可选地，所述预设时间间隔可以为5分钟。
在步骤S505中，读取所述SQL模型中的SQL语句。
在步骤S506中，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
综上所述，基于改进后的数据采集流程提供的报表模板管理界面和可视化操作，本申请实施例进一步在所述报表模板管理界面上增添对数据采集操作的定时设置功能，并增加定时任务检测所设置的定时采集时间，从而实现了对数据的定时采集，解决了现有技术无法实现数据定时采集的问题，有效地提高了数据采集的效率。
应理解，在上述实施例中，各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例2
图6示出了本申请实施例提供的数据采集的装置的组成结构图，为了便于说明，仅示出了与本申请实施例相关的部分。
在本申请实施例中，所述数据采集的装置用于实现上述图1、图2、图3、图4、图5实施例中所述的数据采集的方法，可以是内置于终端的软件单元、硬件单元、软硬件结合的单元，所述终端包括但不限于计算机、服务器等。
参阅图6，所述数据采集的装置包括：
数据源配置模块61，用于加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
报表模板配置模块62，用于加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
数据采集模块63，用于在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
可选地，所述装置还包括：
数据保存模块64，用于将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
数据发送模块65，用于获取所述压缩文件在文件服务器中的统一资源定位符。
可选地，所述数据源配置模块61具体用于：
在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；
其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。
可选地，所述报表模板配置模块62还包括：
第一获取单元621，用于通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；
第二获取单元622，用于通过所述报表模板管理界面获取输入的至少一个SQL语句；
模型生成单元623，用于保存所述标签信息、类型信息以及SQL语句，生 成SQL模型并进入可视控件编辑窗口；
添加单元624，用于根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；
编辑单元625，用于根据所选择的编辑控件对所述报表元素进行修改；
模板生成单元626，用于保存修改后的所述报表元素，生成报表模板。
可选地，所述数据采集模块63还包括：
名称获取单元631，用于当接收到数据采集指令时，获取报表模板的名称信息；
选择提示单元632，用于根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；
采集单元633，用于根据所选取的SQL语句从所设置的数据源中采集数据。
可选地，所述装置还包括：
定时设置模块66，用于设置所述报表模板的定时采集时间；
定时采集模块67，用于按照预设时间间隔检测当前系统时间是否满足所述定时采集时间，若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
需要说明的是，本申请实施例中的各模块/单元可以用于实现上述方法实施例中的全部技术方案，其具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
实施例3
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机可读指令，该计算机可读指令被处理器执行时实现实施例1中数据采集的方法，为避免重复，这里不再赘述。或者，该计算机可读指令被处理器执行时实现实施例2中数据采集的装置中各模块/单元的功能，为避免重复，这里不再赘述。
实施例4
图7是本申请实施例提供的一种终端的示意图，所述终端包括但不限于服务器、移动终端。如图7所示，该实施例的终端7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机可读指令72。所述处理器70执行所述计算机可读指令72时实现上述数据采集的方法实施例中的步骤，例如图1所示的步骤S101至S103、图2实施例中所述的步骤S201至S206、图3实施例中所述的步骤S1031至S1033、图4实施例所述的步骤S104至S105以及图5实施例所述的步骤S501至S505；或者，所述处理器70执行所述计算机可读指令72时实现上述数据采集的装置实施例中各模块/单元的功能，例如图6所示模块61至67的功能。
示例性的，所述计算机可读指令72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请的数据处理过程。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令72在所述终端7中的执行过程。例如，所述计算机可读指令72可以被分割成数据源配置模块、报表模板配置模块、数据采集模块，各模块具体功能如下：
数据源配置模块，用于加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
报表模板配置模块，用于加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应 的报表模板；
数据采集模块，用于在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
所述终端7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端7的示例，并不构成对终端7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分。
所述存储器71可用于存储所述计算机可读指令和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机可读指令和/或模块，以及调用存储在存储器内的数据，实现所述终端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字卡(Secure Digital，SD)、闪存卡(Flash Card)，至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机可读指令包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种数据采集的方法，其特征在于，所述方法包括：
    加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
    加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
    在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
  2. 如权利要求1所述的数据采集的方法，其特征在于，所述方法还包括：
    将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
    获取所述压缩文件在文件服务器中的统一资源定位符。
  3. 如权利要求1所述的数据采集的方法，其特征在于，在构建SQL模型，并根据所述SQL模型生成对应的报表模板之后，所述方法还包括：
    设置所述报表模板的定时采集时间；
    按照预设时间间隔检测当前系统时间是否满足所述定时采集时间；
    若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句；
    按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
  4. 如权利要求1至3任一项所述的数据采集的方法，其特征在于，所述基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库包括：
    在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；
    其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、 数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。
  5. 如权利要求1至3任一项所述的数据采集的方法，其特征在于，所述构建SQL模型，并根据所述SQL模型生成对应的报表模板包括：
    通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；
    通过所述报表模板管理界面获取输入的至少一个SQL语句；
    保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口；
    根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；
    根据所选择的编辑控件对所述报表元素进行修改；
    保存修改后的所述报表元素，生成报表模板。
  6. 如权利要求1至3任一项所述的数据采集的方法，其特征在于，所述在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据包括：
    当接收到数据采集指令时，获取报表模板的名称信息；
    根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；
    根据所选取的SQL语句从所设置的数据源中采集数据。
  7. 一种数据采集的装置，其特征在于，所述装置包括：
    数据源配置模块，用于加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
    报表模板配置模块，用于加载报表模板管理界面，基于所述报表管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
    数据采集模块，用于在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展 示所采集到的数据。
  8. 如权利要求7所述的数据采集的装置，其特征在于，所述装置还包括：
    数据保存模块，用于将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
    数据发送模块，用于获取所述压缩文件在文件服务器中的统一资源定位符。
  9. 一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，该计算机可读指令被处理器执行时实现如下步骤：
    加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
    加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
    在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
  10. 如权利要求9所述的计算机可读存储介质，其特征在于，所述计算机可读指令被处理器执行时还实现如下步骤：
    将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
    获取所述压缩文件在文件服务器中的统一资源定位符。
  11. 如权利要求9所述的计算机可读存储介质，其特征在于，在构建SQL模型，并根据所述SQL模型生成对应的报表模板之后，还包括：
    设置所述报表模板的定时采集时间；
    按照预设时间间隔检测当前系统时间是否满足所述定时采集时间；
    若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句；
    按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
  12. 如权利要求9至11任一项所述的计算机可读存储介质，其特征在于，所述基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库，包括：
    在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；
    其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。
  13. 如权利要求9至11任一项所述的计算机可读存储介质，其特征在于，所述构建SQL模型，并根据所述SQL模型生成对应的报表模板，包括：
    通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；
    通过所述报表模板管理界面获取输入的至少一个SQL语句；
    保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口；
    根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；
    根据所选择的编辑控件对所述报表元素进行修改；
    保存修改后的所述报表元素，生成报表模板。
  14. 如权利要求9至11任一项所述的计算机可读存储介质，其特征在于，所述在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，包括：
    当接收到数据采集指令时，获取报表模板的名称信息；
    根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；
    根据所选取的SQL语句从所设置的数据源中采集数据。
  15. 一种终端，所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读 指令时实现如下步骤：
    加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；
    加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；
    在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
  16. 如权利要求15所述的终端，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；
    获取所述压缩文件在文件服务器中的统一资源定位符。
  17. 如权利要求15所述的终端，其特征在于，构建SQL模型，并根据所述SQL模型生成对应的报表模板之后，还包括：
    设置所述报表模板的定时采集时间；
    按照预设时间间隔检测当前系统时间是否满足所述定时采集时间；
    若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句；
    按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。
  18. 如权利要求15至17任一项所述的终端，其特征在于，所述基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库，包括：
    在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；
    其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、 数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。
  19. 如权利要求15至17任一项所述的终端，其特征在于，所述构建SQL模型，并根据所述SQL模型生成对应的报表模板，包括：
    通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；
    通过所述报表模板管理界面获取输入的至少一个SQL语句；
    保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口；
    根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；
    根据所选择的编辑控件对所述报表元素进行修改；
    保存修改后的所述报表元素，生成报表模板。
  20. 如权利要求15至17任一项所述的终端，其特征在于，所述在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，包括：
    当接收到数据采集指令时，获取报表模板的名称信息；
    根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；
    根据所选取的SQL语句从所设置的数据源中采集数据。
PCT/CN2017/112778 2017-11-16 2017-11-24 数据采集的方法、装置、存储介质及终端 WO2019095424A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711140378.1 2017-11-16
CN201711140378.1A CN107958028A (zh) 2017-11-16 2017-11-16 数据采集的方法、装置、存储介质及终端

Publications (1)

Publication Number Publication Date
WO2019095424A1 true WO2019095424A1 (zh) 2019-05-23

Family

ID=61964768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/112778 WO2019095424A1 (zh) 2017-11-16 2017-11-24 数据采集的方法、装置、存储介质及终端

Country Status (2)

Country Link
CN (1) CN107958028A (zh)
WO (1) WO2019095424A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506937A (zh) * 2020-10-30 2021-03-16 福建亿能达信息技术股份有限公司 一种数据库模型的在线配置方法、装置、设备和介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829653A (zh) * 2018-05-04 2018-11-16 山东中创软件工程股份有限公司 一种报表的生成方法、装置、设备及介质
CN109101519B (zh) * 2018-05-09 2021-11-23 广东辰宜信息科技有限公司 信息采集系统和异构信息融合系统
CN108768791B (zh) * 2018-07-04 2021-08-10 上海浪潮云计算服务有限公司 一种信息采集配置管理系统及方法
CN112347749A (zh) * 2019-08-06 2021-02-09 南通深南电路有限公司 一种数据处理的方法、数据处理设备及数据处理系统
CN110502515B (zh) * 2019-08-15 2023-06-20 中国平安财产保险股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN110619015A (zh) * 2019-09-20 2019-12-27 中国银行股份有限公司 支持大表的数据库系统的数据自动提取方法及系统
CN110866005A (zh) * 2019-09-26 2020-03-06 上海东方富联科技有限公司 一种物联网数据采集管理方法及系统、存储介质及终端
CN111008211B (zh) * 2019-12-06 2023-04-11 北京百分点科技集团股份有限公司 可视化接口的创建方法、装置、可读存储介质及电子设备
CN113010587A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 数据源配置方法、装置、终端、服务器及介质
CN113127547A (zh) * 2019-12-31 2021-07-16 新奥数能科技有限公司 一种数据处理方法、装置、智能终端及存储介质
CN111611444B (zh) * 2020-04-22 2023-05-23 国家卫星气象中心(国家空间天气监测预警中心) 一种极轨气象卫星通用故障诊断系统
CN111611204B (zh) * 2020-04-30 2024-03-01 中国舰船研究设计中心 一种分布式任务进度数据采集与分析方法
CN111797178A (zh) * 2020-07-06 2020-10-20 国网安徽省电力有限公司 一种基于报表工具的数据采集与处理方法
CN112559281A (zh) * 2020-12-07 2021-03-26 恩亿科(北京)数据科技有限公司 一种基于配置的告警路由系统和方法
CN113377851A (zh) * 2021-06-11 2021-09-10 上海妙一生物科技有限公司 一种数据处理系统及方法
CN113626514B (zh) * 2021-10-12 2022-02-25 中国光大银行股份有限公司 一种自动化的数据加载方法及装置
CN114780497B (zh) * 2022-04-22 2023-02-24 湖南长银五八消费金融股份有限公司 批量文件处理方法、装置、计算机设备、介质和程序产品
CN115033620A (zh) * 2022-06-29 2022-09-09 平安银行股份有限公司 自动化统计争议产能报表的方法、装置、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527870B2 (en) * 2004-12-23 2013-09-03 Oracle International Corporation Flexible electronic document that receives data insertion from one or more data sources
CN106407170A (zh) * 2016-09-30 2017-02-15 上海冰穹网络科技有限公司 数据报表快速生成方法及系统
CN106528514A (zh) * 2016-10-31 2017-03-22 山东鲁能软件技术有限公司 一种报表生成系统及生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204428A1 (en) * 2003-08-06 2009-08-13 Simon Barker Occupational health data system and method
US20140330705A1 (en) * 2013-05-01 2014-11-06 Bank Of America Corporation System and Method for Assembling Credit Data
CN104360992A (zh) * 2014-12-02 2015-02-18 福建工程学院 一种基于excel平台构建的web报表设计系统及实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527870B2 (en) * 2004-12-23 2013-09-03 Oracle International Corporation Flexible electronic document that receives data insertion from one or more data sources
CN106407170A (zh) * 2016-09-30 2017-02-15 上海冰穹网络科技有限公司 数据报表快速生成方法及系统
CN106528514A (zh) * 2016-10-31 2017-03-22 山东鲁能软件技术有限公司 一种报表生成系统及生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506937A (zh) * 2020-10-30 2021-03-16 福建亿能达信息技术股份有限公司 一种数据库模型的在线配置方法、装置、设备和介质

Also Published As

Publication number Publication date
CN107958028A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
WO2019095424A1 (zh) 数据采集的方法、装置、存储介质及终端
CN108519967B (zh) 图表可视化方法、装置、终端和存储介质
CN107092625B (zh) 数据配置方法、数据处理方法及装置
WO2019134340A1 (zh) 薪资计算方法、应用服务器及计算机可读存储介质
US9069818B2 (en) Textual search for numerical properties
US20150205847A1 (en) Database generation from a spreadsheet
CA2841815A1 (en) Method for associating third party content with online document signing
CN115544183B (zh) 数据可视化方法、装置、计算机设备和存储介质
US11442930B2 (en) Method, apparatus, device and storage medium for data aggregation
CN108959230B (zh) 一种生成报表模板的方法和装置
WO2019179012A1 (zh) 文本数据处理方法、装置、设备及计算机可读存储介质
CN109617944B (zh) Web参数管理方法、装置、计算机存储介质及设备
US8612451B1 (en) Searching for data structures
CN111930965B (zh) 一种用于知识图谱的本体结构的构建方法及系统
CN110704635B (zh) 一种知识图谱中三元组数据的转换方法及装置
CN112541693A (zh) 绩效数据生成方法、系统、电子设备及存储介质
CA2839571A1 (en) Data driven synthesizer
CN116956381A (zh) 一种bim项目数据定制化表单配置方法及装置
CN115905371A (zh) 数据趋势分析方法、装置、设备及计算机可读存储介质
WO2019085354A1 (zh) 基于Excel系统界面的数据库联动方法、电子装置及存储介质
CN113128184A (zh) 针对多人协同编辑文档的文档内容筛选方法及装置
US20170228450A1 (en) Analytics Enablement for Engineering Records
CN112328668A (zh) 一种数据可视化实现方法、装置、设备及存储介质
US20170031881A1 (en) Method for creating web program and corresponding table interface according to column comment
CN112711936A (zh) 信息显示方法、装置、设备和存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.08.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17932036

Country of ref document: EP

Kind code of ref document: A1