WO2022095699A1 - 底层数据管理方法、系统及计算机可读存储介质 - Google Patents

底层数据管理方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
WO2022095699A1
WO2022095699A1 PCT/CN2021/124819 CN2021124819W WO2022095699A1 WO 2022095699 A1 WO2022095699 A1 WO 2022095699A1 CN 2021124819 W CN2021124819 W CN 2021124819W WO 2022095699 A1 WO2022095699 A1 WO 2022095699A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
file
linked list
matching
Prior art date
Application number
PCT/CN2021/124819
Other languages
English (en)
French (fr)
Inventor
吴名先
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2022095699A1 publication Critical patent/WO2022095699A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting

Definitions

  • the present application relates to the technical field of big data processing, belongs to the application scenario of managing underlying metadata in a smart city, and in particular, relates to a method, system and computer-readable storage medium for underlying data management.
  • HDFS Hadoop Distributed File System
  • Data in HDFS is stored in units of data blocks, such as data warehouse tool hive or columnar storage framework hbase.
  • the data frame is encapsulated on the basis of HDFS to realize the function of data storage, and the management of the stored data is also realized based on the big data frame.
  • Embodiments of the present application provide an underlying data management method, system, and computer-readable storage medium, which aim to solve the problem that the prior art method has insufficient precision in managing distributed storage data.
  • an embodiment of the present application provides an underlying data management method, which includes:
  • the linked list invocation information is displayed for the user to manage the data information stored in the data storage server according to the linked list invocation information.
  • an embodiment of the present application provides a bottom-level data management system, which includes a user terminal and a data storage server, where the user terminal includes an acquisition request sending unit, an editing file parsing unit, a value group assembling unit, and an attribute information encapsulating unit and a linked list call information display unit, the data storage server includes an edit file feedback unit;
  • an acquisition request sending unit configured to send an edit file acquisition request to the data storage server to acquire the edit file fed back by the data storage server according to the edit file acquisition request if a preset time point is reached;
  • an edit file feedback unit configured to acquire an edit file matching the edit file acquisition request and feed it back to the user terminal if an edit file acquisition request is received from the user terminal;
  • an editing file parsing unit configured to parse the editing file according to a preset file parsing rule to obtain a plurality of numerical value groups in the editing file
  • a numerical value group assembling unit used for assembling the plurality of numerical value groups to obtain a corresponding data linked list
  • an attribute information encapsulation unit configured to encapsulate the attribute information in each of the data linked lists according to a preset encapsulation processing rule to generate linked list call information matching each of the data linked lists;
  • the linked list calling information display unit is configured to display the linked list calling information, so that the user can manage the data information stored by the data storage server according to the linked list calling information.
  • an embodiment of the present application further provides a bottom-level data management system, which includes a user terminal and a data storage server, where the user terminal includes a first memory, a first processor, and a system stored on the first memory and stored in the first memory.
  • a first computer program executable on the first processor, the data storage server comprising a second memory, a second processor, and a first computer program stored on the second memory and executable on the second processor A computer program, the first processor implements a low-level data management method corresponding to the user terminal when executing the first computer program, and the second processor implements the data management method when executing the second computer program The underlying data management method corresponding to the storage server.
  • embodiments of the present application further provide a computer-readable storage medium, wherein the computer-readable storage medium stores a first computer program or a second computer program, and when the first computer program is executed by the first processor When the second computer program is executed by the second processor, the underlying data management method corresponding to the data storage server is implemented.
  • Embodiments of the present application provide an underlying data management method, system, and computer-readable storage medium.
  • Send an edit file acquisition request to obtain the edit file fed back by the data storage server parse the edit file to obtain multiple value groups and then assemble to obtain a data linked list, and encapsulate the attribute information in each data linked list to obtain the linked list of each data linked list
  • Calling information displaying the calling information of the linked list, so that the user can manage the data information in the storage server through the calling information of the linked list.
  • the data linked list contains the status information of a data block corresponding to the data linked list at different times
  • the data block contains the underlying data
  • the underlying data stored in the data storage server can be realized by calling the information in the data linked list
  • FIG. 1 is a schematic flowchart of a bottom-level data management method provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of an application scenario of the underlying data management method provided by an embodiment of the present application
  • FIG. 3 is a schematic diagram of a sub-flow of the underlying data management method provided by the embodiment of the present application.
  • FIG. 4 is a schematic diagram of another sub-flow of the underlying data management method provided by the embodiment of the present application.
  • FIG. 5 is a schematic diagram of another sub-flow of the underlying data management method provided by the embodiment of the present application.
  • FIG. 6 is a schematic diagram of another sub-flow of the underlying data management method provided by the embodiment of the present application.
  • FIG. 7 is a schematic diagram of another sub-flow of the underlying data management method provided by the embodiment of the present application.
  • FIG. 8 is a schematic block diagram of an underlying data management system provided by an embodiment of the present application.
  • FIG. 9 is a schematic block diagram of a computer device according to an embodiment of the present application.
  • FIG. 1 is a schematic flowchart of a bottom-level data management method provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of an application scenario of the bottom-level data management method provided by an embodiment of the present application.
  • the bottom-level data management method is applied to
  • the underlying data management system 10 includes a user terminal 20 and a data storage server 30.
  • the method is executed by application software installed in the user terminal 20 and the data storage server 30.
  • the user terminal 20 and the data storage server 30 are executed.
  • a communication connection is established to realize the transmission of data information
  • the user terminal 20 is a terminal device used to manage the underlying metadata in the data storage server 30, such as a desktop computer, a notebook computer, a tablet computer or a mobile phone, etc.;
  • the data storage server 30 That is, it is a server side used to establish a communication connection with the user terminal 20 to realize data information transmission.
  • the data storage server 30 may be a distributed data storage server constructed within the enterprise, and the user of the user terminal 20 may be the operation and maintenance personnel of the enterprise. .
  • FIG. 2 only shows that the data storage server 30 performs information transmission with one user terminal 20. In practical applications, the data storage server 30 can also establish communication connections with multiple user terminals 20 at the same time to realize data information transmission. As shown in FIG. 1, the method includes steps S110-S160.
  • the user terminal sends an edit file acquisition request to the data storage server to acquire the edit file fed back by the data storage server according to the edit file acquisition request.
  • the user terminal sends an edit file acquisition request to the data storage server to acquire the edit file fed back by the data storage server according to the edit file acquisition request.
  • the data information in the data storage server is stored in the form of data blocks.
  • the data block is the underlying data stored in the data storage server.
  • the client can send instruction information to modify the data blocks stored in the data storage server. , editing and other processing operations, the modification, editing and other processing operations performed on the data block will be recorded in the editing file, and the data blocks stored in the data storage server will change all the time.
  • the change of the stored data blocks is convenient for the management of the data blocks, and a preset time point can be set, and when the preset time point is reached, the user terminal sends an edit file acquisition request to the data storage server, and through the data storage server.
  • the preset time point can also be a time period, and the editing files can be obtained periodically according to the time points in the time period to improve the accuracy of the data blocks.
  • the efficiency of management that is, the time point in the time period is reached, the editing file acquisition request is periodically sent to the data storage server.
  • the data storage server receives an edit file acquisition request from the user terminal, acquire an edit file matching the edit file acquisition request and feed it back to the user terminal;
  • the data storage server After receiving the edit file acquisition request from the user terminal, the data storage server can acquire the edit file matching the edit file acquisition request and feed it back to the user terminal, wherein the edit file fed back to the user terminal is a binary file.
  • step S120 includes sub-steps S121 , S122 , S123 and S124 .
  • processing operations such as modification and editing of data blocks in the data storage server are all performed in the namespace of the management file system constructed in the data storage server, and the namespace is the random access memory of the data storage server.
  • the edit data acquisition request may include the identification information of the namespace or the identification information of the edit file.
  • the namespace that matches the edit file acquisition request may be determined as the target namespace first. , the number of target namespaces can be one or more.
  • a corresponding mirror namespace is created in the random access memory of the data storage server according to the target namespace, and there is a one-to-one correspondence between the target namespace and the mirror namespace.
  • a mirror namespace with the identification information "Secondary NameNode01" can be created as the mirror namespace corresponding to the target namespace.
  • target edit file stored in the target namespace and generate the corresponding file copy, synchronously store the file copy in the mirror namespace corresponding to the target namespace, and obtain the file copy from the mirror namespace as an edit file and feed it back to the user terminal. Since the target edit file is not taken directly from within the target namespace, it avoids impact on ongoing processing operations within the target namespace.
  • the user terminal parses the edited file according to a preset file parsing rule to obtain multiple value groups in the edited file.
  • the user terminal parses the edited file according to a preset file parsing rule to obtain multiple pieces of record information in the edited file.
  • the file parsing rule includes target conversion format and key field information. Since the editing file obtained by the user terminal is a binary file, in order to obtain the specific information recorded in the binary file, the editing file can be parsed through the file parsing rules to obtain multiple value groups contained in the editing file.
  • a rule is a specific rule used for parsing and processing an edited file.
  • step S130 includes sub-steps S131 , S132 and S133 .
  • the target conversion format is the format information for converting the editing file.
  • the editing file can be converted according to the target conversion format to obtain a parsing file that matches the target conversion format.
  • the target conversion format can be txt format or xml format.
  • the parsing file is a file in txt format or a file in xml format
  • the parsing file includes multiple numerical segments, and each numerical segment includes numerical information corresponding to multiple fields.
  • Each value segment in the parsing file can be split according to the key field information to obtain the corresponding value group.
  • Each value group is composed of key value information and attribute information, where the key value information is the sum of The value information that matches the key field information, and the attribute information is the value information corresponding to other fields.
  • the specific steps of splitting the value segment include: a. obtaining key value information matching the key field information in each value segment of the parsed file according to the key field information; b. The information in the value segment that does not match the key field information is used as attribute information; c. Combining the key value information and the attribute information to obtain a value group matching each of the value segments.
  • the key field information may include two fields, serial number and modification time.
  • Each obtained value group is composed of key value information and attribute information.
  • the key value information can be represented by key, and the attribute information can be represented by value.
  • the key value information includes serial number information and modification time information, then The serial number in the key field information can be represented by key_number, and the modification time can be represented by key_time; the attribute information can include data block size, storage path, processing client, processing instruction type and other information.
  • a value storage container can be created to store the obtained value group.
  • the value storage container can be a map container. Storing the value group in the value storage container can easily obtain the value group from it to improve the efficiency of obtaining the value group. Improves the speed of subsequent processing of groups of values.
  • the user terminal assembles the multiple value groups to obtain a corresponding data link list.
  • the user terminal assembles the plurality of value groups to obtain a corresponding data link list.
  • a data linked list can be obtained by assembling a plurality of value groups according to the information recorded in the value group, wherein the key value information of each value group includes serial number information and modification time information; the serial number information can be used for It reflects the data block pointed to by the value group. If the two value groups contain the same serial number information, it means that the two value groups point to the same data block.
  • the corresponding data can be obtained by assembling and sorting the value groups corresponding to the same data block.
  • a linked list that is, each data linked list corresponds to a data block
  • the information recorded in the data linked list can be used to reflect the change of a data block corresponding to the data linked list, and data at different times can be obtained based on the data linked list
  • the state information of the block is convenient for the user to manage the data block, that is, the management of the underlying data stored by the data storage server is realized.
  • step S140 includes sub-steps S141 and S142.
  • S141 Determine the data block pointed to by each of the value groups according to the serial number information of each of the value groups, and obtain a value group that points to the same data block; S142, pair the pointers according to the modification time information of each of the value groups The value groups of the same data block are sorted and assembled to generate a data linked list corresponding to each of the data blocks.
  • the data block pointed to by each value group can be determined according to the serial number information of each value group, the value group that points to the same data block is obtained, and the value groups are sorted and assembled according to the modification time information.
  • the value groups of the data block are sorted and assembled in an end-to-end manner, and the corresponding data linked list is generated.
  • the sorting positions in the data linked list are arranged in sequence, and the value groups of the same data block are all stored in the same data linked list.
  • step S143 is further included after step S142 .
  • a linked list storage container can also be created in the data storage server, and the generated data linked list can be read-only stored through the linked list storage container, so as to increase the security of the data linked list storage and improve the data linked list stored in the linked list storage container. The speed at which the information in the reading is performed.
  • the user terminal encapsulates the attribute information in each of the data linked lists according to a preset encapsulation processing rule to generate linked list call information matching each of the data linked lists.
  • the user terminal encapsulates the attribute information in each of the data linked lists according to a preset encapsulation processing rule to generate linked list call information matching each of the data linked lists.
  • the encapsulation processing rule is a specific rule for encapsulating the attribute information in the obtained data linked list.
  • the linked list call information corresponding to the data linked list can be generated, and the linked list call information can contain attributes.
  • the item information of one dimension in the information, and the linked list call information can also include a combination of item information of multiple dimensions in the attribute information.
  • the information in the corresponding data linked list can be called through the linked list call information, and the data information can be called based on the called information. Specifically, the information in the data linked list can be called through the item information of any dimension contained in the linked list calling information.
  • the encapsulation processing rule includes a plurality of encapsulation items and item filtering conditions.
  • step S150 includes sub-steps S151 , S152 and S153 .
  • S151 Acquire item information corresponding to the packaged item in each of the data linked lists according to the packaged item
  • S152 Screen the packaged items that match the item information of each of the data linked lists according to the item filter condition , to obtain the target encapsulation item that satisfies the item screening conditions in each of the data linked lists
  • S153 encapsulate the target item information that matches the target encapsulated item of the data linked list in each of the data linked lists, to Obtain linked list call information matching each of the data linked lists.
  • the encapsulation processing rules include multiple encapsulation items and item filter conditions; the encapsulation item is the specific item that encapsulates the item information corresponding to the attribute information in the data linked list, and the number of encapsulated items can be less than or equal to the attribute information in the data linked list.
  • the number of items, and the item filtering condition is the condition for filtering the packaged items to obtain the packaged items that better reflect the characteristics of the data list as the target packaged items.
  • the target encapsulation item that satisfies the item screening condition, and based on the target encapsulation item, the corresponding target item information in the corresponding data linked list is encapsulated, and the linked list calling information corresponding to the corresponding data linked list is obtained.
  • the encapsulated item includes the size of the data block, the storage path, the processing client and the processing instruction type, the corresponding item information in a certain data linked list is obtained as shown in Table 1.
  • the project filter condition is that the probability of occurrence of numerical values in the project information matching the package project is not greater than 50%, then the project information matching the size of the data block can be calculated to contain four numerical values, and the probability of occurrence of each value is 25. %, the item information matching the storage path contains four values, each with a 25% probability of occurrence, and the item information matching the processing client contains two values, each with a 50% probability of occurrence , the item information that matches the processing instruction type contains only one value, and the probability of occurrence is 100%.
  • the corresponding The target encapsulation items are the data block size, storage path, and processing client. After the corresponding item information in the data linked list is encapsulated according to the target encapsulation item, the linked list invocation information comprising the combination of the data block size, the storage path and the item information corresponding to the three dimensions of the processing client can be obtained.
  • the user terminal displays the linked list invocation information, so that the user can manage the data information stored in the data storage server according to the linked list invocation information.
  • a set of linked list call information corresponding to each data linked list is displayed in the user terminal, and the generated linked list call information can be used as the index information of the corresponding data linked list for calling, then the user can call the information through the linked list displayed in the user terminal.
  • Call the information in the corresponding data linked list to manage the data information stored by the data storage server based on the linked list call information.
  • the underlying data stored in the data storage server can be conveniently and quickly land management. Since the data linked list contains the status information of a data block corresponding to the data linked list at different times, and the underlying data is stored in the data block, the underlying data can be finely managed based on the linked list invocation information of the data linked list. The accuracy of data management is greatly improved.
  • the technical methods in this application can be applied to smart government affairs/smart city management/smart community/smart security/smart logistics/smart medical care/smart education/smart environmental protection/smart transportation and other application scenarios including the management of underlying metadata, so as to promote The construction of smart cities.
  • an edit file acquisition request is sent to acquire the edit file fed back by the data storage server, the edit file is parsed to obtain a plurality of value groups, and then assembled to obtain a data linked list.
  • the attribute information in the linked list is encapsulated to obtain the linked list call information of each data linked list, and the linked list call information is displayed for the user to manage the data information in the storage server through the linked list call information.
  • the data linked list contains the status information of a data block corresponding to the data linked list at different times
  • the data block contains the underlying data
  • the underlying data stored in the data storage server can be realized by calling the information in the data linked list
  • Embodiments of the present application further provide an underlying data management system, where the underlying data management system is configured to execute any of the foregoing underlying data management methods.
  • FIG. 8 is a schematic block diagram of a bottom-level data management system provided by an embodiment of the present application.
  • the underlying data management system 10 includes a user terminal 20 and a data storage server 30.
  • the user terminal 20 includes an acquisition request sending unit 21, an editing file parsing unit 22, a value group assembling unit 23, an attribute information encapsulating unit 24 and The linked list calls the information display unit 25
  • the data storage server 30 includes an edit file feedback unit 31 .
  • the obtaining request sending unit 21 is configured to send an editing file obtaining request to the data storage server to obtain the editing file fed back by the data storage server according to the editing file obtaining request if the preset time point is reached.
  • the editing file feedback unit 31 is configured to, if an editing file obtaining request from the user terminal is received, obtain an editing file matching the editing file obtaining request and feed back to the user terminal.
  • the edit file feedback unit 31 includes subunits: a target namespace determination unit, a mirror namespace creation unit, an edit file synchronization storage unit, and an edit text transmission unit.
  • a target namespace determination unit which acquires a namespace matching the editing file acquisition request from a plurality of namespaces as a target namespace; an image namespace creation unit creates an image namespace corresponding to the target namespace; An edit file synchronous storage unit, configured to synchronously store the target edit file stored in the target namespace into the mirror namespace; an edit text sending unit, configured to obtain a copy of the file synchronously stored in the mirror namespace as The edited file is fed back to the user terminal.
  • the editing file parsing unit 22 is configured to parse the editing file according to a preset file parsing rule to obtain a plurality of numerical value groups in the editing file.
  • the editing file parsing unit 22 includes subunits: a format conversion unit, a value segment splitting unit, and a value group storage unit.
  • a format conversion unit is used to convert the edited file into a parsing file matching the target conversion format; a numerical segment splitting unit is used to perform the analysis on the numerical segment in the parsing file according to the key field information. Splitting to obtain a value group that matches each value segment; the value group includes key value information and attribute information; a value group storage unit is used to create a value storage container and store the plurality of value groups in the value storage container.
  • the value group assembling unit 23 is configured to assemble the plurality of value groups to obtain a corresponding data link list.
  • the value group assembling unit 23 includes sub-units: a pointing determination unit and a value group sorting unit.
  • the pointing determination unit is used to determine the data block pointed to by each of the value groups according to the serial number information of each of the value groups and obtain the value group pointing to the same data block; the value group sorting unit is used to The modification time information of the value group sorts and assembles the value groups that point to the same data block, so as to generate a data linked list corresponding to each of the data blocks.
  • the value group assembling unit 23 further includes a subunit: a data linked list storage unit.
  • a data linked list storage unit configured to create a linked list storage container and store the data linked list in the linked list storage container in a read-only storage manner.
  • the attribute information encapsulation unit 24 is configured to encapsulate the attribute information in each of the data linked lists according to a preset encapsulation processing rule to generate linked list call information matching each of the data linked lists.
  • the attribute information encapsulation unit 24 includes subunits: an item information acquisition unit, a target encapsulated item acquisition unit, and a target item information encapsulation unit.
  • an item information acquisition unit configured to acquire item information corresponding to the packaged item in each of the data linked lists according to the packaged item;
  • the encapsulation items that match the item information of the linked list are screened to obtain the target encapsulated items that satisfy the item screening conditions in each of the data linked lists;
  • the target item information encapsulation unit is used to
  • the target item information that matches the target encapsulation item of the data linked list is encapsulated, so as to obtain linked list calling information matching each of the data linked lists.
  • the linked list call information display unit 25 is configured to display the linked list call information, so that the user can manage the data information stored by the data storage server according to the linked list call information.
  • the underlying data management system applies the aforementioned underlying data management method, sends an edit file acquisition request to obtain an edit file fed back by the data storage server, parses the edit file to obtain multiple value groups, and then assembles it to obtain a data linked list , encapsulate the attribute information in each data linked list to obtain the linked list call information of each data linked list, and display the linked list call information for the user to manage the data information in the storage server through the linked list call information.
  • the data linked list contains the status information of a data block corresponding to the data linked list at different times
  • the data block contains the underlying data
  • the underlying data stored in the data storage server can be realized by calling the information in the data linked list
  • the above-mentioned underlying data management system can be implemented in the form of a computer program, and the computer program can be executed on a computer device as shown in FIG. 9 .
  • FIG. 9 is a schematic block diagram of a computer device provided by an embodiment of the present application.
  • the computer device may be a user terminal or a data storage server for executing the underlying data management method to manage underlying metadata.
  • the computer device 500 includes a processor 502 , a memory and a network interface 505 connected through a system bus 501 , wherein the memory may include a storage medium 503 and an internal memory 504 .
  • the storage medium 503 can store an operating system 5031 and a computer program 5032 .
  • the computer program 5032 When executed, it can cause the processor 502 to execute the underlying data management method, wherein the storage medium 503 can be a volatile storage medium or a non-volatile storage medium.
  • the processor 502 is used to provide computing and control capabilities to support the operation of the entire computer device 500 .
  • the internal memory 504 provides an environment for running the computer program 5032 in the storage medium 503.
  • the processor 502 can execute the underlying data management method.
  • the network interface 505 is used for network communication, such as providing transmission of data information.
  • the network interface 505 is used for network communication, such as providing transmission of data information.
  • FIG. 9 is only a block diagram of a partial structure related to the solution of the present application, and does not constitute a limitation on the computer device 500 to which the solution of the present application is applied.
  • the specific computer device 500 may include more or fewer components than shown, or combine certain components, or have a different arrangement of components.
  • the processor 502 is configured to run the computer program 5032 stored in the memory, so as to realize the corresponding functions in the above-mentioned underlying data management method.
  • the embodiment of the computer device shown in FIG. 9 does not constitute a limitation on the specific structure of the computer device.
  • the computer device may include more or less components than those shown in the drawings. Either some components are combined, or different component arrangements.
  • the computer device may only include a memory and a processor. In such an embodiment, the structures and functions of the memory and the processor are the same as those of the embodiment shown in FIG. 9 , and details are not repeated here.
  • the processor 502 may be a central processing unit (Central Processing Unit, CPU), and the processor 502 may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor can also be any conventional processor or the like.
  • a computer-readable storage medium may be a volatile or non-volatile computer-readable storage medium, and may also be a volatile computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, wherein when the computer program is executed by the processor, the steps included in the above-mentioned underlying data management method are implemented.
  • the disclosed apparatus, apparatus and method may be implemented in other manners.
  • the apparatus embodiments described above are only illustrative.
  • the division of the units is only logical function division.
  • there may be other division methods, or units with the same function may be grouped into one Units, such as multiple units or components, may be combined or may be integrated into another system, or some features may be omitted, or not implemented.
  • the shown or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may also be electrical, mechanical or other forms of connection.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solutions of the embodiments of the present application.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units may be implemented in the form of hardware, or may be implemented in the form of software functional units.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as an independent product, may be stored in a computer-readable storage medium.
  • the read storage medium includes several instructions to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned computer-readable storage medium includes: U disk, mobile hard disk, Read-Only Memory (ROM, Read-Only Memory), magnetic disk or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了底层数据管理方法、系统及计算机可读存储介质，方法包括：发送编辑文件获取请求以获取数据存储服务器反馈的编辑文件，对编辑文件进行解析得到多个数值组后进行组装得到数据链表，对每一数据链表中的属性信息进行封装得到每一数据链表的链表调用信息，对链表调用信息进行显示以供用户通过链表调用信息对存储服务器中的数据信息进行管理。

Description

底层数据管理方法、系统及计算机可读存储介质
本申请要求于2020年11月05日提交中国专利局、申请号为202011224994.7，发明名称为“底层数据管理方法、系统及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及大数据处理技术领域，属于智慧城市中对底层元数据进行管理的应用场景，尤其涉及一种底层数据管理方法、系统及计算机可读存储介质。
背景技术
随着互联网技术的发展及大数据时代的到来，互联网中的数据量呈几何级增长，为实现对数据进行分析处理，需对海量数据信息进行存储和管理，Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是一个在大数据分析中应用十分广泛的分布式存储系统，HDFS中的数据是以数据块(block)为单位来进行存储的，数据仓库工具hive或列式存储框架hbase等大数据框架均是在HDFS的基础上进行封装进而实现数据存储的功能，而对所存储的数据进行管理也均是基于大数据框架所实现的，然而发明人发现，这一对数据进行管理的过程均只是针对上层的数据框架，因此难以对底层数据信息进行管理，从而导致对数据进行管理的精度不够高，难以满足实际应用过程中对底层数据进行溯源等管理需求。因此，现有技术方法中存在对分布式存储数据进行管理的精度不够高的问题。
发明内容
本申请实施例提供了一种底层数据管理方法、系统及计算机可读存储介质，旨在解决现有技术方法对分布式存储数据进行管理的精度不够高的问题。
第一方面，本申请实施例提供了一种底层数据管理方法，其包括：
若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；
根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；
对所述多个数值组进行组装得到对应的数据链表；
根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；
将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
第二方面，本申请实施例提供了一种底层数据管理系统，其包括用户终端及数据存储服务器，所述用户终端包括获取请求发送单元、编辑文件解析单元、数值组组装单元、属性信息封装单元及链表调用信息显示单元，所述数据存储服务器包括编辑文件反馈单元；
获取请求发送单元，用于若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；
编辑文件反馈单元，用于若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端；
编辑文件解析单元，用于根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；
数值组组装单元，用于对所述多个数值组进行组装得到对应的数据链表；
属性信息封装单元，用于根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；
链表调用信息显示单元，用于将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
第三方面，本申请实施例又提供了一种底层数据管理系统，其包括用户终端及数据存储服务器，所述用户终端包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序，所述数据存储服务器包括第二存储器、第二处理器及 存储在第二存储器上并可在所述第二处理器上运行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现与所述用户终端对应的底层数据管理方法，所述第二处理器执行所述第二计算机程序时实现与所述数据存储服务器对应的底层数据管理方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中计算机可读存储介质存储有第一计算机程序或第二计算机程序，当所述第一计算机程序被第一处理器执行时实现与用户终端对应的底层数据管理方法，当所述第二计算机程序被第二处理器执行时实现与数据存储服务器对应的底层数据管理方法。
本申请实施例提供了一种底层数据管理方法、系统及计算机可读存储介质。发送编辑文件获取请求以获取数据存储服务器反馈的编辑文件，对编辑文件进行解析得到多个数值组后进行组装得到数据链表，对每一数据链表中的属性信息进行封装得到每一数据链表的链表调用信息，对链表调用信息进行显示以供用户通过链表调用信息对存储服务器中的数据信息进行管理。通过上述方法，数据链表中包含与该数据链表对应的一个数据块在不同时刻的状态信息，数据块中包含底层数据，通过调用数据链表中的信息即可实现对数据存储服务器中所存储的底层数据进行快捷、精细化地管理，从而大幅提高了对数据进行管理的精度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的底层数据管理方法的流程示意图；
图2为本申请实施例提供的底层数据管理方法的应用场景示意图；
图3为本申请实施例提供的底层数据管理方法的子流程示意图；
图4为本申请实施例提供的底层数据管理方法的另一子流程示意图；
图5为本申请实施例提供的底层数据管理方法的另一子流程示意图；
图6为本申请实施例提供的底层数据管理方法的另一子流程示意图；
图7为本申请实施例提供的底层数据管理方法的另一子流程示意图；
图8为本申请实施例提供的底层数据管理系统的示意性框图；
图9为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1及图2，图1是本申请实施例提供的底层数据管理方法的流程示意图，图2为本申请实施例提供的底层数据管理方法的应用场景示意图，该底层数据管理方法应用于底层数据管理系统10中，底层数据管理系统10包括用户终端20及数据存储服务器30，该方法通过安装于用户终端20及数据存储服务器30中的应用软件进行执行，用户终端20与数据存储服务器30建立通信连接以实现数据信息的传输，用户终端20即是用于对数据存储服务器30中的底层元数据进行管理的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等； 数据存储服务器30即是用于与用户终端20建立通信连接以实现数据信息传输的服务器端，数据存储服务器30可以是企业内部所构建的分布式数据存储服务器，用户终端20的使用者可以是企业的运维人员。图2中仅仅示意出数据存储服务器30与一台用户终端20进行信息传输，在实际应用中，该数据存储服务器30也可同时与多台用户终端20建立通信连接以实现数据信息的传输。如图1所示，该方法包括步骤S110～S160。
S110、若到达预设时间点，所述用户终端发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件。
若到达预设时间点，用户终端发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件。数据存储服务器中的数据信息以数据块的方式进行存储，数据块也即是数据存储服务器中所存储的底层数据，客户端可发送指令信息对数据存储服务器中存储的数据块(block)进行修改、编辑等处理操作，对数据块所进行的修改、编辑等处理操作均会记录在编辑文件中，则数据存储服务器中所存储的数据块时时刻刻都存在变化，为及时获取数据存储服务器中所存储的数据块的变化情况以方便对数据块进行管理，可设置预设时间点，并在到达预设时间点时通过用户终端发送编辑文件获取请求至数据存储服务器，通过对数据存储服务器所反馈的编辑文件进行分析即可获取数据块的变化情况并对数据块进行管理；预设时间点也可以是一个时间周期，根据时间周期中的时间点可周期性获取编辑文件以提高对数据块进行管理的效率，也即是到达时间周期中的时间点即周期性地发送编辑文件获取请求至数据存储服务器。
S120、所述数据存储服务器若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端；
数据存储服务器接收到来自用户终端的编辑文件获取请求，即可获取与编辑文件获取请求相匹配的编辑文件反馈至用户终端，其中，反馈至用户终端的编辑文件为一个二进制文件。
在一实施例中，如图3所示，步骤S120包括子步骤S121、S122、S123和S124。
S121、从多个命名空间中获取与所述编辑文件获取请求相匹配的命名空间作为目标命名空间。
具体的，数据存储服务器中用于对数据块进行修改、编辑等处理操作均是在数据存储服务器中所构建的管理文件系统命名空间内进行的，命名空间即为数据存储服务器的随机存取存储器(Random Access Memory，RAM)中分配的一块存储区域，而为实现对数据块的并行处理，通常会构建多个命名空间同时对数据块进行处理操作，每一命名空间中均包含一个与该命名空间对应的编辑文件。其中，编辑数据获取请求可包括命名空间的标识信息或编辑文件的标识信息，为了不对命名空间内正在进行的处理操作造成影响，可首先确定与编辑文件获取请求相匹配的命名空间作为目标命名空间，目标命名空间的数量可以为一个或多个。
S122、创建与所述目标命名空间相对应的镜像命名空间。
根据目标命名空间在数据存储服务器的随机存取存储器中创建对应的镜像命名空间，目标命名空间与镜像命名空间之间存在一一对应的关系。
例如，数据存储服务器中某一目标命名空间的标识信息为“NameNode01”，则可对应创建一个标识信息为“Secondary NameNode01”的镜像命名空间作为与该目标命名空间对应的镜像命名空间。
S123、对所述目标命名空间中存储的目标编辑文件同步存储至所述镜像命名空间中；S124、获取所述镜像命名空间中同步存储的文件副本作为所述编辑文件并反馈至所述用户终端。
获取目标命名空间中存储的目标编辑文件并生成对应的文件副本，将文件副本同步存储至与该目标命名空间相对应的镜像命名空间中，从镜像命名空间中获取文件副本作为编辑文件反馈至用户终端。由于未直接从目标命名空间内获取目标编辑文件，因此可避免对目标命名空间内正在进行的处理操作造成影响。
S130、所述用户终端根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组。
用户终端根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多条记录信息。其中，所述文件解析规则包括目标转换格式及关键字段信息。由于用户终端获取到的编辑文件为一个二进制文件，为获取二进制文件中所记载的具体信息，可通过文件解析规则对编辑文件进行解析，以获取编辑文件中所包含的多个数值组，文件解析规则即是用于对编辑文件进行解析处理的具体规则。
在一实施例中，如图4所示，步骤S130包括子步骤S131、S132和S133。
S131、将所述编辑文件转换为与所述目标转换格式相匹配的解析文件。
目标转换格式即为对编辑文件进行转换的格式信息，可根据目标转换格式对编辑文件进行转换，以得到与目标转换格式相匹配的解析文件，具体的，目标转换格式可以是txt格式或xml格式等，则解析文件为txt格式的文件或xml格式的文件，解析文件中包含多个数值段，每一数值段中包含多个字段对应的数值信息。
S132、根据所述关键字段信息对所述解析文件中的数值段进行拆分以得到与每一数值段相匹配的数值组；所述数值组包括关键数值信息和属性信息。
可根据关键字段信息对解析文件中的每一数值段进行拆分，得到对应的数值组，每一数值组由与关键数值信息及属性信息所组成，其中关键数值信息即为数值段中与关键字段信息相匹配的数值信息，属性信息为其他字段对应的数值信息。对数值段进行拆分的具体步骤包括：a.根据所述关键字段信息获取所述解析文件的每一数值段中与所述关键字段信息相匹配的关键数值信息；b.将每一所述数值段中与所述关键字段信息不相匹配的信息作为属性信息；c.将所述关键数值信息与所述属性信息进行组合得到与每一所述数值段相匹配的数值组。其中，关键字段信息可以包含序列号及修改时间两个字段。
所得到的每一数值组由关键数值信息及属性信息所组成，关键数值信息可采用key进行表示，属性信息可采用value进行表示，其中，关键数值信息中包含序列号信息及修改时间信息，则关键字段信息中的序列号可采用key_number进行表示、修改时间可采用key_time进行表示；属性信息可包括数据块大小、存储路径、处理客户端、处理指令类型等多项信息。
S133、创建数值存储容器并将所述多个数值组存储至所述数值存储容器中。
可创建数值存储容器对所得到的数值组进行存储，具体的，数值存储容器可以是map容器，将数值组存储至数值存储容器内可方便从其中获取数值组以提高数值组获取的效率，并提高后续对数值组进行处理的速度。
S140、所述用户终端对所述多个数值组进行组装得到对应的数据链表。
用户终端对所述多个数值组进行组装得到对应的数据链表。根据数值组中所记载的信息对多个数值组进行组装，即可得到数据链表，其中，每一所述数值组的关键数值信息中均包含序列号信息及修改时间信息；序列号信息可用于体现数值组所指向的数据块，若两个数值组包含相同的序列号信息，则表明两个数值组指向同一数据块，对同一数据块所对应的数值组进行组装整理即可得到对应的数据链表，也即是每一数据链表与一个数据块相对应，则数据链表中所记载的信息即可用于体现与该数据链表对应的一个数据块的变化情况，基于数据链表即可获取不同时刻数据块的状态信息以方便用户对数据块进行管理，也即是实现了对数据存储服务器所存储的底层数据进行管理。
在一实施例中，如图5所示，步骤S140包括子步骤S141和S142。
S141、根据每一所述数值组的序列号信息确定每一所述数值组所指向的数据块并获取指向同一数据块的数值组；S142、根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表。
具体的，根据每一数值组的序列号信息即可确定每一数值组所指向的数据块，获取指向同一数据块的数值组并根据修改时间信息对数值组进行排序组装，具体的，指向同一数据块的数值组以首尾相连的方式进行排序组装并生成对应的数据链表，生成时间信息在先的数值组在数据链表中排序靠前，数据链表中多个数值组的属性信息随数值组在数据链表中的排序位置依次排列，同一数据块的数值组均存储于同一数据链表中。
在一实施例中，如图6所示，步骤S142之后还包括步骤S143。
S143、创建链表存储容器并对所述数据链表以只读存储的方式存储至所述链表存储容器。
更具有体的，还可在数据存储服务器中创建链表存储容器，通过链表存储容器对所生成的数据链表进行只读存储，以增加数据链表存储的安全性，提高对链表存储容器所存储数据链表中的信息进行读取的速度。
S150、所述用户终端根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息。
用户终端根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息。封装处理规则即为对所得到数据链表中的属性信息进行封装的具体规则，对一个数据链表中的属性信息进行封装即可生成与该数据链表对应的链表调用信息，链表调用信息中可包含属性信息中一个维度的项目信息，链表调用信息也可以包含属性信息中多个维度的项目信息的组合，通过链表调用信息即可调用相应数据链表中的信息，并基于所调用的信息实现对数据信息的管理，具体的，通过链表调用信息中所包含的任意一个维度的项目信息即可实现对数据链表中的信息进行调用。其中，所述封装处理规则中包含多个封装项目及项目筛选条件。
在一实施例中，如图7所示，步骤S150包括子步骤S151、S152和S153。
S151、根据所述封装项目获取每一所述数据链表中与所述封装项目对应的项目信息；S152、根据所述项目筛选条件对每一所述数据链表的项目信息相匹配的封装项目进行筛选，以获取每一所述数据链表中满足所述项目筛选条件的目标封装项目；S153、对每一所述数据链表中与所述数据链表的目标封装项目相匹配的目标项目信息进行封装，以得到与每一所述数据链表相匹配的链表调用信息。
封装处理规则中包含多个封装项目及项目筛选条件；封装项目即为对数据链表中与属性信息对应的项目信息进行封装的具体项目，封装项目的数量可少于或等于数据链表中属性信息的项数，项目筛选条件即为对与封装项目进行筛选的条件，以获取更能体现数据链表特征的封装项目作为目标封装项目，可基于与封装项目对应的项目信息对封装项目进行筛选，以获取满足项目筛选条件的目标封装项目，并基于目标封装项目对相应数据链表中对应的目标项目信息进行封装，得到与相应数据链表对应的链表调用信息。
例如，封装项目包括数据块大小、存储路径、处理客户端及处理指令类型，则对应获取得到某一数据链表中的项目信息如表1所示。
Figure PCTCN2021124819-appb-000001
表1
项目筛选条件为与封装项目相匹配的项目信息中数值出现概率均不大于50％，则可分别计算得到与数据块大小相匹配的项目信息中包含四个数值，每一数值出现概率均为25％，与存储路径相匹配的项目信息中包含四个数值，每一数值出现概率均为25％，与处理客户端相匹配的项目信息中包含两个数值，每一数值出现概率均为50％，与处理指令类型相匹配的项目信息中仅包含一个数值，出现概率为100％，则对于表1中的数据链表而言，处理指令类型这一封装项目不满足项目筛选条件，则对应得到的目标封装项目为数据块大小、存储路径及处理客户端。根据目标封装项目对该数据链表中相应项目信息进行封装后，即可得到包含数据块大小、存储路径及处理客户端三个维度所对应的项目信息组合而成的链表调用信息。
S160、所述用户终端将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
将每一数据链表对应的一组链表调用信息显示于用户终端中，所生成的链表调用信息可 作为相应数据链表的索引信息以供调用，则用户即可通过用户终端中所显示的链表调用信息对相应数据链表中的信息进行调用，以实现基于链表调用信息对数据存储服务器存储的数据信息进行管理，通过调用数据链表中的信息即可实现对数据存储服务器中所存储的底层数据进行方便快捷地管理。由于数据链表中包含与该数据链表对应的一个数据块在不同时刻的状态信息，且数据块中即存储有底层数据，基于数据链表的链表调用信息即可实现对底层数据进行精细化管理，从而大幅提高了对数据进行管理的精度。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含对底层元数据进行管理的应用场景中，从而推动智慧城市的建设。
在本申请实施例所提供的底层数据管理方法中，发送编辑文件获取请求以获取数据存储服务器反馈的编辑文件，对编辑文件进行解析得到多个数值组后进行组装得到数据链表，对每一数据链表中的属性信息进行封装得到每一数据链表的链表调用信息，对链表调用信息进行显示以供用户通过链表调用信息对存储服务器中的数据信息进行管理。通过上述方法，数据链表中包含与该数据链表对应的一个数据块在不同时刻的状态信息，数据块中包含底层数据，通过调用数据链表中的信息即可实现对数据存储服务器中所存储的底层数据进行快捷、精细化地管理，从而大幅提高了对数据进行管理的精度。
本申请实施例还提供一种底层数据管理系统，该底层数据管理系统用于执行前述底层数据管理方法的任一实施例。具体地，请参阅图8，图8是本申请实施例提供的底层数据管理系统的示意性框图。该底层数据管理系统10包括用户终端20及数据存储服务器30，如图8所示，用户终端20包括获取请求发送单元21、编辑文件解析单元22、数值组组装单元23、属性信息封装单元24及链表调用信息显示单元25，所述数据存储服务器30包括编辑文件反馈单元31。
获取请求发送单元21，用于若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件。
编辑文件反馈单元31，用于若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端。
在一实施例中，所述编辑文件反馈单元31包括子单元：目标命名空间确定单元、镜像命名空间创建单元、编辑文件同步存储单元和编辑文本发送单元。
目标命名空间确定单元，从多个命名空间中获取与所述编辑文件获取请求相匹配的命名空间作为目标命名空间；镜像命名空间创建单元，创建与所述目标命名空间相对应的镜像命名空间；编辑文件同步存储单元，用于对所述目标命名空间中存储的目标编辑文件同步存储至所述镜像命名空间中；编辑文本发送单元，用于获取所述镜像命名空间中同步存储的文件副本作为所述编辑文件并反馈至所述用户终端。
编辑文件解析单元22，用于根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组。
在一实施例中，所述编辑文件解析单元22包括子单元：格式转换单元、数值段拆分单元和数值组存储单元。
格式转换单元，用于将所述编辑文件转换为与所述目标转换格式相匹配的解析文件；数值段拆分单元，用于根据所述关键字段信息对所述解析文件中的数值段进行拆分以得到与每一数值段相匹配的数值组；所述数值组包括关键数值信息和属性信息；数值组存储单元，用于创建数值存储容器并将所述多个数值组存储至所述数值存储容器中。
数值组组装单元23，用于对所述多个数值组进行组装得到对应的数据链表。
在一实施例中，所述数值组组装单元23包括子单元：指向确定单元和数值组排序单元。
指向确定单元，用于根据每一所述数值组的序列号信息确定每一所述数值组所指向的数据块并获取指向同一数据块的数值组；数值组排序单元，用于根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据 链表。
在一实施例中，所述数值组组装单元23还包括子单元：数据链表存储单元。
数据链表存储单元，用于创建链表存储容器并对所述数据链表以只读存储的方式存储至所述链表存储容器。
属性信息封装单元24，用于根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息。
在一实施例中，所述属性信息封装单元24包括子单元：项目信息获取单元、目标封装项目获取单元和目标项目信息封装单元。
项目信息获取单元，用于根据所述封装项目获取每一所述数据链表中与所述封装项目对应的项目信息；目标封装项目获取单元，用于根据所述项目筛选条件对每一所述数据链表的项目信息相匹配的封装项目进行筛选，以获取每一所述数据链表中满足所述项目筛选条件的目标封装项目；目标项目信息封装单元，用于对每一所述数据链表中与所述数据链表的目标封装项目相匹配的目标项目信息进行封装，以得到与每一所述数据链表相匹配的链表调用信息。
链表调用信息显示单元25，用于将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
在本申请实施例所提供的底层数据管理系统应用上述底层数据管理方法，发送编辑文件获取请求以获取数据存储服务器反馈的编辑文件，对编辑文件进行解析得到多个数值组后进行组装得到数据链表，对每一数据链表中的属性信息进行封装得到每一数据链表的链表调用信息，对链表调用信息进行显示以供用户通过链表调用信息对存储服务器中的数据信息进行管理。通过上述方法，数据链表中包含与该数据链表对应的一个数据块在不同时刻的状态信息，数据块中包含底层数据，通过调用数据链表中的信息即可实现对数据存储服务器中所存储的底层数据进行快捷、精细化地管理，从而大幅提高了对数据进行管理的精度。
上述底层数据管理系统可以实现为计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行底层数据管理方法对底层元数据进行管理的用户终端或数据存储服务器。
参阅图9，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行底层数据管理方法，其中，存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行底层数据管理方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的底层数据管理方法中对应的功能。
本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(Central Processing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质，也可以是易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的底层数据管理方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种底层数据管理方法，应用于底层数据管理系统，所述底层数据管理系统包括用户终端及数据存储服务器，所述用户终端与所述数据存储服务器建立通信连接以实现数据信息的传输，所述方法包括由所述用户终端执行的如下步骤：
    若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；
    根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；
    对所述多个数值组进行组装得到对应的数据链表；
    根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；
    将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
  2. 根据权利要求1所述的底层数据管理方法，其中，所述文件解析规则包括目标转换格式及关键字段信息，所述根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组，包括：
    将所述编辑文件转换为与所述目标转换格式相匹配的解析文件；
    根据所述关键字段信息对所述解析文件中的数值段进行拆分以得到与每一数值段相匹配的数值组；所述数值组包括关键数值信息和属性信息；
    创建数值存储容器并将所述多个数值组存储至所述数值存储容器中。
  3. 根据权利要求1所述的底层数据管理方法，其中，所述对所述多个数值组进行组装得到对应的数据链表，包括：
    根据每一所述数值组的序列号信息确定每一所述数值组所指向的数据块并获取指向同一数据块的数值组；
    根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表。
  4. 根据权利要求3所述的底层数据管理方法，其中，所述根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表之后，还包括：
    创建链表存储容器并对所述数据链表以只读存储的方式存储至所述链表存储容器。
  5. 根据权利要求1所述的底层数据管理方法，其中，所述封装处理规则中包含多个封装项目及项目筛选条件，所述根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息，包括：
    根据所述封装项目获取每一所述数据链表中与所述封装项目对应的项目信息；
    根据所述项目筛选条件对每一所述数据链表的项目信息相匹配的封装项目进行筛选，以获取每一所述数据链表中满足所述项目筛选条件的目标封装项目；
    对每一所述数据链表中与所述数据链表的目标封装项目相匹配的目标项目信息进行封装，以得到与每一所述数据链表相匹配的链表调用信息。
  6. 根据权利要求1所述的底层数据管理方法，其中，所述方法还包括由所述数据存储服务器执行的如下步骤：
    若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端。
  7. 根据权利要求6所述的底层数据管理方法，其中，所述获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端，包括：
    从多个命名空间中获取与所述编辑文件获取请求相匹配的命名空间作为目标命名空间；
    创建与所述目标命名空间相对应的镜像命名空间；
    对所述目标命名空间中存储的目标编辑文件同步存储至所述镜像命名空间中；
    获取所述镜像命名空间中同步存储的文件副本作为所述编辑文件并反馈至所述用户终端。
  8. 一种底层数据管理系统，包括用户终端及数据存储服务器，所述用户终端包括获取请求发送单元、编辑文件解析单元、数值组组装单元、属性信息封装单元及链表调用信息显示单元，所述数据存储服务器包括编辑文件反馈单元；
    获取请求发送单元，用于若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；
    编辑文件反馈单元，用于若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端；
    编辑文件解析单元，用于根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；
    数值组组装单元，用于对所述多个数值组进行组装得到对应的数据链表；
    属性信息封装单元，用于根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；
    链表调用信息显示单元，用于将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
  9. 一种底层数据管理系统，其中，所述底层数据管理系统包括用户终端及数据存储服务器，所述用户终端包括第一存储器、第一处理器及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序，所述第一处理器执行所述第一计算机程序以实现以下步骤：
    若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；
    根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；
    对所述多个数值组进行组装得到对应的数据链表；
    根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；
    将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
  10. 根据权利要求9所述的底层数据管理系统，其中，所述文件解析规则包括目标转换格式及关键字段信息，所述根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组，包括：
    将所述编辑文件转换为与所述目标转换格式相匹配的解析文件；
    根据所述关键字段信息对所述解析文件中的数值段进行拆分以得到与每一数值段相匹配的数值组；所述数值组包括关键数值信息和属性信息；
    创建数值存储容器并将所述多个数值组存储至所述数值存储容器中。
  11. 根据权利要求9所述的底层数据管理系统，其中，所述对所述多个数值组进行组装得到对应的数据链表，包括：
    根据每一所述数值组的序列号信息确定每一所述数值组所指向的数据块并获取指向同一数据块的数值组；
    根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表。
  12. 根据权利要求11所述的底层数据管理系统，其中，所述根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表之后，还包括：
    创建链表存储容器并对所述数据链表以只读存储的方式存储至所述链表存储容器。
  13. 根据权利要求9所述的底层数据管理系统，其中，所述封装处理规则中包含多个封装项目及项目筛选条件，所述根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息，包括：
    根据所述封装项目获取每一所述数据链表中与所述封装项目对应的项目信息；
    根据所述项目筛选条件对每一所述数据链表的项目信息相匹配的封装项目进行筛选，以获取每一所述数据链表中满足所述项目筛选条件的目标封装项目；
    对每一所述数据链表中与所述数据链表的目标封装项目相匹配的目标项目信息进行封装，以得到与每一所述数据链表相匹配的链表调用信息。
  14. 根据权利要求9所述的底层数据管理系统，其中，所述数据存储服务器包括第二存储器、第二处理器及存储在所述第二存储器上并可在所述第二处理器上运行的第二计算机程序，所述第二处理器执行所述第二计算机程序以实现以下步骤：
    若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端。
  15. 根据权利要求14所述的底层数据管理系统，其中，所述获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端，包括：
    从多个命名空间中获取与所述编辑文件获取请求相匹配的命名空间作为目标命名空间；
    创建与所述目标命名空间相对应的镜像命名空间；
    对所述目标命名空间中存储的目标编辑文件同步存储至所述镜像命名空间中；
    获取所述镜像命名空间中同步存储的文件副本作为所述编辑文件并反馈至所述用户终端。
  16. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有第一计算机程序或第二计算机程序，当所述第一计算机程序被第一处理器执行时执行以下操作：
    若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；
    根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；
    对所述多个数值组进行组装得到对应的数据链表；
    根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；
    将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述文件解析规则包括目标转换格式及关键字段信息，所述根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组，包括：
    将所述编辑文件转换为与所述目标转换格式相匹配的解析文件；
    根据所述关键字段信息对所述解析文件中的数值段进行拆分以得到与每一数值段相匹配的数值组；所述数值组包括关键数值信息和属性信息；
    创建数值存储容器并将所述多个数值组存储至所述数值存储容器中。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述对所述多个数值组进行组装得到对应的数据链表，包括：
    根据每一所述数值组的序列号信息确定每一所述数值组所指向的数据块并获取指向同一数据块的数值组；
    根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表。
  19. 根据权利要求18所述的计算机可读存储介质，其中，所述根据每一所述数值组的修改时间信息对指向同一所述数据块的数值组进行排序组装，以生成与每一所述数据块对应的数据链表之后，还包括：
    创建链表存储容器并对所述数据链表以只读存储的方式存储至所述链表存储容器。
  20. 根据权利要求16所述的计算机可读存储介质，其中，所述封装处理规则中包含多个封装项目及项目筛选条件，所述根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息，包括：
    根据所述封装项目获取每一所述数据链表中与所述封装项目对应的项目信息；
    根据所述项目筛选条件对每一所述数据链表的项目信息相匹配的封装项目进行筛选，以获取每一所述数据链表中满足所述项目筛选条件的目标封装项目；
    对每一所述数据链表中与所述数据链表的目标封装项目相匹配的目标项目信息进行封装，以得到与每一所述数据链表相匹配的链表调用信息。
PCT/CN2021/124819 2020-11-05 2021-10-20 底层数据管理方法、系统及计算机可读存储介质 WO2022095699A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011224994.7A CN112328552A (zh) 2020-11-05 2020-11-05 底层数据管理方法、系统及计算机可读存储介质
CN202011224994.7 2020-11-05

Publications (1)

Publication Number Publication Date
WO2022095699A1 true WO2022095699A1 (zh) 2022-05-12

Family

ID=74315636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/124819 WO2022095699A1 (zh) 2020-11-05 2021-10-20 底层数据管理方法、系统及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112328552A (zh)
WO (1) WO2022095699A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099205A (zh) * 2022-08-25 2022-09-23 宏景科技股份有限公司 表格数据管理方法、系统、设备及存储介质
CN117273391A (zh) * 2023-11-07 2023-12-22 中航机载系统共性技术有限公司 一种复杂机载系统研制计划的管理方法、装置及电子设备
CN117896446A (zh) * 2024-03-15 2024-04-16 中国人民解放军63921部队 一种数据传输方法及介质
CN117896446B (zh) * 2024-03-15 2024-06-04 中国人民解放军63921部队 一种数据传输方法及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328552A (zh) * 2020-11-05 2021-02-05 深圳壹账通智能科技有限公司 底层数据管理方法、系统及计算机可读存储介质
CN112906051B (zh) * 2021-03-02 2022-09-20 上海蓝色帛缔智能工程有限公司 智慧医疗数据处理方法、系统及数据中心

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079036A (zh) * 2006-06-23 2007-11-28 腾讯科技（深圳）有限公司 一种海量文件的存储方法及系统
CN101777016A (zh) * 2010-02-08 2010-07-14 北京同有飞骥科技有限公司 一种连续数据保护系统的快照存储和数据恢复方法
CN102117340A (zh) * 2011-04-19 2011-07-06 北京神州数码思特奇信息技术股份有限公司 一种动态数据存储方法
US20140324804A1 (en) * 2013-04-24 2014-10-30 Empire Technology Development Llc Computing devices with mult-layer file systems
CN109656874A (zh) * 2018-11-28 2019-04-19 烟台蓝洋电子科技有限责任公司 双体制文件管理系统实现方法
CN110196835A (zh) * 2019-05-28 2019-09-03 腾讯科技（深圳）有限公司 元数据的处理方法、元数据的处理装置以及电子设备
CN112328552A (zh) * 2020-11-05 2021-02-05 深圳壹账通智能科技有限公司 底层数据管理方法、系统及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079036A (zh) * 2006-06-23 2007-11-28 腾讯科技（深圳）有限公司 一种海量文件的存储方法及系统
CN101777016A (zh) * 2010-02-08 2010-07-14 北京同有飞骥科技有限公司 一种连续数据保护系统的快照存储和数据恢复方法
CN102117340A (zh) * 2011-04-19 2011-07-06 北京神州数码思特奇信息技术股份有限公司 一种动态数据存储方法
US20140324804A1 (en) * 2013-04-24 2014-10-30 Empire Technology Development Llc Computing devices with mult-layer file systems
CN109656874A (zh) * 2018-11-28 2019-04-19 烟台蓝洋电子科技有限责任公司 双体制文件管理系统实现方法
CN110196835A (zh) * 2019-05-28 2019-09-03 腾讯科技（深圳）有限公司 元数据的处理方法、元数据的处理装置以及电子设备
CN112328552A (zh) * 2020-11-05 2021-02-05 深圳壹账通智能科技有限公司 底层数据管理方法、系统及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099205A (zh) * 2022-08-25 2022-09-23 宏景科技股份有限公司 表格数据管理方法、系统、设备及存储介质
CN117273391A (zh) * 2023-11-07 2023-12-22 中航机载系统共性技术有限公司 一种复杂机载系统研制计划的管理方法、装置及电子设备
CN117896446A (zh) * 2024-03-15 2024-04-16 中国人民解放军63921部队 一种数据传输方法及介质
CN117896446B (zh) * 2024-03-15 2024-06-04 中国人民解放军63921部队 一种数据传输方法及介质

Also Published As

Publication number Publication date
CN112328552A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
WO2022095699A1 (zh) 底层数据管理方法、系统及计算机可读存储介质
CN109997126B (zh) 事件驱动提取、变换、加载（etl）处理
US10366053B1 (en) Consistent randomized record-level splitting of machine learning data
US20210117232A1 (en) Data ingestion pipeline anomaly detection
US20240152488A1 (en) Log data extraction from data chunks of an isolated execution environment
US11615082B1 (en) Using a data store and message queue to ingest data for a data intake and query system
US20230134578A1 (en) Search-time field extraction in a data intake and query system
US20220121628A1 (en) Streaming synthesis of distributed traces from machine logs
US11449371B1 (en) Indexing data at a data intake and query system based on a node capacity threshold
US11755531B1 (en) System and method for storage of data utilizing a persistent queue
US11714823B1 (en) Generating metric data from log data using metricization rules
US11663219B1 (en) Determining a set of parameter values for a processing pipeline
KR20200111687A (ko) 다중의 이종 데이터 소스에서 정보를 캡슐화하고 저장하기 위한 방법 및 시스템
US11875275B1 (en) Custom time series models in computer analytics systems
US11625254B1 (en) Interface for customizing dashboards based on parallel edges
US11675473B1 (en) User interface for summarizing data to generate previews of metric data
US11892976B2 (en) Enhanced search performance using data model summaries stored in a remote data store
US11789950B1 (en) Dynamic storage and deferred analysis of data stream events
CN112732763A (zh) 数据的聚合方法、装置、电子设备及介质
Ahsaan et al. Big data analytics: challenges and technologies
US11537455B2 (en) Schema management using an event stream
JP7300684B2 (ja) 目的データ選別方法およびシステム
US11841827B2 (en) Facilitating generation of data model summaries
US11860858B1 (en) Decoding distributed ledger transaction records
CN112035471B (zh) 一种事务处理方法及计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21888396

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.08.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21888396

Country of ref document: EP

Kind code of ref document: A1