WO2025124207A1 - 自动化创建和更新数据同步宽表结构的改进方法 - Google Patents

自动化创建和更新数据同步宽表结构的改进方法 Download PDF

Info

Publication number
WO2025124207A1
WO2025124207A1 PCT/CN2024/136141 CN2024136141W WO2025124207A1 WO 2025124207 A1 WO2025124207 A1 WO 2025124207A1 CN 2024136141 W CN2024136141 W CN 2024136141W WO 2025124207 A1 WO2025124207 A1 WO 2025124207A1
Authority
WO
WIPO (PCT)
Prior art keywords
wide
configuration
wide table
field
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/136141
Other languages
English (en)
French (fr)
Inventor
肖明睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Cloud Technology Co Ltd
Original Assignee
China Telecom Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Cloud Technology Co Ltd filed Critical China Telecom Cloud Technology Co Ltd
Publication of WO2025124207A1 publication Critical patent/WO2025124207A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata

Definitions

  • the present application relates to the field of big data real-time stream dimension table query, and in particular to an improved method for automatically creating and updating a data synchronization wide table structure.
  • Big data real-time data warehouse is a data warehouse system that can process and analyze large-scale data in real time. It combines big data technology and real-time data processing technology to meet rapidly changing business needs and support real-time data analysis and decision-making.
  • the current table field synchronization is limited to a single table and cannot adapt to the wide table generated by the association of multiple tables. It is necessary to manually match the fields one by one or is limited to the selection operation of the web interface. There is no certain rule to automatically associate fields.
  • the existing database attributes both the medium and the storage body to the storage body, resulting in many identical things that need to be configured repeatedly.
  • the partition and bucket configurations of multi-key value type fields are redundant. Through such repeated redundant configuration, the configuration efficiency is reduced and the inconsistency is increased.
  • the purpose of this application is to provide an improved method for automatically creating and updating a data synchronization wide table structure to solve the problems raised in the above background technology.
  • an improved method for automatically creating and updating a data synchronization wide table structure comprising the following steps;
  • the first step is to create and update the wide table structure of multiple storage bodies by configuring the schema metadata of the table configuration and its associated information configuration table in the database;
  • the second step is to automatically generate the required wide table fields according to best practice rules
  • the third step is to reduce redundant configurations by splitting the media and storage into a storage medium table and a metadata storage table, and then adding a metadata information table to form the core base;
  • the fourth step is to customize the types of specific fields in the output stream.
  • Step 5 Add a table custom attribute table, and support custom attribute configuration, attribute encryption, decryption and replacement;
  • Step 6 Split the table association information table involved in the task wide table into table association information and metadata storage bodies involved in the task wide table, and parse the wide table corresponding to the task and its association relationship;
  • the seventh step is to configure the directory name and database name to which the table belongs, and add the directory name and database name to the metadata storage table.
  • the storage body in the first step includes flink, hudi and doris.
  • the primary key of one of the corresponding tables is used as a foreign key for targeted configuration.
  • the association table is improved, including splitting the media classification from the storage body classification to ensure that only the table template attributes, table template fields and table custom attribute configurations are associated with the storage body media table and need to be configured according to different media.
  • reducing redundant configuration also includes reducing partition and bucket configuration redundancy, and moving key fields and key types of the metadata storage body table to a new metadata key value table.
  • the attribute custom configuration in the fifth step is to separate the table template attributes from the table template and add a table custom attribute table to separate the field and attribute configurations.
  • the wide table corresponding to the task is parsed and its associated relationship is to query the metadata information of the wide table and the associated relationship of its associated table through the task name, as well as the information of the corresponding associated table, and the storage body, medium, corresponding template, key value, custom field and attribute information to which the wide table needs to be synchronized.
  • obtaining the field information required for the wide table includes the following steps:
  • A1 obtains the field name information required for the wide table based on the wide table and its association relationship and the information of the corresponding association table;
  • A4 obtains complete field information such as the type and length of the field corresponding to the field name required by the wide table.
  • the wide table structure is set, and the structure of the wide table corresponding to different storage bodies is created.
  • create data table operation statements including determining whether to create, setting table properties, searching for the corresponding table template, and replacing the placeholders in the template to create the corresponding table creation and update statements;
  • the present application efficiently and automatically creates and updates the wide table structure of multiple storage bodies by configuring the schema metadata of the table configuration and its associated information configuration table in the database.
  • the present method can automatically generate the required wide table fields and standardize the wide table field setting rules, thereby reducing redundant configuration, improving configuration efficiency, and reducing inconsistency;
  • the setting of the present method supports attribute custom configuration, attribute encryption, decryption and replacement, thereby ensuring data field consistency and correct and fast operation process.
  • the first step is to create and update the wide table structure of multiple storage bodies by configuring the schema metadata of the table configuration and its associated information configuration table in the database;
  • the second step is to automatically generate the required wide table fields according to best practice rules
  • reducing redundant configuration also includes reducing partition and bucket configuration redundancy, and moving key fields and key types of the metadata storage body table to a new metadata key value table.
  • the attribute customization configuration in the fifth step is to separate the table template attributes from the table template and add a table customization attribute table to separate the field and attribute configurations.
  • obtaining the field information required for the wide table includes the following steps:
  • A4 obtains complete field information such as the type and length of the field corresponding to the field name required by the wide table.
  • the wide table structure is set, and the structure of the wide table corresponding to different storage bodies is created.
  • B2 determine whether to create or update, including checking whether there is a table in the corresponding storage body, preparing to create the table if the table does not exist, and obtaining the old table structure if it exists;
  • table properties find the corresponding template and custom configuration from the table template properties and table custom property tables, change the corresponding template properties according to the custom properties, and if there are placeholders in the properties, replace them with the property values in the configuration file. If there are encryption and decryption configurations, encrypt and decrypt according to the rules before replacing them.
  • Metadata information table the relevant information required for a table in the data warehouse. Metadata association information table: the association relationship information between tables.
  • Task wide table association information table the correspondence between tasks and wide tables.
  • Table association information table involved in task wide tables the wide tables corresponding to tasks are the metadata association information involved.
  • Task wide table specific field addition and subtraction table the tasks of deleting, adding, subtracting and renaming specific fields based on general rules, such as deleting and renaming fields with the same name in the associated table.
  • Task wide table specific field type conversion table decouples the strong association between the field type of the output stream and the input stream, and customizes the type of specific fields of the output stream.
  • Table custom attribute table supports custom configuration of table attributes in different media, and supports sorting and encryption and decryption configuration.
  • Metadata storage body information table used to set the structure and configuration information specific to the storage body corresponding to different storage bodies.
  • Storage body medium table defines the combination relationship between storage body and medium.
  • Metadata key value table defines the key value field, type and order of the storage body corresponding to the table.
  • Table template table used to record the creation and update table templates of different media.
  • Table template attribute table used to record table attribute templates of different media, supporting sorting and encryption and decryption configuration.
  • Metadata information table primary key, original table name and data warehouse layer type, 1: ods table, 2: dwd wide table, add mode, 0: append, 1: upsert, columns with immutable values;
  • Metadata association information table primary key, foreign key and associated data field, relational model, metadata information table ID, and associated metadata information table ID;
  • Task wide table associated information table primary key, task name, wide table ID (corresponding to the metadata information table ID);
  • the table association information table involved in the task wide table primary key, the ID of the flink task wide table association information table, the ID of the metadata table information table involved, whether it is a temporary time association and the sort number;
  • Task wide table specific field addition and subtraction table primary key, flink task wide table association information table ID, the metadata association information table ID involved, the set of fields to be excluded, the set of fields to be retained, and the set of fields to be renamed;
  • Task wide table specific field type conversion table primary key, flink task wide table association information table ID, metadata storage table ID, field to be converted, conversion type;
  • Table custom attribute table primary key, metadata storage table ID, storage medium table ID, operation type, 1: upsert 2: delete, attribute value key, attribute value value, encryption type, sort number;
  • Metadata storage body information table primary key, metadata information table ID, storage body type, 0: mysql, 1: hudi, 2: doris, directory name, library name, table partition type, 0: no partition, 1: field value, 2: RANGE range, 3: List list, table bucket type, 0: no bucket, 1: HASH, 2: RANDOM;
  • Storage medium table primary key, storage type, media type, 0: storage, 1: flink, 2: spark;
  • Metadata key-value table primary key, metadata storage table ID, key field, key type, 0: unique primary key, 1: duplicate primary key, 2: partition key, 3: bucket key, sort number;
  • Table template table primary key, storage medium table ID, table statement template, template type: 1: create table, 2: add field, 3: delete field; 4: modify field;
  • Table template table primary key, storage medium table ID, attribute value key, attribute value value, encryption type, sort number.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了自动化创建和更新数据同步宽表结构的改进方法，包括第一步，通过在数据库中配置表配置的schema元数据及其关联信息配置表，创建和更新多个存储体的宽表结构；第二步，根据最佳实践规则，自动化生成所需宽表字段；第三步，减少冗余配置；第四步，对输出流特定字段的类型进行自定义；第五步，增加表自定义属性表；第六步，将任务宽表涉及到的表关联信息表，拆分为任务宽表涉及到的表关联信息和元数据存储体，并解析任务对应的宽表及其关联关系；第七步，进行表所属的目录名和数据库名的配置。本申请通过在数据库中配置表配置的schema元数据及其关联信息配置表来高效的自动化创建和更新多个存储体的宽表结构，同时自动化生成所需宽表字段，标准化宽表字段设置规则，减少冗余配置，提高配置效率，减少不一致性。

Description

自动化创建和更新数据同步宽表结构的改进方法
相关申请的交叉引用
本申请要求在2023年12月14日提交中国专利局、申请号为202311722358.0、发明名称为“自动化创建和更新数据同步宽表结构的改进方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及大数据实时流维表查询领域，特别涉及自动化创建和更新数据同步宽表结构的改进方法。
背景技术
大数据实时数仓是能够实时处理和分析大规模数据的数据仓库系统。它结合了大数据技术和实时数据处理技术，能够满足快速变化的业务需求，并支持实时的数据分析和决策。
但是现阶段的表字段同步只能局限于单表，不能适配多表关联生成的宽表，需要手动一个个字段对应或者仅限于web界面的选择操作，没有一定的规则自动关联字段，且现有的数据库将介质和存储体都归属于存储体，导致其有很多相同的东西需要重复配置，且多键值类型字段的分区分桶配置冗余，通过这样重复冗余配置，这样降低了配置效率，增加不一致性。
发明内容
本申请的目的在于提供自动化创建和更新数据同步宽表结构的改进方法，以解决上述背景技术中提出的问题。
为实现上述目的，本申请提供如下技术方案：自动化创建和更新数据同步宽表结构的改进方法，所述改进方法包括以下几个步骤；
第一步，通过在数据库中配置表配置的schema元数据及其关联信息配置表，创建和更新多个存储体的宽表结构；
第二步，根据最佳实践规则，自动化生成所需宽表字段；
第三步，减少冗余配置，将介质和存储体拆分为存储体介质表和元数据存储体表，然后再加上元数据信息表，组成核心的基座；
第四步，对输出流特定字段的类型进行自定义，通过新增flink任务宽表特定字段类型转换表，来定义要转换类型的字段和转换的类型，解耦输出流的字段类型与输入流的强关联；
第五步，增加表自定义属性表，且支持属性自定义配置、属性加解密和替换；
第六步，将任务宽表涉及到的表关联信息表，拆分为任务宽表涉及到的表关联信息和元数据存储体，并解析任务对应的宽表及其关联关系；
第七步，进行表所属的目录名和数据库名的配置，在元数据存储体表内增加目录名和数据库名。
可选的，所述第一步中的存储体包括flink、hudi和doris。
可选的，所述第三步中减少冗余配置操作后，其他表在进行元数据、存储体和介质三个递进层面进行区分时，使用其中一个对应表的主键作为外键，进行针对性配置。
可选的，所述递进层面进行区分后，对关联表进行改进，包括将介质分类从存储体分类中拆分出来，确保仅有表模板属性、表模板字段和表自定义属性配置和存储体介质表关联的配置，需要根据不同介质进行配置。
可选的，所述减少冗余配置还包括减少分区分桶配置冗余，将元数据存储体表的键字段、键类型移到新的元数据键值表。
可选的，所述第五步中属性自定义配置是，将表模板属性从表模板中拆出，并增加表自定义属性表，使字段和属性配置分离。
可选的，所述第六步中解析任务对应的宽表及其关联关系是，通过任务名称查宽表的元数据信息及其关联表的关联关系，以及对应关联表的信息，且宽表需要同步到的存储体、介质、对应的模板、键值、自定义字段和属性信息。
可选的，所述宽表所需字段信息的获取包括以下几个步骤；
A1，根据宽表及其关联关系以及对应关联表的信息获取到宽表所需字段名信息；
A2，将事实表字段格式统一化；
A3，进行特定字段的增减处理；
A4，获取宽表所需字段名对应字段的类型和长度类完整字段信息。
可选的，所述宽表所需字段信息获取后进行宽表结构设置，且创建宽表对应不同存储体的结构。
可选的，所述宽表结构设置完成之后，再创建和更新语句设置并执行，所述执行的操作包括以下几个步骤；
B1，设置表属性、键值和分区分桶信息；
B2，判断是创建还是更新，包括查找对应存储体是否有表，如果表不存在则准备创建表，如果存在，获取旧表结构；
B3，创建数据表操作语句，包括判断是否是创建、设置表属性、查找对应的表模板和替换里面占位符创建对应的建表和更新语句；
B4，执行语句。
本申请的技术效果和优点：
本申请通过在数据库中配置表配置的schema元数据及其关联信息配置表来高效的自动化创建和更新多个存储体的宽表结构，同时本方法可以自动化生成所需宽表字段，标准化宽表字段设置规则，以此减少冗余配置，提高配置效率，减少不一致性；同时本方法的设置支持属性自定义配置、属性加解密和替换，以此保证数据字段一致性，操作流程正确快速。
附图说明
图1为本申请改进方法的操作流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了如图1所示的自动化创建和更新数据同步宽表结构的改进方法，改进方法包括以下几个步骤；
第一步，通过在数据库中配置表配置的schema元数据及其关联信息配置表，创建和更新多个存储体的宽表结构；
具体的，第一步中的存储体包括flink、hudi和doris。
第二步，根据最佳实践规则，自动化生成所需宽表字段；
第三步，减少冗余配置，将介质和存储体拆分为存储体介质表和元数据存储体表，然后再加上元数据信息表，组成核心的基座；
具体的，第三步中减少冗余配置操作后，其他表在进行元数据、存储体和介质三个递进层面进行区分时，使用其中一个对应表的主键作为外键，进行针对性配置。
进一步的，递进层面进行区分后，对关联表进行改进，包括将介质分类从存储体分类中拆分出来，确保仅有表模板属性、表模板字段和表自定义属性配置和存储体介质表关联的配置，需要根据不同介质进行配置。
再进一步的，减少冗余配置还包括减少分区分桶配置冗余，将元数据存储体表的键字段、键类型移到新的元数据键值表。
第四步，对输出流特定字段的类型进行自定义，通过新增flink任务宽表特定字段类型转换表，来定义要转换类型的字段和转换的类型，解耦输出流的字段类型与输入流的强关联；
第五步，增加表自定义属性表，且支持属性自定义配置、属性加解密和替换；
具体的，第五步中属性自定义配置是，将表模板属性从表模板中拆出，并增加表自定义属性表，使字段和属性配置分离。
第六步，将任务宽表涉及到的表关联信息表，拆分为任务宽表涉及到的表关联信息和元数据存储体，并解析任务对应的宽表及其关联关系；
具体的，第六步中解析任务对应的宽表及其关联关系是，通过任务名称查宽表的元数据信息及其关联表的关联关系，以及对应关联表的信息，且宽表需要同步到的存储体、介质、对应的模板、键值、自定义字段和属性信息。
第七步，进行表所属的目录名和数据库名的配置，在元数据存储体表内增加目录名和数据库名。
具体的，宽表所需字段信息的获取包括以下几个步骤；
A1，根据宽表及其关联关系以及对应关联表的信息获取到宽表所需字段名信息；
可选的，判断字段名信息是否为键值，有则保留。如果宽表涉及到的关联表的添加模式为增补模式，则宽表所需字段名为该关联表的所有字段。如果宽表涉及到的关联表的更新模式为增补模式，则宽表所需字段名为该关联表的值不可变的列，以及对应的元数据存储体信息表记录的键字段集合，经过去重之后的组合。
A2，将事实表字段格式统一化，用于将非标准化字段命名的字段标准化存储到表，方便找到重复字段，且事实表的字段进行驼峰转下划线。
A3，进行特定字段的增减处理；
可选的，根据任务名称获取到任务对应的任务宽表特定字段增减表，获取需要删减的字段的记录。
根据记录，对宽表所需字段名进行增删，重命名一般用于处理同名字段。
A4，获取宽表所需字段名对应字段的类型和长度类完整字段信息。
可选的，根据宽表及其关联关系以及对应关联表的名称，从flink的catalog表结构里面的完整字段信息；
如果信息不完整的话，再连接关联表所在数据源，获取完整字段信息；
根据任务宽表特定字段类型转换表找到要转换的字段，如果存在，则进行转换成对应字段类型。
进一步的，宽表所需字段信息获取后进行宽表结构设置，且创建宽表对应不同存储体的结构。
需要说明的是，创建宽表对应不同存储体(如hudi、doris等)和介质(如flink、spark等)的结构，包括：
设置字段，将完整字段信息设置到对应表结构，字段类型根据表存储体进行对应；
设置key和分区类型，根据元数据存储体、元数据键值表记录获取所需的键值字段，比如元数据信息表的id，存储体类型，键字段，键类型，表分区的类型，表分桶的类型信息。
再进一步的，宽表结构设置完成之后，再创建和更新语句设置并执行，执行的操作包括以下几个步骤；
B1，设置表属性、键值和分区分桶信息；
B2，判断是创建还是更新，包括查找对应存储体是否有表，如果表不存在则准备创建表，如果存在，获取旧表结构；
具体的，对比新表结构，是否有字段变更，如果有变更，则记录需要变更的字段结构信息，准备更新；如果没有变更则什么都不做。
B3，创建数据表操作语句，包括判断是否是创建、设置表属性、查找对应的表模板和替换里面占位符创建对应的建表和更新语句；
需要说明的是，设置表属性，从表模板属性、表自定义属性表，找到对应的模板和自定义配置，根据自定义属性更改对应的模板属性，如果属性里面有占位符，则用配置文件里面的属性值进行替换，如果有加解密配置，则根据规则进行加解密之后再替换。
B4，执行语句。
需要说明的是，数据表用途：
元数据信息表：表在数仓的所需相关信息。元数据关联信息表：表之间的关联关系信息。任务宽表关联信息表：任务与宽表的对应关系。任务宽表涉及到的表关联信息表：任务对应的宽表是涉及到的元数据关联信息。任务宽表特定字段增减表：通用规则基础上进行特定字段的删除和增减重命名的任务，比如关联表同名字段的删除和重命名。任务宽表特定字段类型转换表：解耦输出流的字段类型与输入流的强关联，对输出流特定字段的类型进行自定义。表自定义属性表：支持表在不同介质中属性的自定义配置，支持排序和加解密配置。元数据存储体信息表：用于对应不同存储体设置特定于该存储体的结构和配置信息。存储体介质表：定义存储体和介质组合关系。元数据键值表：定义表对应存储体的键值字段、类型和顺序。表模板表：用于记录不同介质的创建更新表模板。表模板属性表：用于记录不同介质的表属性模板，支持排序和加解密配置。
其中，具体表结构信息为：
元数据信息表：主键、原始表名和数仓层类型，1：ods表，2：dwd宽表，添加模式，0：append，1：upsert，值不可变的列；
元数据关联信息表：主键、外键和被关联的数据字段、关系模型、元数据信息表的id，被关联的元数据信息表的id；
任务宽表关联信息表：主键、任务名称、宽表的id(对应元数据信息表的id)；
任务宽表涉及到的表关联信息表：主键，flink任务宽表关联信息表的id,涉及到的元数据表信息表的id，是否是时间临时关联和排序号；
任务宽表特定字段增减表：主键，flink任务宽表关联信息表的id，涉及到的元数据关联信息表的id，要排除的字段集合，要保留的字段集合，要重命名的字段集合；
任务宽表特定字段类型转换表：主键，flink任务宽表关联信息表的id，元数据存储体表的id，要转换类型的字段，转换的类型；
表自定义属性表：主键，元数据存储体表的id，存储体介质表的id，操作类型，1：upsert 2：delete，属性值的key、属性值的value、加密类型、排序号；
元数据存储体信息表：主键，元数据信息表的id，存储体类型，0：mysql,1：hudi，2：doris，目录名，库名，表分区的类型，0：不分区，1：字段值，2:RANGE范围，3:List列表，表分桶的类型，0：不分桶，1：HASH，2：RANDOM；
存储体介质表：主键，存储体类型，media类型，0：存储体，1：flink,2：spark；
元数据键值表：主键，元数据存储体表的id，键字段、键类型，0：唯一主键，1：重复主键，2：分区键，3：分桶键、排序号；
表模板表：主键，存储体介质表的id，表语句模板，模板类型：1：建表，2：添加字段，3：删除字段；4：修改字段；
表模板表：主键，存储体介质表的id，属性值的key，属性值的value，加密类型，排序号。
最后应说明的是：以上所述仅为本申请的优选实施例而已，并不用于限制本申请，尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

  1. 自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述改进方法包括以下几个步骤；
    第一步，通过在数据库中配置表配置的schema元数据及其关联信息配置表，创建和更新多个存储体的宽表结构；
    第二步，根据最佳实践规则，自动化生成所需宽表字段；
    第三步，减少冗余配置，将介质和存储体拆分为存储体介质表和元数据存储体表，然后再加上元数据信息表，组成核心的基座；
    第四步，对输出流特定字段的类型进行自定义，通过新增flink任务宽表特定字段类型转换表，来定义要转换类型的字段和转换的类型，解耦输出流的字段类型与输入流的强关联；
    第五步，增加表自定义属性表，且支持属性自定义配置、属性加解密和替换；
    第六步，将任务宽表涉及到的表关联信息表，拆分为任务宽表涉及到的表关联信息和元数据存储体，并解析任务对应的宽表及其关联关系；
    第七步，进行表所属的目录名和数据库名的配置，在元数据存储体表内增加目录名和数据库名。
  2. 根据权利要求1所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述第一步中的存储体包括flink、hudi和doris。
  3. 根据权利要求1所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述第三步中减少冗余配置操作后，其他表在进行元数据、存储体和介质三个递进层面进行区分时，使用其中一个对应表的主键作为外键，进行针对性配置。
  4. 根据权利要求3所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述递进层面进行区分后，对关联表进行改进，包括将介质分类从存储体分类中拆分出来，确保仅有表模板属性、表模板字段和表自定义属性配置和存储体介质表关联的配置，需要根据不同介质进行配置。
  5. 根据权利要求4所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述减少冗余配置还包括减少分区分桶配置冗余，将元数据存储体表的键字段、键类型移到新的元数据键值表。
  6. 根据权利要求1所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述第五步中属性自定义配置是，将表模板属性从表模板中拆出，并增加表自定义属性表，使字段和属性配置分离。
  7. 根据权利要求1所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述第六步中解析任务对应的宽表及其关联关系是，通过任务名称查宽表的元数据信息及其关联表的关联关系，以及对应关联表的信息，且宽表需要同步到的存储体、介质、对应的模板、键值、自定义字段和属性信息。
  8. 根据权利要求7所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述宽表所需字段信息的获取包括以下几个步骤；
    A1，根据宽表及其关联关系以及对应关联表的信息获取到宽表所需字段名信息；
    A2，将事实表字段格式统一化；
    A3，进行特定字段的增减处理；
    A4，获取宽表所需字段名对应字段的类型和长度类完整字段信息。
  9. 根据权利要求8所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述宽表所需字段信息获取后进行宽表结构设置，且创建宽表对应不同存储体的结构。
  10. 根据权利要求9所述的自动化创建和更新数据同步宽表结构的改进方法，其特征在于，所述宽表结构设置完成之后，再创建和更新语句设置并执行，所述执行的操作包括以下几个步骤；
    B1，设置表属性、键值和分区分桶信息；
    B2，判断是创建还是更新，包括查找对应存储体是否有表，如果表不存在则准备创建表，如果存在，获取旧表结构；
    B3，创建数据表操作语句，包括判断是否是创建、设置表属性、查找对应的表模板和替换里面占位符创建对应的建表和更新语句；
    B4，执行语句。
PCT/CN2024/136141 2023-12-14 2024-12-02 自动化创建和更新数据同步宽表结构的改进方法 Pending WO2025124207A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311722358.0A CN117851405B (zh) 2023-12-14 2023-12-14 自动化创建和更新数据同步宽表结构的改进方法
CN202311722358.0 2023-12-14

Publications (1)

Publication Number Publication Date
WO2025124207A1 true WO2025124207A1 (zh) 2025-06-19

Family

ID=90537480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/136141 Pending WO2025124207A1 (zh) 2023-12-14 2024-12-02 自动化创建和更新数据同步宽表结构的改进方法

Country Status (2)

Country Link
CN (1) CN117851405B (zh)
WO (1) WO2025124207A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117851405B (zh) * 2023-12-14 2025-07-29 天翼云科技有限公司 自动化创建和更新数据同步宽表结构的改进方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270157A1 (en) * 2016-03-21 2017-09-21 Virtual Network Element, Inc. TCP/IP Network Automation and Orchestration Tools
CN113535817A (zh) * 2021-07-13 2021-10-22 浙江网商银行股份有限公司 特征宽表生成及业务处理模型的训练方法和装置
CN115062023A (zh) * 2022-06-20 2022-09-16 平安科技（深圳）有限公司 宽表优化方法、装置、电子设备及计算机可读存储介质
CN115237903A (zh) * 2021-04-22 2022-10-25 中国移动通信集团安徽有限公司 宽表的生成方法、装置、设备及存储介质
CN116340353A (zh) * 2023-02-16 2023-06-27 杭州有赞科技有限公司 一种数据查询方法、装置和存储介质
CN117851405A (zh) * 2023-12-14 2024-04-09 天翼云科技有限公司 自动化创建和更新数据同步宽表结构的改进方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462786B2 (en) * 2009-08-17 2013-06-11 Board Of Trustees Of Michigan State University Efficient TCAM-based packet classification using multiple lookups and classifier semantics
CN111367989B (zh) * 2020-06-01 2020-08-28 北京江融信科技有限公司 一种实时数据指标计算系统和方法
CN115934859B (zh) * 2022-12-21 2026-03-17 北京金山云网络技术有限公司 元数据模型的处理方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270157A1 (en) * 2016-03-21 2017-09-21 Virtual Network Element, Inc. TCP/IP Network Automation and Orchestration Tools
CN115237903A (zh) * 2021-04-22 2022-10-25 中国移动通信集团安徽有限公司 宽表的生成方法、装置、设备及存储介质
CN113535817A (zh) * 2021-07-13 2021-10-22 浙江网商银行股份有限公司 特征宽表生成及业务处理模型的训练方法和装置
CN115062023A (zh) * 2022-06-20 2022-09-16 平安科技（深圳）有限公司 宽表优化方法、装置、电子设备及计算机可读存储介质
CN116340353A (zh) * 2023-02-16 2023-06-27 杭州有赞科技有限公司 一种数据查询方法、装置和存储介质
CN117851405A (zh) * 2023-12-14 2024-04-09 天翼云科技有限公司 自动化创建和更新数据同步宽表结构的改进方法

Also Published As

Publication number Publication date
CN117851405B (zh) 2025-07-29
CN117851405A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN116569161B (zh) 受版本控制的关系数据集管理
US10180992B2 (en) Atomic updating of graph database index structures
JP5601066B2 (ja) 情報統合プログラム、装置及び方法
CN102467521B (zh) 一种易扩展的多级分类检索方法及系统
US20120124015A1 (en) Method for database consolidation and database separation
US20130006968A1 (en) Data integration system
CN101901265B (zh) 一种虚拟试验数据对象化管理系统
CN112231321B (zh) 一种Oracle二级索引及索引实时同步方法
CN108304463A (zh) 一种用于数据库的数据管理方法及其数据库应用组件
US10296542B2 (en) Integration database framework
US20150019484A1 (en) Method and apparatus for implementing a set of integrated data systems
CN116028653B (zh) 一种可视化配置多源异构数据构建图谱的方法及系统
EP3958142A1 (en) Projections for big database systems
CN115640358A (zh) 表、库、实例结构同步方法、装置和存储介质
US20080294673A1 (en) Data transfer and storage based on meta-data
CN117851405A (zh) 自动化创建和更新数据同步宽表结构的改进方法
CN102693174A (zh) 一种面向对象代理数据库约束的备份方法
CN117472925A (zh) 一种关系型数据库的升级方法及设备
US12248486B2 (en) System for creating a dataset network
JP7279524B2 (ja) データ管理プログラム、データ管理方法およびデータ管理システム
EP2365448A1 (en) Data integration system
JASPER¹ et al. Generating and optimising views from both as view data integration rules
CN105426459A (zh) 基于NoSQL数据库的分布式物联网数据的单记录索引检索方式
US20070112802A1 (en) Database techniques for storing biochemical data items
CN113901055B (zh) 数据的检索处理方法、装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24902628

Country of ref document: EP

Kind code of ref document: A1