WO2024066094A1 - 一种跨数据源数据库视图可视化构建方法及系统 - Google Patents

Abstract

一种跨数据源数据库视图可视化构建方法及系统，所述方法包括：采用可视化方式对视图信息进行具体配置，得到视图配置信息；对视图配置信息进行解析，得到视图基本信息和SQL查询语句信息，所述SQL查询语句信息包括多个SQL查询描述单元；对各个SQL查询描述单元解析并转化为sql片段；将得到的各个sql片段拼接，得到完整的查询sql语句；在对应的数据源上，执行采用完整的查询sql语句创建视图的指令，创建得到与用户配置相一致的数据库视图。能够降低创建数据库视图过程对数据库技术的要求，使得视图创建更加简单。

Description

一种跨数据源数据库视图可视化构建方法及系统 技术领域

本发明属于计算机数据库技术领域，具体涉及一种跨数据源数据库视图可视化构建方法及系统。

背景技术

传统创建数据库视图的方法为：首先，查询数据库，获取元数据信息，定位到需要的数据库表，确定关联字段和筛选条件信息等；其次，将对数据库表的查询需求编写为结构化查询语言sql语句；最后，根据编写的sql语句创建数据库视图。

因此，数据库视图传统创建方法，需要用户对元数据信息具有清晰的了解，具有查询底层数据库定位元数据的专业知识；需要掌握数据库的使用技术，具有编写sql语句的专业知识。可见，数据库视图创建的技术门槛较高，不具有相关专业知识的用户无法创建数据库视图。

发明内容

针对现有技术存在的缺陷，本发明提供一种跨数据源数据库视图可视化构建方法及系统，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种跨数据源数据库视图可视化构建方法，包括以下步骤：

步骤1，在前端可视化界面，采用可视化方式对视图信息进行具体配置，得到视图配置信息；

步骤2，对所述视图配置信息进行解析，得到视图基本信息和SQL查询语句信息；其中，所述SQL查询语句信息包括多个SQL查询描述单元；

步骤3，对解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，如果检验不通过，则数据库视图创建失败；如果校验通过，则执行步骤4；

步骤4，分别对各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段；

步骤5，将每个SQL查询描述单元的字段转化为一个sql片段；

步骤6，校验各个所述sql片段是否符合要求，如果不符合要求，则数据库视图创建失败；如果符合要求，则执行步骤7；

步骤7，将得到的各个sql片段拼接，得到完整的查询sql语句；

步骤8，在对应的数据源上，执行采用完整的查询sql语句创建视图的指令，创建得到与用户配置相一致的数据库视图。

优选的，所述视图基本信息包括：视图名称，数据源类型和数据源名称；

所述SQL查询描述单元为：视图元素列表，视图元素关系列表，子查询列表，where筛选条件列表，having筛选条件列表和其他条件列表。

优选的，所述视图元素列表，包括多个视图元素，每个视图元素具有三个字段，分别为：聚合函数名称、表名和列名；

所述视图元素关系列表，包括多个视图元素关系，每个视图元素关系具有五个字段，分别为：关联类型、左关联元素id、右关联元素id、左关联元素列和右关联元素列；

所述where筛选条件列表，包括多个where筛选条件，每个where筛选条件包括以下字段：左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

所述having筛选条件列表，包括多个having筛选条件，每个having筛选条件包括以下字段：左关联元素id、右关联元素id、左关联元素列、右关联元素列、 条件数值、条件符号和条件之间的关系。

优选的，对解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，具体为：

对所述视图名称、数据源类型、数据源名称和视图元素列表进行值类型校验，判断所述视图名称、数据源类型、数据源名称和视图元素列表是否为空，如果为空，则校验不通过，数据库视图创建失败；如果不为空，则校验通过。

优选的，分别对各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段，具体为：

对所述视图元素列表中用户配置的视图元素进行进一步解析，得到视图元素字段，包括聚合函数名称、表名和列名；

对所述视图元素关系列表中用户配置的视图元素关系进行进一步解析，得到视图元素关系字段，包括关联类型、左关联元素id、右关联元素id、左关联元素列和右关联元素列；

将所述where筛选条件列表中用户配置的where筛选条件进行进一步解析，得到where筛选条件字段，包括左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

将所述having筛选条件列表中用户配置的having筛选条件进行进一步解析，得到having筛选条件字段，包括左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

将所述其他条件列表中用户配置的相关条件进行进一步解析，得到相关条件字段。

优选的，还包括：对每个SQL查询描述单元进一步校验：

1)校验视图元素列表中的表名对应的表，以及列名对应的列是否真实存在 于数据库中；

2)校验视图元素关系列表中的各个关联元素是否真实存在于数据库中；

3)校验where筛选条件列表和having筛选条件列表中的各个关联元素是否真实存在于数据库中；

如果校验不通过，数据库视图创建失败。

优选的，所述其他条件列表包括是否分组标识、分页大小和分页起始条数。

优选的，校验各个所述sql片段是否符合要求，具体为：

校验各个所述sql片段是否均符合sql规则。

本发明还提供一种跨数据源数据库视图可视化构建方法的系统，包括：

前端可视化界面，所述前端可视化界面，用于采用可视化方式对视图信息进行具体配置，得到视图配置信息；

第一解析模块，用于对所述前端可视化界面配置的视图配置信息进行解析，得到视图基本信息和SQL查询语句信息；其中，所述SQL查询语句信息包括多个SQL查询描述单元；

第一校验模块，用于对所述第一解析模块解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，如果检验不通过，则数据库视图创建失败；

第二解析模块，用于对通过所述第一校验模块校验的各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段；

sql片段生成模块，用于将所述第二解析模块解析得到的每个SQL查询描述单元的字段转化为一个sql片段；

第二校验模块，用于校验所述sql片段生成模块生成的各个所述sql片段是否符合要求，如果不符合要求，则数据库视图创建失败；

拼接模块，用于将经过所述第二校验模块校验的各个sql片段拼接，得到完 整的查询sql语句；

数据库视图生成模块，用于在在对应的数据源上，执行采用完整的查询sql语句创建视图的指令，创建得到与用户配置相一致的数据库视图。

本发明提供的跨数据源数据库视图可视化构建方法及系统具有以下优点：

本发明的跨数据源数据库视图可视化构建方法及系统，能够降低创建数据库视图过程对数据库技术的要求，通过可视化的方式，设置视图的各个参数，最终根据参数生成数据库视图。可以避免原生sql语句编写过程繁琐，专业性要求高的问题，使得视图创建更加简单。

附图说明

图1为本发明提供的跨数据源数据库视图可视化构建方法的流程图；

图2为本发明提供的视图基本信息的组成图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种跨数据源数据库视图可视化构建方法及系统，采用可视化技术构建数据库视图，可视化技术将抽象的数据和信息转化成可视化对象，其核心是为使用者提供空间信息直观的、可交互的可视化环境。本发明在数据库视图的构建过程中，可视化技术的应用提供前端可视化界面，将数据库中的表、列等元数据信息以图形的形式展现给用户，并且，用户可以通过图形界面进行数据库表和字段之间的关联，设置筛选条件等，操作简单；与直接接触底层数据库数据相比，本发明更加直观，便于用户理解，降低数据库视图创建的技术门槛。

本发明提出的跨数据源数据库视图可视化构建方法，主要思路为：

将sql语句抽象为一种抽象的中间数据结构，通过前端可视化界面对抽象的中间数据结构的各种参数进行设置，形成前端参数；然后，将前端参数自动生成sql查询语句，再采用sql查询语句在底层数据源创建数据库视图。

本发明的数据库视图可视化构建方法，能够降低创建数据库视图过程对数据库技术的要求，通过可视化的方式，设置视图的各个参数，最终根据参数生成数据库视图。可以避免原生sql语句编写过程繁琐，专业性要求高的问题，使得视图创建更加简单。

参考图1，本发明提供一种跨数据源数据库视图可视化构建方法，包括以下步骤：

步骤1，在前端可视化界面，采用可视化方式对视图信息进行具体配置，得到视图配置信息；

步骤2，对所述视图配置信息进行解析，得到视图基本信息和SQL查询语句信息；其中，所述SQL查询语句信息包括多个SQL查询描述单元；

步骤3，对解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，如果检验不通过，则数据库视图创建失败；如果校验通过，则执行步骤4；

步骤4，分别对各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段；

步骤5，将每个SQL查询描述单元的字段转化为一个sql片段；

步骤6，校验各个所述sql片段是否符合要求，如果不符合要求，则数据库视图创建失败；如果符合要求，则执行步骤7；

步骤7，将得到的各个sql片段拼接，得到完整的查询sql语句；

步骤8，在对应的数据源上，执行采用完整的查询sql语句创建视图的指令， 创建得到与用户配置相一致的数据库视图。

为方便对本发明进行理解，下面介绍一个具体实施例：

步骤1，在前端可视化界面，采用可视化方式对视图信息进行具体配置，得到视图配置信息；

具体的，前端可视化界面，用于配置视图信息；其中，所述视图信息包括视图基本信息和SQL查询语句信息；

所述视图基本信息包括：视图名称，数据源类型和数据源名称；

所述SQL查询语句信息包括六大类，分别为：视图元素列表，视图元素关系列表，子查询列表，where筛选条件列表，having筛选条件列表和其他条件列表；

其中：

所述视图元素列表，包括多个视图元素，每个视图元素具有三个字段，分别为：聚合函数名称、表名和列名；

所述视图元素关系列表，包括多个视图元素关系，每个视图元素关系具有五个字段，分别为：关联类型、左关联元素id、右关联元素id、左关联元素列和右关联元素列；

所述where筛选条件列表，包括多个where筛选条件，每个where筛选条件包括以下字段：左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

所述having筛选条件列表，包括多个having筛选条件，每个having筛选条件包括以下字段：左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

其他条件列表包括是否分组标识、分页大小和分页起始条数。

本发明中，前端可视化界面的获得方式为：对标准SQL查询语句的构成进行 抽象，得到抽象的中间数据结构，再将抽象的中间数据结构可视图，形成前端可视化界面。抽象的中间数据结构，包括视图基本信息和SQL查询语句信息；视图基本信息包括：视图名称，数据源类型和数据源名称；SQL查询语句信息包括六大类，分别为：视图元素列表，视图元素关系列表，子查询列表，where筛选条件列表，having筛选条件列表和其他条件列表。

具体抽象和构建过程举例如下：

例如，对于Sql样例：select max(a.id),b.name from repo.dept a Inner join repo.staf b on a.id＝b.dept_id where a.id<2 group by b.name having a.id<10 limit 10,3.将标准SQL记为select[ITEMS]from[ITEM_RELATIONS][WHERE_CLAUSE][HAVING_CLAUSE][OTHER_LIMITATIONS]，其中方括号[]包含的部分为数据结构抽象的部分，每个部分对应的sql片段和抽象数据结构中的字段如下表：

需要强调的是，上面描述的视图基本信息包括：视图名称，数据源类型和数据源名称；SQL查询语句信息包括六大类，分别为：视图元素列表，视图元素关系列表，子查询列表，where筛选条件列表，having筛选条件列表和其他条件列表；此处仅为具体举例，本发明对视图基本信息和SQL查询语句信息包括的具体参数并不限制，具体根据需求灵活设置。

在前端可视化界面，用户对所述视图信息进行具体配置，得到视图配置信息；视图配置信息即为前端数据；

步骤2，可以采用解析模块，对所述视图配置信息进行解析，得到所述视图基本信息和所述SQL查询语句信息；其中，所述SQL查询语句信息包括多个SQL查询描述单元；

具体解析方式为：

对所述视图基本信息进行解析，得到视图名称、数据源类型和数据源名称； 对所述SQL查询语句信息进行解析，得到视图元素列表，视图元素关系列表，子查询列表，where筛选条件列表，having筛选条件列表和其他条件列表；

步骤3，对解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，如果检验不通过，则数据库视图创建失败；如果校验通过，则执行步骤4；

具体的，对所述视图名称、数据源类型、数据源名称和视图元素列表进行值类型基本校验，判断所述视图名称、数据源类型、数据源名称和视图元素列表是否为空，如果为空，则校验不通过，数据库视图创建失败；如果不为空，则基本校验通过，执行后面步骤；

本步骤中，还可以进一步进行以下校验：

1)校验视图元素列表中的表名对应的表table，以及列名对应的列columns是否真实存在于数据库中；如果存在别名alias字段，还需要校验别名alias和列名columns数量是否一致；

2)校验视图元素关系列表中的各个关联元素是否真实存在于数据库中；如果否，则校验不通过；

3)校验where筛选条件列表和having筛选条件列表中的各个关联元素是否真实存在于数据库中。如果否，则校验不通过；

以上三种校验条件均通过，则本校验通过。

步骤4和步骤5，分别对各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段；将每个SQL查询描述单元的字段转化为一个sql片段；

具体方式为：

对所述视图元素列表中用户配置的视图元素进行进一步解析，得到视图元素字段，包括聚合函数名称、表名和列名；将解析到的视图元素字段转化为第1sql片段；

对所述视图元素关系列表中用户配置的视图元素关系进行进一步解析，得到视图元素关系字段，包括关联类型、左关联元素id、右关联元素id、左关联元素列和右关联元素列；将解析到的视图元素关系字段转化为第2sql片段；

将所述where筛选条件列表中用户配置的where筛选条件进行进一步解析，得到where筛选条件字段，包括左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；将解析到的where筛选条件字段转化为第3sql片段；

将所述having筛选条件列表中用户配置的having筛选条件进行进一步解析，得到having筛选条件字段，包括左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；将解析到的having筛选条件字段转化为第4sql片段；

将所述其他条件列表中用户配置的相关条件进行进一步解析，得到相关条件字段；将解析到的相关条件字段转化为第5sql片段；

例如，前端参数名、前端参数值和解析得到的sql片段可以如下表所示：其中，前端参数值，即为用户配置的值；前端参数名，即为前端可视化界面显示的各个参数：

对于解析是否分组，分页条件时，对应关系如下：

步骤6，校验各个所述sql片段是否符合要求，如果不符合要求，则数据库视图创建失败；如果符合要求，则执行步骤7；

具体的，判断解析得到的第1sql片段、第2sql片段、第3sql片段、第4sql片段和第5sql片段是否均符合sql规则，如果不符合，则返回数据库视图创建失败的通知；如果均符合，则可以进一步判断所述视图配置信息中是否具有被用户配置的子查询，如果没有，则执行步骤7；如果有，则返回步骤2，解析内部子查询的视图元素列表、元素关系列表等信息，将每个子查询解析为多个sql片段，直至所有子查询解析完成为止。

步骤7，将得到的各个sql片段拼接，得到完整的查询sql语句；

步骤8，在对应的数据源上，执行采用完整的查询sql语句创建视图的指令，创建得到与用户配置相一致的数据库视图。

例如，拼接以上步骤得到的各部分sql语句，得到完整的查询sql语句SELECT_SQL＝“select max(a.id),b.name from repo.dept a Inner join repo.staf b on a.id＝b.dept_id where a.id<2 group by b.name having a.id<10 limit 10,3”，在底层数据源执行”create view/table as(SELECT_SQL)”创建视图，整个流程结束。

作为一种具体实施例，抽象的中间数据结构：

对应生成的sql语句：

select a.id,b.role_name,c.username from router.router_user a inner join router.router_user_role b on a.username＝b.username left join(select a.id,a.username,b.role_name from router.router_user a inner join router.router_user_role b on a.username＝b.username)c on b.username＝c.username where a.id<9 and a.id＝b.id

本发明提供的跨数据源数据库视图可视化构建方法及系统，将sql语句抽象成抽象的中间数据结构，并通过前端可视化界面显示；用户在前端可视化界面灵活进行各类视图参数的配置，包括：字段选择、聚合函数添加、筛选条件添加和子查询等，从而得到前端参数；前端参数可自动解析为sql语句，并最终生成数据库视图。因此，可以避免原生sql语句编写过程繁琐，专业性要求高的问题，使得视图创建更加简单。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (9)

1. 一种跨数据源数据库视图可视化构建方法，其特征在于，包括以下步骤：

   步骤1，在前端可视化界面，采用可视化方式对视图信息进行具体配置，得到视图配置信息；

   步骤2，对所述视图配置信息进行解析，得到视图基本信息和SQL查询语句信息；其中，所述SQL查询语句信息包括多个SQL查询描述单元；

   步骤3，对解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，如果检验不通过，则数据库视图创建失败；如果校验通过，则执行步骤4；

   步骤4，分别对各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段；

   步骤5，将每个SQL查询描述单元的字段转化为一个sql片段；

   步骤6，校验各个所述sql片段是否符合要求，如果不符合要求，则数据库视图创建失败；如果符合要求，则执行步骤7；

   步骤7，将得到的各个sql片段拼接，得到完整的查询sql语句；

   步骤8，在对应的数据源上，执行采用完整的查询sql语句创建视图的指令，创建得到与用户配置相一致的数据库视图。
2. 根据权利要求1所述的跨数据源数据库视图可视化构建方法，其特征在于，所述视图基本信息包括：视图名称，数据源类型和数据源名称；

   所述SQL查询描述单元为：视图元素列表，视图元素关系列表，子查询列表，where筛选条件列表，having筛选条件列表和其他条件列表。
3. 根据权利要求2所述的跨数据源数据库视图可视化构建方法，其特征在于，所述视图元素列表，包括多个视图元素，每个视图元素具有三个字段，分别为：聚合函数名称、表名和列名；

   所述视图元素关系列表，包括多个视图元素关系，每个视图元素关系具有 五个字段，分别为：关联类型、左关联元素id、右关联元素id、左关联元素列和右关联元素列；

   所述where筛选条件列表，包括多个where筛选条件，每个where筛选条件包括以下字段：左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

   所述having筛选条件列表，包括多个having筛选条件，每个having筛选条件包括以下字段：左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系。
4. 根据权利要求3所述的跨数据源数据库视图可视化构建方法，其特征在于，对解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，具体为：

   对所述视图名称、数据源类型、数据源名称和视图元素列表进行值类型校验，判断所述视图名称、数据源类型、数据源名称和视图元素列表是否为空，如果为空，则校验不通过，数据库视图创建失败；如果不为空，则校验通过。
5. 根据权利要求3所述的跨数据源数据库视图可视化构建方法，其特征在于，分别对各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段，具体为：

   对所述视图元素列表中用户配置的视图元素进行进一步解析，得到视图元素字段，包括聚合函数名称、表名和列名；

   对所述视图元素关系列表中用户配置的视图元素关系进行进一步解析，得到视图元素关系字段，包括关联类型、左关联元素id、右关联元素id、左关联元素列和右关联元素列；

   将所述where筛选条件列表中用户配置的where筛选条件进行进一步解析，得到where筛选条件字段，包括左关联元素id、右关联元素id、左关联元素列、右 关联元素列、条件数值、条件符号和条件之间的关系；

   将所述having筛选条件列表中用户配置的having筛选条件进行进一步解析，得到having筛选条件字段，包括左关联元素id、右关联元素id、左关联元素列、右关联元素列、条件数值、条件符号和条件之间的关系；

   将所述其他条件列表中用户配置的相关条件进行进一步解析，得到相关条件字段。
6. 根据权利要求5所述的跨数据源数据库视图可视化构建方法，其特征在于，还包括：对每个SQL查询描述单元进一步校验：

   1)校验视图元素列表中的表名对应的表，以及列名对应的列是否真实存在于数据库中；

   2)校验视图元素关系列表中的各个关联元素是否真实存在于数据库中；

   3)校验where筛选条件列表和having筛选条件列表中的各个关联元素是否真实存在于数据库中；

   如果校验不通过，数据库视图创建失败。
7. 根据权利要求2所述的跨数据源数据库视图可视化构建方法，其特征在于，所述其他条件列表包括是否分组标识、分页大小和分页起始条数。
8. 根据权利要求1所述的跨数据源数据库视图可视化构建方法，其特征在于，校验各个所述sql片段是否符合要求，具体为：

   校验各个所述sql片段是否均符合sql规则。
9. 一种权利要求1-8任一项所述的跨数据源数据库视图可视化构建方法的系统，其特征在于，包括：

   前端可视化界面，所述前端可视化界面，用于采用可视化方式对视图信息进行具体配置，得到视图配置信息；

   第一解析模块，用于对所述前端可视化界面配置的视图配置信息进行解析，得到视图基本信息和SQL查询语句信息；其中，所述SQL查询语句信息包括多个SQL查询描述单元；

   第一校验模块，用于对所述第一解析模块解析得到的所述视图基本信息和所述SQL查询语句信息进行校验，如果检验不通过，则数据库视图创建失败；

   第二解析模块，用于对通过所述第一校验模块校验的各个SQL查询描述单元进一步解析，得到每个SQL查询描述单元的字段；

   sql片段生成模块，用于将所述第二解析模块解析得到的每个SQL查询描述单元的字段转化为一个sql片段；

   第二校验模块，用于校验所述sql片段生成模块生成的各个所述sql片段是否符合要求，如果不符合要求，则数据库视图创建失败；

   拼接模块，用于将经过所述第二校验模块校验的各个sql片段拼接，得到完整的查询sql语句；

   数据库视图生成模块，用于在在对应的数据源上，执行采用完整的查询sql语句创建视图的指令，创建得到与用户配置相一致的数据库视图。

Images