TWM606888U - Enterprise data gaze system capable of conducting data lineage analysis, data importance analysis, or data change tracking - Google Patents
Enterprise data gaze system capable of conducting data lineage analysis, data importance analysis, or data change tracking Download PDFInfo
- Publication number
- TWM606888U TWM606888U TW109212942U TW109212942U TWM606888U TW M606888 U TWM606888 U TW M606888U TW 109212942 U TW109212942 U TW 109212942U TW 109212942 U TW109212942 U TW 109212942U TW M606888 U TWM606888 U TW M606888U
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- subsystem
- tables
- outlines
- databases
- Prior art date
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本新型提出一種企業資料指南系統,其包含:資料異動追蹤子系統,可接收不同資訊管理系統中的多個資料庫傳來的資料,並儲存多個資料庫綱要、以及多個資料庫中所記錄的多個標籤綱要與多個標籤實體表的欄位名稱;標籤資料子系統,設置成以視覺化方式呈現對應於多個標籤綱要與多個標籤實體表的欄位名稱的標籤資料;以及資料譜系子系統,設置成依據多個資料庫綱要進行資料譜系分析,以建立多個資料庫中的個別表格與同一資料庫內的其他表格間的關聯性、以及個別表格與不同資料庫內的其他表格間的關聯性,並以視覺化方式呈現資料譜系分析結果。This new model proposes an enterprise data guide system, which includes: a data change tracking subsystem, which can receive data from multiple databases in different information management systems, and store multiple database outlines and data in multiple databases. The recorded multiple label outlines and the field names of multiple label entity tables; the label data subsystem is configured to visually present label data corresponding to the multiple label outlines and the field names of multiple label entity tables; and The data pedigree subsystem is set to perform data pedigree analysis based on multiple database outlines to establish the relationship between individual tables in multiple databases and other tables in the same database, and the relationship between individual tables and different databases The correlation between other tables, and the results of the data genealogy analysis are presented in a visual way.
Description
本新型涉及資料庫技術,尤指一種可進行資料譜系分析、資料重要性分析、或資料異動追蹤的企業資料指南系統。The new model relates to database technology, especially an enterprise data guide system that can perform data genealogy analysis, data importance analysis, or data change tracking.
許多企業集團或財團法人組織因為業務擴展、多角化經營、或是併購活動的影響,而使得規模越來越龐大,隨之而來的結果是旗下單位使用的資料庫數量不斷增加。經年累月下來,常導致同一企業集團或財團法人組織內部會同時使用數量可觀、但廠牌/版本不一的各型資料庫的情況。由於不同資料庫間的資料聯繫關係複雜、或是不同單位之間對於彼此資料庫的使用權限有所限制,經常造成資訊管理部門、產品開發部門、甚至決策高層都難以清楚掌握集團或組織旗下的所有資料庫內的資料量與資料類型,也難以對不同資料庫中的資料進行有效率的彙整與分析。這類的情況非常普遍,尤其是對旗下的眾多資料庫是分別由不同單位或公司進行管理、使用的企業集團或大型財團法人組織而言。Many enterprise groups or consortiums have become larger and larger due to business expansion, diversified operations, or mergers and acquisitions. As a result, the number of databases used by their subsidiaries continues to increase. Over the years, it often leads to the simultaneous use of a large number of databases of various types with different brands/versions within the same enterprise group or consortium. Due to the complex data connection between different databases, or the restrictions on the use of each other’s databases between different units, it is often difficult for the information management department, product development department, and even high-level decision-making to clearly grasp the group or organization’s The data volume and data types in all databases are also difficult to efficiently aggregate and analyze the data in different databases. This type of situation is very common, especially for corporate groups or large consortia, where many of its databases are managed and used by different units or companies.
例如,許多金融機構或企業為了發展新商品或業務、或是為了配合國內外的各種法規要求(例如,個資法或是歐盟的GDPR規範)而調整各項內部作業流程,經常需要開發橫跨多個不同資料庫的程式。然而,前述的多個資料庫經常是由不同的部門或不同的子公司所管理,所以開發這類跨資料庫的程式時,許多不同部門的人員(例如,程式開發人員、產品經理、管理階層人員、甚至法遵部門人員)必須耗費非常大量的前置作業時間與人力進行討論與查核,才能釐清各項資料庫內容的異動是否會影響到其他資料庫的正常運作,否則就可能對整個組織的業務運作帶來難以預料的災難性衝擊。For example, many financial institutions or companies adjust various internal operating procedures in order to develop new products or businesses, or to comply with various domestic and foreign regulatory requirements (for example, personal information laws or EU GDPR regulations), and often need to develop Multiple programs in different databases. However, the aforementioned multiple databases are often managed by different departments or different subsidiaries. Therefore, when developing such cross-database programs, people from many different departments (for example, program developers, product managers, management Personnel, even legal compliance department personnel) must spend a very large amount of pre-work time and manpower to discuss and check, in order to clarify whether the changes in the contents of each database will affect the normal operation of other databases, otherwise it may affect the entire organization Business operations brought unforeseen catastrophic impact.
有鑑於此,如何減輕或消除上述開發跨資料庫程式時所面臨的困難,實為有待解決的技術問題。In view of this, how to reduce or eliminate the above-mentioned difficulties in developing cross-database programs is a technical problem to be solved.
本說明書提供一種企業資料指南系統的實施例,其包含:一資料異動追蹤子系統,設置成可接收不同資訊管理系統中的多個資料庫傳來的資料,並儲存該多個資料庫所對應的多個資料庫綱要、以及該多個資料庫中所記錄的多個標籤綱要與多個標籤實體表的欄位名稱;一標籤資料子系統,耦接於該資料異動追蹤子系統,設置成以視覺化方式呈現對應於該多個標籤綱要與該多個標籤實體表的欄位名稱的標籤資料;以及一資料譜系子系統,耦接於該資料異動追蹤子系統,設置成依據該多個資料庫綱要進行資料譜系分析,以建立該多個資料庫中的個別表格與同一資料庫內的其他表格間的關聯性、以及個別表格與不同資料庫內的其他表格間的關聯性,並以視覺化方式呈現資料譜系分析結果。This specification provides an example of an enterprise data guide system, which includes: a data change tracking subsystem, which is configured to receive data from multiple databases in different information management systems, and store the corresponding data from the multiple databases The multiple database outlines and the multiple label outlines and the field names of the multiple label entity tables recorded in the multiple databases; a label data subsystem, coupled to the data change tracking subsystem, is set to Visually present the label data corresponding to the plurality of label outlines and the field names of the plurality of label entity tables; and a data genealogy subsystem, coupled to the data change tracking subsystem, and set to be based on the plurality of The database outline performs data genealogical analysis to establish the relationship between individual tables in the multiple databases and other tables in the same database, as well as the relationship between individual tables and other tables in different databases. Visualize the results of data pedigree analysis.
本說明書另提供一種企業資料指南系統的實施例,其包含:一資料異動追蹤子系統,設置成可接收不同資訊管理系統中的多個資料庫傳來的資料,並儲存該多個資料庫所對應的多個資料庫綱要、以及該多個資料庫中所記錄的多個標籤綱要與多個標籤實體表的欄位名稱;一標籤資料子系統,耦接於該資料異動追蹤子系統,設置成以視覺化方式呈現對應於該多個標籤綱要與該多個標籤實體表的欄位名稱的標籤資料;一資料譜系子系統,耦接於該資料異動追蹤子系統,設置成依據該多個資料庫綱要進行資料譜系分析,以建立該多個資料庫中的個別表格與同一資料庫內的其他表格間的關聯性、以及個別表格與不同資料庫內的其他表格間的關聯性,並以視覺化方式呈現資料譜系分析結果;一模型管理子系統,耦接於該資料異動追蹤子系統,設置成儲存多個資料模型的識別資料,並建立個別資料模型與其所參照的一或多個參數來源表格及多個參數來源欄位之間的對映關係;一資料重要性判斷子系統,耦接於該資料譜系子系統,設置成根據一目標表格與同一資料庫內的其他表格間的關聯性、該目標表格與不同資料庫內的其他表格間的關聯性、以及該目標表格所對應的一或多個使用者瀏覽指標,計算出對應於該目標表格的一資料重要性指標值,其中,該一或多個使用者瀏覽指標,包含該目標表格被使用者查詢的總數、該目標表格被使用者查詢的頻率、或該目標表格被使用者訂閱追蹤的總數;其中,該資料異動追蹤子系統還設置成間歇性檢查該多個資料庫綱要、該多個標籤綱要、以及該多個標籤實體表的欄位名稱是否有異動;其中,在該多個資料庫綱要、該多個標籤綱要、或該多個標籤實體表的欄位名稱有異動時,該資料重要性判斷子系統會更新個別表格的資料重要性指標值;其中,在個別資料模型所參照的一或多個參數來源表格或一或多個參數來源欄位有異動時,該模型管理子系統會產生相應的資料模型參數更新警示通知。This specification also provides an example of an enterprise data guide system, which includes: a data change tracking subsystem configured to receive data from multiple databases in different information management systems, and store the multiple database locations Corresponding multiple database outlines, multiple label outlines and multiple label entity table field names recorded in the multiple databases; a label data subsystem, coupled to the data change tracking subsystem, set The label data corresponding to the plurality of label outlines and the column names of the plurality of label entity tables are presented in a visual manner; a data genealogy subsystem is coupled to the data change tracking subsystem and is configured to be based on the plurality of The database outline performs data genealogical analysis to establish the relationship between individual tables in the multiple databases and other tables in the same database, as well as the relationship between individual tables and other tables in different databases. Visualize the results of data genealogy analysis; a model management subsystem, coupled to the data change tracking subsystem, is configured to store the identification data of multiple data models, and create individual data models and one or more parameters they refer to The mapping relationship between the source table and multiple parameter source fields; a data importance judging subsystem, coupled to the data pedigree subsystem, is set based on the association between a target table and other tables in the same database Of the target table, the relevance between the target table and other tables in different databases, and one or more user browsing indicators corresponding to the target table to calculate a data importance index value corresponding to the target table, where , The one or more user browsing indicators include the total number of the target form being queried by the user, the frequency of the target form being queried by the user, or the total number of the target form being subscribed and tracked by the user; wherein the data change tracking The subsystem is also set to intermittently check whether there is any change in the field names of the multiple database outlines, the multiple label outlines, and the multiple label entity tables; wherein, in the multiple database outlines, the multiple label When the outline or the field names of the multiple label entity tables are changed, the data importance judgment subsystem will update the data importance index values of the individual tables; among them, one or more parameter sources referred to in the individual data model When a table or one or more parameter source fields are changed, the model management subsystem will generate a corresponding data model parameter update warning notification.
上述實施例的優點之一,是企業資料指南系統可自動分析不同資訊管理系統中的多個資料庫中的多個資料表之間的關聯性,以及個別資料表的重要性,並可以視覺化方式呈現相關的資料譜系分析結果與資料重要性分析結果,使得使用者即便欠缺相關資料庫的管理或存取權限,也能根據企業資料指南系統產生的分析結果,對相關資料庫與其他資料庫之間的資料關聯性與資料重要性獲得完整、詳細的參考資訊。One of the advantages of the above embodiment is that the enterprise data guide system can automatically analyze the relationship between multiple data tables in multiple databases in different information management systems, and the importance of individual data tables, and can visualize It presents the relevant data genealogy analysis results and data importance analysis results in a way, so that even if the user lacks the management or access authority of the relevant database, he can compare the relevant database and other databases based on the analysis results generated by the enterprise data guide system. The data relevance and importance of the data get complete and detailed reference information.
上述實施例的另一優點,是藉由企業資料指南系統的協助,使用者可大幅提升對於跨系統中的多個資料庫及相關資料模組的了解與掌控程度,並有效提高專案開發過程的討論及查核效率。如此一來,在開發跨越多個系統、多個資料庫的程式時,相關人員便可輕易釐清各項資料庫內容的異動是否會影響到其他資料庫的正常運作,進而節省大量的前置作業時間與人力,並可有效避免因開發跨資料庫程式而對整個組織的業務運作帶來難以預料的災難性衝擊。Another advantage of the above embodiment is that with the help of the enterprise data guide system, users can greatly improve their understanding and control of multiple databases and related data modules across systems, and effectively improve the project development process. Discuss and check efficiency. In this way, when developing programs that span multiple systems and multiple databases, relevant personnel can easily determine whether changes in the contents of each database will affect the normal operation of other databases, thereby saving a lot of pre-work Time and manpower, and can effectively avoid the unforeseen catastrophic impact on the business operations of the entire organization due to the development of cross-database programs.
本新型的其他優點將搭配以下的說明和圖式進行更詳細的解說。The other advantages of the present invention will be explained in more detail with the following description and drawings.
以下將配合相關圖式來說明本新型的實施例。在圖式中,相同的標號表示相同或類似的元件或方法流程。The embodiments of the present invention will be described below in conjunction with related drawings. In the drawings, the same reference numerals indicate the same or similar elements or method flows.
圖1為本新型一實施例的企業資料指南系統100簡化後的功能方塊圖。企業資料指南系統100可透過合適的專用網路或網際網路,與多個資訊管理系統(例如,圖1中的示例性資訊管理系統160、170、及180)進行資料通訊,以取得這些資訊管理系統中的不同資料庫的相關資料,並可自動分析不同資料庫中的多個資料表之間的關聯性,分析個別資料表的重要性,並可以視覺化方式呈現相關的分析結果。FIG. 1 is a simplified functional block diagram of an enterprise
如圖1所示,本實施例中的企業資料指南系統100包含一資料異動追蹤子系統110、一標籤資料子系統120、一資料譜系子系統130、一模型管理子系統140、以及一資料重要性判斷子系統150。As shown in Figure 1, the enterprise
資料異動追蹤子系統110設置成可透過合適的專用網路或網際網路,與前述的多個資訊管理系統160~180進行資料通訊,以接收不同資訊管理系統160~180中的多個資料庫傳來的資料,並儲存多個資料庫所對應的多個資料庫綱要、以及多個資料庫中所記錄的多個標籤綱要與多個標籤實體表的欄位名稱。The data
標籤資料子系統120耦接於資料異動追蹤子系統110,設置成以視覺化方式呈現對應於多個標籤綱要與多個標籤實體表的欄位名稱的標籤資料。The
資料譜系子系統130耦接於資料異動追蹤子系統110,設置成依據多個資料庫綱要進行資料譜系分析,以建立多個資料庫中的個別表格與同一資料庫內的其他表格間的關聯性、以及個別表格與不同資料庫內的其他表格間的關聯性,並以視覺化方式呈現資料譜系分析結果。The
模型管理子系統140耦接於資料異動追蹤子系統110,設置成儲存多個資料模型的識別資料,並建立個別資料模型與其所參照的一或多個參數來源表格及多個參數來源欄位之間的對映關係。The
資料重要性判斷子系統150耦接於資料譜系子系統130,設置成根據一目標表格與同一資料庫內的其他表格間的關聯性、目標表格與不同資料庫內的其他表格間的關聯性、以及目標表格所對應的一或多個使用者瀏覽指標,計算出對應於目標表格的一資料重要性指標值。The data
實作上,企業資料指南系統100中的個別子系統,可分別利用具有適當運算能力的一個或多個運算電路來實現,也可分別利用由一或多個功能模塊所組成的電腦程式來實現。In practice, the individual subsystems in the enterprise
在圖1的實施例中,所有資訊管理系統都有類似的主要電路架構,但在不同的資訊管理系統中可以設置不同的額外電路元件,而不侷限所有資訊管理系統的硬體架構都要完全相同。例如,資訊管理系統160包含多個資料庫(例如,圖1中的示例性資料庫161~163)、一儲存裝置165、一通訊電路167、一處理電路169、以及記錄在儲存裝置165中的一或多個資料模型192。相仿地,資訊管理系統170包含多個資料庫(例如,圖1中的示例性資料庫171、173)、一儲存裝置175、一通訊電路177、一處理電路179、以及記錄在儲存裝置175中的一或多個資料模型194。In the embodiment of Figure 1, all information management systems have similar main circuit architectures, but different additional circuit components can be set in different information management systems, without limiting the hardware architecture of all information management systems to complete the same. For example, the
在資訊管理系統160中,資料庫161~163用來儲存各種類型的資料。儲存裝置165用來儲存各種資料模型192(例如,各種金融模型、財務模型、AI大數據分析模型、工程數據分析模型、醫療數據分析模型、交通數據分析模型等等)。通訊電路167用來透過合適的專用網路或網際網路,與企業資料指南系統100進行資料通訊。處理電路169耦接於資料庫161~163、儲存裝置165、及通訊電路167,用來控制前述裝置的運作。In the
在資訊管理系統170中,資料庫171~173用來儲存各種類型的資料。儲存裝置175用來儲存各種資料模型194(例如,各種金融模型、財務模型、AI大數據分析模型、工程數據分析模型、醫療數據分析模型、交通數據分析模型等等)。通訊電路177用來透過合適的專用網路或網際網路,與企業資料指南系統100進行資料通訊。處理電路179耦接於資料庫171~173、儲存裝置175、及通訊電路177,用來控制前述裝置的運作。In the
資訊管理系統180內部的主要電路架構與運作方式也跟前述的資訊管理系統160或170類似,但為了簡潔起見,並未將資訊管理系統180的內部電路架構繪示在圖1中。The main circuit structure and operation mode of the
實作上,資料庫161~163和171~173皆可用各種類型的資料庫來實現,也可以用位於相同地理區域、或是位於不同地理區域的多個資料庫組合來實現。儲存裝置165和175皆可以用各種合適的揮發性儲存電路或非揮發性儲存電路來實現。通信電路167和177皆可利用符合相關網路通信、無線通信、或是行動通信規範的各種適當電路來實現,例如網路卡、無線傳輸電路、或是行動通信電路等等。處理電路169和179皆可利用具有適當運算能力的一個或多個處理器模組來實現。另外,同一資訊管理系統中的不同資料庫的廠牌、型號、以及儲存的資料類型可以有所不同。不同資訊管理系統中的資料庫數量也可以有所不同。In practice, the
在某些實施例中,亦可將前述的一或多個資料模型192改儲存在資料庫161~163中,並將前述的一或多個資料模型194改儲存在資料庫171~173中。在此情況下,可將前述的儲存裝置165和175省略。In some embodiments, the aforementioned one or
請注意,前述的企業資料指南系統100及資訊管理系統160~180,在實際實施時皆可設置供用戶進行操控所需的人機介面裝置(例如,顯示器、鍵盤、滑鼠、觸控螢幕等),但為了簡化圖面內容起見,這些人機介面裝置並未繪示在圖1中。Please note that the aforementioned enterprise
在實際應用中,不同的資訊管理系統160、170、180有可能是由同一部門或同一公司負責管理及使用,也可能是分別由不同部門或不同公司負責管理及使用。因此,圖1中的資訊管理系統160、170、或180的系統管理者,有可能彼此不同,且沒有其他資訊管理系統的管理權限。In practical applications, different
例如,資訊管理系統160、170、180有可能是分別由同一金控集團旗下的不同公司來負責管理及使用的系統。在一般情況下,個別公司的資訊管理人員對於其他公司內部的資訊管理系統不會有管理及存取權限。在某些受到法令規範的環境中,可能也不允許同一集團內有任何人同時具有所有訊管理系統的管理及存取權限。For example, the
不同的資訊管理系統160、170、180的管理者、使用者、或是其他相關的產品開發人員與管理人員,可以透過合適的裝置(例如各種電腦、智慧手機、平板電腦等等)及個別的帳號登入企業資料指南系統100,以查詢企業資料指南系統100中的資料、取得企業資料指南系統100的各項分析結果,並進行留言、註記、或是彼此討論。如此一來,資訊管理系統160、170、180的管理者、使用者、或是其他相關的產品開發人員與管理人員,便可在沒有相關資料庫存取權限的情況下,藉由企業資料指南系統100的各項分析結果得知不同資料庫中的多個資料表之間的資料關聯、甚至是個別資料項目的重要性,進而能夠很有效率地釐清各項資料庫內容的異動是否會影響到其他資料庫的正常運作,以避免新產品的開發對整個組織的業務運作帶來難以預料的災難性衝擊。The managers, users, or other related product developers and managers of different
以下將搭配圖2至圖6來進一步說明企業資料指南系統100的運作方式。圖2為企業資料指南系統100運作時的資料流邏輯簡化後的示意圖。圖3為企業資料指南系統100所進行的資料譜系分析及重要性判斷方法的一實施例簡化後的流程圖。圖4為企業資料指南系統100所產生的資料譜系分析結果畫面400的一實施例簡化後的示意圖。圖5為企業資料指南系統100所產生的資料重要性分析結果畫面500的一實施例簡化後的示意圖。圖6為企業資料指南系統100所進行的資料異動追蹤方法的一實施例簡化後的流程圖。Hereinafter, the operation mode of the enterprise
在圖3與圖6的流程圖中,位於一特定裝置所屬欄位中的流程,即代表由該特定裝置所進行的流程。例如,標記在「資料異動追蹤子系統」欄位中的部分,是由資料異動追蹤子系統110所進行的流程;標記在「標籤資料子系統」欄位中的部分,是由標籤資料子系統120所進行的流程;標記在「資料譜系子系統」欄位中的部分,則是由資料譜系子系統130所進行的流程;其餘依此類推。In the flowcharts of FIGS. 3 and 6, the process in the column of a specific device represents the process performed by the specific device. For example, the part marked in the "Data Change Tracking Subsystem" field is the process carried out by the data
為了取得各種分析所需的資料,企業資料指南系統100的資料異動追蹤子系統110可進行圖3中的流程302,與多個資訊管理系統160~180進行資料通訊,以獲取並儲存分別對應不同資料庫161~173的多個資料庫綱要(schema)。In order to obtain the data required for various analyses, the data
在流程304中,資料異動追蹤子系統110還可與多個資訊管理系統160~180進行資料通訊,以獲取並儲存不同資料庫161~173中所記錄的多個標籤綱要(tag schema)、及多個標籤實體表(entity table)的欄位名稱。In the
在流程306中,標籤資料子系統120可依據資料異動追蹤子系統110的指示,取得該多個標籤綱要及該多個標籤實體表的欄位名稱。實作上,資料異動追蹤子系統110可直接傳送該多個標籤綱要及該多個標籤實體表的欄位名稱給標籤資料子系統120,或將該多個標籤綱要及該多個標籤實體表的欄位名稱的儲存位置通知標籤資料子系統120,讓標籤資料子系統120自行讀取該多個標籤綱要及該多個標籤實體表的欄位名稱。In the
在流程308中,標籤資料子系統120可以各種合適的視覺化方式呈現標籤資料,例如,標籤資料子系統120可將資料庫161~173的管理者或使用者所設定的各種標籤資料,以列表清單、或各種統計圖的方式,呈現給企業資料指南系統100的使用者。In the
在流程310中,資料譜系子系統130可依據資料異動追蹤子系統110的指示,取得該多個資料庫綱要。實作上,資料異動追蹤子系統110可直接傳送該多個資料庫綱要給資料譜系子系統130,或將該多個資料庫綱要的儲存位置通知資料譜系子系統130,讓資料譜系子系統130自行讀取該多個資料庫綱要。In the
在流程312中,資料譜系子系統130可依據資料異動追蹤子系統110或標籤資料子系統120的指示,取得該多個標籤綱要。實作上,資料異動追蹤子系統110或標籤資料子系統120可直接傳送該多個標籤綱要給資料譜系子系統130,或將該多個標籤綱要的儲存位置通知資料譜系子系統130,讓資料譜系子系統130自行讀取該多個標籤綱要。In the
在流程314中,資料譜系子系統130可根據前述的多個標籤綱要進行各種合適的資料譜系分析,以建立前述資料庫161~173中的個別表格與同一資料庫內的其他表格間的關聯性,以及建立個別表格與不同資料庫內的其他表格間的關聯性。在某些實施例中,資料譜系子系統130還可進一步參考前述的多個標籤綱要來進行個別資料表的資料譜系分析。In the
在流程316中,資料譜系子系統130可以各種合適的視覺化方式呈現資料譜系分析結果,例如,圖4中所繪示的資料譜系分析結果畫面400。在資料譜系分析結果畫面400中,資料譜系子系統130可將前述資料庫161~173中的部分資料表402~418的譜系分析結果,以關聯圖的方式排列,並以帶箭頭的連接線表達不同資料表間的血緣關係。在圖4的實施例中,資料表408中的至少部分內容,是源自於資料表402、404、及406的內容;資料表414及416中的至少部分內容,是源自於資料表410的內容;資料表418中的至少部分內容,是源自於資料表412的內容;其餘依此類推。In the
在流程318中,資料重要性判斷子系統150可依據資料譜系子系統130的指示取得資料譜系分析結果。實作上,資料譜系子系統130可將資料譜系分析結果傳送給資料重要性判斷子系統150,或將資料譜系分析結果的儲存位置通知資料重要性判斷子系統150,讓資料重要性判斷子系統150自行讀取資料譜系分析結果。In the
在本實施例中,資料重要性判斷子系統150還可進行流程320,以收集並統計個別表格的使用者瀏覽指標。前述的使用者瀏覽指標,可包含個別表格被使用者查詢的總數、個別表格被使用者查詢的頻率、和/或個別表格被使用者訂閱追蹤的總數。In this embodiment, the data
在流程322中,資料重要性判斷子系統150可依據資料譜系子系統130的資料譜系分析結果,分析個別表格的資料重要性,以產生相應的資料重要性指標值。In the
例如,對某個目標表格而言,資料重要性判斷子系統150可根據該目標表格與同一資料庫內的其他表格間的關聯性、以及該目標表格與不同資料庫內的其他表格間的關聯性,進行各種合適的加權運算,以計算出該目標表格的資料重要性指標值。又例如,資料重要性判斷子系統150可根據該目標表格與同一資料庫內的其他表格間的關聯性、該目標表格與不同資料庫內的其他表格間的關聯性、以及該目標表格所對應的使用者瀏覽指標,進行各種合適的加權運算,以計算出該目標表格的資料重要性指標值。For example, for a certain target table, the data
對於其他表格,資料重要性判斷子系統150皆可比照前述目標表格的方式計算出一相應的資料重要性指標值。For other tables, the data
在實際應用中,資料重要性判斷子系統150可以各種合適的視覺化方式呈現資料重要性分析結果,例如,圖5中所繪示的資料重要性分析結果畫面500。在資料重要性分析結果畫面500中,資料重要性判斷子系統150可將資料庫161~173中的多個資料表的相對重要性高低及彼此間的譜系關聯性,整理成相應的資料表關聯圖510,同時以較大的圖形面積呈現較重要的資料表,並以線條連接具有譜系關聯性的資料表。In practical applications, the data
另外,如圖5所示,資料重要性判斷子系統150還可將多個資料表的所屬系統(system)、所屬資料庫(database,DB)、資料表名稱(table name)、資料表建立者(Table Owner)、資料表維護者(Table Maintainer)、譜系程度值(Lineage Score)、資料表影響值(Impact Score)、重要性程度值(Importance Score)、資料表異動頻率(Change Frequency)、所屬群組(Group)、群組中心度等(Group Centrality)等相關資訊,彙整成相應的資料重要性摘要表520,以供使用者查閱。In addition, as shown in FIG. 5, the data
在本實施例中,模型管理子系統140還會進行圖6中的流程602,以儲存資料庫161~173中的多個資料模型(例如,前述的資料模型192、194)的識別資料,並建立個別資料模型與參照的參數來源表格及參數來源欄位之間的對映關係。實作上,個別資料模型的識別資料、資料模型參照的參數來源表格及參數來源欄位等資訊,可以是由企業資料指南系統100的使用者輸入至模型管理子系統140,也可以是由前述的資訊管理系統160~180透過預定的方式自動傳送給資料異動追蹤子系統110,再由資料異動追蹤子系統110提供給模型管理子系統140。In this embodiment, the
在實際應用中,模型管理子系統140可依據使用者的請求或查詢,將個別資料模型與參照的參數來源表格及參數來源欄位之間的對映關係,以表單、圖表、文字描述等合適的視覺化方式提供給使用者參考。In practical applications, the
隨著時間經過,前述不同資料庫161~173所對應的資料庫綱要、所記錄的標籤綱要、以及所記錄的標籤實體表的欄位名稱,都有可能會被個別資料庫的管理者、使用者、或產品開發人員進行變更或調整,但這些變更或調整內容,通常並不會詳細地提供給其他資訊管理系統的資料庫的管理者、使用者、或產品開發人員得知。As time passes, the database outlines corresponding to the aforementioned
因此,企業資料指南系統100還會間歇性地執行圖6中的其他流程,以追蹤個別資料庫發生的相關異動。Therefore, the enterprise data guide
如圖6所示,資料異動追蹤子系統110可進行流程604,以間歇性與多個資訊管理系統160~180進行資料通訊,並獲取分別對應不同資料庫161~173的多個資料庫綱要、不同資料庫161~173中所記錄的多個標籤綱要、及多個標籤實體表的欄位名稱。As shown in Figure 6, the data
接著,資料異動追蹤子系統110可進行流程606,將新近接收到的資料庫綱要、標籤綱要、及標籤實體表的欄位名稱,與先前接收到的資料庫綱要、標籤綱要、及標籤實體表的欄位名稱進行比對,以檢查前述資料庫161~173所對應的資料庫綱要、標籤綱要、或標籤實體表的欄位名稱是否有異動。Then, the data
倘若資料庫161~173所對應的資料庫綱要、標籤綱要、及標籤實體表的欄位名稱都沒有異動,則資料異動追蹤子系統110可在經過適當時間之後再次進行前述的流程604與流程606。If there is no change in the database outline, label outline, and field names of the label entity table corresponding to the
倘若資料庫161~173所對應的某些資料庫綱要、某些標籤綱要、或是某些標籤實體表的欄位名稱有異動,則資料異動追蹤子系統110可進行流程608,以產生相應的資料更新通知。If certain database outlines, certain label outlines, or certain label entity table field names corresponding to
在流程610中,標籤資料子系統120、資料譜系子系統130、模型管理子系統140、或是資料重要性判斷子系統150,會接收資料異動追蹤子系統110產生的資料更新通知。In the
如圖6所示,倘若某些資料庫綱要和/或某些標籤綱要有異動,則資料譜系子系統130可進行流程612,再次進行資料譜系分析,以更新前述資料庫161~173中的個別表格與同一資料庫內的其他表格間的關聯性,以及更新個別表格與不同資料庫內的其他表格間的關聯性。As shown in Figure 6, if some database outlines and/or certain tag outlines are changed, the
在流程614中,資料譜系子系統130可以各種合適的視覺化方式呈現更新後的資料譜系分析結果。例如,資料譜系子系統130可產生與圖4中的資料譜系分析結果畫面400類似、但內容有所不同的資料譜系分析結果畫面。In the
在流程616中,資料重要性判斷子系統150可依據資料譜系子系統130的指示取得更新後的資料譜系分析結果。例如,資料譜系子系統130可將更新後的資料譜系分析結果傳送給資料重要性判斷子系統150,或將更新後的資料譜系分析結果的儲存位置通知資料重要性判斷子系統150,讓資料重要性判斷子系統150自行讀取更新後的資料譜系分析結果。In the
與圖3的實施例類似,資料重要性判斷子系統150還可持續進行流程618,以不斷收集並統計個別表格的使用者瀏覽指標。Similar to the embodiment in FIG. 3, the data
在流程620中,資料重要性判斷子系統150可依據更新後的資料譜系分析結果,再次分析個別表格的資料重要性,以更新個別表格所對應的資料重要性指標值。In the
例如,對某個目標表格而言,資料重要性判斷子系統150可根據該目標表格與同一資料庫內的其他表格間的關聯性、以及該目標表格與不同資料庫內的其他表格間的關聯性,進行各種合適的加權運算,以重新計算並更新該目標表格的資料重要性指標值。又例如,資料重要性判斷子系統150可根據該目標表格與同一資料庫內的其他表格間的關聯性、該目標表格與不同資料庫內的其他表格間的關聯性、以及該目標表格所對應的使用者瀏覽指標,進行各種合適的加權運算,以重新計算並更新該目標表格的資料重要性指標值。For example, for a certain target table, the data
對於其他表格,資料重要性判斷子系統150皆可比照前述目標表格的方式更新個別表格所對應的資料重要性指標值。For other tables, the data
倘若個別資料模型所參照的參數來源表格和/或參數來源欄位有異動,則模型管理子系統140可進行流程622,以更新個別資料模型與參照的參數來源表格及參數來源欄位之間的對映關係。If there is a change in the parameter source table and/or parameter source field referenced by an individual data model, the
在此情況下,模型管理子系統140還可進行流程624,以產生相應的資料模型參數更新警示通知,並提供給相關的使用者。如此一來,相關的使用者便能根據模型管理子系統140的警示通知,對相關資料模型所參照的參數來源表格和/或參數來源欄位的異動過程進行檢核或查詢,以釐清相關的異動是合法的異動、還是其他人不小心造成的錯誤異動。In this case, the
由前述說明可知,企業資料指南系統100可自動分析不同資訊管理系統160~180中的多個資料庫中的多個資料表之間的關聯性,以及個別資料表的重要性,並可以視覺化方式呈現相關的資料譜系分析結果與資料重要性分析結果。因此,即便企業資料指南系統100的使用者欠缺相關資料庫的管理或存取權限,也能根據企業資料指南系統100產生的分析結果,對相關資料庫與其他資料庫之間的資料關聯性與資料重要性獲得完整、詳細的參考資訊,這對參與跨資料庫程式開發工作的相關人員(例如,程式開發人員、產品經理、管理階層人員、甚至法遵部門人員),能提供非常實質性的幫助。From the foregoing description, it can be seen that the enterprise data guide
另外,企業資料指南系統100還可自動判斷及追蹤多個資料庫161~173的資料庫綱要是否發生異動、不同資料庫161~173中所記錄的標籤綱要和/或標籤實體表的欄位名稱是否發生異動、以及個別資料模型所參照的參數來源表格和/或參數來源欄位是否發生異動,並可於前述資料項目有異動時,自動更新相關的資料譜系分析結果、資料重要性分析結果、以及個別資料模型與參照的參數來源表格及參數來源欄位之間的對映關係。In addition, the enterprise data guide
因此,藉由企業資料指南系統100的協助,使用者可大幅提升對於跨系統中的多個資料庫及相關資料模組的了解與掌控程度,並有效提高專案開發過程的討論及查核效率。Therefore, with the assistance of the enterprise data guide
如此一來,在開發跨越多個系統、多個資料庫的程式時,相關人員便可輕易釐清各項資料庫內容的異動是否會影響到其他資料庫的正常運作,進而節省大量的前置作業時間與人力,並可有效避免因開發跨資料庫程式而對整個組織的業務運作帶來難以預料的災難性衝擊。In this way, when developing programs that span multiple systems and multiple databases, relevant personnel can easily determine whether changes in the contents of each database will affect the normal operation of other databases, thereby saving a lot of pre-work Time and manpower, and can effectively avoid the unforeseen catastrophic impact on the business operations of the entire organization due to the development of cross-database programs.
請注意,前述圖3中的流程執行順序只是一示範性的實施例,並非侷限本新型的實際實施方式。例如,圖3中的流程302與流程304的順序可以對調,也可以同時進行。流程308、314的順序沒有任何限制。另外,圖6中的流程614、流程616、及流程622的順序沒有任何限制。在某些應用中,還可以將流程312、流程320、和/或流程618省略。Please note that the execution sequence of the process in FIG. 3 is only an exemplary embodiment and does not limit the actual implementation of the present invention. For example, the sequence of the
請注意,前述資訊管理系統及資料庫的數量都可依實際應用環境的需要而增加,並不侷限於前述實施例所繪示的態樣。Please note that the number of the aforementioned information management system and database can be increased according to the needs of the actual application environment, and is not limited to the aspect depicted in the aforementioned embodiment.
再者,在無需使用資料模型、或無需控管資料模型的相關參數來源的應用中,可將前述的模型管理子系統140省略,以簡化企業資料指南系統100的架構複雜度。Furthermore, in applications that do not need to use a data model or control the source of related parameters of the data model, the aforementioned
在說明書及申請專利範圍中使用了某些詞彙來指稱特定的元件,而本領域內的技術人員可能會用不同的名詞來稱呼同樣的元件。本說明書及申請專利範圍並不以名稱的差異來做為區分元件的方式,而是以元件在功能上的差異來做為區分的基準。在說明書及申請專利範圍中所提及的「包含」爲開放式的用語,應解釋成「包含但不限定於」。另外,「耦接」一詞在此包含任何直接及間接的連接手段。因此,若文中描述第一元件耦接於第二元件,則代表第一元件可通過電性連接或無線傳輸、光學傳輸等信號連接方式而直接地連接於第二元件,或通過其它元件或連接手段間接地電性或信號連接至第二元件。In the specification and the scope of the patent application, certain words are used to refer to specific elements, and those skilled in the art may use different terms to refer to the same elements. This specification and the scope of patent application do not use differences in names as a way to distinguish components, but use differences in functions of components as a basis for distinction. The "include" mentioned in the specification and the scope of the patent application is an open term and should be interpreted as "include but not limited to". In addition, the term "coupled" herein includes any direct and indirect connection means. Therefore, if it is described in the text that the first element is coupled to the second element, it means that the first element can be directly connected to the second element through electrical connection, wireless transmission, optical transmission, or other signal connection methods, or through other elements or connections. The means is indirectly connected to the second element electrically or signally.
在說明書中所使用的「和/或」的描述方式,包含所列舉的其中一個項目或多個項目的任意組合。另外,除非說明書中特別指明,否則任何單數格的用語都同時包含複數格的含義。The description method of "and/or" used in the description includes one of the listed items or any combination of multiple items. In addition, unless otherwise specified in the specification, any term in the singular case also includes the meaning of the plural case.
以上僅為本新型的較佳實施例,凡依本新型請求項所做的等效變化與修改,皆應屬本新型的涵蓋範圍。The above are only the preferred embodiments of the present invention, and all equivalent changes and modifications made in accordance with the claims of the present invention shall fall within the scope of the present invention.
100:企業資料指南系統(enterprise data gaze system)100: Enterprise data gaze system (enterprise data gaze system)
110:資料異動追蹤子系統(data change tracking subsystem)110: data change tracking subsystem (data change tracking subsystem)
120:標籤資料子系統(tag data subsystem)120: tag data subsystem (tag data subsystem)
130:資料譜系子系統(data lineage subsystem)130: data lineage subsystem (data lineage subsystem)
140:模型管理子系統(model management subsystem)140: model management subsystem (model management subsystem)
150:資料重要性判斷子系統(data significance identification subsystem)150: data significance identification subsystem
160、170、180:資訊管理系統(management information system)160, 170, 180: information management system (management information system)
161、163、171、173:資料庫(database)161, 163, 171, 173: database (database)
165、175:儲存裝置(storage device)165, 175: storage device (storage device)
167、177:通訊電路(communication circuit)167, 177: communication circuit (communication circuit)
169、179:處理電路(processing circuit)169, 179: processing circuit
192、194:資料模型(data model)192, 194: data model
302~322、602~624:運作流程(operation)302~322, 602~624: operation
400:資料譜系分析結果畫面(data lineage analysis resulting screen)400: data lineage analysis resulting screen
402~418:資料表(data table)402~418: data table
500:資料重要性分析結果畫面(data importance analysis resulting screen)500: data importance analysis resulting screen
510:資料表關聯圖(table relationship diagram)510: table relationship diagram
520:資料重要性摘要表(data importance summary table)520: data importance summary table (data importance summary table)
圖1為本新型一實施例的企業資料指南系統簡化後的功能方塊圖。FIG. 1 is a simplified functional block diagram of the enterprise information guide system according to an embodiment of the new type.
圖2為圖1中的企業資料指南系統運作時的資料流邏輯簡化後的示意圖。Figure 2 is a simplified schematic diagram of the data flow logic when the enterprise data guide system in Figure 1 is operating.
圖3為圖1中的企業資料指南系統所進行的資料譜系分析及重要性判斷方法的一實施例簡化後的流程圖。3 is a simplified flowchart of an embodiment of a method for data genealogy analysis and importance judgment performed by the enterprise data guide system in FIG. 1.
圖4為圖1中的企業資料指南系統所產生的資料譜系分析結果畫面的一實施例簡化後的示意圖。4 is a simplified schematic diagram of an embodiment of a data genealogical analysis result screen generated by the enterprise data guide system in FIG. 1.
圖5為圖1中的企業資料指南系統所產生的資料重要性分析結果畫面的一實施例簡化後的示意圖。FIG. 5 is a simplified schematic diagram of an embodiment of a data importance analysis result screen generated by the enterprise data guide system in FIG. 1.
圖6為圖1中的企業資料指南系統所進行的資料異動追蹤方法的一實施例簡化後的流程圖。6 is a simplified flowchart of an embodiment of a method for tracking data changes performed by the enterprise data guide system in FIG. 1.
100:企業資料指南系統 100: Enterprise Information Guide System
110:資料異動追蹤子系統 110: Data Change Tracking Subsystem
120:標籤資料子系統 120: Tag data subsystem
130:資料譜系子系統 130: Data Genealogy Subsystem
140:模型管理子系統 140: Model Management Subsystem
150:資料重要性判斷子系統 150: Data Importance Judgment Subsystem
160、170、180:資訊管理系統 160, 170, 180: Information Management System
161、163、171、173:資料庫 161, 163, 171, 173: database
165、175:儲存裝置 165, 175: storage device
167、177:通訊電路 167, 177: Communication circuit
169、179:處理電路 169, 179: Processing circuit
192、194:資料模型 192, 194: Data Model
Claims (10)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962911620P | 2019-10-07 | 2019-10-07 | |
US62/911,620 | 2019-10-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
TWM606888U true TWM606888U (en) | 2021-01-21 |
Family
ID=75239165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109212942U TWM606888U (en) | 2019-10-07 | 2020-09-30 | Enterprise data gaze system capable of conducting data lineage analysis, data importance analysis, or data change tracking |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWM606888U (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI796274B (en) * | 2022-08-23 | 2023-03-11 | 中國鋼鐵股份有限公司 | Project management platform and project management method |
-
2020
- 2020-09-30 TW TW109212942U patent/TWM606888U/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI796274B (en) * | 2022-08-23 | 2023-03-11 | 中國鋼鐵股份有限公司 | Project management platform and project management method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8108367B2 (en) | Constraints with hidden rows in a database | |
US7613728B2 (en) | Metadata database management system and method therefor | |
US8423514B2 (en) | Service provisioning | |
US20160055261A1 (en) | User-controlled graph analysis system | |
Welbourne et al. | Cascadia: a system for specifying, detecting, and managing RFID events | |
CN110750654A (en) | Knowledge graph acquisition method, device, equipment and medium | |
US20080065646A1 (en) | Enabling access to aggregated software security information | |
CN112445854B (en) | Multi-source service data real-time processing method, device, terminal and storage medium | |
CN109542966B (en) | Data fusion method and device, electronic equipment and computer readable medium | |
US9886369B2 (en) | Dynamic data fabrication for database applications | |
CN109918394A (en) | Data query method, system, computer installation and computer readable storage medium | |
US8533159B2 (en) | Processing materialized tables in a multi-tenant application system | |
US20110131247A1 (en) | Semantic Management Of Enterprise Resourses | |
CN104750771A (en) | Method and system for contextual data analysis using domain information | |
CN112308465A (en) | Service index processing method and device | |
CN110675238A (en) | Client label configuration method, system, readable storage medium and electronic equipment | |
US9002824B1 (en) | Query plan management in shared distributed data stores | |
US11645344B2 (en) | Entity mapping based on incongruent entity data | |
JP2024524094A (en) | Data governance system and method | |
JP2007133624A (en) | Information management method and device using connection relation information | |
TWM606888U (en) | Enterprise data gaze system capable of conducting data lineage analysis, data importance analysis, or data change tracking | |
CN113434542A (en) | Data relation identification method and device, electronic equipment and storage medium | |
US20160004754A1 (en) | Generic API | |
CN105518672A (en) | Data retrieval across multiple models | |
GB2493963A (en) | Database record repair |