TR2024009791A2

TR2024009791A2 - DATABASE AUTOMATIC QUERY CREATION SYSTEM

Info

Publication number: TR2024009791A2
Application number: TR2024/009791
Authority: TR
Inventors: Arslan Erhan
Original assignee: Turkcell Teknoloji̇ Araştirma Ve Geli̇şti̇rme Anoni̇m Şi̇rketi̇
Filing date: 2024-07-29
Publication date: 2024-09-23

Abstract

Bu buluş, veri tabanı nesnelerinden elde edilen bilgiler temel alınarak, belirlenen tablolar için yapay zeka ve makine öğrenimi teknolojilerini bir arada kullanan bir doğal dil işleme tekniği olan BERT (Bidirectional Encoder Representations from Transformers) modelinin kullanılarak yüksek performanslı otomatik sorgular oluşturulmasını ve verimliliğin artırılmasını sağlamak amacıyla geliştirilen bir sistem (1) ile ilgilidir.This invention relates to a system (1) developed to create high-performance automatic queries and increase efficiency using the BERT (Bidirectional Encoder Representations from Transformers) model, which is a natural language processing technique that uses artificial intelligence and machine learning technologies together for the determined tables, based on the information obtained from database objects.

Description

TARIFNAME VERI TABANI OTOMATIK SORGU OLUSTURMA SISTEMI Teknik Alan Bu bulus, veri tabani nesnelerinden elde edilen bilgiler temel alinarak, belirlenen tablolar için yapay zeka ve makine ögrenimi teknolojilerini bir arada kullanan bir dogal dil isleme teknigi olan BERT (Bidirectional Encoder Representations from Transformers) modelinin kullanilarak yüksek performansli otomatik sorgular olusturulmasini ve verimliligin artirilmasini saglayan bir sistem ile ilgilidir. Önceki Teknik Günümüzde, otomatik sorgu olusturma ve veri tabani yönetimi teknolojileri, veri tabani sistemlerinde verimliligi ve erisilebilirligi artirmayi amaçlamaktadir. Geleneksel sistemler, genellikle sabit sorgu sablonlarina, manuel optimizasyonlara ve statik veri tabani yönetim kurallarina dayanmaktadir. Bu sistemler, kullanicilarin karmasik SQL sorgularini manuel olarak yazmalarini gerektirebilmekte veya sinirli otomasyon özellikleri sunmaktadir. Ayrica, veri tabani semalarinin ve iliskisel yapilarin karmasikligi, sorgularin dogru bir sekilde otomatik olarak olusturulmasini zorlastirabilmektedir. Bu sebeple veri tabani nesnelerinden elde edilen bilgiler temel alinarak, belirlenen tablolar için yapay zeka ve makine ögrenimi teknolojilerini bir arada kullanan bir dogal dil isleme teknigi olan BERT (Bidirectional Encoder Representations from Transformers) modelinin kullanilarak yüksek performansli otomatik sorgular olusturulmasini ve verimliligin artirilmasini saglayan bir sisteme ihtiyaç duyuldugu anlasilmaktadir. Teknigin bilinen durumunda yer alan CN114461717 sayili Çin patent dokümaninda, otomatik veri karsilastirma yönteminden bahsedilmektedir. Söz konusu bulus, yapay zeka alaninda bulunan otomatik veri karsilastirma yöntemi ve cihazini, elektronik ekipmani ve bir depolama ortamini kapsar. Yöntem, su adimlari içerir: bir test edilecek üçüncü taraf uygulama programi elde etmek; önceden belirlenmis bir arayüz otomatik test platformunu kullanarak üçüncü taraf uygulama programinin bir arayüz geri dönüs paketini almak; arayüz geri dönüs paketi üzerinden toplam veriyi elde etmek ve toplam veriden test edilecek veriyi çikarmak; bir sorgu ifadesi olusturmak ve bu ifadeye dayanarak üçüncü taraf uygulama programina ait orijinal veri tabanindan referans veriyi çikarmak; test edilecek veriyi referans veri ile karsilastirarak bir karsilastirma sonucu elde etmek. Yöntem ve cihaz, toplam verinin arayüz geri dönüs paketi üzerinden elde edilmesi, test edilecek verinin toplam veriden çikarilmasi ve test edilecek veri ile referans verinin otomatik olarak karsilastirilmasi sayesinde veri karsilastirma verimliligini artirir. Bulusun Kisa Açiklamasi Bu bulusun amaci, veri tabani nesnelerinden elde edilen bilgiler temel alinarak, belirlenen tablolar için yapay zeka ve makine ögrenimi teknolojilerini bir arada kullanan bir dogal dil isleme teknigi olan BERT (Bidirectional Encoder Representations from Transformers) modelinin kullanilarak yüksek performansli otomatik sorgular olusturulmasini ve verimliligin artirilmasini saglamak amaciyla gelistirilen bir sistem gerçeklestirmektir. Bulusun Ayrintili Açiklamasi Bu bulusun amacina ulasmak için gelistirilen "Veri Tabani Otomatik Sorgu Olusturma Sistemi" ekli sekilde gösterilmis olup, bu sekil; Sekil-1; Bulus konusu sistemin sematik görünüsüdür. Sekilde yer alan parçalar tek tek numaralandirilmis olup, bu numaralarin karsiliklari asagida verilmistir. 1 . Sistem 2. Veri Tabani 3. Uygulama 4. Sunucu Veri tabani nesnelerinden elde edilen bilgiler temel alinarak, belirlenen tablolar için yapay zeka ve makine ögrenimi teknolojilerini bir arada kullanan bir dogal dil isleme teknigi olan BERT (Bidirectional Encoder Representations from Transformers) modelinin kullanilarak yüksek performansli otomatik sorgular olusturulmasini ve verimliligin artirilmasini saglamak amaciyla gelistirilen bulus konusu sistem (1); -çesitli sorgular ve çesitli veri tabani nesnelerini kayit altinda tutmak üzere yapilandirilan en az bir veri tabani (2), -kullanicilarin bir arayüz üzerinden sorgu parametrelerini girebilmelerini, üretilen sorgulari görüntüleyebilmelerini ve geri bildirimde bulunabilmelerini saglamak üzere yapilandirilan en az bir uygulama (3), -Veri tabaninda (2) kayit altinda tutulan verileri almak, ön islemden geçirmek, ilgili metinleri gömme vektörlere dönüstürmek, dönüstürülen metinleri BERT modeli ile islemek, iliskisel sema ve baglanti analizi yapmak, kullanici taleplerine uygun sorgulari otomatik olarak olusturmak, otomatik sorgu optimizasyonu saglamak, kullanicilardan geri bildirim alinmasini saglamak ve modelin sürekli iyilestirilmesini saglamak üzere yapilandirilan en az bir sunucu (4) içermektedir. Bulus konusu sistemde (1) yer alan veri tabani (2), herhangi bir iletisim protokolünü kullanarak sunucu (3) ile iletisim kurmak ve veri alisverisi gerçeklestirmek üzere yapilandirilmaktadir. Bulus konusu sistemde (1) yer alan uygulama (3) herhangi bir iletisim protokolünü kullanarak sunucu (4) ile iletisim kurmak ve veri alisverisi gerçeklestirmek üzere yapilandirilmaktadir. Uygulama (3), kullanicilarin bir arayüz üzerinden kolayca etkilesimde bulunabilmelerini ve üretilen sorgulari görebilmelerini saglamak üzere yapilandirilmaktadir. Uygulama (3), kullanici dostu bir arayüz içererek dogal dil girdilerini desteklemek ve SQL bilgisi gerektirmeksizin sorgu olusturulmasini mümkün kilmak üzere yapilandirilmaktadir. Bulus konusu sistemde (1) yer alan sunucu (4) herhangi bir iletisim protokolünü kullanarak veri tabani (2) ve uygulama (3) ile iletisim kurmak ve veri alisverisi gerçeklestirmek üzere yapilandirilmaktadir. Sunucu (4), veri tabaninda (2) kayit altinda tutulan verilerin derinlemesine analiz edilmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), nesnelerden elde edilen metin verilerinin BERT seklindeki dogal dil isleme modelleri tarafindan tekrar islenebilmesini saglamak üzere ön islemeden geçirilmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), ön islemede, tokenizasyon, temizleme ve gerekirse normalizasyon adimlarinin gerçeklestirilmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), ön islemeden geçirilen metinlerin, BERT seklinde bir model kullanilarak yüksek boyutlu gömme (embedding) vektörlerine dönüstürülmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), dönüstürülen vektörlerin, metinlerin semantik bilgisini yogun bir sekilde temsil etmesini ve makine ögrenimi algoritmalari tarafindan daha sonraki islemler için kullanilmasini saglamak üzere yapilandirilmaktadir. Sunucu (4), elde edilen gömme vektörleri üzerinde çesitli makine ögrenimi tekniklerinin uygulanarak, veri tabani nesneleri arasindaki iliskisel semalarin ve baglantilarin ögrenilmesini ve sorgularin ve diger nesnelerin birbirleriyle nasil etkilesime girdiklerinin anlasilmasini saglamak üzere yapilandirilmaktadir. Sunucu (4), ögrenilen iliskisel bilgilerinin kullanilarak, kullanici taleplerine uygun yeni sorgularin dinamik olarak olusturulmasini saglamak üzere yapilandirilmaktadir. Sunucu (4), sürecin kullanicinin belirttigi tablo ve kolonlar gibi parametrelere dayanmasini ve otomatik olarak en uygun sorgu sablonlarinin ve birlestirme kosullarinin belirlenmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), olusturulan sorgularin performansi artirmak amaciyla otomatik olarak optimize edilmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), BERT modelinin sagladigi derin semantik analiZden yararlanilarak sorgu planlama tekniklerinin ve indeksleme stratejilerinin yani sira, sorgu yapilarinin daha verimli hale getirilmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), kullanicilarin uygulama (3) arayüzünden gerçeklestirdikleri geri bildirimlerin toplanarak modelin ve sorgu olusturma mekanizmasinin sürekli olarak iyilestirilmesini saglamak üzere yapilandirilmaktadir. Sunucu (4), veri tabani semasindaki degisikliklere ve kullanici ihtiyaçlarina hizla uyum saglamak üzere yapilandirilmaktadir. Sanayiye Uygulanabilirlik Bulus konusu sistem (1) sayesinde veri tabani nesnelerinden elde edilen bilgiler temel alinarak, belirlenen tablolar için yapay zeka ve makine ögrenimi teknolojilerini bir arada kullanan bir dogal dil isleme teknigi olan BERT (Bidirectional Encoder Representations from Transformers) modelinin kullanilarak yüksek performansli otomatik sorgular olusturulmasi ve verimliligin artirilmasi saglanmaktadir. Bu temel kavramlar etrafinda, bulus konusu "Veri Tabani Otomatik Sorgu Olusturma Sistemi (1)" ile ilgili çok çesitli uygulamalarin gelistirilmesi mümkün olup, bulus burada açiklanan örneklerle sinirlandirilamaZ, esas olarak istemlerde belirtildigi TR TR TRDESCRIPTION DATABASE AUTOMATIC QUERY GENERATION SYSTEM Technical Field This invention relates to a system that enables high-performance automatic queries and increased efficiency by utilizing the BERT (Bidirectional Encoder Representations from Transformers) model, a natural language processing technique that combines artificial intelligence and machine learning technologies, for specified tables based on information obtained from database objects. Prior Art Today, automatic query generation and database management technologies aim to increase efficiency and accessibility in database systems. Traditional systems generally rely on fixed query templates, manual optimizations, and static database management rules. These systems may require users to manually write complex SQL queries or offer limited automation features. Furthermore, the complexity of database schemas and relational structures can make it difficult to generate accurate queries automatically. Therefore, it is understood that there is a need for a system that enables the generation of high-performance automatic queries and increased efficiency by utilizing the BERT (Bidirectional Encoder Representations from Transformers) model, a natural language processing technique that combines artificial intelligence and machine learning technologies, for specified tables based on information obtained from database objects. An automatic data comparison method is mentioned in the Chinese patent document numbered CN114461717, which is a state of the art. The invention encompasses an automatic data comparison method and device in the field of artificial intelligence, electronic equipment, and a storage medium. The method includes the following steps: obtaining a third-party application program to be tested; Receiving an interface return packet of a third-party application program using a predetermined interface automated testing platform; obtaining aggregate data from the interface return packet and extracting the data to be tested from the aggregate data; constructing a query expression and extracting reference data from the original database of the third-party application program based on this expression; obtaining a comparison result by comparing the data to be tested with the reference data. The method and device increase the efficiency of data comparison by obtaining aggregate data from the interface return packet, extracting the data to be tested from the aggregate data, and automatically comparing the data to be tested with the reference data. Brief Description of the Invention The purpose of this invention is to realize a system developed in order to create high-performance automatic queries and increase efficiency by using the BERT (Bidirectional Encoder Representations from Transformers) model, which is a natural language processing technique that uses a combination of artificial intelligence and machine learning technologies for the determined tables, based on the information obtained from database objects. Detailed Description of the Invention The "Database Automatic Query Generation System" developed to achieve the purpose of this invention is shown in the attached figure, and this figure; Figure-1; is the schematic view of the system which is the subject of the invention. The parts in the figure are numbered one by one and the correspondences of these numbers are given below. 1 . System 2. Database 3. Application 4. Server The system in question, which was developed to create high-performance automatic queries and increase efficiency by using the BERT (Bidirectional Encoder Representations from Transformers) model, which is a natural language processing technique that uses artificial intelligence and machine learning technologies together for the determined tables, based on the information obtained from the database objects (1); -at least one database (2) configured to record various queries and various database objects, -at least one application (3) configured to allow users to enter query parameters through an interface, to view the generated queries and to provide feedback, -at least one server (4) configured to receive the data recorded in the database (2), pre-process them, convert the relevant texts into embedding vectors, process the transformed texts with the BERT model, perform relational schema and connection analysis, automatically create queries appropriate to user demands, provide automatic query optimization, ensure feedback from users and ensure continuous improvement of the model. The database (2) in the inventive system (1) is configured to communicate with the server (3) using any communication protocol and to perform data exchange. The application (3) in the inventive system (1) is configured to communicate with the server (4) using any communication protocol and to perform data exchange. The application (3) is configured to enable users to easily interact with the server (4) through an interface and to view the generated queries. The application (3) is configured to support natural language input with a user-friendly interface and to enable the creation of queries without requiring SQL knowledge. The server (4) in the inventive system (1) is configured to communicate with the database (2) and the application (3) using any communication protocol and to perform data exchange. Server (4) is configured to provide in-depth analysis of the data stored in the database (2). Server (4) is configured to preprocess the text data obtained from the objects so that it can be further processed by natural language processing models such as BERT. Server (4) is configured to perform tokenization, cleansing, and normalization steps, if necessary, during preprocessing. Server (4) is configured to transform the preprocessed texts into high-dimensional embedding vectors using a BERT model. Server (4) is configured to ensure that the transformed vectors densely represent the semantic information of the texts and can be used by machine learning algorithms for subsequent processing. Server (4) is configured to learn the relational schemas and connections between database objects and to understand how queries and other objects interact with each other by applying various machine learning techniques to the resulting embedding vectors. Server (4) is configured to dynamically generate new queries tailored to user requests using the learned relational information. Server (4) is configured to ensure that the process is based on user-specified parameters, such as tables and columns, and to automatically determine the most appropriate query templates and join conditions. Server (4) is configured to automatically optimize the generated queries to improve performance. Server (4) is configured to utilize the deep semantic analysis provided by the BERT model to improve query planning techniques and indexing strategies, as well as query structures. Server (4) is configured to continuously improve the model and query generation mechanism by collecting user feedback from the application (3) interface. Server (4) is configured to quickly adapt to changes in the database schema and user needs. Industrial Applicability: Thanks to the inventive system (1), high-performance automatic queries are generated and efficiency is increased for specified tables using the BERT (Bidirectional Encoder Representations from Transformers) model, a natural language processing technique that combines artificial intelligence and machine learning technologies, based on information obtained from database objects. Around these basic concepts, it is possible to develop a wide variety of applications related to the subject of the invention "Database Automatic Query Generation System (1)", and the invention cannot be limited to the examples explained here, but mainly as stated in the claims.

Claims

1.