RU2396593C2 - Method for searching data on objects and in various databases and system for its realisation - Google Patents
Method for searching data on objects and in various databases and system for its realisation Download PDFInfo
- Publication number
- RU2396593C2 RU2396593C2 RU2007149617/09A RU2007149617A RU2396593C2 RU 2396593 C2 RU2396593 C2 RU 2396593C2 RU 2007149617/09 A RU2007149617/09 A RU 2007149617/09A RU 2007149617 A RU2007149617 A RU 2007149617A RU 2396593 C2 RU2396593 C2 RU 2396593C2
- Authority
- RU
- Russia
- Prior art keywords
- search
- objects
- data
- user
- databases
- Prior art date
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Изобретение относится к вычислительной технике, в частности к обработке цифровых данных, предназначенных для специфических функций с помощью специфических устройств, и может найти применение для обработки, хранения, анализа и представления данных об объектах, находящихся в разнородных базах данных (информационных массивах), и связях между ними. В частности, информационные массивы могут содержать данные по объектам следующих типов: юридические лица, физические лица, строения, помещения и другие.The invention relates to computing, in particular to the processing of digital data intended for specific functions using specific devices, and may find application for processing, storage, analysis and presentation of data about objects located in heterogeneous databases (information arrays), and communications between them. In particular, information arrays can contain data on objects of the following types: legal entities, individuals, buildings, premises and others.
Известен способ по заявке на изобретение №2006102530/09 «Модель данных для объектно-реляционных данных», представляющий собой способ хранения данных произвольной структуры. Этот способ предназначен для облегчения доступа к данным путем хранения разнородной информации в единой универсальной объектной структуре. Для этого необходимо произвести предварительную трансформацию всех исходных данных, что во многих случаях может быть связано с ресурсными затратами и значительным увеличением объема данных.The known method according to the application for invention No. 2006102530/09 "Data model for object-relational data", which is a method of storing data of arbitrary structure. This method is intended to facilitate access to data by storing heterogeneous information in a single universal object structure. For this, it is necessary to carry out a preliminary transformation of all the source data, which in many cases can be associated with resource costs and a significant increase in the amount of data.
Известны способ «Поиска и выборки информации из различных баз данных» по патенту РФ №2305314 и способ «Способ поиска и выборки информации с повышенной релевантностью» по патенту РФ №2236699. Указанные способы ориентированы на поиск и выборку информации из баз данных, содержащих только текстовые документы. Поэтому невозможно выполнить поиск по заранее определенному набору поисковых атрибутов в реляционных базах данных.The known method of “Search and retrieval of information from various databases” according to the patent of the Russian Federation No. 2305314 and the method “Method of search and retrieval of information with increased relevance” according to the patent of the Russian Federation No. 2236699. These methods are focused on the search and retrieval of information from databases containing only text documents. Therefore, it is not possible to search a predetermined set of search attributes in relational databases.
Известно устройство ситуационного поиска информации по патенту на полезную модель №13108. Устройство имеет выход ко всем доступным неограниченным информационным ресурсам и позволяет получать информацию с высоким уровнем релевантности. Однако оно позволяет проводить поиск релевантной информации только по одному непараметризованному наборному полю и только по информационным ресурсам, содержащим текстовые архивы информации. Также в устройстве отсутствуют модули, выполняющие автоматическое формирование сигналов поиска, в соответствии с метаданными, описывающими структуру информационных ресурсов, что подразумевает определенные затраты при организации связей с дополнительными информационными ресурсами.A device for situational information retrieval on a patent for utility model No. 13108 is known. The device has access to all available unlimited information resources and allows you to receive information with a high level of relevance. However, it allows you to search for relevant information only on one non-parameterized typesetting field and only on information resources containing text information archives. Also, the device lacks modules that automatically generate search signals in accordance with the metadata that describes the structure of information resources, which implies certain costs when organizing links with additional information resources.
Также известна Иерархическая многоуровневая автоматизированная система сбора и обработки данных по патенту на полезную модель №43984. Система состоит из множества идентичных по структуре и функциональному назначению звеньев сбора и обработки данных, каждое из которых содержит блок хранения шаблонов ввода, блок хранения статической справочной информации, блок хранения вводимых данных, блок ввода данных, блок импорта, блок экспорта, блок архивирования, блок восстановления, блок электронного обмена данными между уровнями и блок хранения резервных копий данных. Однако она ориентирована на пакетный обмен данными и, как следствие, в ней отсутствуют средства поиска и предоставления сводной справки о найденных объектах.Also known is the Hierarchical multi-level automated system for collecting and processing data according to the patent for utility model No. 43984. The system consists of many data collection and processing links that are identical in structure and function, each of which contains an input template storage unit, a static reference information storage unit, an input data storage unit, a data input unit, an import unit, an export unit, an archiving unit, a unit recovery, electronic data exchange unit between the levels and data backup storage unit. However, it is focused on batch data exchange and, as a result, it lacks the means of searching and providing a summary of information about found objects.
Технической задачей, на решение которой направлено данное изобретение, является повышение быстродействия при поиске и получении данных об интересуемых объектах, сведения о которых находятся в разнородных информационных массивах, и связях между ними.The technical problem to which this invention is directed is to increase performance when searching and receiving data about objects of interest, information about which are in heterogeneous information arrays, and the relationships between them.
Эта задача решена тем, что в способе поиска данных об объектах и в различных базах данных, заключающемся в том, что формируют пакет данных на основании введенных параметров пользовательских запросов, таких как поисковые атрибуты и условия, идентифицируют пользователя с помощью устройства авторизации, создают с помощью устройства управления контекстом объект контекста пользовательской сессии, в котором сохраняют параметры поискового запроса и формируют поисковые запросы с помощью устройства формирования пользовательских запросов на основании полученных из устройства управления конфигурацией метаданных, описывающих тип, состав, структуру и принадлежность баз данных, а также сведений, указанных в сформированном пакете данных пользовательского запроса, определяют набор баз данных, участвующих в поиске, с учетом уровня доступа пользователя, выполняют поиск элементов общих для всех баз данных классификаторов и определяют множество соответствующих им идентификаторов для каждой базы данных, участвующей в поиске, после чего для каждой из набора баз данных выполняют последовательности запросов для поиска объектов каждого типа и составляют список идентификаторов найденных объектов, удовлетворяющих условиям поиска, получают список идентификаторов найденных объектов, удовлетворяющих условиям поискового запроса для каждой базы, который трансформируют в единый формат информации и сохраняют в объекте контекста пользовательской сессии, при этом при выполнении последовательности запросов для поиска объектов каждого типа, сведения о которых содержатся в базе данных, значения атрибутов объектов, которые распределены по нескольким таблицам, собираются в одно плоское денормализованное представление данных с учетом множественности значений атрибутов, содержащее помимо значений поисковых атрибутов также и идентификаторы объектов.This problem is solved in that in the method of searching for data about objects and in various databases, which consists in forming a data packet based on the entered parameters of user queries, such as search attributes and conditions, identify the user using an authorization device, create using a context management device, a context object of a user session in which the parameters of the search query are stored and search queries are generated using the device for generating user requests for Based on the metadata received from the configuration management device that describes the type, composition, structure and ownership of the databases, as well as the information specified in the generated data packet of the user’s request, they determine the set of databases involved in the search, taking into account the user’s access level, search for elements of common for all databases of classifiers and determine the set of identifiers corresponding to them for each database participating in the search, after which for each of the set of databases the last Sequences of queries for searching objects of each type and compile a list of identifiers of found objects that satisfy the search conditions, get a list of identifiers of found objects that satisfy the conditions of the search query for each database, which are transformed into a single information format and stored in the context object of the user session, while sequences of queries to search for objects of each type, information about which is contained in the database, values of attributes of objects that spredeleny across multiple tables, gather in one flat denormalized data representation based on the plurality of attribute values, in addition to containing the search attribute values also object identifiers.
В соответствии с п.2 формулы, определяют набор баз данных, участвующих в поиске как пересечение множеств разрешенных и указанных в параметрах пользовательских запросов баз данных, относящихся к выбранным пользователем группам и поисковым атрибутам, указанным в параметрах пользовательских запросов.In accordance with clause 2 of the formula, a set of databases participating in the search is defined as the intersection of the sets of allowed and specified in the user query parameters databases related to user-selected groups and search attributes specified in the user query parameters.
В соответствии с п.3 формулы, поисковые запросы выполняют в базах данных независимо один от другого в асинхронном режиме.In accordance with paragraph 3 of the formula, search queries are performed in databases independently of one another in asynchronous mode.
Информационно-поисковая система для реализации способа по п.1-3, содержащая устройство ввода данных, связанное с устройством формирования пользовательских запросов, которое связано устройством протоколирования и с устройством маршрутизации запросов, которое связано с устройством авторизации, и с устройством управления контекстом, а также с устройством формирования статистических результатов, которое связано с устройством управления контекстом и устройством вывода данных, которые также связаны с устройством формирования отчетов, входы которого связаны с устройством маршрутизации запросов и с устройством хранения данных, отличающаяся тем, что она дополнительно содержит устройство независимого поиска, входы которого связаны с устройством маршрутизации запросов, устройством управления контекстом и устройством управления конфигурацией, а выходы связаны с устройством хранения данных и устройством протоколирования, при этом устройство независимого поиска предназначено для выполнения поиска в блоках хранения данных в соответствии с заданными параметрами запроса пользователя системы и результатами анализа состава и конфигурации блоков хранения данных, составляющих устройство хранения данных, устройство управления конфигурацией предназначено для ведения метаданных о типе, составе, структуре и принадлежности сведений, хранящихся в блоках устройства хранения данных, а входы устройства управления контекстом связаны с устройством хранения данных.An information retrieval system for implementing the method according to claim 1-3, comprising a data input device associated with a user request generation device that is connected to a logging device and a request routing device that is connected to an authorization device and a context management device, as well as with a device for generating statistical results, which is associated with a context management device and a data output device, which are also associated with a reporting device, which is connected to a request routing device and a data storage device, characterized in that it further comprises an independent search device, the inputs of which are connected to a request routing device, a context management device and a configuration management device, and the outputs are connected to a data storage device and a logging device , while the independent search device is designed to perform a search in the data storage units in accordance with the specified query parameters by system user and the results of the analysis of the composition and configuration of the data storage units that make up the data storage device, the configuration management device is designed to maintain metadata about the type, composition, structure and ownership of information stored in the blocks of the data storage device, and the inputs of the context management device are associated with the storage device data.
Сущность изобретения поясняется чертежом, на котором представлена блок-схема системы, на которой:The invention is illustrated in the drawing, which shows a block diagram of a system on which:
1 - устройство ввода данных, в частности один или несколько пользовательских терминалов, соединенных с управляющей ЭВМ посредством сетевого коммуникационного оборудования, с подключенными к ним устройствами ввода, такими как клавиатура и/или манипулятор «мышь»;1 - data input device, in particular one or more user terminals connected to the control computer via network communication equipment, with input devices connected to them, such as a keyboard and / or mouse;
2 - устройство формирования пользовательских запросов, в частности управляющая ЭВМ, включающая в себя процессор и оперативную память, формирует пакет данных, содержащий параметры команд и условия поиска;2 - a device for generating user queries, in particular, a control computer, including a processor and RAM, generates a data packet containing command parameters and search conditions;
3 - устройство авторизации, в частности управляющая ЭВМ, включающая в себя процессор и подсистему хранения данных, обеспечивает проверку необходимых параметров и предоставляет определенные полномочия лицу или группе лиц (прав доступа) на выполнение некоторых действий;3 - an authorization device, in particular a control computer, which includes a processor and a data storage subsystem, provides verification of the necessary parameters and provides certain authority to a person or group of persons (access rights) to perform certain actions;
4 - устройство протоколирования, в частности управляющая ЭВМ, включающая в себя процессор и подсистему хранения данных, обеспечивает хронологическую запись с различной степенью детализации сведений о происходящих в системе событиях (ошибки, предупреждения, сообщения) в подсистему хранения данных (ведение журнала);4 - a logging device, in particular a control computer, including a processor and a data storage subsystem, provides a chronological record with varying degrees of detail of information about events occurring in the system (errors, warnings, messages) in the data storage subsystem (logging);
5 - устройство формирования статистических результатов, в частности управляющая ЭВМ, включающая в себя процессор и оперативную память, обеспечивает формирование сводной статистики по результатам проведенного поиска;5 - a device for generating statistical results, in particular, a control computer, including a processor and RAM, provides the formation of summary statistics based on the results of the search;
6 - устройство маршрутизации запросов, в частности управляющая ЭВМ, включающая в себя процессор и оперативную память, предназначено для передачи пользовательских запросов соответствующим устройствам системы для последующего выполнения;6 - a request routing device, in particular, a control computer, including a processor and RAM, is designed to transmit user requests to the corresponding devices of the system for subsequent execution;
7 - устройство управления контекстом, в частности управляющая ЭВМ, соединенная через общую шину или иные каналы связи с устройством хранения данных, включающая в себя процессор, оперативную память и подсистему хранения данных, обеспечивает поддержку контекста пользовательской сессии;7 - a context management device, in particular, a control computer connected via a common bus or other communication channels to a data storage device, including a processor, random access memory, and a data storage subsystem, provides context support for a user session;
8 - устройство независимого поиска, в частности управляющая ЭВМ, соединенная через общую шину или иные каналы связи с устройством хранения данных, включающая в себя процессор и оперативную память, динамически формирует набор поисковых запросов;8 - an independent search device, in particular, a control computer connected via a shared bus or other communication channels to a data storage device, including a processor and RAM, dynamically generates a set of search queries;
9 - устройство управления конфигурацией, в частности управляющая ЭВМ, включающая в себя процессор, подсистему хранения данных, а также устройство ввода и отображения метаданных, обеспечивает ведение метаданных об информации, хранящейся в устройстве хранения данных;9 - a configuration management device, in particular a host computer, including a processor, a data storage subsystem, and a metadata input and display device, provides metadata for information stored in the data storage device;
10 - устройство формирования отчетов, в частности управляющая ЭВМ, включающая в себя процессор, оперативную память и подсистему хранения данных, обеспечивает получение информации по найденным объектам;10 - a reporting device, in particular a control computer, including a processor, RAM and a data storage subsystem, provides information on found objects;
11 - устройство вывода данных, в частности один или несколько пользовательских терминалов, соединенных с управляющей ЭВМ посредством сетевого коммуникационного оборудования с подключенными к ним устройствами отображения данных.11 is a data output device, in particular one or more user terminals connected to a control computer via network communication equipment with data display devices connected to them.
Пример осуществления способа рассмотрим на примере работы системы, которая происходит следующим образом.An example of the implementation of the method, we consider the example of the system, which occurs as follows.
С помощью устройства ввода данных (1) пользователь вводит параметры пользовательских запросов, содержащие условия и поисковые атрибуты, а также сервисные и служебные команды. На основании введенных значений устройство формирования пользовательских запросов (2) формирует пакет данных, содержащий параметры команд и условия поиска интересуемых объектов. При этом с помощью устройства протоколирования (4), предназначенного для ведения учета всех действий, выполняемых пользователями в Системе, происходит регистрация параметров всех сформированных запросов в журнале событий, предназначенном для записи в хронологическом порядке сведений о происходящих в системе событиях с различной степенью детализации.Using the data input device (1), the user enters user query parameters containing conditions and search attributes, as well as service and service commands. Based on the entered values, the device for generating user queries (2) generates a data packet containing command parameters and search conditions for objects of interest. At the same time, using the logging device (4), designed to keep track of all the actions performed by users in the System, the parameters of all generated requests are recorded in the event log, designed to record in chronological order information about events occurring in the system with varying degrees of detail.
Сформированный пользовательский запрос передается в устройство маршрутизации запросов (6), предназначенное для передачи пользовательских запросов соответствующим устройствам системы для последующего выполнения. Устройство маршрутизации запросов (6) определяет набор действий, перечень устройств, а также последовательность выполнения действий, необходимых для выполнения поступившего запроса. Для каждого действия с помощью устройства авторизации (3) выполняется проверка уровня доступа пользователя на выполнение. Устройство авторизации (3) предназначено для накапливания и контролирования всей информации о пользователях Системы, правах доступа, а также управления разграничением уровня доступа к ресурсам Системы. Если устройством авторизации (3) установлен факт поступления запроса на выполнение несанкционированного действия, то в устройство протоколирования (4) передается сигнал, по которому выполняется соответствующая запись в журнал событий.The generated user request is transmitted to the request routing device (6), designed to transmit user requests to the corresponding devices of the system for subsequent execution. The request routing device (6) defines a set of actions, a list of devices, as well as the sequence of actions required to complete an incoming request. For each action, using the authorization device (3), the user access level is checked for execution. The authorization device (3) is designed to accumulate and control all information about users of the System, access rights, as well as control the delimitation of the level of access to System resources. If the authorization device (3) establishes the fact of the receipt of a request to perform an unauthorized action, then a signal is transmitted to the logging device (4), by which the corresponding entry in the event log is performed.
В начале каждого сеанса работы пользователя с системой поступает запрос на авторизацию пользователя в системе. Этот запрос транслируется модулем маршрутизации запросов (6) в устройство авторизации (3), где происходит идентификация и авторизация пользователя. В случае успешной авторизации с помощью устройства управления контекстом (7) создается объект контекста пользовательской сессии, где сохраняются все необходимые промежуточные параметры и результаты работы пользователя в системе: значения атрибутов поиска, перечень источников поиска, тематических блоков, регионов, список найденных объектов и т.д.At the beginning of each user session with the system, a request for user authorization in the system is received. This request is transmitted by the request routing module (6) to the authorization device (3), where the user is identified and authorized. In case of successful authorization using the context management device (7), a user session context object is created where all the necessary intermediate parameters and user work results are stored in the system: values of search attributes, list of search sources, thematic blocks, regions, list of found objects, etc. d.
Запрос, содержащий значения атрибутов поиска, перечень источников поиска, тематических блоков, регионов, транслируется устройством маршрутизации запросов (6) в устройство управления контекстом (7), где указанные параметры поискового запроса сохраняются в текущем объекте контекста пользовательской сессии.A request containing the values of search attributes, a list of search sources, thematic blocks, regions, is transmitted by the request routing device (6) to the context management device (7), where the specified parameters of the search request are stored in the current context object of the user session.
Запрос на выполнение поиска транслируется устройством маршрутизации запросов (6) в устройство независимого поиска (8). Здесь, на основании значений атрибутов поиска, перечня источников поиска, тематических блоков, регионов, полученных из устройства управления контекстом (7), динамически формируется набор поисковых запросов непосредственно к источникам данных, представляющих собой ни что иное, как набор баз данных в устройстве хранения данных. В результате выполнения поисковых запросов получается список идентификаторов найденных объектов, однозначно определяющий множество объектов, удовлетворяющих заданным условиям поиска, сведения о которых содержатся в устройстве хранения данных. Список этих идентификаторов передается в устройство управления контекстом (7) для хранения с привязкой к базам данных и типам соответствующих найденных объектов. Структура динамически формируемых запросов к базам данных устройства хранения данных определяется устройством независимого поиска (8) на основании метаданных, полученных из устройства управления конфигурацией (9). Устройство управления конфигурацией (9) предназначено для ведения метаданных о типе, составе, структуре и принадлежности сведений, хранящихся в устройстве хранения данных. Эти метаданные содержат описание состава баз данных устройства хранения данных: структуры таблиц, описания столбцов, связей; перечень и принадлежность к базе данных тематических блоков, типов объектов, поисковых и отчетных атрибутов, перечень общих для всех баз данных классификаторов, таблицы соответствия элементов общих классификаторов элементам баз данных.The search request is transmitted by the request routing device (6) to the independent search device (8). Here, based on the values of the search attributes, the list of search sources, thematic blocks, regions received from the context management device (7), a set of search queries is directly generated directly to the data sources, which are nothing more than a set of databases in the data storage device . As a result of performing search queries, a list of identifiers of the found objects is obtained, which uniquely identifies the set of objects that satisfy the specified search conditions, information about which is contained in the data storage device. The list of these identifiers is transmitted to the context management device (7) for storage with reference to the databases and types of the corresponding found objects. The structure of dynamically generated queries to the databases of the data storage device is determined by the independent search device (8) based on metadata received from the configuration management device (9). The configuration management device (9) is intended for maintaining metadata about the type, composition, structure and ownership of information stored in the data storage device. This metadata contains a description of the database structure of the data storage device: table structures, descriptions of columns, relationships; a list and belonging to the database of thematic blocks, types of objects, search and reporting attributes, a list of classifiers common to all databases, a table of correspondence of elements of common classifiers to database elements.
При динамическом формировании запросов сначала определяют следующие наборы баз данных устройства хранения данных:When dynamically generating queries, the following sets of databases of the data storage device are first determined:
- набор баз данных, соответствующий перечню источников поиска, указанному в параметрах поискового запроса;- a set of databases corresponding to the list of search sources specified in the search query parameters;
- набор баз данных, доступ к которым разрешен для пользователя устройством авторизации (3);- a set of databases, access to which is authorized for the user by the authorization device (3);
- набор баз данных, которые содержат информацию, принадлежащую хотя бы одному тематическому блоку, указанному в параметрах поискового запроса;- a set of databases that contain information that belongs to at least one thematic block specified in the search query parameters;
- набор баз данных, содержащих сведения, относящиеся хотя бы к одному региону, указанному в параметрах поискового запроса;- a set of databases containing information related to at least one region specified in the search query parameters;
- набор баз данных, в которых присутствует информация по всем поисковым атрибутам, значения которых указаны в параметрах поискового запроса.- a set of databases that contain information on all search attributes whose values are specified in the search query parameters.
Далее определяют набор баз данных, участвующих в поиске, как пересечение полученных на предыдущем шаге наборов. Затем выполняют поиск элементов в общих для всех баз данных классификаторов, содержащих атрибуты, значения которых указаны в параметрах поискового запроса. По таблицам соответствия элементов общих классификаторов определяют множества идентификаторов соответствующих найденных элементов классификаторов для каждой базы данных, участвующей в поиске. Найденные идентификаторы элементов общих классификаторов сохраняются в текущем контексте пользовательской сессии в устройстве управления контекстом (7) для последующего использования. Из набора баз данных, участвующих в поиске, исключают базы, по которым не было найдено ни одного элемента при поиске по общим классификаторам.Next, the set of databases involved in the search is determined as the intersection of the sets obtained in the previous step. Then they search for elements in classifiers common to all databases that contain attributes whose values are specified in the search query parameters. According to the correspondence tables of the elements of common classifiers, sets of identifiers of the corresponding found elements of classifiers are determined for each database participating in the search. The found identifiers of the elements of the common classifiers are stored in the current context of the user session in the context management device (7) for subsequent use. From the set of databases involved in the search, exclude databases for which no items were found when searching by common classifiers.
После этого для каждой из оставшихся баз данных по очереди выполняют последовательности запросов для поиска объектов каждого типа, сведения о которых содержатся в базе данных, на соответствие всем значениям поисковых атрибутов для данного типа объектов, указанным в параметрах поискового запроса. При этом значения атрибутов объектов, которые распределены по нескольким таблицам, собирают в одно плоское денормализованное представление с учетом множественности значений атрибутов, содержащее помимо значений поисковых атрибутов также и идентификаторы объектов. Для атрибутов, ссылающихся на общие классификаторы, при поиске используют не само значение атрибута, а предварительно полученные наборы идентификаторов соответствующих элементов общих классификаторов. Таким образом, в результате получают наборы идентификаторов объектов независимо по каждому типу объектов, удовлетворяющих условиям поискового запроса. Далее вычисляют пересечение всех полученных наборов объектов с учетом определенных прямых связей между объектами. Оставшиеся после пересечения идентификаторы объектов однозначно определяют множество объектов разного типа, удовлетворяющих условиям поискового запроса для каждой базы данных, участвующей в поиске. Значения полученных идентификаторов сохраняются в объекте контекста пользовательской сессии при помощи устройства управления контекстом (7). Таким образом, решена задача поиска объектов, которые находятся в разнородных базах данных (информационных массивах). При этом пользователю достаточно активизировать всего один поисковый запрос к системе, который затем автоматически преобразуется в множество адаптированных запросов для поиска объектов в разнородных базах данных, что в несколько раз уменьшает трудоемкость формирования поисковых запросов (в общем случае, в N раз, где N - количество разнородных баз данных, составляющих устройство хранения данных). И как следствие, повышается быстродействие при поиске интересуемых объектов, сведения о которых находятся в разнородных информационных массивах.After that, for each of the remaining databases, sequences of queries are performed in turn to search for objects of each type, the information about which is contained in the database, to match all values of the search attributes for this type of objects specified in the parameters of the search query. At the same time, the attribute values of the objects, which are distributed across several tables, are collected in one flat denormalized representation, taking into account the multiplicity of attribute values, which contains, in addition to the values of the search attributes, the identifiers of the objects. For attributes that refer to common classifiers, the search does not use the attribute value itself, but pre-obtained sets of identifiers of the corresponding elements of the common classifiers. Thus, as a result, sets of object identifiers are obtained independently for each type of object that meets the conditions of a search query. Next, the intersection of all the obtained sets of objects is calculated taking into account certain direct relationships between the objects. The identifiers of the objects remaining after the intersection uniquely determine the set of objects of various types that satisfy the conditions of the search query for each database involved in the search. The values of the obtained identifiers are stored in the context object of the user session using the context management device (7). Thus, the problem of finding objects that are in heterogeneous databases (information arrays) has been solved. At the same time, it is enough for the user to activate only one search query to the system, which is then automatically converted into a set of adapted queries to search for objects in heterogeneous databases, which several times reduces the complexity of generating search queries (in the general case, N times, where N is the number heterogeneous databases that make up the storage device). And as a result, the performance improves when searching for objects of interest, information about which is in heterogeneous information arrays.
В соответствии с п.5 формулы, сформированные аналогичным образом последовательности запросов выполняют в каждой из участвующих в поиске баз данных одновременно, независимо одна от другой (асинхронно). Запрос на выполнение поиска считают обработанным, когда закончилось выполнение самого последнего запроса по всем базам данных. Такой вариант позволяет еще больше сократить общее время выполнения поискового запроса за счет параллельного выполнения независимых между собой процессов поиска.In accordance with clause 5, formulas generated in a similar way to query sequences are performed in each of the databases involved in the search simultaneously, independently of one another (asynchronously). A search query is considered processed when the most recent query on all databases has completed. This option allows you to further reduce the overall execution time of the search query due to the parallel execution of independent search processes.
Запрос на получение статистических результатов поиска транслируется модулем маршрутизации запросов (6) в устройство формирования статистических результатов (5), предназначенное для формирования сводной статистики по результатам проведенного поиска. Здесь, на основании списка идентификаторов найденных объектов, полученных из устройства управления контекстом (7), и метаданных, содержащих описание состава баз данных, типы объектов и принадлежность к тематическим блокам, полученным из устройства управления конфигурацией (9), формируется сводная статистика, содержащая количество найденных объектов, сгруппированных по принадлежности к типам и тематическим блокам. Сформированные таким образом статистические данные передаются в устройство вывода данных (11), где в табличной форме представляются пользователю.The request for obtaining statistical search results is transmitted by the query routing module (6) to the statistical results generating device (5), which is intended to generate summary statistics based on the results of the search. Here, on the basis of the list of identifiers of found objects obtained from the context management device (7) and metadata containing a description of the database structure, types of objects and belonging to thematic blocks obtained from the configuration management device (9), a summary statistic is generated containing the number found objects grouped by type and thematic blocks. The statistical data generated in this way are transmitted to the data output device (11), where they are presented in tabular form to the user.
Запрос на получение информации по найденным в результате проведенного поиска объектам транслируется устройством маршрутизации запросов (6) в устройство формирования отчетов (10). Для определения состава и объема получаемой информации запрос может содержать следующие параметры: набор идентификаторов, однозначно определяющих множество объектов, относящихся к разным базам данных, отобранных пользователем из набора найденных в результате проведенного поиска объектов; набор тематических блоков отчета, определяющих тематический состав формируемых сведений. При формировании отчета по найденным объектам используется принцип группировки информации по типам объектов, то есть информация по объектам, относящимся к одному типу, но принадлежащим разным базам данных, трансформируется в единую структуру и может быть представлена в заранее определенном формате отчета. Для этого устройство формирования отчетов (10) сначала определяет список баз данных, в которых содержатся сведения об указанных в параметрах запроса объектах. Затем, для каждого объекта каждой базы данных из этого списка динамически формируется последовательность запросов на получение требуемой информации. В результате выполнения этих запросов данные преобразуются в соответствующие заранее определенные структуры для каждого типа объектов для их последующего объединения в едином отчете. Описания единых структур отчета (перечень таблиц, полей, связей) в привязке к типам объектов хранится в виде мета данных в устройстве управления конфигурацией (9).The request for information on the objects found as a result of the search is transmitted by the request routing device (6) to the reporting device (10). To determine the composition and volume of the information received, the request may contain the following parameters: a set of identifiers that uniquely identifies the set of objects belonging to different databases selected by the user from the set of objects found as a result of the search; a set of thematic report blocks that determine the thematic composition of the generated information. When generating a report on found objects, the principle of grouping information by type of objects is used, that is, information on objects belonging to the same type, but belonging to different databases, is transformed into a single structure and can be presented in a predefined report format. To this end, the reporting device (10) first determines a list of databases that contain information about the objects specified in the query parameters. Then, for each object of each database from this list, a sequence of requests for obtaining the required information is dynamically formed. As a result of the execution of these queries, the data is converted into the corresponding predetermined structures for each type of object for their subsequent combination in a single report. Descriptions of the unified report structures (a list of tables, fields, relationships) in relation to the types of objects are stored in the form of meta data in the configuration management device (9).
В результате выполнения запроса на получение информации по найденным объектам формируется общий набор данных, содержащий объединенные сведения по объектам, найденным в различных базах данных. Этот набор данных соответствует определенной структуре и представляется пользователю в виде, пригодном к восприятию при помощи устройства вывода данных (11).As a result of the request for information on the found objects, a common data set is formed containing the combined information on the objects found in various databases. This data set corresponds to a certain structure and is presented to the user in a form suitable for perception using a data output device (11).
Таким образом, решена задача получения данных об указанных объектах и связях, которые находятся в разнородных базах данных (информационных массивах). При этом, как и в случае с поиском, пользователю достаточно активизировать всего один запрос на получение информации к системе, который затем автоматически преобразуется в множество адаптированных запросов для выборки сведений об объектах в разнородных базах данных, что в несколько раз уменьшает трудоемкость формирования отчетных запросов (в общем случае, в N раз, где N - количество разнородных баз данных, составляющих устройство хранения данных), и как следствие, повышается быстродействие при получении данных об указанных объектах, сведения о которых находятся в разнородных информационных массивах (базах данных).Thus, the problem of obtaining data on the specified objects and relationships that are in heterogeneous databases (information arrays) has been solved. At the same time, as in the case of the search, it is enough for the user to activate only one request for information to the system, which is then automatically converted into many adapted requests for selecting information about objects in heterogeneous databases, which reduces the complexity of reporting requests by several times ( in the general case, N times, where N is the number of heterogeneous databases that make up the data storage device), and as a result, the performance improves when receiving data about these objects, which are located in heterogeneous information arrays (databases).
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007149617/09A RU2396593C2 (en) | 2007-12-28 | 2007-12-28 | Method for searching data on objects and in various databases and system for its realisation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007149617/09A RU2396593C2 (en) | 2007-12-28 | 2007-12-28 | Method for searching data on objects and in various databases and system for its realisation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2007149617A RU2007149617A (en) | 2009-07-10 |
| RU2396593C2 true RU2396593C2 (en) | 2010-08-10 |
Family
ID=41045373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2007149617/09A RU2396593C2 (en) | 2007-12-28 | 2007-12-28 | Method for searching data on objects and in various databases and system for its realisation |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2396593C2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2611602C1 (en) * | 2015-12-07 | 2017-02-28 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Method for aerospace images selection from databases based on user criteria and forming of terrain coverage based on these images |
| RU2727153C1 (en) * | 2019-10-09 | 2020-07-21 | Акционерное общество «Смарт» | Method of creating, storing, editing and updating metadata describing products of cable-conductor products |
| RU2744625C1 (en) * | 2020-09-30 | 2021-03-12 | Публичное акционерное общество «Аэрофлот - российские авиалинии» | Method of generating reports on the basic indicators of the display system of enterprise indicators |
-
2007
- 2007-12-28 RU RU2007149617/09A patent/RU2396593C2/en active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2611602C1 (en) * | 2015-12-07 | 2017-02-28 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Method for aerospace images selection from databases based on user criteria and forming of terrain coverage based on these images |
| RU2727153C1 (en) * | 2019-10-09 | 2020-07-21 | Акционерное общество «Смарт» | Method of creating, storing, editing and updating metadata describing products of cable-conductor products |
| RU2744625C1 (en) * | 2020-09-30 | 2021-03-12 | Публичное акционерное общество «Аэрофлот - российские авиалинии» | Method of generating reports on the basic indicators of the display system of enterprise indicators |
| WO2022071825A1 (en) * | 2020-09-30 | 2022-04-07 | Публичное Акционерное Общество "Аэрофлот-Российские Авиалинии" | Method for generating reports on baseline indicators |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2007149617A (en) | 2009-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8712972B2 (en) | Query optimization with awareness of limited resource usage | |
| US8965918B2 (en) | Decomposed query conditions | |
| US7844623B2 (en) | Method to provide management of query output | |
| Dai et al. | A privacy-preserving multi-keyword ranked search over encrypted data in hybrid clouds | |
| CN103678550A (en) | Mass data real-time query method based on dynamic index structure | |
| Tao et al. | Eventcube: multi-dimensional search and mining of structured and text data | |
| Bothe et al. | Skyline query processing over encrypted data: An attribute-order-preserving-free approach | |
| CA2461871A1 (en) | An efficient index structure to access hierarchical data in a relational database system | |
| RU2396593C2 (en) | Method for searching data on objects and in various databases and system for its realisation | |
| JP2017537398A (en) | Generating unstructured search queries from a set of structured data terms | |
| CN110781210A (en) | Data processing platform for multi-dimensional aggregation real-time query of large-scale data | |
| RU2515565C1 (en) | Method of updating structured data in relational database management system | |
| CN107577690B (en) | Recommendation method and recommendation device for mass information data | |
| RU74500U1 (en) | INFORMATION AND SEARCH SYSTEM FOR PROVIDING DATA ON OBJECTS | |
| US9378229B1 (en) | Index selection based on a compressed workload | |
| CN113177022A (en) | Full-process big data storage method for aluminum/copper plate strip production | |
| Aydin et al. | Data modelling for large-scale social media analytics: design challenges and lessons learned | |
| CN110990430A (en) | Large-scale data parallel processing system | |
| JP3974377B2 (en) | Information storage / retrieval apparatus and method, information storage / retrieval program, and recording medium recording the program | |
| Rodríguez et al. | DYMOND: An active system for dynamic vertical partitioning of multimedia databases | |
| Osborn et al. | Multiple-Site Distributed Spatial Query Optimization Using Spatial Semijoins. | |
| Shah et al. | A systematic review of in-memory database over multi-tenancy | |
| CN110704421A (en) | Data processing method, device, equipment and computer readable storage medium | |
| Porshnev et al. | The concupt of automated system of steel production storage data structure | |
| CN116010668B (en) | Quick search method and system applied to database |