RU2688229C1 - Method of aggregation and conversion of data and device for its implementation - Google Patents
Method of aggregation and conversion of data and device for its implementation Download PDFInfo
- Publication number
- RU2688229C1 RU2688229C1 RU2017145520A RU2017145520A RU2688229C1 RU 2688229 C1 RU2688229 C1 RU 2688229C1 RU 2017145520 A RU2017145520 A RU 2017145520A RU 2017145520 A RU2017145520 A RU 2017145520A RU 2688229 C1 RU2688229 C1 RU 2688229C1
- Authority
- RU
- Russia
- Prior art keywords
- data
- information
- type
- properties
- aggregation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000002776 aggregation Effects 0.000 title claims abstract description 36
- 238000004220 aggregation Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims abstract description 6
- 239000000463 material Substances 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- GKQPCPXONLDCMU-CCEZHUSRSA-N lacidipine Chemical compound CCOC(=O)C1=C(C)NC(C)=C(C(=O)OCC)C1C1=CC=CC=C1\C=C\C(=O)OC(C)(C)C GKQPCPXONLDCMU-CCEZHUSRSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Изобретение относится к области информационных технологий и предназначено для агрегирования и преобразования данных, получения их промежуточных и консолидированных значений.The invention relates to the field of information technology and is intended for aggregation and transformation of data, obtaining their intermediate and consolidated values.
УРОВЕНЬ ТЕХНИКИBACKGROUND
Из уровня техники известны различные системы управления базами данных (СУБД), обеспечивающие управление созданием и использованием устройств универсального хранилища данных, в частности, баз данных, а также различные системы агрегирования данных.Various prior art database management systems (DBMS) are known in the art that control the creation and use of universal data warehouse devices, in particular, databases, as well as various data aggregation systems.
Хранение многомерных данныхStorage of multidimensional data
Системы баз данных часто предназначены для поддержания огромного объема информации о различных сущностях или событиях, и эти случаи могут описываться различными характеристиками. Даже системы баз данных, которые еще не содержат огромное количество информации, часто проектируются таким образом, чтобы их можно было масштабировать, чтобы системы баз данных могли быть адаптированы для размещения огромного количества информации. Огромные таблицы, которые могут включать каждое событие и каждую характеристику каждого события, могут быть невозможны для анализа, если ресурсов недостаточно для хранения и обработки значительных частей этих таблиц. Даже при наличии достаточных ресурсов хранение и обработка значительных частей этих огромных таблиц может быть довольно дорогостоящим. В результате, когда вхождения имеют много характеристик или иным образом связаны с разнообразной информацией, многие системы баз данных разделяют такую информацию о событиях на несколько таблиц.Database systems are often designed to support a vast amount of information about various entities or events, and these cases can be described by various characteristics. Even database systems that do not yet contain a huge amount of information are often designed so that they can be scaled, so that database systems can be adapted to accommodate a huge amount of information. Huge tables, which may include every event and every characteristic of every event, may not be possible for analysis if there are not enough resources to store and process significant parts of these tables. Even with sufficient resources, storing and processing large parts of these huge tables can be quite expensive. As a result, when occurrences have many characteristics or are otherwise associated with a variety of information, many database systems divide such event information into several tables.
Системы баз данных часто группируют таблицы на основе категорий характеристик. Значительная часть информации может представлять собой описательную информацию об объектах, категориях или классах информации (в целом называемых категориями), участвующих в событиях. Описание этих базовых категорий может изменяться нечасто по сравнению с другими таблицами, которые записывают или измеряют сами события. Таблицы измерений представляют собой таблицы, содержащие описательную информацию о событиях, на которые ссылаются или могут ссылаться другие таблицы (таблицы). Другая таблица (таблицы) содержит столбец (столбцы), которые ссылаются на строки (строки) таблицы размеров, и каждый столбец ссылок указывает, что называется размером столбца (столбцов), которые встречаются в таблице (таблицах). Данные, которые организованы в два или более измерений, упоминаются здесь как многомерные данные.Database systems often group tables based on categories of characteristics. Much of the information can be descriptive information about the objects, categories, or classes of information (generally referred to as categories) involved in the events. The description of these basic categories may change infrequently compared to other tables that record or measure the events themselves. Dimension tables are tables containing descriptive information about events that other tables (tables) refer to or can refer to. The other table (s) contains a column (s) that refer to the rows (s) of the size table, and each reference column indicates what is called the size of the column (s) that are found in the table (s). Data that is organized into two or more dimensions is referred to here as multidimensional data.
Таблицами фактов являются другие таблицы, которые измеряют события, связанные с категориями. Другими словами, таблицы фактов хранят факты или измеряемые количественные данные, и эти измеримые данные могут быть связаны с категориями или иным образом подпадать под эти категории. Сопоставляя таблицы измерений, таблицы фактов не должны дублировать всю информацию, содержащуюся в таблицах измерений. Как правило, поскольку таблицы фактов могут включать в себя несколько случаев (я), которые ссылаются на одну и ту же категорию, таблицы фактов обычно больше, чем таблицы измерений. Кроме того, поскольку таблицы фактов измеряют события, а не записывают определения, таблицы фактов обычно обновляются чаще, чем таблицы измерений. Организация многомерных данных в таблицы (фактах) фактов и таблицах измерений называется звездной схемой.Fact tables are other tables that measure category related events. In other words, fact tables store facts or measured quantitative data, and these measurable data can be related to categories or otherwise fall into these categories. When comparing dimension tables, fact tables should not duplicate all the information contained in dimension tables. As a rule, since fact tables may include several cases (s) that refer to the same category, fact tables are usually larger than dimension tables. In addition, since fact tables measure events and do not record definitions, fact tables are usually updated more often than measurement tables. The organization of multidimensional data in tables (facts) of facts and dimension tables is called a star chart.
Данные, хранящиеся в реляционных системах баз данных (системы ROLAP), например, согласно схеме звезд, доступны для всех приложений, поддерживающих взаимодействие с такими реляционными системами. Такие приложения базы данных взаимодействуют с реляционной базой данных, отправляя команды, соответствующие языку базы данных, поддерживаемому системой реляционных баз данных, наиболее распространенным из которых является язык структурированных запросов (SQL).Data stored in relational database systems (ROLAP systems), for example, according to a star scheme, is available for all applications that support interaction with such relational systems. Such database applications interact with a relational database, sending commands that correspond to a database language supported by a relational database system, the most common of which is structured query language (SQL).
Альтернативно, многомерные данные могут храниться в специализированных многомерных системах баз данных (системы «MOLAP»). Многомерные системы баз данных обеспечивают структуры и методы доступа, специально разработанные для многомерных данных. Когда данные хранятся в специализированных многомерных системах баз данных, только приложения, которые специально созданы для взаимодействия с этими многомерными системами баз данных, имеют доступ к данным и управление ими.Alternatively, multidimensional data can be stored in specialized multidimensional database systems (MOLAP systems). Multidimensional database systems provide access structures and methods specifically designed for multidimensional data. When data is stored in specialized multidimensional database systems, only applications that are specifically designed to interact with these multidimensional database systems have access to and control of data.
Альтернативный подход к управлению многомерными данными в реляционной базе данных включает в себя хранение данных в реляционных файлах, но сохранение всех многомерных структур, метаданных, администрирования и контроля доступа с использованием многомерных методов системы баз данных. Доступ к реляционно-хранимым данным с использованием многомерных методов создает многочисленные трудности. Например, когда все администрирование и доступ к многомерным данным управляются исключительно через многомерный механизм системы баз данных, необходимо администрировать две системы управления базами данных. Кроме того, приложения баз данных, которые обращаются к данным с использованием традиционных реляционных команд (например, команд SQL), не могут получить доступ к многомерным данным.An alternative approach to managing multidimensional data in a relational database includes storing data in relational files, but storing all multidimensional structures, metadata, administration and access control using multidimensional database system methods. Access to relational-stored data using multidimensional methods creates numerous difficulties. For example, when all administration and access to multidimensional data is managed exclusively through the multidimensional database system mechanism, two database management systems need to be administered. In addition, database applications that access data using traditional relational commands (for example, SQL commands) cannot access multidimensional data.
В частности, в патенте US7680776 В2 (Microsoft Corporation, опубл. 16.03.2010) раскрыты реляционная система баз данных (система ROLAP) и многомерная система баз данных (система «MOLAP»).In particular, in the patent US7680776 B2 (Microsoft Corporation, publ. 03/16/2010) a relational database system (ROLAP system) and a multidimensional database system (MOLAP system) are disclosed.
Недостатком таких систем является низкая производительность, т.к. обработку данных осуществляет сервер OLAP. Другим недостатком является ограничение функциональности из-за применения SQL. К недостаткам MOLAP систем относится ограничение объемов, обрабатываемых данных и избыточность данных, т.к. для формирования многомерных кубов, по различным аспектам, данные приходится дублировать.The disadvantage of such systems is poor performance, because The data is processed by the OLAP server. Another disadvantage is the limitation of functionality due to the use of SQL. The disadvantages of MOLAP systems include limiting the amount of processed data and data redundancy, because for the formation of multidimensional cubes, in various aspects, the data must be duplicated.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯDISCLOSURE OF INVENTION
Данное техническое решение направлено на устранение недостатков, присущих существующим решениям из уровня техники.This technical solution is aimed at eliminating the disadvantages inherent in the existing solutions of the prior art.
Данное техническое решение направлено на расширение арсенала технических средств определенного назначения, в нашем случае - расширение арсенала технических средств автоматического агрегирования и преобразования данных, а в качестве технического результата, достигаемого заявленным решением, может быть реализация заявленным изобретением указанного назначения, а именно, реализация агрегирования и преобразования данных по отдельным свойствам каждого информационного объекта.This technical solution is aimed at expanding the arsenal of technical means for a particular purpose, in our case - expanding the arsenal of technical means of automatic aggregation and data conversion, and as a technical result achieved by the stated solution, the implementation of the specified purpose declared by the invention may be, namely, the implementation of aggregation and data transformations on individual properties of each information object.
Для достижения указанного технического результата разработан способ агрегирования и преобразования данных, содержащий этапы, на которых с использованием устройства обработки команд принимают от источников данные иTo achieve the above technical result, a method for aggregating and converting data has been developed, comprising the steps of using data processing devices and receiving data from a command processing device.
- определяют эти источники и формат представления данных о текущем состоянии значений свойств объектов предметной области, поступающие по меньшей мере от одного источника поступления данных для обработки в устройстве обработки, в котором:- determine these sources and the format for presenting data on the current state of the values of the properties of objects in the domain that come from at least one source of data for processing in a processing device, in which:
- формируют древовидную структуру информационного объекта, в состав которой могут входить другие информационные объекты, при этом каждое свойство, входящее в состав информационного объекта и каждый информационный объект, имеет свой уникальный код;- form the tree structure of the information object, which may include other information objects, with each property included in the information object and each information object has its own unique code;
- формируют три типа контейнеров данных, представляющих собой узлы, организованные в виде комбинации наборов взаимосвязанных между собой ячеек памяти, при этом:- form three types of data containers, which are nodes, organized as a combination of sets of interconnected memory cells, wherein:
первый тип - контейнеры данных сбора первичных показателей информационных объектов и выполняемых процессов,the first type is the data containers of the collection of primary indicators of information objects and processes performed,
второй тип - контейнеры данных сбора промежуточных данных по информационным объектам и выполняемым процессам,the second type - data containers for collecting intermediate data on information objects and running processes,
третий тип - контейнеры данных сбора консолидированной информации по информационным объектам и процессам, при этом три типа контейнеров данных организованы в виде инвариантных информационных структур;the third type - data containers of collecting consolidated information on information objects and processes, with three types of data containers organized in the form of invariant information structures;
- в устройстве обработки получают первичные показатели, характеризующие текущее состояние значений свойств информационных объектов и выполняемых процессов, метамодель каждого из выполняемых процессов содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения;- in the processing device receive the primary indicators characterizing the current state of the values of the properties of information objects and processes performed, the metamodel of each of the running processes contains information about the name of the process and its stages, their characteristics, start and end time of the stages and the process as a whole, state description information object at the time of the beginning and completion of the stages of the process, as well as the values of active and latent indicators of the results of their execution;
- записывают каждое свойство информационного объекта и выполняемых процессов в соответствующий ему контейнер первого типа устройства хранения;- write down each property of the information object and the executed processes in the corresponding container of the first type of storage device;
- в устройстве обработки осуществляют агрегирование и преобразование данных по отдельным свойствам каждого информационного объекта в соответствии с заданными условиями для последующего сопоставления и анализа поступающих значений свойств информационных объектов за различные временные периоды;- in the processing device, aggregation and transformation of data is carried out according to individual properties of each information object in accordance with the specified conditions for subsequent comparison and analysis of the incoming values of the properties of information objects for different time periods;
- передают агрегированные и преобразованные данные во второй тип контейнеров при обнаружении появления новой записи в контейнере первого типа и присваивают им значение промежуточных данных;- transfer the aggregated and transformed data to the second type of containers when a new record appears in the container of the first type and assign them the value of intermediate data;
далее осуществляют консолидированную обработку этих агрегированных и преобразованных данных, и помещают консолидированные данные в контейнеры данных третьего типа.then consolidated processing of these aggregated and transformed data is carried out, and the consolidated data is placed in data containers of the third type.
В некоторых вариантах осуществления технического решения каждый контейнер состоит из группы метамоделей таблиц, их первичных ключей, индексов и связей между таблицами, являющихся инвариантными к виду и типу хранящихся в нем данных.In some embodiments, the implementation of the technical solution, each container consists of a group of metamodel tables, their primary keys, indexes, and relationships between tables, which are invariant to the type and type of data stored in it.
В некоторых вариантах осуществления технического решения свойства информационного объекта могут быть отнесены к одной из двух групп:In some embodiments, the implementation of technical solutions properties of the information object can be assigned to one of two groups:
первая группа содержит свойства, характеризующие устойчивые параметры состояния материального объекта, модель которого формирует информационный объект;the first group contains properties that characterize the stable parameters of the state of a material object, the model of which forms an information object;
вторая группа содержит свойства, значения которых могут подвергаться изменениям и являются показателями состояния управляемого материального объекта.the second group contains properties, the values of which may be subject to change and are indicators of the state of the controlled material object.
Данный технический результат достигается благодаря устройству агрегирования и преобразования данных, содержащее:This technical result is achieved through the device aggregation and data conversion, containing:
по меньшей мере, одно устройство обработки данных, предназначенное для осуществления агрегирования и преобразования данных по отдельным свойствам каждого информационного объекта в соответствии с заданными условиями для последующего сопоставления и анализа поступающих значений свойств информационных объектов за различные временные периоды с формированием контейнеров данных, каждый из которых представляет собой узел взаимосвязанных между собой ячеек памяти узла хранения данных и записи каждого свойства информационного объекта в соответствующий контейнер, а такжеat least one data processing device designed to implement aggregation and transformation of data on individual properties of each information object in accordance with specified conditions for subsequent comparison and analysis of incoming values of properties of information objects for different time periods with the formation of data containers, each of which represents a node of interconnected memory cells of the data storage node and the recording of each property of the information object in Resp container, and
устройство обработки команд для выполнения способа агрегирования и преобразования данных.a command processing device for performing a method of aggregating and transforming data.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
Для лучшего понимания сущности изобретения, и чтобы более ясно показать, каким образом оно может быть осуществлено, далее будет сделана ссылка, лишь в качестве примера, на прилагаемые чертежи, на которых:For a better understanding of the invention, and to more clearly show how it can be implemented, reference will be made further, only as an example, to the accompanying drawings, in which:
фиг. 1 - структура потока первичных данных исполнения процесса/ этапа процесса;FIG. 1 - structure of the stream of primary data of the process / stage performance;
фиг. 2 - пример агрегирования значений показателя состояния одного из свойств объекта управления по временным периодам (горизонтальная агрегация);FIG. 2 - an example of the aggregation of the values of the state indicator of one of the properties of the control object over time periods (horizontal aggregation);
фиг. 3 - пример представления структуры контейнеров данных по конкретному объекту управления по временным периодам (горизонтальная агрегация);FIG. 3 is an example of the representation of the structure of data containers for a particular control object by time periods (horizontal aggregation);
фиг. 4 - пример агрегации данных по временным периодам;FIG. 4 shows an example of aggregation of data over time periods;
фиг. 5 - пример визуального представления агрегированных данных на примере используемых ресурсов.FIG. 5 - an example of a visual representation of the aggregated data on the example of the resources used.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯIMPLEMENTATION OF THE INVENTION
Устройство агрегирования и преобразования данных может выполняться на базе широкого спектра электронно-вычислительных устройств, например, персонального компьютера, ноутбука, серверного кластера и т.п.The device for aggregating and converting data can be performed on the basis of a wide range of electronic computing devices, for example, a personal computer, laptop, server cluster, etc.
Устройство обработки данных может быть выполнено в виде процессора, выполняющего основную вычислительную работу при реализации этапов заявленного способа.The data processing device can be made in the form of a processor that performs the main computational work when implementing the steps of the claimed method.
Устройство хранения данных может представлять собой жесткий диск (HDD), твердотельный накопитель (SSD), флэш-память (NAND-flash, EEPROM, Secure Digital и т.п.), оптический диск (CD, DVD, Blue Ray), мини диск или их совокупности.The storage device can be a hard disk (HDD), solid-state drive (SSD), flash memory (NAND-flash, EEPROM, Secure Digital, etc.), optical disk (CD, DVD, Blue Ray), mini disk or their combination.
Интерфейсы ввода/вывода (В/В) представляют собой стандартные порты и средства сопряжения устройств и передачи данных, выбираемые исходя из необходимой конфигурации исполнения устройства агрегирования и преобразования данных, в частности: USB (2.0, 3.0, USB-C, micro, mini), Ethernet, PCI, AGP, COM, LPT, PS/2, SATA, FireWire, Lightning и т.п.Input / Output (I / O) interfaces are standard ports and interface devices for devices and data transmission, selected on the basis of the required configuration of the execution of the aggregation and data conversion device, in particular: USB (2.0, 3.0, USB-C, micro, mini) , Ethernet, PCI, AGP, COM, LPT, PS / 2, SATA, FireWire, Lightning, etc.
Средства В/В также выбираются из известного спектра различных устройств, например, клавиатура, тачпад, сенсорный дисплей, монитор, проектор, манипулятор мышь, джойстик, трекбол, световое перо, стилус, устройства вывода звука (колонки, наушники, встроенные динамики, зуммер) и т.п.I / O facilities are also selected from a known spectrum of various devices, for example, a keyboard, touchpad, touchscreen display, monitor, projector, mouse, joystick, trackball, light pen, stylus, audio output devices (speakers, headphones, built-in speakers, buzzer) etc.
Средства передачи данных выбираются из устройств, предназначенных для реализации процесса коммуникации между различными устройствами посредством проводной и/или беспроводной связи, в частности, таким устройствами могут быть: GSM модем, Wi-Fi приемопередатчик, Bluetooth или BLE модуль, GPS модуль, Глонасс модуль, NFC, Ethernet модуль и т.п.Means of data transmission are selected from devices designed to implement the process of communication between various devices via wired and / or wireless communication, in particular, such devices can be: GSM modem, Wi-Fi transceiver, Bluetooth or BLE module, GPS module, Glonass module, NFC, Ethernet module, etc.
Данные о текущем состоянии значений свойств объектов предметной области могут содержать информацию об информационных объектах, процессах и его этапах, а также о показателях (фиг. 1). Под свойством объекта предметной области понимается количественная или качественная характеристика, определяющее текущее состояние объекта в системе.Data on the current state of the values of the properties of the domain objects may contain information about information objects, processes and its stages, as well as indicators (Fig. 1). The property of the object of the domain is understood as a quantitative or qualitative characteristic that determines the current state of the object in the system.
Информационный объект описывает структуру материального объекта, определяя отдельные его свойства или группу взаимосвязанных свойств, и может быть представлен в виде древовидной структуры, в состав которой могут входить другие информационные объекты. Каждое свойство, входящее в состав информационного объекта и каждый информационный объект, имеет свой уникальный код в виде числа из натурального ряда целых чисел. Все свойства информационного объекта могут быть отнесены к одной из двух групп.An information object describes the structure of a material object, defining its individual properties or a group of interrelated properties, and can be represented in the form of a tree structure, which may include other information objects. Each property that is part of an information object and each information object has its own unique code as a number from the natural number of integers. All properties of an information object can be assigned to one of two groups.
Первая группа содержит свойства, характеризующие устойчивые (не вычисляемые) параметры состояния материального объекта, модель которого формирует информационный объект и позволяет рассматривать его с различных точек зрения (пример: размер и вес детали, состав материала и т.д.).The first group contains properties that characterize stable (not calculated) state parameters of a material object, the model of which forms an information object and allows viewing it from various points of view (example: size and weight of part, material composition, etc.).
Вторая группа содержит свойства, значения которых могут подвергаться изменениям (вычислениям и/или измерениям) и являются показателями состояния управляемого материального объекта (пример, скорость вращения шпинделя, температура двигателя, количество произведенных единиц продукции и т.д.).The second group contains properties whose values may be subject to changes (calculations and / or measurements) and are indicators of the state of the controlled material object (for example, the spindle rotation speed, the engine temperature, the number of units produced, etc.).
Пример набора свойств объекта предметной области:An example of a set of properties of the domain object:
- объект - деталь;- object - detail;
- свойства - обозначение детали, название детали, марка материала, из которого изготовлена деталь, габаритные размеры детали, максимальный и минимальный квалитет характерных размеров детали, вес детали, наличие химического покрытия, количество деталей на складе и в незавершенном производстве на текущий момент времени.- properties - part designation, part name, material grade of the part, overall dimensions of the part, maximum and minimum quality of the characteristic dimensions of the part, part weight, chemical coating, number of parts in stock and work in progress at the current time.
Показатели состояния материального объекта определяются по результатам исполнения процесса и/или его этапов и формируют потоки данных.Indicators of the state of the material object are determined by the results of the execution of the process and / or its stages and form data streams.
Каждый процесс и каждый его этап помимо показателей состояния материального объекта содержит показатели ресурсного обеспечения объектов управления и показатели состояния и целевых ориентиров процесса/ этапов процесса, на основе которых рассчитываются показатели результативности и эффективности процесса/этапов процесса и эффективности работы исполнителей процесса/ этапов процесса.Each process and each stage, in addition to indicators of the state of the material object, contains indicators of resource support for management objects and indicators of the state and targets of the process / process stages, on the basis of which the performance indicators of the process / process stages and the efficiency of the process performers / process stages are calculated.
Каждый процесс или этап процесса содержит потоки данных по одному или нескольким задействованным в нем информационным объектам, которые можно получать в автоматическом режиме с приборов, с контроллеров, из памяти компьютера. Этот поток данных представляет собой первичные показатели информационных объектов и выполняемых процессов, метамодель каждого из выполняемых процессов содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения.Each process or stage of the process contains data streams on one or several information objects involved in it, which can be obtained in automatic mode from instruments, from controllers, from computer memory. This data flow is the primary indicators of information objects and processes performed, the meta model of each of the processes contains information about the name of the process and its stages, their characteristics, the start and end time of the stages and the process as a whole, the description of the state of the information object at the start and completion of the process steps, as well as the values of active and latent indicators of the results of their execution.
Примеры данных о текущем состоянии свойств объектов предметной области: показание электрического счетчика на начало смены и на конец смены; скорость движения транспортной единицы на участке маршрута; количество инструментов в магазине станка, требующих замену и т.д.Examples of data on the current state of the properties of objects in the domain: the meter reading at the beginning of the shift and at the end of the shift; the speed of the transport unit on the route; the number of tools in the machine shop, requiring replacement, etc.
В зависимости от степени детализации материального объекта структура информационного объекта может содержать различное количество свойств.Depending on the level of detail of the material object, the structure of the information object may contain a different number of properties.
Часть свойств, включенных в структуру информационного объекта, может получать статус «Активный», другая часть - статус «Латентный».Some of the properties included in the structure of an information object can receive the status “Active”, the other part - the status “Latent”.
Статус «Активный» присваивается показателям, значения которых подвергаются дальнейшему автоматическому преобразованию, формируя при этом промежуточные и консолидированные данные на конкретный момент времени или за конкретный период времени, необходимые для формирования статистических выборок и/или выработки управленческих и иных решений.The status “Active” is assigned to indicators whose values are subject to further automatic transformation, forming intermediate and consolidated data for a specific point in time or for a specific period of time, necessary for generating statistical samples and / or making management and other decisions.
Статус «Латентный» присваивается показателям, значения которых записываются в хранилище данных без какой-либо их последующей обработки.The status "Latent" is assigned to indicators, the values of which are recorded in the data warehouse without any subsequent processing.
Поток первичных показателей информационных объектов, а именно каждое отдельное свойство информационного объекта и выполняемых процессов записывается в соответствующий им контейнер первого типа.The flow of primary indicators of information objects, namely, each individual property of the information object and the processes being executed is recorded in the corresponding container of the first type.
При этом, различают три типа контейнеров данных:At the same time, there are three types of data containers:
первый тип - контейнеры данных сбора первичных показателей информационных объектов и выполняемых процессов,the first type is the data containers of the collection of primary indicators of information objects and processes performed,
второй тип - контейнеры данных сбора промежуточных данных по информационным объектам и выполняемым процессам,the second type - data containers for collecting intermediate data on information objects and running processes,
третий тип - контейнеры данных сбора консолидированной информации по информационным объектам и процессам, при этом три типа контейнеров данных организованы в виде инвариантных информационных структур.the third type is data containers of collecting consolidated information on information objects and processes, with three types of data containers organized in the form of invariant information structures.
Каждый из трех типов контейнеров данных представляет собой узел, организованный в виде комбинации наборов взаимосвязанных между собой ячеек памяти, позволяющих хранить информацию об объектах произвольной структуры и сложности в их взаимосвязях, и состоящий из группы метамоделей таблиц, их первичных ключей, индексов и связей между таблицами, являющихся инвариантными к виду и типу хранящихся в нем данных, а также методов работы с этими данными.Each of the three types of data containers is a node organized as a combination of sets of interconnected memory cells that allow storing information about objects of arbitrary structure and complexity in their relationships, and consisting of a group of table meta-models, their primary keys, indexes and relationships between tables. , are invariant to the type and type of data stored in it, as well as methods of working with this data.
Осуществляют агрегирование и/или преобразование данных по отдельным свойствам каждого информационного объекта в соответствии с заданными условиями для последующего сопоставления и анализа поступающих значений свойств информационных объектов за различные временные периоды.Carry out the aggregation and / or conversion of data on individual properties of each information object in accordance with the specified conditions for the subsequent comparison and analysis of the incoming values of the properties of information objects for different time periods.
Различают:There are:
- горизонтальную агрегацию (укрупнение) данных по оси времени, учитывающую результаты транзакций, а также диапазоны укрупнения группы записей по временным периодам, например, количество произведенной продукции за смену/ за сутки/ за неделю/ за декаду/ за месяц/ за квартал/ за полугодие/ за год и т.д.;- horizontal aggregation (enlargement) of data along the time axis, taking into account the results of transactions, as well as the range of aggregation of a group of records over time periods, for example, the number of products produced per shift / per day / per week / per decade / per month / per quarter / half-year / year, etc .;
- вертикальную агрегацию (укрупнение) данных по оси объектов управления, например, количество потребляемой энергии за смену станком/ производственным участком/ производственным цехом/ заводом;- vertical aggregation (enlargement) of data along the axis of control objects, for example, the amount of energy consumed per shift by a machine / production site / production hall / plant;
- вертикальную агрегацию (укрупнение) данных по оси выполняемых процессов, например, трудоемкость подготовки учебного плана дисциплины, трудоемкость подготовки учебного плана специальности и т.п.;- vertical aggregation (enlargement) of data along the axis of the processes performed, for example, the laboriousness of preparing the curriculum of the discipline, the laboriousness of preparing the curriculum of the specialty, etc .;
- вертикальную агрегацию (укрупнение) данных по оси достижения целей в соответствии с заданным деревом целей, например, затраты на достижение целей третьего уровня/ второго уровня/ первого уровня;- vertical aggregation (enlargement) of data along the axis of achieving goals in accordance with a given goal tree, for example, the costs of achieving goals of the third level / second level / first level;
- комбинирование горизонтальной и вертикальной агрегации (укрупнения) данных.- a combination of horizontal and vertical aggregation (aggregation) of data.
Агрегация и преобразование данных определяется структурой процесса, структурой информационного объекта и методами работы с данными.Aggregation and transformation of data is determined by the structure of the process, the structure of the information object and methods of working with data.
Применительно к данным, имеющим статус «Активный» в зависимости от типа показателей, инвариантная информационной структура контейнера данных может использовать следующие методы работы с данными:With regard to data having the status of “Active” depending on the type of indicators, the invariant information structure of the data container can use the following methods of working with data:
- метод работы с показателями состояния свойств объекта управления,- method of working with indicators of the state of properties of the control object,
- метод работы с показателями ресурсного обеспечения объекта управления в процессе и/или на этапе исполнения процесса,- method of working with indicators of resource support of the control object in the process and / or at the stage of the process execution,
- метод работы с показателями результативности (достижения целей) процесса и/или этапа процесса,- method of working with performance indicators (achievement of goals) of the process and / or stage of the process,
- метод работы с показателями эффективности исполнения процесса и/или этапа процесса,- method of working with performance indicators of the process and / or stage of the process,
- метод работы с показателями эффективности работы исполнителя процесса и/или этапа процесса.- method of working with performance indicators of the process performer and / or stage of the process.
Структурирование данных обрабатываемых по предложенным методам и их последующая визуализация по каждому показателю представляется в виде матриц (фиг. 5), каждая из которых содержит следующую информацию:Structuring the data processed by the proposed methods and their subsequent visualization for each indicator is presented in the form of matrices (Fig. 5), each of which contains the following information:
- название и номер процесса;- name and number of the process;
- название и номер этапа процесса;- the name and number of the process step;
- дата и время начала этапа процесса;- date and time of the beginning of the process stage;
- дата и время завершения этапа процесса;- date and time of completion of the process stage;
- название и код объекта управления;- name and code of the control object;
- название и идентификационный код показателя;- name and identification code of the indicator;
- статус показателя (активный/ латентный);- status of the indicator (active / latent);
- тип показателя (показатель состояния свойств объекта управления, показатель ресурсного обеспечения объекта управления, показатель результативности, показатель эффективности исполнения, показатель эффективности исполнителя);- type of indicator (indicator of the state of properties of the control object, indicator of resource provision of the control object, performance indicator, performance efficiency indicator, performer performance indicator);
- значение показателя по факту исполнения этапа процесса (достигнутое значение/ разница между начальным и конечным значением / полученное значение нарастающим итогом за период исполнения этапа процесса и другие данные);- the value of the indicator after the execution of the process stage (the value achieved / the difference between the initial and final value / the resulting value by accrual for the period of the process stage and other data);
- нормативное значение показателя (плановое или установленное в качестве целевого ориентира);- the standard value of the indicator (planned or established as a target);
- абсолютное отклонение (разница между фактическим и нормативным значением, определяемое по заданной формуле);- absolute deviation (the difference between the actual and the standard value, determined by a given formula);
- коэффициент отклонения (отношение фактического значения показателя к нормативному показателю и другие данные).- the coefficient of deviation (the ratio of the actual value of the indicator to the standard indicator and other data).
Метамодель инвариантной информационной структуры агрегирования и преобразования данных включает в себя сведения об информационном объекте, активном процессе, этапе процесса, активных показателях его исполнения, регламенте агрегации и преобразований, алгоритмах вычислений (группировка по временному периоду, группировка по отдельному свойству объекта и т.д.).The metamodel of the invariant information structure of aggregation and data transformation includes information about the information object, active process, stage of the process, active indicators of its execution, regulation of aggregation and transformations, algorithms for computing (grouping by a time period, grouping by a separate property of the object, etc. ).
Инвариант контейнера устроен так, что период агрегации и преобразования данных, а также формулы, по которым производится агрегация и преобразование данных, настраиваются заранее и автоматически по заранее заданному шаблону или могут перестраиваться в процессе усложнения структур данных.The container invariant is designed so that the period of aggregation and data conversion, as well as the formulas by which the data are aggregated and transformed, are set in advance and automatically according to a predefined pattern or can be rearranged in the process of complicating data structures.
На структуру контейнера сложность информационного объекта не влияет.The complexity of the information object does not affect the structure of the container.
Количество типов контейнеров соответствует количеству показателей -анализируемых свойств объектов управления на каждом из этапов активных процессов. Например, для параметра "время" это - последовательность дней, месяцев, кварталов, лет (см. фиг. 2).The number of container types corresponds to the number of indicators -analyzed properties of control objects at each stage of active processes. For example, for the parameter "time" it is the sequence of days, months, quarters, years (see Fig. 2).
При активизации новых процессов автоматически формируются новые контейнеры данных.When new processes are activated, new data containers are automatically generated.
Накопление первичных данных в контейнерах данных осуществляется по мере исполнения процессов и/или его этапов. Количество данных в контейнере данных соответствует числу выполненных процессов и/или этапов процессов.The accumulation of primary data in data containers is carried out as the processes and / or its steps are executed. The amount of data in the data container corresponds to the number of processes executed and / or the stages of the processes.
По мере накопления данных формируется потребность их агрегации и преобразования с целью последующего сопоставления и анализа за различные временные периоды по одному или нескольким объектам управления в рамках одного или нескольких процессов и/или функций управления (фиг. 4).As data is accumulated, the need for their aggregation and transformation is formed for the purpose of subsequent comparison and analysis for different time periods for one or several control objects within one or several processes and / or control functions (Fig. 4).
Осуществляют агрегирование и преобразование данных по отдельным свойствам каждого информационного объекта в соответствии с заданными условиями для последующего сопоставления и анализа поступающих значений свойств информационных объектов за различные временные периоды и передают агрегированные и преобразованные данные во второй тип контейнеров при обнаружении появления новой записи в контейнере первого типа и присваивают им значение промежуточных данных.Carry out the aggregation and transformation of data on individual properties of each information object in accordance with the specified conditions for subsequent comparison and analysis of incoming values of information objects properties for different time periods and transfer the aggregated and transformed data to the second type of containers when a new record appears in the first type container and assign them the value of intermediate data.
Далее осуществляют консолидированную обработку этих агрегированных и преобразованных данных, и помещают консолидированные данные в контейнеры данных третьего типа. Контейнеры третьего типа хранят консолидированные данные, полученные в результате агрегации и преобразования промежуточных данных, которые используются для принятия управленческих и иных решений, а также проведения контроля их эффективности в соответствии с деревом стратегических, тактических и оперативных целей системы управления.Next, consolidated processing of these aggregated and transformed data is carried out, and the consolidated data is placed in data containers of the third type. Containers of the third type store consolidated data obtained as a result of aggregation and transformation of intermediate data, which are used to make management and other decisions, as well as to monitor their effectiveness in accordance with the strategic, tactical and operational objectives of the management system.
Пример формата представления информационных объектов -древовидные структуры. Пример формирования структуры объекта - простой и сложный справочник. Справочная система описывается как набор инвариантных информационных структур для хранения данных об информационных объектах с определенным контентом.An example of the format for the presentation of information objects is a tree-like structure. An example of the formation of the structure of an object is a simple and complex reference book. A help system is described as a set of invariant information structures for storing data about information objects with specific content.
Пример структуры простого справочника: название справочника - таблица болтов; свойства (атрибуты): обозначение болта, № ГОСТа, диаметр резьбы, длина болта, длина резьбы болта, размер под ключ, вид покрытия, толщина покрытия, масса 100 штук.An example of the structure of a simple directory: directory name is a table of bolts; properties (attributes): bolt designation, No. of GOST, thread diameter, bolt length, bolt thread length, turnkey size, type of coating, coating thickness, weight 100 pieces.
Пример структуры сложного справочника: название справочника - справочник транспортных единиц; марка автобуса, гаражный номер, номер государственной регистрации, вид используемого горючего, номер двигателя, ФИО водителей, табельный номер водителей, номер водительского удостоверения, время и место прохождения обучения и стажировки.An example of the structure of a complex directory: directory name - directory of transport units; bus brand, garage number, state registration number, type of fuel used, engine number, drivers' full name, driver's personnel number, driver's license number, time and place of training and internships.
Комбинации древовидных структур создают сложные информационные конструкции. Выделяют пять степеней сложности соединения информационных объектов.Combinations of tree structures create complex information structures. There are five degrees of difficulty connecting information objects.
Обработка и агрегация данных настраивается в режиме удобного пользовательского диалога посредством использования универсальных методов обработки (чтение записи из инвариантной информационной структуры, запись данных в инвариантную информационную структуру, корректировка данных в инвариантной информационной структуре, выборка нескольких записей из инвариантной информационной структуры по заранее заданным условиям) и визуального представления набора данных в виде отображение данных в матричной форме, в виде многомерного куба, в графическом виде (диаграммы, графики зависимостей и тому подобное).Processing and aggregation of data is configured in a convenient user dialogue by using universal processing methods (reading a record from an invariant information structure, writing data to an invariant information structure, correcting data in an invariant information structure, selecting several records from an invariant information structure according to predetermined conditions) and visual representation of a data set in the form of data mapping in matrix form, in the form of a multidimensional cube, in gr aphic view (diagrams, dependency graphs and the like).
Предложенное устройство позволяет агрегировать и преобразовывать данные по отдельным свойствам каждого информационного объекта в соответствии с заданными условиями для последующего сопоставления и анализа поступающих значений свойств информационных объектов за различные временные периоды, а также автоматически организовывать инвариантные информационные структуры для хранения этих данных, при этом инвариантные информационные структуры выполнены в виде трех типов контейнеров, каждый из которых представляет собой узел взаимосвязанных ячеек памяти узла хранения данных.The proposed device allows you to aggregate and convert data on individual properties of each information object in accordance with the specified conditions for subsequent comparison and analysis of incoming values of properties of information objects for different time periods, as well as automatically organize invariant information structures for storing these data, while invariant information structures made in the form of three types of containers, each of which is an interconnection node nnyh memory cell storage node.
Представленное описание заявленного изобретения раскрывает предпочтительные варианты исполнения заявленного решения и не должно трактоваться как ограничивающее иные, частные варианты реализации, не выходящие за рамки испрашиваемого объема правовой охраны, которые должны быть понятны для специалиста в данной области техники.The description of the claimed invention discloses the preferred versions of the claimed solution and should not be construed as limiting other, private implementation options, not beyond the scope of the requested legal protection, which should be clear to a person skilled in the technical field.
Claims (19)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017145520A RU2688229C1 (en) | 2017-12-25 | 2017-12-25 | Method of aggregation and conversion of data and device for its implementation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017145520A RU2688229C1 (en) | 2017-12-25 | 2017-12-25 | Method of aggregation and conversion of data and device for its implementation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2688229C1 true RU2688229C1 (en) | 2019-05-21 |
Family
ID=66636556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017145520A RU2688229C1 (en) | 2017-12-25 | 2017-12-25 | Method of aggregation and conversion of data and device for its implementation |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2688229C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2811451C2 (en) * | 2022-04-07 | 2024-01-11 | Общество с ограниченной ответственностью "Е-СОФТ" | System for data aggregation and indexing for their output to user |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2103728C1 (en) * | 1995-10-24 | 1998-01-27 | Владимир Олегович Сафонов | Method for converting input program of translator and device which implements said method |
| US20020029207A1 (en) * | 2000-02-28 | 2002-03-07 | Hyperroll, Inc. | Data aggregation server for managing a multi-dimensional database and database management system having data aggregation server integrated therein |
| US20060129597A1 (en) * | 2003-03-28 | 2006-06-15 | Microsoft Corporation | Systems and methods for proactive caching utilizing olap variants |
-
2017
- 2017-12-25 RU RU2017145520A patent/RU2688229C1/en active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2103728C1 (en) * | 1995-10-24 | 1998-01-27 | Владимир Олегович Сафонов | Method for converting input program of translator and device which implements said method |
| US20020029207A1 (en) * | 2000-02-28 | 2002-03-07 | Hyperroll, Inc. | Data aggregation server for managing a multi-dimensional database and database management system having data aggregation server integrated therein |
| US20060129597A1 (en) * | 2003-03-28 | 2006-06-15 | Microsoft Corporation | Systems and methods for proactive caching utilizing olap variants |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2811451C2 (en) * | 2022-04-07 | 2024-01-11 | Общество с ограниченной ответственностью "Е-СОФТ" | System for data aggregation and indexing for their output to user |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10459940B2 (en) | Systems and methods for interest-driven data visualization systems utilized in interest-driven business intelligence systems | |
| US7925672B2 (en) | Metadata management for a data abstraction model | |
| US10402420B2 (en) | Rule-based extraction, transformation, and loading of data between disparate data sources | |
| CN101916261B (en) | Data partitioning method for distributed parallel database system | |
| CN108256088A (en) | A kind of storage method and system of the time series data based on key value database | |
| US9672241B2 (en) | Representing an outlier value in a non-nullable column as null in metadata | |
| JP2020512641A (en) | Systems and methods for single scan load, aggregate, and batch calculations in a multidimensional database environment | |
| US20160055191A1 (en) | Executing constant time relational queries against structured and semi-structured data | |
| EP2784700A2 (en) | Integration of transactional and analytical capabilities of a database management system | |
| US20140244573A1 (en) | Data warehouse with cloud fact table | |
| WO2015041714A1 (en) | Interest-driven business intelligence systems including event-oriented data | |
| US20230401227A1 (en) | Interactive data exploration | |
| US20160092554A1 (en) | Method and system for visualizing relational data as rdf graphs with interactive response time | |
| EP3365810A1 (en) | System and method for automatic inference of a cube schema from a tabular data for use in a multidimensional database environment | |
| CN103262076A (en) | Analytical data processing | |
| US20100235344A1 (en) | Mechanism for utilizing partitioning pruning techniques for xml indexes | |
| EP3232342B1 (en) | Methods and systems for bidirectional indexing summary | |
| CN114064660B (en) | Data structured analysis method based on ElasticSearch | |
| CN118796800B (en) | A method, system and medium for constructing a large database for international achievement transformation services | |
| CN101882147A (en) | A curve data storage device and its storage method | |
| RU2688229C1 (en) | Method of aggregation and conversion of data and device for its implementation | |
| Gallas et al. | An Oracle-based event index for ATLAS | |
| JP2005018751A (en) | System and method for expressing and calculating relationship between measures | |
| Ariawan et al. | Design of Library Data Warehouse Using OLTP Result of Services Analysis | |
| US12339858B2 (en) | Multi-parameter data type frameworks for database environments and database systems |