WO2019078763A1 - Устройство универсального хранилища данных и способ его формирования - Google Patents

Устройство универсального хранилища данных и способ его формирования Download PDF

Info

Publication number
WO2019078763A1
WO2019078763A1 PCT/RU2018/050061 RU2018050061W WO2019078763A1 WO 2019078763 A1 WO2019078763 A1 WO 2019078763A1 RU 2018050061 W RU2018050061 W RU 2018050061W WO 2019078763 A1 WO2019078763 A1 WO 2019078763A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
indicator
state
invariant
Prior art date
Application number
PCT/RU2018/050061
Other languages
English (en)
French (fr)
Inventor
Владимир Альбертович ГРАЧЕВ
Владимир Николаевич ШВЕДЕНКО
Валерия Валериевна ШВЕДЕНКО
Наталья Александровна ТЕРСКАЯ
Original Assignee
Ооо "Регул+"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ооо "Регул+" filed Critical Ооо "Регул+"
Publication of WO2019078763A1 publication Critical patent/WO2019078763A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging

Definitions

  • the group of inventions relates to the field of information technology, in particular to the organization, storage and retrieval of data from data warehouses located on storage media, which are designed to create information support for reference, information and information and control systems.
  • DBMS database management systems
  • the disadvantage of such systems is the inability to search for data in a given time range.
  • the proposed method consists in the fact that, unlike classical DBMS, it implements the discrete principle of presenting the state of information objects, processes, indicators and data aggregation procedures in computer memory, the volume and structure of which are limited by certain rules: the number of records in the invariant information structure should not exceed the specified value, which allows you to search for a record or a group of records in a predetermined time range without loss of performance as information accumulates mation in the data warehouse.
  • the volume of the invariant information structure is determined by experimentally comparing its value with the reference data volume recorded in the invariant information structure, because the data sampling time depends on many factors, such as type, model, number and characteristics of the processors used, RAM size, memory characteristics devices, etc.
  • the technical task which the claimed solution is aimed at, is to provide automatic organization of invariant information data storage structures through their horizontal and vertical aggregation, which allows for faster search of a record or group of records in a predetermined time range without loss of performance as data is accumulated in the storage data.
  • the technical result is to provide the possibility of automated formation of invariant information structures for storing structured data on the status of information objects, processes, indicators and data aggregation procedures.
  • the sources and the format for presenting data on the current state of the values of the properties of domain objects that are received from at least one source of data are determined;
  • invariant structures of information objects are formed, the metamodel of which is a named part of the domain, selected as its separate element, consisting of a set of elementary and composite properties, relations between them, as well as an integral indicator that uniquely identifies the information object;
  • network structures are formed that describe the processes occurring in the domain, and the state of its individual stages, each of which metamodel contains information about the name of the process and its stages, their characteristics, start and end time of the stages and the process as a whole, description of the state of the information object at the time of the beginning and completion of the process steps, as well as the values of active and latent indicators of the results of their execution;
  • invariant information structures are formed to store data on the state of the processes and the stages of their execution
  • a list of indicators fixing the state of the properties of the control objects is determined based on the execution of the stages of the processes, the characteristics of each of which includes the name, abbreviation, measure and unit of measure of the indicator, type of property, polarity (descending, constant, ascending), sign (primary, assigned , calculated), class (target, resource, effective), status (active, latent), as well as the rules for converting and aggregating their values;
  • invariant information data structures of each indicator are formed in the form of a matrix
  • P is the standard value of the indicator
  • F is the actual value of the indicator
  • A is the absolute deviation of the actual value of the indicator from its standard value
  • O is the coefficient of deviation of the actual value of the indicator and its normative value
  • i is the process number
  • j is the number of the process stage, 0, 1,2,3, ..., p - number of repetition of the process stage, tied to the time of its execution;
  • the received information on the state of the properties of the control objects and matrices is recorded following the execution of the process steps in the memory cells of external devices in accordance with the selected invariant information structure for storing data on process indicators;
  • conversion of indicator values is carried out to obtain data on the state of the subject area
  • invariant information structures are formed to store the converted data
  • An information processing system has also been developed for automated generation of a universal data storage device, comprising: at least one data acquisition device; external storage device; and an information processing device, configured to perform the above information processing method for automated generation of a universal data storage device.
  • FIG. 1 is an example of a technical scheme of an information processing system for automated generation of a universal data storage device
  • FIG. 2 an example of the structure of reference objects
  • FIG. 3 the general scheme of the storage.
  • an example of an information processing system in the particular case of its implementation, contains: at least one data acquisition device 1, information processing device 2 and external data storage device 3.
  • Data acquisition device 1 can be implemented on the basis of a receiving or receiving-transmitting communication device (service), configured to receive data from at least one source of data 100 (see Fig. 3).
  • Sources of data entry can be: internal and external databases, which store data on the current state of property values of domain objects; PC, through which users promptly enter data; external and built-in measuring devices, for example, sensors located on technical devices that directly collect the aforementioned data on the current state of the values of the properties of the domain objects; etc.
  • Data on the current state of the values of the properties of the objects of the domain can contain information about information objects, processes and its stages, as well as indicators. Under the property of the object The subject area is understood as a quantitative or qualitative characteristic that determines the current state of an object in the system.
  • Examples of data on the current state of the properties of objects in the subject area the meter reading at the beginning of the shift and at the end of the shift; the speed of the transport unit on the route; the number of tools in the machine shop, requiring replacement, etc.
  • External storage device 3 can be a combination of sets of invariant information structures that have a predetermined organization of memory cells that store information about objects of arbitrary structure and complexity in their relationships that do not change over time, and consisting of a group of metamodels of tables, their primary keys, indexes and relationships between tables, which allows you to implement universal methods of working with procedures for recording, storing, processing and presenting data, for example, the formation of tree th structure information object, creating multidimensional tables, tree structures and filling multidimensional data tables, etc.
  • Invariant information structures are formed by information processing device 2, implemented on the basis of a processor or microcontroller, automatically according to a predetermined pattern. WITH using invariant information structures, information objects, processes, indicators and aggregated data values that model a given subject area are described. Also invariant information structures allow you to store the values of operational and aggregated data. The number of invariant information structures of operational and aggregated data is not limited.
  • Data on the current state of the values of the properties of the domain objects from at least one data acquisition device 1 is fed to information processing device 2, which is modified in the software and hardware to determine the source and format (screen form, tables, graphs and charts , tree structures, network structures, etc.) presenting the obtained data, as well as form invariant structures of information objects whose metamodel is a named ch st domain allocated separate its element consisting of a set of elementary and compound properties, connections between them, and the integral index uniquely identifying a data object, including a data store.
  • the source and format of data presentation is required to classify the data to the appropriate classification grouping of domain objects and to establish the cause-effect relationships of their interaction. This technology is widely known in the art and will not additionally be described in the framework of this application.
  • An integral indicator is a surrogate key, which consists of a primary key (uniquely identifying an object in the system) and additional text, numeric, graphic, and other information necessary for the visual identification of an object instance.
  • An example of an integral indicator is the name and designation of the part of the product assembly.
  • Each property has its own unique name and is represented as the primary key of the name and type.
  • An example of a primary key would be the post office index.
  • Elementary property is an atomic element of an information object.
  • the format for representing information objects is tree structures.
  • An example of the formation of the structure of an object is a simple and complex reference book.
  • the help system is described as a set of invariant information structures for storing data about information objects with specific content (see Fig. 2).
  • directory name is a table of bolts; properties (attributes): bolt designation, N ° GOST, thread diameter, bolt length, bolt thread length, turnkey size, type of coating, coating thickness, weight 100 pieces.
  • An example of the structure of a complex directory directory name - directory of transport units; brand of bus, garage number, state registration number, type of fuel used, engine number, drivers 'full name, drivers' personnel number, number driving license, time and place of training and internship.
  • Combinations of tree structures create complex information structures. There are five degrees of difficulty connecting information objects.
  • the information processing device 2 filters the received information, in particular, distributes the obtained data and groups them according to specified conditions, properties of the subject area and the sign that the information object is assigned to the corresponding group, which is assigned during the simulation of the subject area object.
  • object - process performance indicator - a simple reference book, using the attributes of which you can evaluate the state of the information object in the corresponding process. It is the only information object containing various attributes (properties) characterizing indicators;
  • control object an informational object, the purposeful changes of attributes (properties) of which transfer the system to a new state;
  • object of control is an information object, which in its structure contains “an object indicator of the process performance”.
  • the information processing device 2 analyzes the data obtained about the current state of the values of the properties of the objects of the subject area and relates them to the process or object of the subject area 101. If the obtained data does not belong to the process or object of the subject area, then they are recorded in the data store 111 located in storage device 3.
  • the information processing device 2 determines to which specific information object and process 102 the obtained data refers and relates it to the corresponding classification group of invariant structures of information objects: object - simple reference book 104, object - complex the directory 105, the control object 106, the control object 107 or the object is an indicator of the process performance 108.
  • An example of the object of the process performance indicator ": attribute name - material utilization factor, procreation coefficient, regularity of movement of a transport unit along a route, etc.
  • each information object receives a sign of belonging, on the basis of which the classification group is determined.
  • information processing device 2 When the classification group is determined, information processing device 2 records information about the current state of property values of the domain objects in the memory cells of external devices 3 in accordance with the selected invariant information structure for storing information about information objects in accordance with the classification group.
  • the information processing device 2 forms network structures describing the processes occurring in the domain, and the state of its individual stages, each of which’s metamodel contains information about the name of the process and its stages, their characteristics, the start and end time of the stages and the process as a whole, the description of the state of the information object at the start and end of the process stages, as well as the values of active and latent indicators of the results of their execution
  • the process step is an atomic element of this invariant information structure.
  • the information processing device 2 is focused on working with processes of varying degrees of complexity.
  • a collection of processes including: the process from which data is transferred; the process to which data is transferred and the process organizing the transfer of intermediate or final data from one process to another, when certain conditions are reached
  • information processing device 2 To store data on the state of processes and stages of their execution, information processing device 2 also forms invariant information structures and records information in the memory cells of external data storage devices 3 in accordance with the selected invariant information structure of storing process data and their stages.
  • the information processing device 2 determines a list of indicators fixing the state of properties of control objects, and the characteristic of each stage of the process includes the name, abbreviation, measure and unit of measurement of the indicator values, property type, polarity (descending, constant, ascending), a sign of the presence of calculations (primary, assigned, calculated), class (target, resource, effective), status (active, latent), as well as the rules for converting and aggregating their knowledge eny.
  • the list of indicators is determined by the purpose and objectives of the controlled system. As the system develops, the list of indicators may expand.
  • the property type of the indicator is a generally accepted characteristic of the data available in the DBMS.
  • the property type of the indicator takes on values: numeric, character, date type, time type, date and time type, time range type, enumerated, logical, textual, graphic, and other known types of data representation.
  • Polarity is a characteristic of the indicator that determines the direction to achieve a possible positive result, against which a comparison is made.
  • - constant - can not change its value, for example, the temperature of a healthy person.
  • - assignable - is set at the process stage depending on the state of the control object. For example, the rate of fuel consumption per 100 km of a transport unit (based on the results of testing a transport unit);
  • the status of the indicator - the assignment of the indicator to the active indicator, which is involved in the analysis of the state of the system or latent indicator, which is not involved in the analysis of the state of the system, but can be transferred to the active state.
  • the indicator conversion procedure is a description of the procedure for calculating it.
  • the aggregation of the indicator values is a cumulative sum calculated by a given algorithm.
  • the information processing device 2 generates invariant information data structures for each indicator in the form of a matrix
  • P is the standard value of the indicator
  • F is the actual value of the indicator
  • A is the absolute deviation of the actual value of the indicator from its standard value
  • O is the coefficient of deviation of the actual value of the indicator and its standard value
  • i is the process number
  • j is the process stage number, 0,1,2,3, ...
  • n is the repeat number of the process stage, tied to its time execution. All the additional information necessary for the formation of the said matrix can also be obtained from at least one database by means of the data acquisition device 1.
  • the recording of data on indicators in the memory cells of external storage devices 3 is carried out in accordance with the formed invariant information structures for storing data on process indicators.
  • the information processing device 2 determines the value of the active and latent indicators, depending on whether the indicator is involved in the analysis of the system state.
  • the values of active and latent indicators are recorded in various invariant information structures.
  • data is automatically aggregated according to horizontal and vertical diagrams, and their values of active indicators are correlated with the cell of the matrix of indicators 109 and written into the invariant information structures of the data warehouse.
  • the number of levels of data aggregation is determined by the regulations.
  • the values of latent indicators are accumulated in the data warehouse and can be transferred to the active state. If the latent indicator is transferred to the active state, then a new invariant information structure is automatically created, which is filled with the values of the aggregated data in accordance with the specified conditions.
  • the information processing device 2 performs the conversion of values indicators according to certain formulas and summing up their values on an accrual basis for given time periods 110, as well as performing other mathematical operations.
  • the state of the subject area is understood as the value of the set of indicators characterizing its state at the current time. For example, fuel consumption, regularity of completed flights, mileage, time between failures of each wheel, elegant driver work time, collected revenues at the current time for each vehicle fleet transport unit.
  • An example of converting the values of indicators according to certain formulas is the calculation of the driver’s premium depending on the regularity of flights, fuel economy, speeding, and the presence / absence of accidents. The mentioned conversion methods are widely known in the art and will not additionally be described in the framework of this application.
  • the information processing device 2 generates invariant information structures for storing the transformed data and records data on the state of the subject area in the memory cells of external data storage devices 3 in accordance with the selected invariant information data storage structure about the transformed values of the indicators.
  • Processing and aggregation of data is configured in a convenient user dialogue by using universal processing methods (reading a record from an invariant information structure, writing data to an invariant information structure, correcting data in an invariant information structure, selecting several records from an invariant information structure according to predetermined conditions) and visual representation of a dataset in the form of tables, trees, hierarchies, multidimensional data, diagrams and other forms rmatov.
  • indexes are built in the form of binary structures that are stored in the index file. Since index rebuilding is the longest stage, restrictions are imposed on the file size in order to provide data retrieval time in the invariant information structure in a given time range, RAM, memory characteristics, etc.
  • the proposed method allows you to automatically organize invariant information data storage structures through their horizontal and vertical aggregation, which allows you to search for a record or group of records in a predetermined time range without loss of performance as data accumulates in the data warehouse.
  • the above universal methods are a set of algorithms for generating multidimensional data collections, treating tree-like index structures, writing data to tables included in invariant structures, correcting and deleting this data, and also selecting one or a group of records according to specified conditions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Изобретение относится к области информационных технологий, в частности к организации, хранению и извлечению данных из хранилищ данных, расположенных на носителях информации, которые предназначены для создания информационного обеспечения справочных, информационных и информационно-управляющих систем. Технический результат заключается в обеспечении возможности автоматизированного формирования инвариантных информационных структур для хранения структурированных данных о состоянии информационных объектов, процессов, показателей и процедур агрегации данных. Система обработки информации для автоматизированного формирования устройства универсального хранилища данных содержит, по меньшей мере, одно устройство сбора данных, внешнее устройство хранения данных и устройство обработки информации, выполненное с возможностью осуществлять способ обработки информации для автоматизированного формирования устройства универсального хранилища данных.

Description

УСТРОЙСТВО УНИВЕРСАЛЬНОГО ХРАНИЛИЩА ДАННЫХ И
СПОСОБ ЕГО ФОРМИРОВАНИЯ
ОБЛАСТЬ ТЕХНИКИ
Группа изобретений относится к области информационных технологий, в частности к организации, хранению и извлечению данных из хранилищ данных, расположенных на носителях информации, которые предназначены для создания информационного обеспечения справочных, информационных и информационно-управляющих систем.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известны различные системы управления базами данных (СУБД), обеспечивающие управление созданием и использованием устройств универсального хранилища данных, в частности, баз данных. Недостатком таких систем является отсутствие возможности обеспечить поиск данных в заданном временном диапазоне. Предложенный способ заключается в том, что в отличие от классических СУБД, в нем реализован дискретный принцип представления в памяти ЭВМ состояния информационных объектов, процессов, показателей и процедур агрегации данных, объем и структура которых ограничены определенными правилами: количество записей в инвариантной информационной структуре не должно превышать заданного значения, что позволяет производить поиск записи или группы записей в заранее заданном временном диапазоне без потери производительности по мере накопления информации в хранилище данных. Объем инвариантной информационной структуры определяется посредством экспериментального сопоставления его значения с эталонным объемом данных, записанных в инвариантную информационную структуру, потому что время выборки данных зависит от множества факторов, таких как: тип, модель, количество и характеристики используемых процессоров, объем оперативной памяти, характеристики запоминающих устройств и т.п. РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Технической задачей, на решение которой направлено заявленное решение, является обеспечение автоматической организации инвариантных информационных структур хранения данных через их горизонтальную и вертикальную агрегацию, что позволяет осуществлять более быстрый поиск записи или группы записей в заранее заданном временном диапазоне без потери производительности по мере накопления данных в хранилище данных.
Техническим результатом является обеспечение возможности автоматизированного формирования инвариантных информационных структур для хранения структурированных данных о состоянии информационных объектов, процессов, показателей и процедур агрегации данных.
Для достижения указанного технического результата разработан способ обработки информации для автоматизированного формирования устройства универсального хранилища данных, содержащий этапы, на которых:
определяются источники и формат представления данных о текущем состоянии значений свойств объектов предметной области, поступающие по меньшей мере от одного источника поступления данных;
формируются инвариантные структуры информационных объектов, метамодель которых представляет собой именованную часть предметной области, выделяемую как отдельный его элемент, состоящий из набора элементарных и составных свойств, связей между ними, а также интегрального показателя, однозначно идентифицирующего информационный объект;
осуществляется фильтрация поступившей информации и отнесение ее к соответствующей классификационной группе инвариантных структур информационных объектов: простой справочник, сложный справочник, объект показатель исполнения процесса, объект управления, объект контроля; производится запись информации о текущем состоянии значений свойств объектов предметной области в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных об информационных объектах;
формируются сетевые структуры, описывающие процессы, происходящие в предметной области, и состояние отдельных его этапов, метамодель каждого из которых содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения;
формируются инвариантные информационные структуры для хранения данных о состоянии процессов и этапов их исполнения;
производится запись информации о состоянии процессов и этапов их исполнения в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о состоянии процессов и этапов их;
определяется перечень показателей, фиксирующих состояние свойств объектов управления по итогам исполнения этапов процессов, характеристика каждого из которых включает в себя название, аббревиатуру, меру и единицу измерения значений показателя, тип свойства, полярность (нисходящий, константа, восходящий), признак (первичный, назначаемый, вычисляемый), класс (целевой, ресурсный, эффективный), статус (активный, латентный), а также регламенты преобразования и агрегирования их значений;
формируются инвариантные информационные структуры данных каждого показателя в виде матрицы,
Figure imgf000006_0001
где П - нормативное значение показателя, Ф - фактическое значение показателя, А - абсолютное отклонение фактического значения показателя от его нормативного значения, О - коэффициент отклонения фактического значения показателя и его нормативного значения, i- номер процесса, j - номер этапа процесса, 0,1,2,3, ... ,п - номер повтора этапа процесса, привязанный ко времени его исполнения;
производится запись полученной информации о состояние свойств объектов управления и матриц по итогам исполнения этапов процессов в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о показателях процессов;
осуществляется преобразование значений показателей для получения данных о состоянии предметной области;
формируются инвариантные информационные структуры для хранения преобразованных данных;
производится запись информации о состоянии предметной области в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о преобразованных значениях показателей.
Также разработана система обработки информации для автоматизированного формирования устройства универсального хранилища данных, содержащая: по меньшей мере одно устройство сбора данных; внешнее устройство хранения данных; и устройство обработки информации, выполненное с возможностью осуществлять указанный выше способ обработки информации для автоматизированного формирования устройства универсального хранилища данных. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Для лучшего понимания сущности изобретения, и чтобы более ясно показать, каким образом оно может быть осуществлено, далее будет сделана ссылка, лишь в качестве примера, на прилагаемые чертежи, на которых:
фиг. 1 - пример технической схемы системы обработки информации для автоматизированного формирования устройства универсального хранилища данных;
фиг. 2 - пример структуры справочных объектов; фиг. 3 - общая схема работы хранилища.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
В соответствии с приведенным на фиг. 1 примером система обработки информации, в частном случае ее реализации, содержит: по меньшей мере одно устройство сбора данных 1, устройство обработки информации 2 и внешнее устройство хранения данных 3. Устройство сбора данных 1 может быть реализовано на базе приемного или приемо-передающего устройства связи (сервиса), выполненного с возможностью приема данных от по меньшей мере одного источника поступления данных 100 (см. фиг. 3). Источниками поступления данных могут быть: внутренние и внешние базы данных, в которых хранятся данные о текущем состоянии значений свойств объектов предметной области; ПК, посредством которых пользователи оперативно вводят данные; внешние и встроенные измерительные устройства, например, датчики, расположенные на технических устройствах, которые непосредственно осуществляют сбор упомянутых данных о текущем состоянии значений свойств объектов предметной области; и т.д.
Данные о текущем состоянии значений свойств объектов предметной области могут содержать информацию об информационных объектах, процессах и его этапах, а также о показателях. Под свойством объекта предметной области понимается количественная или качественная характеристика, определяющая текущее состояние объекта в системе.
Примеры набора свойств объекта предметной области:
- объект - деталь; свойства - обозначение детали, название детали, марка материала, из которого изготовлена деталь, габаритные размеры детали, максимальный и минимальный квалитет характерных размеров детали, вес детали, наличие химического покрытия, количество деталей на складе и в незавершенном производстве на текущий момент времени;
- объект - туфли мужские; свойства - цвет кожи, наличие шнуровки, высота каблука, размер, полнота, фасон, объем заказа модели заданных размеров/ цвета кожи на начало смены, объем запуска в производство модели/размера/ цвета кожи на начало смены.
Примеры данных о текущем состоянии свойств объектов предметной области: показание электрического счетчика на начало смены и на конец смены; скорость движения транспортной единицы на участке маршрута; количество инструментов в магазине станка, требующих замену и т.д.
Внешнее устройство хранения данных 3 может представлять собой комбинацию наборов инвариантных информационных структур, имеющих заранее заданную организацию ячеек памяти, которые хранят информацию об объектах произвольной структуры и сложности в их взаимосвязях, не меняющихся во времени, и состоящие из группы метамоделей таблиц, их первичных ключей, индексов и связей между таблицами, что позволяет реализовать универсальные методы работы с процедурами записи, хранения, обработки и представления данных, например, формирование древовидной структуры информационного объекта, создание многомерных таблиц, заполнение древовидных структур и многомерных таблиц данными и т.п.
Инвариантные информационные структуры формируются устройством обработки информации 2, реализованным на базе процессора или микроконтроллера, автоматически по заранее заданному шаблону. С помощью инвариантных информационных структур описываются информационные объекты, процессы, показатели и агрегированные значения данных, моделирующие заданную предметную область. Также инвариантные информационные структуры позволяют хранить значения оперативных и агрегированных данных. Количество инвариантных информационных структур оперативных и агрегированных данных не ограничивается.
Инвариантные информационные структуры распределены на четыре вида:
- инвариантные информационные структуры для хранения данных об информационных объектах;
- инвариантные информационные структуры хранения данных о процессах и его этапах;
- инвариантные информационные структуры для хранения данных о показателях;
- инвариантные информационные структуры для описания процедуры преобразования значений показателей и их хранения.
Данные о текущем состоянии значений свойств объектов предметной области от по меньшей мере одного устройства сбора данных 1 поступают на устройство обработки информации 2, которое модифицировано в программно-аппаратной части таким образом, чтобы осуществлять определение источника и формата (экранная форма, таблицы, графики и диаграммы, древовидные структуры, сетевые структуры и т.д.) представления полученных данных, а также формировать инвариантные структуры информационных объектов, метамодель которых представляет собой именованную часть предметной области, выделяемую как отдельный его элемент, состоящий из набора элементарных и составных свойств, связей между ними, а также интегрального показателя, однозначно идентифицирующего информационный объект, в том числе в хранилище данных. Источник и формат представления данных требуется для отнесения данных к соответствующей классификационной группировке объектов предметной области и установления причинно-следственных связей их взаимодействия. Данная технология широко известна в уровне техники и дополнительно не будет описываться в рамках данной заявки.
Интегральный показатель представляет собой суррогатный ключ, который состоит из первичного ключа (однозначно идентифицирующего объект в системе) и дополнительной текстовой, числовой, графической и иной информации, необходимой для визуальной идентификации экземпляра объекта. Примером интегрального показателя может служить название и обозначение детали узла изделия.
Каждое свойство (атрибут в структуре данных) имеет свое уникальное название и представляется в виде первичного ключа имени и типа. Примером первичного ключа может быть индекс почтового отделения связи. Элементарное свойство (атрибут) является атомарным элементом информационного объекта. Формат представления информационных объектов - древовидные структуры. Пример формирования структуры объекта - простой и сложный справочник. Справочная система описывается как набор инвариантных информационных структур для хранения данных об информационных объектах с определенным контентом (см. фиг. 2).
Пример структуры простого справочника: название справочника - таблица болтов; свойства (атрибуты): обозначение болта, N° ГОСТа, диаметр резьбы, длина болта, длина резьбы болта, размер под ключ, вид покрытия, толщина покрытия, масса 100 штук.
Пример структуры сложного справочника: название справочника - справочник транспортных единиц; марка автобуса, гаражный номер, номер государственной регистрации, вид используемого горючего, номер двигателя, ФИО водителей, табельный номер водителей, номер водительского удостоверения, время и место прохождения обучения и стажировки.
Комбинации древовидных структур создают сложные информационные конструкции. Выделяют пять степеней сложности соединения информационных объектов.
Figure imgf000011_0001
Пятая Нескольким экземплярам Студенты (объект), нескольких свойств обучающиеся на различных информационного объекта специальностях (свойства) по соответствуют несколько разным дисциплинам экземпляров нескольких (экземпляры) - учебный план свойств другого (объект), которые реализуют информационного объекта. различные преподаватели
(свойства) используя авторские курсы дисциплин (экземпляры).
Также устройство обработки информации 2 осуществляет фильтрацию поступившей информации, в частности распределяет полученные данные и группирует их по заданным условиям, свойствам предметной области и признаку отнесения информационного объекта к соответствующей группе, назначаемого во время моделирования объекта предметной области.
Различают следующие группы информационных объектов:
- «простой справочник» - связь атрибута (свойства) справочника с интегральным показателем находится в отношении «один к одному»;
- «сложный справочник» - хотя бы один атрибут (свойство) справочника находится по отношению к интегральному показателю в связи «один ко многим»;
- «объект - показатель исполнения процесса» - простой справочник, с помощью атрибутов которого можно оценивать состояние информационного объекта в соответствующем процессе. Является единственным информационным объектом, содержащим различные атрибуты (свойства), характеризующие показатели;
- «объект управления» - информационный объект, целенаправленные изменения атрибутов (свойств) которого переводит систему в новое состояние; - «объект контроля» - информационный объект, который в своей структуре содержит «объект показатель исполнения процесса».
На данном этапе устройство обработки информации 2 анализирует полученные данные о текущем состоянии значений свойств объектов предметной области и относит их к процессу или объекту предметной области 101. Если полученные данные не относятся к процессу или объекту предметной области, то они записываются в хранилище данных 111, расположенное в устройстве хранения данных 3.
Если полученные данные относятся к процессу или объекту предметной области, то устройство обработки информации 2 определяет, к какому конкретному информационному объекту и процессу 102 полученные данные относятся и относит их к соответствующей классификационной группе инвариантных структур информационных объектов: объект - простой справочник 104, объект - сложный справочник 105, объект управления 106, объект контроля 107 или объект - показатель исполнения процесса 108.
Пример объекта показателя исполнения процесса»: название атрибута - коэффициент использования материала, коэффициент прокроя, регулярность движения транспортной единицы по маршруту и т.д.
При проектировании объектов предметной области каждый информационный объект получает признак принадлежности, на основе которого определяется классификационная группа.
Когда классификационная группа определена, устройство обработки информации 2 осуществляет запись информации о текущем состоянии значений свойств объектов предметной области в ячейки памяти внешних устройств 3 в соответствии с выбранной инвариантной информационной структурой хранения данных об информационных объектах в соответствии с классификационной группой.
Далее устройство обработки информации 2 формирует сетевые структуры, описывающие процессы, происходящие в предметной области, и состояние отдельных его этапов, метамодель каждого из которых содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения. Этап процесса является атомарным элементом данной инвариантной информационной структуры.
Под сетевыми структурами, описывающими процесс, понимается связи между инвариантными информационными структурами в соответствии с которыми передаются и/или преобразуются данные по заданным правилам. Пример: процесс изготовления деталей узла и сборки узла в единую конструкцию. Указывается, с какого участка, с какого склада поступают детали на соответствующие сборочные стенды на этапах изготовления конечного продукта.
Устройство обработки информации 2 ориентировано на работу с процессами различной степенью сложности.
Figure imgf000014_0001
процесс, сходящийся начальных этапах, сходящийся в единый процесс по по условию заданному условию
Циклический процесс Процесс (одноэтапный или многоэтапный),
многократно повторяющийся в соответствии с заданным условием
Каскадный процесс Процесс, имеющий иерархическую структуру,
детализация которого осуществляется по каждому уровню его исполнения
Связанные процессы Совокупность процессов, включающих: процесс, с которого передаются данные; процесс, на который передаются данные и процесс, организующий передачу промежуточных или завершающих данных из одного процесса в другой, при достижении определенных условий
Для хранения данных о состоянии процессов и этапов их исполнения устройство обработки информации 2 также формирует инвариантные информационные структуры и производит запись информации в ячейки памяти внешних устройств хранения данных 3 в соответствии с выбранной инвариантной информационной структурой хранения данных о состоянии процессов и этапов их.
По итогам исполнения этапов процессов устройство обработки информации 2 определяет перечень показателей, фиксирующих состояние свойств объектов управления, причем характеристика каждого этапа процесса включает в себя название, аббревиатуру, меру и единицу измерения значений показателя, тип свойства, полярность (нисходящий, константа, восходящий), признак наличия вычислений (первичный, назначаемый, вычисляемый), класс (целевой, ресурсный, эффективный), статус (активный, латентный), а также регламенты преобразования и агрегирования их значений. Перечень показателей определяются целью и задачами управляемой системы. По мере развития системы перечень показателей может расширяться.
Тип свойства показателя - общепринятая характеристика данных, имеющихся в СУБД.
Тип свойства показателя принимает значение: числовой, символьный, тип дата, тип время, тип дата и время, тип временного диапазона, перечисляемый, логический, текстовый, графический и другие известные типы представления данных.
Полярность - характеристика показателя, определяющая направление достижения возможного положительного результата, относительно которого производится сравнение.
Примеры:
- нисходящая полярность - чем ниже значение показателя, тем лучше (поиск минимума), например, себестоимость изделия.
- константа - не может менять свое значение, например, температура здорового человека.
- восходящая полярность - чем выше значение показателя, тем лучше (поиск максимума), например, рентабельность производства.
Признак наличия вычислений:
- первичный - значение показателя снимается с базы данных или датчиков технических устройств;
- назначаемый - устанавливается на этапе процесса в зависимости от состояния объекта управления. Например, норма расхода топлива на 100 км пробега транспортной единицы (по результатам тестирования транспортной единицы);
- вычисляемый - рассчитывается через группу показателей по соответствующим формулам. Например, увеличение расхода топлива для обогрева салона автобуса в зависимости от наружной температуры для зимних условий эксплуатации. Класс показателя - отнесения показателя к целевому, ресурсному, эффективному признаку.
Статус показателя - отнесение показателя к активному показателю, который участвует в анализе состояния системы или латентному показателю, который не участвует в анализе состояния системы, но может быть переведен в активное состояние.
Регламент преобразования показателя представляет собой описание процедуры его вычислений.
Агрегирование значений показателя - накопительные суммы, вычисляемые по заданному алгоритму. Пример, АВС-анализ.
Пример описания показателя:
Figure imgf000017_0002
Далее устройство обработки информации 2 формирует инвариантные информационные структуры данных для каждого показателя в виде матрицы,
Figure imgf000017_0001
где П - нормативное значение показателя, Ф - фактическое значение показателя, А - абсолютное отклонение фактического значения показателя от его нормативного значения, О - коэффициент отклонения фактического значения показателя и его нормативного значения, i- номер процесса, j - номер этапа процесса, 0,1,2,3, ... ,п - номер повтора этапа процесса, привязанный ко времени его исполнения. Вся дополнительная информация, необходимая для формирования упомянутой матрицы, также может быть получена от по меньшей мере одной базы данных посредством устройства сбора данных 1.
Запись данных о показателях в ячейки памяти внешних устройств хранения данных 3 осуществляется в соответствии с сформированными инвариантными информационными структурами хранения данных о показателях процессов.
Для каждого показателя исполнения процесса 108 устройство обработки информации 2 определяется значение активного и латентного показателей в зависимости от того, участвует ли показатель в анализе состояния системы.
Значения активных и латентных показателей записываются в различные инвариантные информационные структуры.
В соответствии с заданными регламентами сбора данных значений активных показателей (показателей, имеющих статус - активный) автоматически осуществляется агрегация данных по горизонтальной и вертикальной схемам, а их значения активных показателей соотносятся с ячейкой матрицы показателей 109 и записываются в инвариантные информационные структуры хранилища данных. Количество уровней агрегации данных определяется регламентом. Значения латентных показателей накапливаются в хранилище данных и могут быть переведены в активное состояние. Если латентный показатель переводится в активное состояние, то происходит автоматическое создание новой инвариантной информационной структуры, которая заполняется значениями агрегированных данных в соответствии с заданными условиями
Для получения данных о состоянии предметной области устройство обработки информации 2 осуществляет преобразование значений показателей по определенным формулам и суммирование их значений нарастающим итогом по заданным временным периодам 110, а также выполнение других математических операций.
Под состоянием предметной области понимается значение множества показателей, характеризующих ее состояние в текущий момент времени. Например, расход горючего, регулярность выполненных рейсов, километраж, наработка на отказ каждого колеса, нарядное время работы водителя, собранные доходы на текущий момент времени по каждой транспортной единицы автопарка. Примером преобразования значений показателей по определенным формулам может служить расчет премии водителю в зависимости от регулярности рейсов, экономии горючего, соблюдения скоростного режима, наличия/отсутствия ДТП. Упомянутые методы преобразования широко известны в данной области техники и дополнительно не будут описываться в рамках данной заявки.
Также устройство обработки информации 2 формирует инвариантные информационные структуры для хранения преобразованных данных и производит запись данных о состоянии предметной области в ячейки памяти внешних устройств хранения данных 3 в соответствии с выбранной инвариантной информационной структурой хранения данных о преобразованных значениях показателей.
Обработка и агрегация данных настраивается в режиме удобного пользовательского диалога посредством использования универсальных методов обработки (чтение записи из инвариантной информационной структуры, запись данных в инвариантную информационную структуру, корректировка данных в инвариантной информационной структуре, выборка нескольких записей из инвариантной информационной структуры по заранее заданным условиям) и визуального представления набора данных в виде таблиц, деревьев, иерархий, многомерных данных, диаграмм и других форматов. Для повышения скорости поиска информации внутри инвариантной информационной структуры строятся индексы в виде бинарных структур, которые хранятся в индексном файле. Поскольку перестройка индекса является самым длительным этапом, то на размер файла накладываются ограничения, чтобы обеспечивать время поиска данных в инвариантной информационной структуре в заданном диапазоне времени, оперативной памяти, характеристики запоминающих устройств и т.п.
Предложенный способ позволяет автоматически организовывать инвариантные информационные структуры хранения данных через их горизонтальную и вертикальную агрегацию, что позволяет осуществлять поиск записи или группы записей в заранее заданном временном диапазоне без потери производительности по мере накопления данных в хранилище данных.
Все остальные эффекты являются следствием использования предлагаемого способа настоящего патента. Указанные выше универсальные методы представляют собой набор алгоритмов формирования коллекций многомерных данных, обработки древовидных индексных структур, записи данных в таблицы, входящие в состав инвариантных структур, корректировки и удаления этих данных, а также выборки одной или группы записей по заданным условиям.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ обработки информации для автоматизированного формирования устройства универсального хранилища данных, содержащий этапы, на которых:
определяются источники и формат представления данных о текущем состоянии значений свойств объектов предметной области, поступающие по меньшей мере от одного источника поступления данных;
формируются инвариантные структуры информационных объектов, метамодель которых представляет собой именованную часть предметной области, выделяемую как отдельный его элемент, состоящий из набора элементарных и составных свойств, связей между ними, а также интегрального показателя, однозначно идентифицирующего информационный объект;
осуществляется фильтрация поступившей информации и отнесение ее к соответствующей классификационной группе инвариантных структур информационных объектов: простой справочник, сложный справочник, объект показатель исполнения процесса, объект управления, объект контроля;
производится запись информации о текущем состоянии значений свойств объектов предметной области в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных об информационных объектах;
формируются сетевые структуры, описывающие процессы, происходящие в предметной области, и состояние отдельных его этапов, метамодель каждого из которых содержит в себе информацию о названии процесса и его этапах, их характеристики, время начала и завершения этапов и процесса в целом, описание состояния информационного объекта на момент начала и завершения этапов процесса, а также значения активных и латентных показателей результатов их исполнения; формируются инвариантные информационные структуры для хранения данных о состоянии процессов и этапов их исполнения;
производится запись информации о состоянии процессов и этапов их исполнения в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о состоянии процессов и этапов их;
определяется перечень показателей, фиксирующих состояние свойств объектов управления по итогам исполнения этапов процессов, характеристика каждого из которых включает в себя название, аббревиатуру, меру и единицу измерения значений показателя, тип свойства, полярность (нисходящий, константа, восходящий), признак (первичный, назначаемый, вычисляемый), класс (целевой, ресурсный, эффективный), статус (активный, латентный), а также регламенты преобразования и агрегирования их значений;
формируются инвариантные информационные структуры данных каждого показателя в виде матрицы,
Figure imgf000022_0001
где П - нормативное значение показателя, Ф - фактическое значение показателя, А - абсолютное отклонение фактического значения показателя от его нормативного значения, О - коэффициент отклонения фактического значения показателя и его нормативного значения, i- номер процесса, j - номер этапа процесса, 0,1,2,3, ... ,п - номер повтора этапа процесса, привязанный ко времени его исполнения;
производится запись полученной информации о состояние свойств объектов управления и матриц по итогам исполнения этапов процессов в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о показателях процессов; осуществляется преобразование значений показателей для получения данных о состоянии предметной области;
формируются инвариантные информационные структуры для хранения преобразованных данных;
производится запись информации о состоянии предметной области в ячейки памяти внешних устройств в соответствии с выбранной инвариантной информационной структурой хранения данных о преобразованных значениях показателей.
2. Система обработки информации для автоматизированного формирования устройства универсального хранилища данных, содержащая: по меньшей мере одно устройство сбора данных;
внешнее устройство хранения данных;
устройство обработки информации, выполненное с возможностью осуществлять способ по п. 1.
PCT/RU2018/050061 2017-10-17 2018-06-06 Устройство универсального хранилища данных и способ его формирования WO2019078763A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2017136586A RU2670842C1 (ru) 2017-10-17 2017-10-17 Устройство универсального хранилища данных и способ его формирования
RU2017136586 2017-10-17

Publications (1)

Publication Number Publication Date
WO2019078763A1 true WO2019078763A1 (ru) 2019-04-25

Family

ID=63923478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2018/050061 WO2019078763A1 (ru) 2017-10-17 2018-06-06 Устройство универсального хранилища данных и способ его формирования

Country Status (2)

Country Link
RU (1) RU2670842C1 (ru)
WO (1) WO2019078763A1 (ru)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057649A1 (ru) * 2010-10-29 2012-05-03 Общество С Ограниченной Ответственностью "Правовое Сопровождение Бизнеса" Клиническая информационная система

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2002134925A (ru) * 2002-12-23 2004-07-10 Сергей Алексеевич Баталов Система автоматизированного проектирования асутп (сапр асутп)
RU61442U1 (ru) * 2006-03-16 2007-02-27 Открытое акционерное общество "Банк патентованных идей" /Patented Ideas Bank,Ink./ Система автоматизированного упорядочения неструктурированного информационного потока входных данных
US20130145350A1 (en) * 2011-12-05 2013-06-06 Microsoft Corporation Efficient, large scale trace storage system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057649A1 (ru) * 2010-10-29 2012-05-03 Общество С Ограниченной Ответственностью "Правовое Сопровождение Бизнеса" Клиническая информационная система

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DUKARSKY S.M. ET AL.: "Kontseptsiya invariantnoi avtomatizirovannoi informatsionnoi sistemy i ee realizatsiya -Moskva", ROSSIISKY NAUCHNY TSENTR ''KURCHATOVSKY INSTITUT, 1997 *

Also Published As

Publication number Publication date
RU2670842C1 (ru) 2018-10-25

Similar Documents

Publication Publication Date Title
Vaisman et al. Data warehouse systems
CN107239892B (zh) 基于大数据的区域人才供需平衡量化分析方法
CN107203872B (zh) 基于大数据的区域人才需求量化分析方法
CN109784721B (zh) 一种就业数据分析与数据挖掘分析的平台系统
CN103548019A (zh) 用于根据数据仓库提供统计信息的方法和系统
CN107203849B (zh) 基于大数据的区域人才供给量化分析方法
US20230077834A1 (en) Cognitive rule engine
CN112948595B (zh) 城市群运行状态知识图谱构建方法、系统及设备
CN113191497B (zh) 一种面向变电站踏勘选址的知识图谱构建方法和系统
Sugiharti et al. Predictive evaluation of performance of computer science students of unnes using data mining based on naÏve bayes classifier (NBC) algorithm
CN105117819A (zh) 电网企业管理与培训系统
CN110033191B (zh) 一种商业人工智能的分析方法及系统
Zhou et al. Research on college graduates employment prediction model based on C4. 5 algorithm
CN117611397A (zh) 基于多维数据分析的文旅综合管理平台
CN112256681A (zh) 一种空管数字化指标应用系统及方法
CN117033603A (zh) 一种垂直领域大模型的构建方法、装置、设备及存储介质
D'Orazio et al. Tworavens for event data
RU2670842C1 (ru) Устройство универсального хранилища данных и способ его формирования
CN108052637B (zh) 电网时标量测数据接入全生命周期实时图文监控方法
Uvidia Fassler et al. Moving towards a methodology employing knowledge discovery in databases to assist in decision making regarding academic placement and student admissions for universities
CN112506930B (zh) 一种基于机器学习技术的数据洞察系统
US20150081735A1 (en) System and method for fast identification of variable roles during initial data exploration
Atanasijevic et al. Upgrading the business intelligence system by implementing the decision tree model in the R software package
Asrani et al. Designing a Framework to Standardize Data Warehouse Development Process for Effective Data Warehousing Practices
CN110399337A (zh) 基于数据驱动的文件自动化服务方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868341

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18868341

Country of ref document: EP

Kind code of ref document: A1