RU2809254C9 - Method and system for monitoring automated systems - Google Patents
Method and system for monitoring automated systems Download PDFInfo
- Publication number
- RU2809254C9 RU2809254C9 RU2023105770A RU2023105770A RU2809254C9 RU 2809254 C9 RU2809254 C9 RU 2809254C9 RU 2023105770 A RU2023105770 A RU 2023105770A RU 2023105770 A RU2023105770 A RU 2023105770A RU 2809254 C9 RU2809254 C9 RU 2809254C9
- Authority
- RU
- Russia
- Prior art keywords
- module
- data
- metric
- metrics
- storing
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000010200 validation analysis Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000013500 data storage Methods 0.000 claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000013523 data management Methods 0.000 claims abstract description 9
- 238000013480 data collection Methods 0.000 claims abstract description 5
- 238000003860 storage Methods 0.000 claims description 16
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000013079 data visualisation Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000013502 data validation Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241001025261 Neoraja caerulea Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Abstract
Description
[0001] Представленное техническое решение относится, в общем, к области вычислительной техники, а в частности к способу и системе мониторинга автоматизированных систем (АС), находящихся в эксплуатации, с целью проактивного и реактивного выявления отклонений в их работе на различных уровнях архитектуры (инфраструктура, среда исполнения, уровень приложения), диагностики причины выявленного отклонения, а также оповещения заинтересованных лиц о выявленном событии.[0001] The presented technical solution relates, in general, to the field of computer technology, and in particular to a method and system for monitoring automated systems (AS) in operation, with the aim of proactively and reactively identifying deviations in their operation at various levels of architecture (infrastructure , execution environment, application level), diagnosing the cause of the detected deviation, as well as notifying interested parties about the detected event.
УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE ART
[0002] Из уровня техники известны различные системы, предназначенные для мониторинга автоматизированных систем, разработанные компаниями Splunk, Zabbix, Tivoli, Naumen Network Manager, Naumen Business Service.[0002] Various systems are known from the prior art for monitoring automated systems, developed by Splunk, Zabbix, Tivoli, Naumen Network Manager, Naumen Business Service.
[0003] Упомянутые системы, представленные на рынке в настоящий момент, имеют следующую последовательность обработки данных: сбор данных с объекта мониторинга, запись полученной информации в систему хранения, обработка сохраненных данных с целью выявления отклонений. Каждый из этапов обработки данных требует временных затрат, что в свою очередь ведет к увеличению времени выявления отклонения. В отличии от аналогов в заявленном решении система осуществляет обработку данных и поиск отклонений одновременно с записью данных в систему хранения, т.е из процесса обработки исключается этап сохранения данных в базу данных (БД), что в свою очередь сокращает время выявления отклонения, а также сохранит работоспособность системы мониторинга в части выявления отклонений в работе АС и оповещения о выявленных отклонениях соответствующих пользователей в случае выхода из строя БД. В тоже время выход из строя механизма поиска отклонений не влияет на работоспособность системы в целом и позволяет работать с данными мониторинга.[0003] The mentioned systems currently on the market have the following sequence of data processing: collecting data from the monitored object, recording the received information into a storage system, processing the stored data in order to identify deviations. Each stage of data processing requires time, which in turn leads to an increase in the time it takes to detect deviations. Unlike analogues in the claimed solution, the system processes data and searches for deviations simultaneously with recording data into the storage system, i.e. the stage of saving data into a database (DB) is excluded from the processing process, which in turn reduces the time for detecting deviations, as well as will maintain the functionality of the monitoring system in terms of identifying deviations in the operation of the NPP and notifying the relevant users about identified deviations in the event of a database failure. At the same time, the failure of the mechanism for searching for deviations does not affect the performance of the system as a whole and allows you to work with monitoring data.
[0004] Второй отличительной особенностью заявленного решения является способ взаимодействия пользователя с системой. Помимо традиционных способов (работа с дашбордами, информирование путем отправки почтовых сообщений и смс) в системе реализован механизм получения информации о состоянии объекта мониторинга через мессенджер, что позволяет сократить время на принятие решения о корректирующих действиях, направленных на восстановление согласованного состояния системы, за счет отсутствия необходимости подключаться к рабочему месту инженерам и другим лицам, принимающим решения. Получение информации осуществляется как путем получения сообщений об отклонениях в работе систем от платформы мониторинга в мессенджер, так и запросом данных мониторинга из интерфейса мессенджера в платформу мониторинга за необходимой информацией.[0004] The second distinctive feature of the claimed solution is the way the user interacts with the system. In addition to traditional methods (working with dashboards, informing by sending email messages and SMS), the system implements a mechanism for obtaining information about the state of the monitored object via a messenger, which allows reducing the time for making decisions on corrective actions aimed at restoring the agreed state of the system, due to the absence the need to connect engineers and other decision makers to the workplace. Information is obtained both by receiving messages about deviations in the operation of systems from the monitoring platform to the messenger, and by requesting monitoring data from the messenger interface to the monitoring platform for the necessary information.
[0005] Третьей отличительной особенностью заявленного решения является наличие встроенной системы построения предиктивной модели: базовой линии и границ коридора. Система использует накопленную за последнее время информацию о состоянии объекта мониторинга, что позволяет предсказать поведение АС в конкретно взятое время и заранее выявить негативный тренд в поведении АС до наступления событий, которые могут привести к отклонению.[0005] The third distinctive feature of the proposed solution is the presence of a built-in system for constructing a predictive model: the baseline and corridor boundaries. The system uses information accumulated recently about the state of the monitoring object, which makes it possible to predict the behavior of the NPP at a specific time and identify in advance a negative trend in the behavior of the NPP before the occurrence of events that could lead to deviation.
[0006] Большинство систем мониторинга направлены на работу с определенным технологическим слоем, например, с серверной или сетевой инфраструктурой. В заявленном решении система собирает информацию со всех доступных технологических слоев, в том числе за счет существующих коннекторов к другим системам мониторинга. Таким образом, реализуется возможность построения многоуровнего мониторинга в едином месте, что дает возможность сократить время на диагностику корневой причины отклонения в работе системы.[0006] Most monitoring systems are aimed at working with a specific technological layer, for example, server or network infrastructure. In the stated solution, the system collects information from all available technological layers, including through existing connectors to other monitoring systems. Thus, it is possible to build multi-level monitoring in a single place, which makes it possible to reduce the time for diagnosing the root cause of deviations in the operation of the system.
[0007] Ключевым механизмом любой системы мониторинга является алертинг (выявление отклонений и информирование о них). Качество алертинга определяет качество мониторинга, однако известные нам системы мониторинга не содержат механизмов оценки качества алертинга. В заявленном решении система содержит в себе функционал, позволяющий оценивать каждое событие с точки зрения его соответствия реальному состоянию системы. Оценка качества осуществляется получателями алертов через специализированный интерфейс. По обратной связи в системе есть возможность на основе реализованной отчетности определить и откорректировать события, с плохой статистикой срабатывания.[0007] The key mechanism of any monitoring system is alerting (identifying deviations and reporting them). The quality of alerting determines the quality of monitoring, but the monitoring systems known to us do not contain mechanisms for assessing the quality of alerting. In the stated solution, the system contains functionality that allows you to evaluate each event from the point of view of its correspondence to the real state of the system. Quality assessment is carried out by alert recipients through a specialized interface. Based on the feedback in the system, it is possible, based on the implemented reporting, to identify and correct events with poor response statistics.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯDISCLOSURE OF INVENTION
[0008] Технической проблемой или задачей, поставленной в данном техническом решении, является создание нового эффективной, простой и надежной системы мониторинга АС.[0008] The technical problem or task posed in this technical solution is the creation of a new effective, simple and reliable system for monitoring speakers.
[0009] Техническим результатом является повышение надежности системы мониторинга АС.[0009] The technical result is to increase the reliability of the speaker monitoring system.
[0010] Указанный технический результат достигается благодаря созданию системы (100) мониторинга АС, содержащей:[0010] The specified technical result is achieved through the creation of a system (100) for monitoring speakers, containing:
- устройство (10) сбора данных, содержащее: модуль (11) управления, модуль (12) извлечения данных из объекта (1) мониторинга и модуль (13) преобразования данных;- data collection device (10), containing: control module (11), module (12) for extracting data from the monitoring object (1) and data conversion module (13);
- устройство (20) потоковой передачи данных, содержащее: модуль (21) памяти промежуточного хранения данных, модуль (22) управления данными для валидации, и модуль (23) хранения данных, предназначенных для передачи;- a device (20) for streaming data, containing: a module (21) for intermediate data storage, a module (22) for managing data for validation, and a module (23) for storing data intended for transmission;
- устройство (30) потоковой обработки данных, содержащее: модуль (31) управления валидацией, модуль (32) хранения правил определения отклонений, модуль (33) хранения правил валидации и модуль (34) определения отклонений;- device (30) for stream data processing, containing: a validation control module (31), a module (32) for storing rules for determining deviations, a module (33) for storing validation rules, and a module (34) for determining deviations;
- систему (40) хранения данных, содержащая: модуль (41) памяти для хранения данных о метриках и модуль (42) памяти для хранения спрогнозированных данных;- a data storage system (40) containing: a memory module (41) for storing metrics data and a memory module (42) for storing predicted data;
- устройство (50) прогнозирования;- forecasting device (50);
- устройство (60) определения отклонений, содержащее: модуль (61) формирования уведомлений, модуль (62) управления правилами определения отклонений и модуль (63) определения отклонений;- a device (60) for determining deviations, containing: a module (61) for generating notifications, a module (62) for managing the rules for determining deviations, and a module (63) for determining deviations;
- устройство (70) информирования пользователей;- device (70) for informing users;
причем модуль (11) управления соединен с модулем (12) извлечения данных, модуль (12) извлечения данных соединен с объектом мониторинга и модулем (13) преобразования данных, модуль (21) памяти промежуточного хранения данных соединен с модулем (13) преобразования данных и модулем (22) управления данными для валидации, модуль (22) управления данными для валидации соединен с модулем (31) управления валидацией и модулем (23) хранения данных, модуль (31) управления валидацией соединен с модулем (33) хранения правил валидации и модулем (23) хранения данных, модуль (23) соединен с модулем (34) определения отклонений и модулем (41) памяти для хранения данных о метриках, модуль (34) определения отклонений соединен с модулем (32) хранения правил определения отклонений и модулем (61) формирования уведомлений, модуль (62) управления правилами определения отклонений соединен с модулем (32) хранения правил определения отклонений, модуль (63) определения отклонений соединен с модулем (41) памяти для хранения данных о метриках, модулем (42) памяти для хранения спрогнозированных данных, модулем (62) управления правилами определения отклонений и модулем (61) формирования уведомлений, модуль (61) формирования уведомлений соединен с устройством (70) информирования пользователей.wherein the control module (11) is connected to the data retrieval module (12), the data retrieval module (12) is connected to the monitoring object and the data conversion module (13), the intermediate data storage memory module (21) is connected to the data conversion module (13), and validation data management module (22), the validation data management module (22) is connected to the validation management module (31) and the data storage module (23), the validation control module (31) is connected to the validation rules storage module (33) and the module (23) data storage, module (23) is connected to a module (34) for determining deviations and a memory module (41) for storing metrics data, a module (34) for determining deviations is connected to a module (32) for storing rules for determining deviations and a module (61 ) notification generation, the module (62) for managing the rules for determining deviations is connected to the module (32) for storing the rules for determining deviations, the module (63) for determining deviations is connected to the memory module (41) for storing metrics data, the memory module (42) for storing predicted data, module (62) for managing the rules for determining deviations and module (61) for generating notifications, the module (61) for generating notifications is connected to the device (70) for informing users.
[0011] В одном из частных примеров осуществления системы устройство (20) потоковой передачи данных дополнительно содержит модуль (24) хранения данных, соединенный с объектом 1 мониторинга и модулем (12) извлечения данных.[0011] In one particular example of the system, the data streaming device (20) further comprises a data storage module (24) connected to the
[0012] В другом частном примере осуществления системы устройство (50) прогнозирования содержит соединенные между собой: модуль (51) управления, модуль (52) обработки данных, модуль (53) памяти, предназначенной для оперативной работы сданными, и модель (54) машинного обучения;[0012] In another particular example of the implementation of the system, the forecasting device (50) contains interconnected: a control module (51), a data processing module (52), a memory module (53) intended for operational operation of data, and a machine model (54). training;
причем модуль (52) обработки данных соединен с модулем (41) памяти для хранения данных о метриках и модулем (42) памяти для хранения спрогнозированных данных.wherein the data processing module (52) is connected to a memory module (41) for storing metrics data and a memory module (42) for storing predicted data.
[0013] В другом частном примере осуществления системы она дополнительно содержит модуль (43) визуализации данных, соединенный с модулем (41) памяти для хранения данных о метриках, модулем (42) памяти для хранения спрогнозированных данных и модулем (61) формирования уведомлений.[0013] In another particular embodiment of the system, it further comprises a data visualization module (43) connected to a memory module (41) for storing metrics data, a memory module (42) for storing predicted data, and a notification generation module (61).
[0014] В другом частном примере осуществления системы модуль (63) определения отклонений оснащен счетчиками для определения количества отклонений за заданный период времени, для определения разности значений различных метрик в единицу времени, для определения разности значений метрии в разное время наблюдения, для определения суммы значений метрики за определенный интервал времени.[0014] In another particular example of the implementation of the system, the deviation determination module (63) is equipped with counters for determining the number of deviations over a given period of time, for determining the difference in the values of various metrics per unit of time, for determining the difference in metric values at different observation times, for determining the sum of values metrics for a certain time interval.
[0015] В другом частном примере осуществления системы устройство (20) потоковой передачи данных дополнительно содержит область памяти, предназначенную для хранения данных о метриках, непрошедших процедуру валидации.[0015] In another particular embodiment of the system, the data streaming device (20) further includes a memory area designed to store data about metrics that have not passed the validation procedure.
[0016] В другом предпочтительном варианте осуществления заявленного решения представлен способ автоматического мониторинга АС, выполняемый модулем (63) определения отклонений, содержащий этапы, на которых: - получают инструкции для определения отклонений;[0016] In another preferred embodiment of the claimed solution, a method for automatic monitoring of speakers is presented, performed by a deviation determination module (63), containing the steps of: - receiving instructions for determining deviations;
- извлекают из памяти, согласно упомянутым инструкциям, данные о метриках за заданный промежуток времени;- extracting from memory, according to the mentioned instructions, data on metrics for a given period of time;
- извлекают из памяти, согласно упомянутым инструкциям, верхние и нижние границы значений метрик, определенные для упомянутых метрик;- extract from memory, according to the mentioned instructions, the upper and lower limits of the metric values defined for the mentioned metrics;
- сравнивают каждое значение метрики с упомянутыми границами значений метрик, причем если значение метрики выходит за упомянутые границы значений, то модуль (63) увеличивает показатель счетчика на 1;- each metric value is compared with the mentioned limits of the metric values, and if the metric value goes beyond the mentioned limits of values, then the module (63) increases the counter indicator by 1;
- после сравнения всех значений метрик с упомянутыми границами значений метрик извлекают показатель счетчика и сравнивают его с пороговым значением счетчика, заданным в инструкции, причем если показатель счетчика превышает или соответствует заданному пороговому значению счетчика, то формируют в модуль (61) формирования уведомлений команду для формирования уведомления о выявленном отклонении в значении метрики.- after comparing all metric values with the mentioned boundaries of metric values, the counter indicator is extracted and compared with the threshold value of the counter specified in the instruction, and if the counter value exceeds or corresponds to the specified threshold value of the counter, then a command for generating notifications about detected deviations in the metric value.
[0017] В одном из частных примеров осуществления способа дополнительно выполняют этап фиксации наличия отклонения в данных о метриках.[0017] In one of the particular examples of the method, the step of recording the presence of deviations in the metrics data is additionally performed.
[0018] В другом частном примере осуществления способа дополнительно выполняют этапы, на которых:[0018] In another particular example of the method, the steps are additionally performed in which:
- извлекают из памяти, согласно упомянутым инструкциям, данные о метриках за следующий промежуток времени;- extracting from memory, according to the mentioned instructions, data on metrics for the next period of time;
- извлекают из памяти, согласно упомянутым инструкциям, верхние и нижние границы значений метрик, определенные для упомянутых метрик;- extract from memory, according to the mentioned instructions, the upper and lower limits of the metric values defined for the mentioned metrics;
- сравнивают каждое значение метрики с упомянутыми границами значений метрик, причем если значение метрики выходит за упомянутые границы значений, то модуль (63) увеличивает показатель счетчика на 1;- each metric value is compared with the mentioned limits of the metric values, and if the metric value goes beyond the mentioned limits of values, then the module (63) increases the counter indicator by 1;
- после сравнения всех значений метрик с упомянутыми границами значений метрик извлекают показатель счетчика и сравнивают его с пороговым значением счетчика, заданным в инструкции, причем если показатель счетчика не превышает заданное пороговое значение счетчика, то фиксируют устранение отклонения и формируют в модуль (61) формирования уведомлений команду для формирования уведомления о устранении отклонения в значении метрики.- after comparing all metric values with the mentioned boundaries of metric values, the counter indicator is extracted and compared with the threshold value of the counter specified in the instruction, and if the counter value does not exceed the specified threshold value of the counter, then the elimination of the deviation is recorded and generated in the module (61) for generating notifications command for generating a notification about eliminating a deviation in the metric value.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
[0019] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых:[0019] The features and advantages of the present technical solution will become apparent from the following detailed description of the invention and the accompanying drawings, in which:
[0020] на Фиг. 1 представлена общая схема диагностики АС.[0020] in FIG. Figure 1 shows a general scheme for diagnosing AS.
[0021] на Фиг. 2 представлен пример общего вида вычислительного устройства.[0021] in FIG. Figure 2 shows an example of a general view of a computing device.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯIMPLEMENTATION OF THE INVENTION
[0022] Ниже будут описаны понятия и термины, необходимые для понимания данного технического решения.[0022] The concepts and terms necessary to understand this technical solution will be described below.
[0023] В данном техническом решении под системой подразумевается, в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).[0023] In this technical solution, a system means, including a computer system, a computer (electronic computer), CNC (computer numerical control), PLC (programmable logic controller), computerized control systems and any other devices capable of performing a given task. , a clearly defined sequence of operations (actions, instructions).
[0024] Под устройством обработки команд подразумевается электронный блок, вычислительное устройство, либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).[0024] By command processing device is meant an electronic unit, a computing device, or an integrated circuit (microprocessor) that executes machine instructions (programs).
[0025] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройств хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.[0025] A command processing device reads and executes machine instructions (programs) from one or more storage devices. Storage devices can include, but are not limited to, hard drives (HDD), flash memory, ROM (read-only memory), solid-state drives (SSD), and optical drives.
[0026] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.[0026] Program - a sequence of instructions intended for execution by a computer control device or command processing device.
[0027] База данных (БД) - совокупность данных, организованных в соответствии с концептуальной структурой, описывающей характеристики этих данных и взаимоотношения между ними, причем такое собрание данных, которое поддерживает одну или более областей применения (ISO/IEC 2382:2015, 2121423 «database»).[0027] Database (DB) - a collection of data organized in accordance with a conceptual structure that describes the characteristics of that data and the relationships between them, and such a collection of data that supports one or more areas of application (ISO/IEC 2382:2015, 2121423 " database").
[0028] Сигнал - материальное воплощение сообщения для использования при передаче, переработке и хранении информации.[0028] A signal is a material embodiment of a message for use in the transmission, processing and storage of information.
[0029] Логический элемент - элемент, осуществляющий определенные логические зависимости между входными и выходными сигналами. Логические элементы обычно используются для построения логических схем вычислительных машин, дискретных схем автоматического контроля и управления. Для всех видов логических элементов, независимо от их физической природы, характерны дискретные значения входных и выходных сигналов.[0029] Logical element - an element that implements certain logical dependencies between input and output signals. Logic elements are usually used to construct logical circuits of computers and discrete automatic monitoring and control circuits. All types of logical elements, regardless of their physical nature, are characterized by discrete values of input and output signals.
[0030] В соответствии со схемой, приведенной на Фиг. 1, система 100 мониторинга АС содержит: устройство 10 сбора данных, устройство 20 потоковой передачи данных, устройство 30 потоковой обработки данных, систему 40 хранения данных, устройство 50 прогнозирования, устройство 60 определения отклонений и устройство 70 информирования пользователей.[0030] According to the diagram shown in FIG. 1, the
[0031] Устройство 10 сбора данных может быть реализовано на базе по меньшей мере одного вычислительного устройства и содержать: модуль 11 управления, модуль 12 извлечения данных из объекта 1 мониторинга и модуль 13 преобразования данных с функцией буферизации. Упомянутые модули могут быть реализованы с использованием логических элементов на транзисторах, например, «И», «ИЛИ», «НЕ», «И-НЕ», «ИЛИ-НЕ» и пр., размещенных на печатной плате широко известным методом для обеспечения передачи между упомянутыми модулями сигналов, содержащих данные, а также для обеспечения обработки полученных данных. Для обеспечения возможности обработки данных из различных источников может быть реализовано два и более устройства 10, либо устройство 10 может быть сконфигурировано таким образом, чтобы одновременно обрабатывать данные из нескольких источников данных. Также для обеспечения дополнительной надежности может быть реализован кластер из двух и более устройств 10 (для каждого вида устройства), расположенных в различных центрах обработки данных.[0031] The
[0032] Устройство 20 потоковой передачи данных может быть реализовано на базе по меньшей мере одного вычислительного устройства и содержать: модуль 21 памяти промежуточного хранения данных, модуль 22 управления данными для валидации, модуль 23 хранения данных, предназначенных для передачи, и модуль 24 хранения данных, полученных от объекта 1 мониторинга. Упомянутые модули могут быть реализованы с использованием логических элементов на транзисторах, например, «И», «ИЛИ», «НЕ», «И-НЕ», «ИЛИ-НЕ» и пр., размещенных на печатной плате широко известным методом для обеспечения передачи между упомянутыми модулями сигналов, содержащих данные, а также для обеспечения обработки полученных данных. Также для обеспечения дополнительной надежности может быть реализован кластер из двух и более устройств 20, расположенных в различных центрах обработки данных.[0032] The
[0033] Устройство 30 потоковой обработки данных может быть реализовано на базе по меньшей мере одного вычислительного устройства и содержать: модуль 31 управления валидацией, модуль 32 хранения правил определения отклонений, модуль 33 хранения правил валидации и модуль 34 определения отклонений. Упомянутые модули могут быть реализованы с использованием логических элементов на транзисторах, например, «И», «ИЛИ», «НЕ», «И-НЕ», «ИЛИ-НЕ» и пр., размещенных на печатной плате широко известным методом для обеспечения передачи между упомянутыми модулями сигналов, содержащих данные, а также для обеспечения обработки полученных данных. Для обеспечения дополнительной надежности может быть реализован кластер из двух и более устройств 30, расположенных в различных центрах обработки данных.[0033] The stream
[0034] Система 40 хранения данных может быть реализована на базе по меньшей мере одной БД и содержать: модуль 41 памяти для хранения данных о метриках и модуль 42 памяти для хранения спрогнозированных данных. Указанные модули могут быть реализованы на базе устройства постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др. Дополнительно система 40 хранения данных может быть оснащена модулем 43 визуализации данных, реализованным на базе вычисленного устройства с использованием логических элементов на транзисторах, предназначенным для извлечения данных о метриках и спрогнозированных данных и отображения их пользователям системы 100 мониторинга АС. В альтернативном варианте реализации представленного решения упомянутый модуль 43 может быть самостоятельным устройством, т.е. внешним по отношению системе 40. Также упомянутое устройство 43 может быть оснащено техническими средствами, например, ЖК-панелями, для отображения информации, например, сохраненной в системе 40 хранения данных, в реальном времени.[0034] The
[0035] Для обеспечения надежности может быть реализован кластер из двух и более систем 40, расположенных в различных центрах обработки данных. Дополнительно в каждом центре обработки данных может быть реализована копия системы 40, содержащая данные системы 40, расположенной в другом центре обработки данных.[0035] To ensure reliability, a cluster of two or
[0036] Устройство 50 прогнозирования может быть реализовано на базе по меньшей мере одного вычислительного устройства и содержать: модуль 51 управления, модуль 52 обработки данных, модуль 53 памяти, предназначенной для оперативной работы с данными, и модель 54 машинного обучения. Упомянутые модули могут быть реализованы с использованием логических элементов на транзисторах, например, «И», «ИЛИ», «НЕ», «И-НЕ», «ИЛИ-НЕ» и пр., размещенных на печатной плате широко известным методом для обеспечения передачи между упомянутыми модулями сигналов, содержащих данные, а также для обеспечения обработки полученных данных.[0036] The
[0037] Устройство 60 определения отклонений может быть реализовано на базе по меньшей мере одного вычислительного устройства и содержать: модуль 61 формирования уведомлений, модуль 62 управления правилами определения отклонений и модуль 63 определения отклонений. Упомянутые модули могут быть реализованы с использованием логических элементов на транзисторах, например, «И», «ИЛИ», «НЕ», «И-НЕ», «ИЛИ-НЕ» и пр., размещенных на печатной плате широко известным методом для обеспечения передачи между упомянутыми модулями сигналов, содержащих данные, а также для обеспечения обработки полученных данных. Для обеспечения дополнительной надежности может быть реализован кластер из двух и более устройств 60, расположенных в различных центрах обработки данных.[0037] The
[0038] Устройство 70 информирования пользователей может быть реализовано на базе по меньшей мере одного вычислительного устройства, выполненного в программно-аппаратной части таким образом, чтобы обеспечить передачу сообщения о выявленном отклонении, либо об устранении отклонении в устройства пользователей системы 100 мониторинга АС. Также упомянутое устройство 70 может быть оснащено техническими средствами, например, ЖК-панелями, для отображения информации, например, сохраненной в системе 40 хранения данных в реальном времени.[0038] The
[0039] В качестве автоматизированной системы (АС), мониторинг которой осуществляется упомянутой системой мониторинга АС, может быть любая система, предназначенная для автоматизации процессов производственной деятельности. Каждая АС оснащается объектом 1 мониторинга, под которым далее по тексту понимается информационная система, либо ее подсистема или отдельный компонент, предназначенным для сбора и хранения данных о метриках, которые могут быть представлены, например, в виде числовой характеристики, по величие которой можно судить о состоянии АС или процессах, протекающих в АС.[0039] The automated system (AS), which is monitored by the said AS monitoring system, can be any system designed to automate production processes. Each AS is equipped with a
[0040] Например, объект 1 мониторинга может быть размещен в системе телефонии, а в качестве метрики может служить количество входящих или исходящих звонков за заданное единицу времени. Резкое снижение или увеличение количества звонков может говорить о потенциальных проблемах в работе АС. Данные о метриках могут быть собраны широко известными способами в ручном или автоматизированном режиме и сохранены в объекте 1 мониторинга.[0040] For example,
[0041] Соответственно, в зависимости от заданного разработчиком модуля 11 управления режимом работы упомянутый модуль 11 формирует команду на подключение к объекту 1 мониторинга для извлечения данных о метриках за заданный разработчиком временной интервал, преимущественно извлекаются данные о текущем состоянии объекте мониторинга, т.е. значение метрик в момент извлечения, либо за последнюю минуту. Сформированная команда направляется упомянутым модулем 11 в модуль 12 извлечения данных, который посредством проводной или беспроводной связи осуществляет подключение к объекту 1 мониторинга и направляет запрос данных о метриках за заданный временной интервал к объекту 1 мониторинга для извлечения данных о метриках из памяти упомянутого объекта 1. Данные о метриках могут содержать идентификатор (ID) АС или ID объекта мониторинга, список ID метрик, значения метрик и значения временного интервала, характеризующие время получения метрик объектом 1 мониторинга.[0041] Accordingly, depending on the operating
[0042] Извлеченные данные о метриках, например, в виде пакета данных, направляются упомянутым модулем 12 в модуль 13 преобразования данных, который преобразует данные к заданному разработчиком модуля 13 формату, в частности пригодному для обработки на следующих этапах, а также расчета агрегатов. Например, в упомянутый модуль 13 могут поступить данные о метриках, характеризующие перечень всех звонков, которые поступили за прошедшую минуту, где ID метрики будет указывать на то, что метрика является метрикой звонка, а значение метрики может характеризовать длительность звонка. На основе полученных данных о метриках, в частности перечня всех звонков, модуль 13 может определить количество поступивших звонков за прошедшую минуту, после чего упомянутое количество может быть включено в данные о метриках в виде дополнительной метрики. Дополнительно в рамках упомянутого преобразования данных из полученных данных о метриках могут быть удалены лишние атрибуты, например, характеризующие тематики звонков, либо, наоборот, все входящие звонки могут быть сгруппированы по тематикам и переданы на дальнейшие этапы в виде отдельных метрик - числа звонков по конкретным тематикам за прошедшую минуту.[0042] The extracted metric data, for example, in the form of a data packet, is sent by the mentioned
[0043] В альтернативном варианте реализации представленного решения данные о метриках могут быть извлечены модулем 12 извлечения данных из модуля 24 хранения данных, полученных от объекта 1 мониторинга. Загрузка данных о метриках в модуль 24 может быть выполнена объектом 1 мониторинга в соответствии с заложенным в его память программным алгоритмом.[0043] In an alternative embodiment of the presented solution, the metrics data can be retrieved by the
[0044] Преобразованные данные о метриках модулем 13 преобразования данных записываются в модуль 21 памяти промежуточного хранения данных устройства 20 потоковой передачи данных, в котором данные о метриках хранятся заданный интервал времени, после чего упомянутые данные удаляются. Команда на удаление данных может быть получена упомянутым модулем 21, например, от соответствующего контроллера, которым модуль 21 может быть оснащен, выполненного с возможностью назначения записанным данным временной метки, указывающей на время, когда они были записаны, и удаления данных, записанных в модуле 21, после истечения заданного, например, разработчиком модуля 21, интервала времени. Например, команда на удаление данных может указывать на то, что из модуля 21 необходимо удалить все данные, временная метка которых указывает на то, что с момента сохранения этих данных прошло 6 часов. В альтернативном варианте реализации представленного решения команда на удаление данных упомянутым контроллером может поступать при достижении модулем 21 заданного лимита объема данных.[0044] The converted metric data by the
[0045] Далее посредством модуля 22 управления данными определяются данные о метриках, в отношении которых необходимо провести процесс валидации данных о метриках, причем список данных о метриках (например, список ID АС или объектов мониторинга), валидацию которых необходимо выполнить, может быть задан разработчиком упомянутого модуля 22, либо получен от модуля 31 управления валидацией. Для определения необходимости проведения валидации данных о метриках упомянутый модуль 22 сравнивает сохраненные в модуле 21 данные о метриках с упомянутым списком данных о метриках, например, ID АС или объекта мониторинга - со списком ID АС или объектов мониторинга, и если модуль 22 определил, что данные о метриках требуют валидации (например, ID АС или объекта мониторинга содержатся в списке ID АС или объектов мониторинга), то модуль 22 извлекает данные о метриках из модуля 21 и направляет их в модуль 31 управления валидацией. Если модуль 22 определил, что данные о метриках не требуют валидации (например, ID АС или объекта мониторинга не содержатся в списке ID АС или объектов мониторинга), то модуль 22 извлекает данные о метриках из модуля 21 и направляет их в модуль 23 хранения данных, предназначенных для передачи.[0045] Next, through the
[0046] При получении модулем 31 управления валидацией данных о метриках упомянутый модуль проверят их на соответствие установленным требованиям. Для определения установленных требований для данных о метриках упомянутый модуль 31 обращается к модулю 32 хранения правил валидации, в который упомянутые требования могут быть занесены разработчиком модуля или его оператором. Например, в рамках валидации модулем 31 могут быть валидированы следующие атрибуты метрик каждой записи, содержащиеся в данных о метриках:[0046] When the
- ID метрики (например, имя);- Metric ID (for example, name);
- Временная метка создания\получения метрики;- Timestamp for creating/receiving metrics;
- Значение метрики;- Metric value;
- Наименование источника метрики;- Name of the metric source;
- Идентификатор объекта мониторинга (наименование автоматизированной системы);- Identifier of the monitoring object (name of the automated system);
- И другие- And others
[0047] Реализованный в модуле 31 валидатор метрик сконфигурирован для проведения проверки как каждого поля всех записей, содержащихся в данных о метриках, по отдельности, так и для проверки заданных разработчиком полей, например, проверки наличия значения метрики в поле «Значение метрики» (т.е. поле не пустое) и проверки того, что «Идентификатор объекта мониторинга» входит в множество допустимых значений. Справочник допустимых значений идентификаторов объектов 1 мониторинга может храниться в памяти модуля 32.[0047] The metrics validator implemented in
[0048] В частности, для каждого поля в записи модулем 31 могут быть выполнены следующие проверки:[0048] In particular, for each field in the record, the following checks can be performed by module 31:
- Проверка на соответствие значения регулярному выражению;- Checking whether the value matches a regular expression;
- Ненулевое значение (для любого типа поля);- Non-zero value (for any field type);
- Соответствие значения атрибута одному из значений в заданном справочнике или перечислении.- Correspondence of the attribute value to one of the values in a given dictionary or enumeration.
[0049] Например, данные о метриках, полученные модулем 31, могут содержать поле, характеризующее время получения метрики (datearrival), которое может содержать следующую информацию: "date_arrival": "2022-12-08 10:35:00", где ID поля характеризует атрибут "date_arrival", а значение поля "2022-12-08 10:35:00".[0049] For example, the metric data received by
Соответственно, модуль 31 при проведении валидации данных о метриках извлекает ID поля "date_arrival" и обращается к данным, характеризующим требования к данным о метриках, полученных от модуля 32, для определения алгоритма валидации данных.Accordingly,
[0050] Например, алгоритм валидации данных может указывать на то, что упомянутому модулю 31 следует проверить наличие значения поля, характеризующее время получения метрики, в данных о метриках. Если модулем 31 определено, что значение поля отсутствует (т.е. значение поля пустое), то модуль 31 принимает решение о том, что данные о метриках не соответствуют установленным требованиям, после чего данные о метриках удаляются из буфера модуля 31. Таким образом, в дальнейшем данные о метриках, не прошедшие процедуру валидации, будут удалены из модуля 21 памяти промежуточного хранения данных согласно описанному ранее алгоритму. Дополнительно данные о метриках, непрошедшие процедуру валидацию, могут помещаться в область памяти устройства 20 для дальнейшего анализа причин, по которым данные не прошли валидацию.[0050] For example, the data validation algorithm may indicate that said
[0051] Если модулем 31 определено, что значение поля присутствует в данных о метриках, то модуль 31 извлекает значение поля "2022-12-08 10:35:00" из данных о метриках и сравнивает упомянутое значение с установленными требованиями, полученными от модуля 32. Установленные требования могут указывать, например, за то, что запись значения поля должна соответствовать установленному формату, например, "yyyy-MM-dd HH:mm:ss", а само значение поля должно соответствовать заданному интервалу значений поля, например, значение поля, характеризующее время получения данных, не может быть старше 6 часов, не может быть позже текущего времени. Для определения текущего времени упомянутый модуль 31 может быть оснащен соответствующим таймером, широко известным из уровня техники.[0051] If
[0052] Если модулем 31 определено, что значение поля не соответствует установленному формату или интервалу значений метрики, то модуль 31 принимает решение о том, что данные о метрики не соответствуют установленным требованиям, после чего данные о метриках удаляются из буфера модуля 31. Таким образом, в дальнейшем данные о метриках, не прошедшие процедуру валидации, будут удалены из модуля 21 памяти промежуточного хранения данных согласно описанному ранее алгоритму. Дополнительно данные о метриках, непрошедшие процедуру валидацию, могут помещаться в область памяти устройства 20 для дальнейшего анализа причин, по которым данные не прошли валидацию. Если модулем 31 определено, что данные о метриках соответствуют установленным требованиям, то модуль 31 записывает данные о метриках в модуль 23 хранения данных, предназначенных для передачи.[0052] If
[0053] Аналогичные процессы валидации модулем 31 могут быть проведены в отношении полей, содержащих информацию, характеризующую:[0053] Similar validation processes by
- время создания метрики, которое может быть представлено в виде: "date_created": "2022-12-08 10:33:05", где ID поля характеризует атрибут "date_created", а значение поля - "2022-12-08 10:33:05";- time of creation of the metric, which can be presented in the form: "date_created": "2022-12-08 10:33:05", where the field ID characterizes the "date_created" attribute, and the field value is "2022-12-08 10: 33:05";
- имя метки, которое может быть представлено в виде: "metric_name": "Avaya CRM.PB: Active Calls \"Total\" \"Total\"", где ID поля характеризует атрибут "metric_name", а значение поля - "Avaya CRM.PB: Active Calls \"Total\" \"Total\"";- label name, which can be represented in the form: "metric_name": "Avaya CRM.PB: Active Calls \"Total\" \"Total\"", where the field ID characterizes the "metric_name" attribute, and the field value is "Avaya CRM.PB: Active Calls \"Total\" \"Total\"";
- имя агента, которое может быть представлено в виде: "agent host": "10.111.0.39", где ID поля характеризует атрибут "agent_host", а значение поля -"10.111.0.39";- agent name, which can be represented in the form: "agent host": "10.111.0.39", where the field ID characterizes the "agent_host" attribute, and the field value is "10.111.0.39";
- имя источника, которое может быть представлено в виде: "source_host": "aggregate.data.mpp", где ID поля характеризует атрибут "source host", а значение поля - "aggregate.data.mpp";- source name, which can be represented in the form: "source_host": "aggregate.data.mpp", where the field ID characterizes the "source host" attribute, and the field value is "aggregate.data.mpp";
- тип метрики, который может быть представлен в виде: "metric_type": "арр", где ID поля характеризует атрибут source_host", а значение поля - "арр";- metric type, which can be represented in the form: "metric_type": "app", where the field ID characterizes the source_host attribute", and the field value is "app";
- имя АС, которое может быть представлено в виде: "as_name": "esgr", где ID поля характеризует атрибут "as_name", а значение поля - "esgr";- AS name, which can be represented in the form: “as_name”: “esgr”, where the field ID characterizes the “as_name” attribute, and the field value is “esgr”;
- uuid процесс, который может быть представлен в виде: "process uuid": "47b331b8-b773-401c-bcce-84d74eac6ef4", где ID поля характеризует атрибут "process_uuid", а значение поля - "47b331b8-b773-401c-bcce-84d74eac6ef4";- uuid process, which can be represented in the form: "process uuid": "47b331b8-b773-401c-bcce-84d74eac6ef4", where the field ID characterizes the "process_uuid" attribute, and the field value is "47b331b8-b773-401c-bcce- 84d74eac6ef4";
- значение метрики, которое может быть представлено в виде: "value_int": 844, где ID поля характеризует атрибут "value_int", а значение поля - 844.- metric value, which can be represented in the form: "value_int": 844, where the field ID characterizes the "value_int" attribute, and the field value is 844.
[0054] Соответственно, информация о времени создания метрики упомянутым модулем 31 может быть проверена описанным выше способом на соответствие установленному формату и установленному порогу значений; информация о имени метки может быть проверена на наличие значения поля, причем это значение не может быть значением «null»; информация о имени агента может быть проверена на наличие значения поля и на соответствие значения поля заданному формату, например, формату ip или dns; информация о имени источника может быть проверена на наличие значения поля и на соответствие значения поля заданному формату, например, формату ip или dns, либо url; информация о типе метрики может быть проверена на наличие значения поля и на соответствие значения поля, например, одному из следующих значений: "арр", "regex", "business", "synt", "infra", "logs", "sql", "unknown"; информация о имени AC может быть проверена на наличие значения поля, причем значение поля должно совпадать с заранее заданными в установленных требованиях значений; информация о uuid процесса может быть проверена на наличие значения поля, причем это значение не может быть значением «null»; значение метрики может быть проверено на наличие значения поля, причем это значение не может быть значением «null».[0054] Accordingly, information about the time of creation of the metric by the mentioned module 31 can be checked in the manner described above for compliance with the established format and the established value threshold; The label name information can be checked for the field value, and this value cannot be a “null” value; agent name information can be checked for the presence of a field value and for compliance of the field value with a specified format, for example, ip or dns format; information about the source name can be checked for the presence of a field value and for compliance of the field value with a specified format, for example, ip or dns, or url format; metric type information can be checked for the presence of a field value and whether the field value matches, for example, one of the following values: "app", "regex", "business", "synt", "infra", "logs", "sql" ", "unknown"; AC name information can be checked for the field value, and the field value must match the predefined values in the established requirements; the process uuid information can be checked for a field value, and this value cannot be a “null” value; the metric value can be checked for the presence of a field value, and this value cannot be a “null” value.
[0055] Сохраненные в модуле 23 данные о метриках, прошедшие процедуру валидации, далее могут быть считаны модулем 34 определения отклонений, а также модулем 41 памяти для хранения данных о метриках. Считывание данных упомянутыми модулями может осуществляться как в реальном времени, так и согласно расписаниям, заданным разработчиками модулей, причем данные о метриках извлекаются с момента получения предыдущей порции данных. Модуль 23 также, как и модуль 21, хранит данные о метриках заданный интервал времени, после чего упомянутые данные удаляются.[0055] The metric data stored in the
[0056] Из полученных данных о метриках модуль 34 определения отклонений извлекает значение метрики, после чего сравнивает извлеченное значение метрики с пороговым значением данной метрики. Пороговое значение метрики упомянутым модулем 34 может быть определено посредством обращения к модулю 33 хранения правил определения отклонений, в котором для каждой метрики сохранено ее пороговое значение и инструкции по обработке данных для определения отклонения. Упомянутые пороговые значения могут быть записаны в модуль 33 посредством модуля 62 управления правилами определения отклонений согласно заложенному разработчиком упомянутого модуля 62 алгоритму обновления пороговых значений, в связи с чем исключается возможность несанкционированного внесения изменений в данные, сохраненные в модуле 33, оператором или разработчиком. Также в модуль 33 могут быть записаны модулем 62 инструкции по обработке данных о метриках для определения отклонений.[0056] From the received metric data, the
[0057] Если модулем 34 определено, что значение метрики не соответствует пороговым значениям, например, значение метрики, характеризующее количество звонков за минуту, равно «0» или превышает заданное пороговое значение «1000», то упомянутый модуль 34 фиксирует наличие отклонения в данных о метриках и направляет в модуль 61 формирования уведомлений команду для формирования уведомления о выявленном отклонении в значении метрики, которое далее направляется в устройство 70 информирования пользователей для оповещения о выявленном отклонении заинтересованных лиц, после чего модуль 34 считывает следующую порцию данных из модуля 23, содержащих данные о метриках, для их анализа. Если модулем 34 определено, что значение метрики соответствует пороговым значениям, то упомянутый модуль 34 считывает следующую порцию данных из модуля 23, содержащих данные о метриках, для их анализа.[0057] If the
[0058] Если в процессе сравнения следующей порции данных модулем 34 определено, что значение метрики не превышает заданное пороговое значение, и при этом ранее было выявлено отклонение, то модуль 34 фиксирует устранение отклонения, после чего направляет в модуль 61 формирования уведомлений команду для формирования уведомления о устранении отклонения в значении метрики, которое далее направляется в устройство 70 информирования пользователей для оповещения об устранении отклонения заинтересованных лиц после чего модуль 34 считывает следующую порцию данных из модуля 23, содержащих данные о метриках, для их анализа.[0058] If, in the process of comparing the next portion of data,
[0059] Считанные модулем 41 памяти данные о метриках из модуля 23 сохраняются в БД, например, в виде временного ряда, после чего данные о метриках могут быть извлечены из БД для их анализа и обработки. Например, данные о метриках могут быть извлечены устройством 50 прогнозирования посредством модуля 52 обработки данных по команде, полученной от модуля 51 управления. Упомянутая команда может быть сформирована и направлена модулем 51 согласно расписанию, заданному разработчиком модуля 51, в котором также может быть определен временной период, за который следует извлечь данные о метриках.[0059] Metric data read by
[0060] Извлеченные модулем 52 данные о метриках за заданные период времени сохраняются в модуль 53 памяти, предназначенной для оперативной работы с данными, после чего модуль 51 управления формирует команду для запуска модели 54 машинного обучения для получения данных прогнозирования за заданный период времени. Модель 54 машинного обучения при получении упомянутой команды от модуля 51 извлекает данные о метриках из модуля 53 памяти и известными методами осуществляет определение прогнозных значений метрик за заданный период времени.[0060] The metric data retrieved by
[0061] Например, данные о метриках, сохраненные в модуле 53 памяти, могут содержать значения, характеризующие число звонков за каждую минуту, за три предыдущих месяца, а моделью 54 машинного обучения известными методами может быть определены прогнозные значения метрик, характеризующих число звонков за каждую минуту, на ближайшие сутки. Также вместе с упомянутыми прогнозными значениями модулем 54 могут быть определены верхние и нижние границы (коридоры) значений метрик, в которые с вероятностью 95% должны попадать в конкретную минуту определенные ранее прогнозные значения метрик.[0061] For example, the metric data stored in the
[0062] Для определения упомянутых выше прогнозных значений метрик и границ значений метрик упомянутая модель 54 может быть заранее обучена известными методами на обучающем наборе данных метрик и границ упомянутых метрик. Прогнозные значения метрик и данные о границах значений метрик сохраняются в модуль 53 памяти, после чего извлекаются модулем 52 и сохраняются в модуль 42 памяти для хранения спрогнозированных данных. После того, как прогнозные значения метрик и данные о границах значений метрик сохранены, они могут быть извлечены модулем 43 визуализации данных вместе с данными о метриках и направлены в модуль 61 формирования уведомлений, который формирует соответствующее уведомление, в которое включаются упомянутые полученные данные, например, в виде графика, после чего сформированное уведомление направляется в устройство 70 информирования пользователей для оповещения заинтересованных лиц.[0062] To determine the above-mentioned predicted metric values and metric value bounds, said
[0063] Для определения отклонений в данных о метриках, сохраненных в системе 40 хранения данных, с учетом прогнозные значения метрик, система 100 мониторинга АС оснащается устройством 60 определения отклонений, которое выявляет отклонения в упомянутых данных по более сложным инструкциям в соответствии с заложенным разработчиком алгоритмом.[0063] To determine deviations in the metric data stored in the
[0064] В частности, в соответствии с заложенным алгоритмом модуль 63 определения отклонений обращается к модулю 62 управления правилами определения отклонений для извлечения инструкций для определения отклонений. Упомянутые инструкции, сохраненные в модуле 62, как правило, содержат следующие параметры:[0064] In particular, in accordance with the underlying algorithm, the
- Уникальный ID инструкций (формируется модулем 62 автоматически известными методами при получении данных с инструкциями на основании алгоритма, заложенного в память модуля 62);- Unique ID of instructions (generated by
- Наименование инструкций;- Name of instructions;
- ID метрики или набор ID метрик, которые следует обработать;- Metric ID or set of metrics IDs that should be processed;
- По меньшей мере одно пороговое значение - численное значение, с которым будут сравниваться значения метрик;- At least one threshold value - a numerical value with which the metric values will be compared;
- По меньшей мере одна инструкция по обработке данных для определения отклонения - операция сравнения, которая будет применяться для сравнения метрики и порогового значения. Например, «Больше», «Меньше», «Больше или равно», «Равно», «Не равно» и т.д.;- At least one data processing instruction to determine the deviation - a comparison operation that will be used to compare the metric and the threshold value. For example, “More than”, “Less than”, “Greater than or equal to”, “Equal”, “Not equal”, etc.;
- Телефон и email получателей информации о выявленном на основании инструкций отклонении с указанием каналов оповещения (смс, электронная почта, мессенджер), по которым будут доставляться сообщения.- Phone and email of recipients of information about a deviation identified based on instructions, indicating the notification channels (SMS, email, messenger) through which messages will be delivered.
[0065] Указанные инструкции для определения отклонений могут быть заданы разработчиком или оператором устройства 60 определения отклонений посредством специализированного канала связи с модулем 62 или посредством устройств ввода/вывода данных. Инструкция по обработке данных может представлять собой:[0065] These anomaly detection instructions may be specified by the designer or operator of the
- простую инструкцию, предписывающую модулю 63 выполнить операцию сравнения значения метрики с по меньшей мере одним пороговым значением для определения наличия или отсутствия отклонения. Например, для количества входящих звонков пороговое значение может быть установлено «2000», а значение метрики, характеризующее количество водящих звонков за минуту, не должно превышать 2000. Упомянутые инструкции автоматически записываются в модуль 32 хранения правил определения отклонений;- a simple
- составные инструкцию, предписывающую модулю 63 выполнить операцию сравнения более одного значения метрик с по меньшей мере одним пороговым значением, заданным для всех метрик для определения наличия или отсутствия отклонения. Например, в рамках составной инструкции значение метрики, характеризующее количество входящих звонков за минуту, и значение метрики, характеризующее количество исходящих звонков за эту же минуту, может быть сравнено модулем 63 с пороговым значением «2000», причем наличие отклонения будет определено в том случае, если одно из значений метрик будет превышать пороговое значение;- compound
- инструкцию по постобработке данных, предписывающую модулю 63 выполнить гибкую агрегацию и корреляцию данных с использованием исторических данных для предписывающую модулю 63 выполнить. В рамках данной постобработки для определения наличия отклонения данные о метриках могут быть сравнены с прогнозированными значениями метрик и границами значений метрик, например, количество входящих звонков может быть сравнено с верхней и нижними границами значений метрик за заданную минуту. Гибкая агрегация и корреляция данных может быть реализована через оснащение устройства 63 специализированными счетчиками: счетчиком для определения количества отклонений за заданный период времени, счетчиком для определения разности значений различных метрик в единицу времени, счетчиком определения разности значений метрики в разное время наблюдения, счетчиком суммы значений метрики за определенный интервал времени и другими счетчиками, основанными на математических и логических операциях над значениями метрик.- a data post-processing
[0066] Что касается простых инструкций, то согласно заложенному разработчиком расписанию они записываются модулем 62 в модуль 32 хранения правил определения отклонений. Остальные инструкции, в частности составные и по постобработке данных направляются упомянутым модулем 62 в модуль 63 определения отклонений, который в соответствии с полученными инструкциями выполняет проверку данных о метриках, сохраненных в модуле 41 хранения.[0066] As for simple instructions, according to the schedule set by the developer, they are written by
[0067] Дополнительно модуль 63 определения отклонений может быть оснащен счетчиком отклонений и выполнен с возможностью определения количества отклонений за заданный период времени в соответствии с инструкциями по обработке данных для определения отклонений. Например, в соответствии с упомянутыми инструкциями модуль 63 может извлечь из модуля 41 памяти значение метрики, например, характеризующее количество звонков за конкретную минуту, и из модуля 42 памяти верхние и нижние границы значений метрики, определенные для упомянутой метрики, после чего выполнить сравнение значения метрики и упомянутыми границами значений.[0067] Additionally, the
[0068] Если значение метрики не выходит за упомянутые границы значений, то модуль 63 переходит к анализу других значений метрик, сохраненных в модуле 41 хранения. Если значение метрики выходит за упомянутые границы значений, то модуль 63 фиксирует наличие отклонения и направляет в модуль 61 формирования уведомлений команду для формирования уведомления о выявленном отклонении в значении метрики, которое далее направляется в устройство 70 информирования пользователей для оповещения о выявленном отклонении заинтересованных лиц, после чего модуль 63 считывает следующую порцию данных из модуля 41, содержащих данные о метриках, для их анализа, и из модуля 42 памяти верхние и нижние границы значений метрики, определенные для упомянутой метрики.[0068] If the metric value does not exceed the mentioned value limits, then the
[0069] Если в процессе сравнения следующей порции данных модулем 63 определено, что значение метрики не выходит за упомянутые границы, и при этом ранее было выявлено отклонение, то модуль 63 фиксирует устранение отклонения, после чего направляет в модуль 61 формирования уведомлений команду для формирования уведомления о устранении отклонения в значении метрики, которое далее направляется в устройство 70 информирования пользователей для оповещения об устранении отклонения заинтересованных лиц после чего модуль 63 считывает следующую порцию данных из модуля 41, содержащих данные о метриках, для их анализа, и из модуля 42 памяти верхние и нижние границы значений метрики, определенные для упомянутой метрики,[0069] If, in the process of comparing the next portion of data,
[0070] Дополнительно модуль 63 определения отклонений может быть оснащен счетчиками для определения количества отклонений за заданный период времени, для определения разности значений различных метрик в единицу времени, для определения разности значений метрии в разное время наблюдения, для определения суммы значений метрики за определенный интервал времени и пр.[0070] Additionally, the
[0071] Например, в соответствии с полученными от модуля 62 инструкциями модуль 63 может извлечь данные о метриках за заданный промежуток времени, например, характеризующие количество звонков за последние 5 минут, и из модуля 42 памяти верхние и нижние границы значений метрик, определенные для упомянутых метрик, после чего сравнить каждое значение метрики, характеризующее количество звонков за минуту, с упомянутыми границами значений метрик. Если значение метрики выходит за упомянутые границы значений, то модуль 63 увеличивает показатель счетчика, в частности для определения количества отклонений за заданный период времени, на 1.[0071] For example, in accordance with instructions received from
[0072] После сравнения всех значений метрик с упомянутыми границами значений метрик модуль 63 извлекает показатель счетчика и сравнивает его с пороговым значением счетчика, например, которое может представлять собой значение 4 и содержаться в данных с инструкциями.[0072] After comparing all metric values with said metric value boundaries,
[0073] Если показатель счетчика не превышает заданное пороговое значение счетчика, т.е. показатель счетчика представляет собой значение от 1 до 3, то модуль 63 переходит к извлечению из модуля 41 памяти следующей порции данных о метриках.[0073] If the counter value does not exceed the specified counter threshold value, i.e. the counter indicator is a value from 1 to 3, then the
[0074] Если показатель счетчика соответствует заданному пороговому значению счетчика, например, показатель счетчика равен 4 (т.е. четыре значения метрики из 5 не соответствуют верхним или нижним границам значений метрик), то модуль 63 направляет в модуль 61 формирования уведомлений команду для формирования уведомления о выявленном отклонении в значении метрики, которое далее направляется в устройство 70 информирования пользователей для оповещения о выявленном отклонении заинтересованных лиц.[0074] If the counter value meets a predetermined counter threshold value, for example, the counter value is 4 (i.e., four metric values out of 5 do not meet the upper or lower bounds of the metric values), then
[0075] Также модуль 63 может быть выполнен с возможностью фиксации наличия отклонения в данных о метриках, причем данные о наличии отклонения в данных о метриках заносится модулем 63 в оперативную память, которой он может быть оснащен, или в соответствующий регистр. После того, как наличие отклонение зафиксировано, модуль 63 извлекает из памяти модуля 41 следующую порцию данных о метрике за следующую минуту или данные о метриках за прошедшие 5 минут, которые обрабатываются описанным выше образом посредством их сравнения с верхними и нижними границами значений метрик. Если при анализе следующей порции данных упомянутым выше способом модуль 63 зафиксирует наличие отклонения в значении метрики и при этом в соответствующем регистре оперативной памяти будут содержаться данные о наличии отклонении, то модуль 63 не будет передавать в модуль 61 формирования уведомления повторную команду для формирования уведомления о выявленном отклонении.[0075] Also, the
[0076] Если в процессе сравнения модулем 63 определено, что данные о метрике, полученные за следующую минуту, или по результатам обработки данных о метриках за прошедшие 5 минут показатель счетчика не превышает заданное пороговое значение, то модуль 63 фиксирует устранение отклонения, после чего направляет в модуль 61 формирования уведомлений команду для формирования уведомления о устранении отклонения в значении метрики, которое далее направляется в устройство 70 информирования пользователей для оповещения об устранении отклонения заинтересованных лиц, после чего модуль 63 переходит к извлечению из модуля 41 памяти следующей порции данных о метриках.[0076] If, during the comparison process,
[0077] Дополнительно упомянутый модуль 63 может извлечь, например, значение метрики, характеризующие количество звонков за минуту, и значение метрики, характеризующее количество звонков за минуту, в заданный момент времени в прошлом, например, 3 минуты назад. Далее модуль 63 посредством счетчика для определения разности значений различных метрик в разное время наблюдения рассчитывает значение разницы в извлеченных значениях метрик и сравнить полученное значение разницы с установленным пороговым значением в соответствии с инструкцией. Если определенное значение разницы, определенное упомянутым счетчиком, превышает установленное пороговое значение, например, разница превышает 300 единиц, то модуль 63 направляет в модуль 61 формирования уведомлений команду для формирования уведомления о выявленном отклонении в значении упомянутого счетчика, которое далее направляется в устройство 70 информирования пользователей для оповещения о выявленном отклонении заинтересованных лиц.[0077] Additionally, said
[0078] Дополнительно упомянутый модуль 63 может извлечь значения метрик за заданный интервал времени и сравнить каждое значение метрики с верхними или нижними границами значений метрик, рассчитанными для упомянутого интервала времени для определения значений разницы между упомянутыми значениями, причем определенные значения разницы записываются модулем 63 в счетчик для определения суммы значений метрики за определенный интервал времени. Например, модулем 63 могут быть сравнены значения метрик, характеризующие количество звонков за минуту, за интервал времени в последние 5 минут с нижними границами значений этих метрик. Соответственно, модуль 63 определяет для каждой минуты из выбранного интервала значение разности между нижней границей и значением метрики, обновляя значение счетчика на определенное значение разности. После того, как все значения метрик за заданный интервал времени проанализированы, модуль 63 сравнивает показатель упомянутого счетчика с установленным пороговым значением в соответствии с инструкцией. Если показатель счетчика превышает установленное пороговое значение, например, разница превышает 200 единиц, то модуль 63 направляет в модуль 61 формирования уведомлений команду для формирования уведомления о выявленном отклонении в значении упомянутого счетчика, которое далее направляется в устройство 70 информирования пользователей для оповещения о выявленном отклонении заинтересованных лиц.[0078] Additionally, said
[0079] Дополнительно упомянутый модуль 63 может определить разницу заданных значений метрик в заданную единицу времени. Например, модуль 63 может посредством счетчика определить разницу между количеством звонком, принятых оператором, и ботом и если эта разница меньше порогового значения, например, меньше 50, то модуль 63 направляет в модуль 61 формирования уведомлений команду для формирования уведомления о выявленном отклонении, которое далее направляется в устройство 70 информирования пользователей для оповещения о выявленном отклонении заинтересованных лиц.[0079] Additionally, said
[0080] Дополнительно модуль 34 и модуль 63 могут быть выполнены с возможностью не направлять в заданный интервал времени в модуль 61 команду для формирования уведомления в отношении тех отклонений, которые ранее были ими уже зафиксированы, но не устранены.[0080] Additionally,
[0081] Таким образом, за счет наличия в системе 100 мониторинга АС устройства (20) потоковой передачи данных, содержащего: модуль (21) памяти промежуточного хранения данных, модуль (22) управления данными для валидации и модуль (23) хранения данных, предназначенных для передачи, обеспечивается фильтрация данных о метриках, требующих валидацию, от данных, не требующих валидацию, в связи с чем исключаются ошибки, которые могут возникнуть при обработке упомянутой системой невалидированных данных. Также за счет наличия устройства (30) потоковой обработки данных и устройства (60) определения отклонений повышается надежность в выявлении отклонений, если одно из устройств выйдет из строя.[0081] Thus, due to the presence in the
[0082] В общем виде (см. фиг. 2) вычислительное устройство (200) содержит объединенные общей шиной информационного обмена один или несколько процессоров (201), средства памяти, такие как ОЗУ (202) и ПЗУ (203), интерфейсы ввода/вывода (204), устройства (средства) ввода/вывода (205), и устройство (средство) для сетевого взаимодействия (206).[0082] In general (see Fig. 2), a computing device (200) contains one or more processors (201), memory devices such as RAM (202) and ROM (203), and input/ output (204), input/output devices (205), and network communication devices (206).
[0083] Процессор (201) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в устройстве (200) также необходимо учитывать графический процессор, например, GPU NVIDIA с программной моделью, совместимой с CUDA, или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа, а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.[0083] The processor (201) (or multiple processors, multi-core processor, etc.) may be selected from a variety of devices commonly used today, for example, from manufacturers such as: Intel™, AMD™, Apple™, Samsung Exynos ™, MediaTEK™, Qualcomm Snapdragon™, etc. The processor or one of the usable processors in the device (200) must also include a graphics processor, for example an NVIDIA GPU with a CUDA-compatible programming model or Graphcore, the type of which is also suitable for carrying out the method in whole or in part, and can also be used for training and application of machine learning models in various information systems.
[0084] ОЗУ (202) представляет собой оперативную память и предназначено для хранения исполняемых процессором (201) машиночитаемых инструкций для выполнения необходимых операций по логической обработке данных. ОЗУ (202), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (202) может выступать доступный объем памяти графической карты или графического процессора.[0084] RAM (202) is a random access memory and is designed to store machine-readable instructions executed by the processor (201) to perform the necessary logical data processing operations. The RAM (202) typically contains executable operating system instructions and associated software components (applications, program modules, etc.). In this case, the available memory capacity of the graphics card or graphics processor can act as RAM (202).
[0085] ПЗУ (203) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.[0085] The ROM (203) is one or more permanent storage devices, such as a hard disk drive (HDD), a solid state drive (SSD), flash memory (EEPROM, NAND, etc.), optical storage media ( CD-R/RW, DVD-R/RW, BlueRay Disc, MD), etc.
[0086] Для организации работы компонентов устройства (200) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (204). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.[0086] To organize the operation of device components (200) and organize the operation of external connected devices, various types of I/O interfaces (204) are used. The choice of appropriate interfaces depends on the specific design of the computing device, which can be, but is not limited to: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.
[0087] Для обеспечения взаимодействия пользователя с вычислительным устройством (200) применяются различные средства (205) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.[0087] To ensure user interaction with the computing device (200), various means (205) of I/O information are used, for example, a keyboard, a display (monitor), a touch display, a touch pad, a joystick, a mouse, a light pen, a stylus, touch panel, trackball, speakers, microphone, augmented reality tools, optical sensors, tablet, light indicators, projector, camera, biometric identification tools (retina scanner, fingerprint scanner, voice recognition module), etc.
[0088] Средство сетевого взаимодействия (206) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (206) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.[0088] The network communication means (206) provides data transmission via an internal or external computer network, for example, an Intranet, the Internet, a LAN, etc. One or more means (206) may be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and/or BLE module, Wi-Fi module and etc.
[0089] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (200), например, GPS, ГЛОНАСС, BeiDou, Galileo.[0089] Additionally, satellite navigation tools can also be used as part of the device (200), for example, GPS, GLONASS, BeiDou, Galileo.
[0090] Конкретный выбор элементов устройства (200) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала.[0090] The specific selection of device elements (200) for implementing various software and hardware architectural solutions may vary while maintaining the required functionality provided.
[0091] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.[0091] Modifications and improvements to the above-described embodiments of the present technical solution will be apparent to those skilled in the art. The foregoing description is provided by way of example only and is not intended to be limiting. Thus, the scope of the present technical solution is limited only by the scope of the attached claims.
Claims (27)
Publications (2)
Publication Number | Publication Date |
---|---|
RU2809254C1 RU2809254C1 (en) | 2023-12-08 |
RU2809254C9 true RU2809254C9 (en) | 2023-12-28 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040117185A1 (en) * | 2002-10-18 | 2004-06-17 | Robert Scarano | Methods and apparatus for audio data monitoring and evaluation using speech recognition |
US20090306984A1 (en) * | 2003-08-22 | 2009-12-10 | Ser Solutions, Inc. | System for and method of automated quality monitoring |
US8988237B2 (en) * | 2010-05-27 | 2015-03-24 | University Of Southern California | System and method for failure prediction for artificial lift systems |
US8996350B1 (en) * | 2011-11-02 | 2015-03-31 | Dub Software Group, Inc. | System and method for automatic document management |
US20160018991A1 (en) * | 2007-12-06 | 2016-01-21 | Intelligent Intellectual Property Holdings 2 Llc | Apparatus, system, and method for coordinating storage requests in a multi-processor/multi-thread environment |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040117185A1 (en) * | 2002-10-18 | 2004-06-17 | Robert Scarano | Methods and apparatus for audio data monitoring and evaluation using speech recognition |
US20090306984A1 (en) * | 2003-08-22 | 2009-12-10 | Ser Solutions, Inc. | System for and method of automated quality monitoring |
US20160018991A1 (en) * | 2007-12-06 | 2016-01-21 | Intelligent Intellectual Property Holdings 2 Llc | Apparatus, system, and method for coordinating storage requests in a multi-processor/multi-thread environment |
US8988237B2 (en) * | 2010-05-27 | 2015-03-24 | University Of Southern California | System and method for failure prediction for artificial lift systems |
US8996350B1 (en) * | 2011-11-02 | 2015-03-31 | Dub Software Group, Inc. | System and method for automatic document management |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901727B2 (en) | Monitoring code sensitivity to cause software build breaks during software project development | |
CN108959564B (en) | Data warehouse metadata management method, readable storage medium and computer device | |
CN109284269B (en) | Abnormal log analysis method and device, storage medium and server | |
US10922164B2 (en) | Fault analysis and prediction using empirical architecture analytics | |
US8516499B2 (en) | Assistance in performing action responsive to detected event | |
US20140074452A1 (en) | System and method for automatic modeling of an application | |
CN112214369A (en) | Hard disk fault prediction model establishing method based on model fusion and application thereof | |
WO2020237877A1 (en) | Log monitoring method and apparatus, terminal, and storage medium | |
US9860109B2 (en) | Automatic alert generation | |
CN113946499A (en) | Micro-service link tracking and performance analysis method, system, equipment and application | |
CN109522193A (en) | A kind of processing method of operation/maintenance data, system and device | |
CN110063042A (en) | A kind of response method and its terminal of database failure | |
CN111209153B (en) | Abnormity detection processing method and device and electronic equipment | |
CN114020432A (en) | Task exception handling method and device and task exception handling system | |
CN111752833B (en) | Software quality system approval method, device, server and storage medium | |
RU2809254C9 (en) | Method and system for monitoring automated systems | |
RU2809254C1 (en) | Method and system for monitoring automated systems | |
US10776240B2 (en) | Non-intrusive performance monitor and service engine | |
CN108959006A (en) | A kind of hardware detection method and its tool | |
CN114881112A (en) | System anomaly detection method, device, equipment and medium | |
CN109933798B (en) | Audit log analysis method and audit log analysis device | |
CN114328159A (en) | Abnormal statement determination method, device, equipment and computer readable storage medium | |
KR20210055934A (en) | Self-learning system for developing machine learning models | |
CN116931843B (en) | User online management system based on large language model | |
RU2724799C1 (en) | Information processing method for filling data model library and device for its implementation |