RU2790038C1 - Cloud smart decision-making platform for smart city control - Google Patents
Cloud smart decision-making platform for smart city control Download PDFInfo
- Publication number
- RU2790038C1 RU2790038C1 RU2021139332A RU2021139332A RU2790038C1 RU 2790038 C1 RU2790038 C1 RU 2790038C1 RU 2021139332 A RU2021139332 A RU 2021139332A RU 2021139332 A RU2021139332 A RU 2021139332A RU 2790038 C1 RU2790038 C1 RU 2790038C1
- Authority
- RU
- Russia
- Prior art keywords
- data
- model
- dataset
- solving
- task
- Prior art date
Links
Images
Abstract
Description
ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY
Настоящее техническое решение относится к области информационных технологий и вычислительной техники, а именно к экспертно-аналитическим облачным информационным платформам для решения задач в области управления городской инфраструктурой. This technical solution relates to the field of information technology and computer technology, namely to expert-analytical cloud information platforms for solving problems in the field of urban infrastructure management.
УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION
Из источника информации US9953370B2, опубл. 24.04.2018, известна группа изобретений, система и способ для оценки управления рисками объектов недвижимости, с использованием аэрофотоснимков объектов недвижимости и дополнительных данных об объектах недвижимости, которые оцениваются по заданным критериям управления рисками. Данные, полученные с помощью аэрофотоснимков, включают идентификацию объектов недвижимости и их площадь, состояние объектов недвижимости, включая крышу и внешние стены, а также выявление других опасностей для объектов недвижимости. Дополнительные данные могут включать информацию о собственности, поступающую из различных источников, включая городские и окружные власти, подрядчиков и страховые компании. Итоговая оценка управления рисками может быть использована для урегулирования страховых случаев и определения страховых продуктов и ставок премий, предлагаемых на недвижимость.From the source of information US9953370B2, publ. 04/24/2018, a group of inventions is known, a system and method for assessing the risk management of real estate objects, using aerial photographs of real estate objects and additional data about real estate objects that are evaluated according to specified risk management criteria. The data obtained from aerial photographs includes the identification of properties and their area, the condition of properties, including the roof and external walls, and the identification of other hazards to properties. Additional data may include property information from a variety of sources, including city and county governments, contractors, and insurance companies. The resulting risk management assessment can be used to settle insurance claims and determine the insurance products and premium rates offered on real estate.
Из источника информации CN111652577, опубл. 25.05.2020 г., известна группа изобретений, система и способ управления городским хозяйством, основанные на больших данных. Интеллектуальная система управления городом, основанная на больших данных, включает в себя механизм сбора больших данных, центральный узел анализа, множество функциональных механизмов и множество терминалов инструкций. Механизм сбора больших данных используется для получения данных наружного трека жителей и данных городской географической информации. Центральный аналитический узел используется для генерации схемы выполнения функций и схемы планирования персонала в соответствии с данными наружного трека жителя и данными городской географической информации. Функциональный механизм используется для выполнения схемы выполнения функций. Терминалы инструкции соответствуют персоналу городского управления один к одному, а целевое управление используются для получения схемы планирования персонала. From the source of information CN111652577, publ. 05/25/2020, a group of inventions, a system and method of urban management based on big data, is known. The big data-based intelligent city management system includes a big data collection mechanism, a central analysis node, a plurality of functional mechanisms, and a plurality of instruction terminals. The big data collection engine is used to obtain residents' outdoor track data and urban geographic information data. The central analysis node is used to generate a function flow chart and a workforce planning chart according to the resident's outdoor track data and urban geographic information data. The functional engine is used to execute the execution scheme of the functions. The instruction terminals correspond to the staff of the city government one to one, and the target government is used to obtain the personnel planning scheme.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Технической задачей, на решение которой направлено заявленное техническое решение, является разработка способа для определения рекомендаций для решения задач в области управления городской инфраструктурой, заключающихся в автоматической обработке полученных разнородных данных, верификации полученных данных и выдаче рекомендаций по решаемой задаче в области управления городской инфраструктурой, в частности в автоматическом заполнении шаблонов по обработанным данным. В связи с этим предложен компьютерно-реализуемый способ работы облачной интеллектуальной платформы для определения рекомендаций по принятию решений для целей управления городом, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.The technical problem to be solved by the claimed technical solution is the development of a method for determining recommendations for solving problems in the field of urban infrastructure management, which consists in automatically processing the received heterogeneous data, verifying the received data and issuing recommendations on the problem being solved in the field of urban infrastructure management, in in particular, in the automatic filling of templates according to the processed data. In this regard, a computer-implemented method of operating a cloud-based intelligent platform for determining decision-making recommendations for city management purposes is proposed, which is characterized in an independent claim. Additional embodiments of the present invention are presented in dependent claims.
Технический результат заключается в проверке разноформатных данных на достоверность для получения рекомендаций по принятию решений для целей управления городом.The technical result consists in checking multi-format data for reliability in order to obtain recommendations for decision-making for the purposes of city management.
Заявленный результат достигается за счет осуществления компьютерно-реализуемого способа работы облачной интеллектуальной платформы для определения рекомендаций по принятию решений для целей управления городом, содержащий этапы, на которых: The claimed result is achieved through the implementation of a computer-implemented method of operation of a cloud-based intelligent platform for determining recommendations for decision-making for the purposes of city management, containing the steps at which:
из внешних источников в облачную интеллектуальную платформу поступают датасеты, содержащие разнородные данные;from external sources, datasets containing heterogeneous data are sent to the cloud intelligent platform;
в облачной интеллектуальной платформе осуществляют анализ метаданных полученных датасетов и в результате анализа осуществляют автоматический выбор модели контроля качества данных, in the cloud intelligent platform, they analyze the metadata of the received datasets and, as a result of the analysis, automatically select the data quality control model,
причем автоматический выбор модели контроля качества данных основан на работе алгоритмов машинного обучения по анализу метаданных датасетов; moreover, the automatic selection of a data quality control model is based on the operation of machine learning algorithms for analyzing dataset metadata;
если в облачной интеллектуальной платформе отсутствует модель контроля качества данных, то осуществляют разработку новой модели контроля качества данных;if there is no data quality control model in the cloud intelligent platform, then a new data quality control model is developed;
посредством выбранной модели контроля качества данных осуществляют обработку датасета, которая включает автоматическую валидацию данных датасета, включающую автоматическую проверку структуры данных датасета, автоматическую проверку форматов данных датасета, автоматическую проверку полноты данных датасета, автоматическую проверку достоверности данных датасета, основанную на работе алгоритмов машинного обучения, и включает автоматическое обогащение недостающих данных в датасете из внешних источников информации, using the selected data quality control model, the dataset is processed, which includes automatic validation of the dataset data, including automatic validation of the dataset data structure, automatic validation of the dataset data formats, automatic validation of the dataset data completeness, automatic validation of the dataset data, based on the operation of machine learning algorithms, and includes automatic enrichment of missing data in the dataset from external information sources,
в облачной интеллектуальной платформе создают или выбирают в графическом интерфейсе, или получают из внешних источников управленческую задачу, необходимую для решения в области управления городом;in the cloud intelligent platform, create or select in a graphical interface, or receive from external sources, a management task necessary for a solution in the field of city management;
осуществляют автоматический выбор модели для решения поставленной задачи;carry out automatic selection of the model for solving the problem;
причем автоматический выбор модели для решения поставленной задачи основан на работе алгоритмов машинного обучения; moreover, the automatic choice of a model for solving the problem is based on the operation of machine learning algorithms;
если в облачной интеллектуальной платформе отсутствует модель для решения поставленной задачи, то осуществляют разработку новой модели для решения поставленной задачи;if there is no model for solving the task in the cloud intelligent platform, then a new model is being developed to solve the task;
на основе обработанных данных датасетов, согласно выбранной модели решения поставленной задачи, осуществляют автоматическое выполнение операций по модели решения поставленной задачи; on the basis of the processed dataset data, according to the chosen model for solving the task, carry out automatic execution of operations according to the model for solving the task;
в результате выполнения операций получают рекомендации по решению поставленной задачи в области управления городом.as a result of the operations, they receive recommendations for solving the task in the field of city management.
В частном варианте реализации предлагаемого решения, перед сохранением обработанных данных датасета, в облачной интеллектуальной платформе автоматически предлагаются оптимальные базы данных для хранения обработанных данных. In a private implementation of the proposed solution, before saving the processed dataset data, the cloud intelligent platform automatically offers optimal databases for storing the processed data.
В другом частном варианте реализации предлагаемого решения, рекомендации по решению поставленной задачи в области управления городом включают: формирование шаблонов документов для решения поставленной задачи и автоматические заполнение шаблонов документов для решения поставленной задачи.In another particular implementation of the proposed solution, recommendations for solving the task in the field of city management include: the formation of document templates for solving the task and automatic filling of document templates for solving the task.
ОПИСАНИЕ ЧЕРТЕЖЕЙDESCRIPTION OF THE DRAWINGS
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:The implementation of the invention will be described hereinafter in accordance with the accompanying drawings, which are presented to explain the essence of the invention and in no way limit the scope of the invention. The following drawings are attached to the application:
Фиг. 1 иллюстрирует процесс управления данными датасета и процессами по решению управленческих задач с целью принятия решений в области управления городом в Платформе.Fig. 1 illustrates the process of managing dataset data and processes for solving management problems in order to make decisions in the field of city management in the Platform.
Фиг. 2 иллюстрирует пример схемы вычислительного устройства. Fig. 2 illustrates an example computing device circuit.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.In the following detailed description of the implementation of the invention, numerous implementation details are provided to provide a clear understanding of the present invention. However, one skilled in the art will appreciate how the present invention can be used, both with and without these implementation details. In other instances, well-known methods, procedures, and components have not been described in detail so as not to unnecessarily obscure the features of the present invention.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.Furthermore, it will be clear from the foregoing that the invention is not limited to the present implementation. Numerous possible modifications, changes, variations and substitutions that retain the spirit and form of the present invention will be apparent to those skilled in the subject area.
Облачная интеллектуальная платформа принятия решений управления умными городами (далее - Платформа) - это операционная среда для обработки разнородных данных и управления бизнес-процессами с целью определения рекомендаций для решения задач в области управления городской инфраструктурой. A cloud-based intelligent decision-making platform for smart city management (hereinafter referred to as the Platform) is an operating environment for processing heterogeneous data and managing business processes in order to determine recommendations for solving problems in the field of urban infrastructure management.
Датасет - массив разнородных данных.Dataset - an array of heterogeneous data.
Внешние источники разнородных данных, характеризующие городское пространство, имеют различные форматы предоставления (API-сервисы, базы данных, мультимедиа, датчики (данные с приборов учета и контроля: электроэнергии, водоснабжения и проч.), социальные сети, тексты и проч.). Данные зачастую неструктурированны или их структура часто меняется (меняются наборы атрибутов и форматы). Существует множество систем, занимающихся обработкой и предоставлением городских данных. При этом любое изменение в представление данных требует корректирования программного кода, структур баз данных и запросов к данным. External sources of heterogeneous data characterizing the urban space have different formats of provision (API services, databases, multimedia, sensors (data from metering and control devices: electricity, water supply, etc.), social networks, texts, etc.). The data is often unstructured or its structure changes frequently (sets of attributes and formats change). There are many systems involved in the processing and provision of urban data. At the same time, any change in the data representation requires adjustment of the program code, database structures and data queries.
В то же время принятие грамотных управленческих решений требует оперативного получения достоверной информации о состоянии городского пространства.At the same time, the adoption of competent management decisions requires the prompt receipt of reliable information about the state of the urban space.
Платформа обеспечивает достоверное получение, хранение, обработку и предоставление больших объемов данных, описывающих городское пространство.The platform ensures reliable receipt, storage, processing and provision of large amounts of data describing the urban space.
Платформа является Low-code решением, которое не требует написания программного кода для построения процессов решения задачи управления данными. Обработка данных, хранение данных, интеграция и интероперабельность данных, контроль качества данных, управление документами и контентом – все эти процессы могут быть сформированы в графическом интерфейсе Платформы.The platform is a low-code solution that does not require writing code to build processes for solving data management problems. Data processing, data storage, data integration and interoperability, data quality control, document and content management - all these processes can be formed in the graphical interface of the Platform.
Платформа состоит из следующих компонентов:The platform consists of the following components:
- ядро (управление данными), реализующее функции подключения к разнородным источникам данных, хранения и предоставления данных;- the core (data management), which implements the functions of connecting to heterogeneous data sources, storing and providing data;
- компонента моделирования данных (Data Definition), обеспечивает стандартизацию хранения и предоставления данных датасета, формирования слоя метаданных датасета. Для реализации функций разработан собственный графический дизайнер, который на основе созданной модели формирует представление данных, согласно исполняемому дереву решений, на уровне базы данных и как элемента бизнес-процесса;- data modeling component (Data Definition), provides standardization of dataset data storage and provision, formation of dataset metadata layer. To implement the functions, our own graphic designer has been developed, which, based on the created model, forms a data representation, according to the executable decision tree, at the database level and as an element of a business process;
- компонента моделирования обработки данных (BPM) обеспечивает визуальное построение процессов обработки данных - контроля качества данных с поддержкой визуального построения процессов в графическом дизайнере, которые автоматически преобразуются в исполняемое дерево решений;- data processing modeling component (BPM) provides visual construction of data processing processes - data quality control with support for visual construction of processes in a graphic designer, which are automatically converted into an executable decision tree;
- компонента моделирования бизнес-процессов управления городом, обеспечивает реализацию документооборота в рамках внутриведомственного и межведомственного взаимодействия при обогащении датасета и отправки сформированных шаблонов;- a component for modeling business processes of city management, which ensures the implementation of workflow within the framework of intradepartmental and interdepartmental interaction when enriching the dataset and sending the generated templates;
- компонента моделирования процессов бизнес-аналитики обеспечивает реализацию анализа загруженных данных. Моделирование процессов бизнес-аналитики осуществляется оператором как самостоятельно, так и на основе рекомендаций Платформы, которые создаются автоматически на основе анализа метаданных загруженных датасетов;- the business intelligence process modeling component provides the implementation of the analysis of the loaded data. Modeling of business intelligence processes is carried out by the operator both independently and based on the recommendations of the Platform, which are created automatically based on the analysis of the metadata of the downloaded datasets;
- компонента обмена данными (Message Bus), реализует достоверный обмен данными в рамках внутриведомственного и межведомственного взаимодействия.- the data exchange component (Message Bus), implements reliable data exchange within the framework of intradepartmental and interdepartmental interaction.
На фиг.1 проиллюстрирован процесс управления датасетом и процессами по решению управленческих задач в облачной интеллектуальной платформе в общем виде включает:Figure 1 illustrates the process of managing a dataset and processes for solving management problems in a cloud intelligent platform in general terms includes:
1.1 – создание модели данных датасета (массива разнородных данных), включающую описание структуры и формата данных в графическом редакторе Платформы;1.1 – creation of a dataset data model (an array of heterogeneous data), including a description of the data structure and format in the graphical editor of the Platform;
1.2 – создание модели процесса загрузки данных датасета, включающую создание микросервиса для подключения к данным в графическом редакторе Платформы;1.2 - creation of a dataset data loading process model, including the creation of a microservice for connecting to data in the graphical editor of the Platform;
1.3 – запуск созданного процесса 1.2. и загрузка разнородных данных для наполнения датасета;1.3 - launching the created process 1.2. and loading heterogeneous data to fill the dataset;
1.4 – создание модели или моделей контроля качества данных загружаемого датасета (контроль структуры, форматов, полноты и достоверности данных) и запуск процессов выполнения выбранных или созданных моделей;1.4 – creation of a model or models for quality control of data of a loaded dataset (control of the structure, formats, completeness and reliability of data) and launching the processes for executing selected or created models;
1.5 – создание модели или моделей бизнес-аналитики по решению управленческих задач для целей управления городом и запуск процессов выполнения выбранных или созданных моделей;1.5 - creation of a business intelligence model or models for solving management problems for the purposes of city management and launching the processes for implementing selected or created models;
1.6 – создание моделей представления данных (выгрузка данных в базы данных, предоставление данных по api и прочее).1.6 - creation of data presentation models (uploading data to databases, providing data via api, etc.).
На всех этапах (1.1 – 1.6) происходит автоматическое заполнение метаданных датасета (2.1): структура данных, объем данных, частота обращений к данным, информация о моделях, которые применяются к данным, и прочее.At all stages (1.1 - 1.6), dataset metadata (2.1) is automatically filled in: data structure, data volume, data access frequency, information about models that are applied to data, and so on.
Метаданные всех загруженных в Платформу датасетов формируют базу знаний платформы (2).The metadata of all datasets uploaded to the Platform form the knowledge base of the platform (2).
На основе базы знаний (2) средствами, в том числе алгоритмами машинного обучения, строится рекомендательная система Платформы (3), включающая:Based on the knowledge base (2) by means, including machine learning algorithms, a recommender system of the Platform (3) is built, including:
3.1 – предоставление рекомендаций в графическом интерфейсе Платформы по применению моделей контроля качества данных (1.4) к данным анализируемого датасета,3.1 - providing recommendations in the graphical interface of the Platform on the application of data quality control models (1.4) to the data of the analyzed dataset,
3.2 – предоставление рекомендаций в графическом интерфейсе Платформы по применению моделей бизнес-анализа (1.5) к данным анализируемого датасета,3.2 - providing recommendations in the graphical interface of the Platform on the application of business analysis models (1.5) to the data of the analyzed dataset,
3.3 – предоставление рекомендаций по способу хранения данных (1.2, 1.6).3.3 - providing recommendations on how to store data (1.2, 1.6).
На первом этапе работы предлагаемого способа из внешних источников, на основе созданной модели данных, в облачную интеллектуальную платформу поступают датасеты, содержащие разнородные данные. Данные в платформу загружаются в формате json (ключ: значение). Модель данных создает оператор в графическом интерфейсе Платформы. Методом drag-and-drop собирают блоки – ключи json-файла – с учетом вложенности. Для каждого ключа указывают наименование атрибута, тип (текст, число, дата…), обязательность (обязательный или необязательный атрибут) и тег (выбирается из классификатора). Осуществляют процесс загрузки данных, путем создания процесса загрузки данных, включая параметры подключения к источнику данных датасета и запуска данного процесса загрузки данных.At the first stage of operation of the proposed method, datasets containing heterogeneous data are received from external sources, based on the created data model, into the cloud intelligent platform. The data is loaded into the platform in json format (key: value). The data model creates an operator in the graphical interface of the Platform. Using the drag-and-drop method, blocks are collected - the keys of the json file - taking into account nesting. For each key, indicate the name of the attribute, type (text, number, date ...), mandatory (mandatory or optional attribute) and tag (selected from the classifier). The data loading process is carried out by creating a data loading process, including the parameters for connecting to the dataset data source and starting this data loading process.
С момента создания модели данных датасета автоматически формируется модель метаданных датасета, содержащая ссылки на модель данных датасета и модель загрузки данных. По мере поступления данных в Платформу, автоматически сохраняется информация об объемах загружаемых данных, частоте и скорости загрузки в модель метаданных датасета. В дальнейшем, метаданные дополняются информацией о моделях контроля качества данных и моделях по решению управленческих задач управления городом.From the moment the dataset data model is created, the dataset metadata model is automatically generated, containing links to the dataset data model and the data loading model. As data enters the Platform, information about the amount of data loaded, the frequency and speed of loading is automatically stored in the dataset metadata model. In the future, metadata is supplemented with information about data quality control models and models for solving managerial problems of city management.
Метаданные всех датасетов, загруженных в Платформу, представляют собой базу знаний, которая является основой для обучения Платформы и валидации ее рекомендательной системы.The metadata of all datasets uploaded to the Platform is a knowledge base, which is the basis for training the Platform and validating its recommender system.
В облачной интеллектуальной платформе осуществляют анализ метаданных загруженных датасетов и в результате анализа осуществляют автоматический выбор модели контроля качества датасета. Автоматический выбор модели контроля качества датасета основан на работе алгоритмов машинного обучения (случайный лес), целью которого является определить с какой вероятностью каждая из моделей контроля качества, используемых в Платформе, подходит для значений ключей анализируемого датасета. The cloud intelligent platform analyzes the metadata of the downloaded datasets and, as a result of the analysis, automatically selects the dataset quality control model. The automatic selection of the dataset quality control model is based on the operation of machine learning algorithms (random forest), the purpose of which is to determine with what probability each of the quality control models used in the Platform is suitable for the key values of the analyzed dataset.
Обучение и оценка алгоритма происходит на датасетах, для которых используется конкретная модель контроля качества данных. Выборка данных – это значения ключей данных. Ответ алгоритма – это метка класса: 1, если значения ключа используется в конкретной модели контроля качества данных; 0, если значения ключа не используется в конкретной модели.Training and evaluation of the algorithm takes place on datasets for which a specific data quality control model is used. The data sample is the values of the data keys. The algorithm's response is the class label: 1 if the key value is used in a particular data quality control model; 0 if the key value is not used in the particular model.
Обучение алгоритма происходит для каждой модели отдельно. Таким образом значение одного и того же ключа может быть обработано несколькими моделями. Например, адрес объекта недвижимости по одной модели может быть дополнен кодом ФИАС, а по другой – почтовым индексом.The algorithm is trained separately for each model. Thus, the value of the same key can be processed by several models. For example, the address of a real estate object according to one model can be supplemented with a FIAS code, and according to another - with a postal code.
Обучение и оценка алгоритма для конкретной модели контроля качества данных включает следующие этапы:Training and evaluation of an algorithm for a specific data quality control model includes the following steps:
1. Подготовка данных;1. Data preparation;
2. Формирование обучающей и тестовой выборки;2. Formation of training and test samples;
3. Обучение алгоритма;3. Algorithm training;
4. Оценка результатов.4. Evaluation of results.
JSON-файлы датасета, загружаемые в Платформу, представляют собой совокупность документов – значений ключей. Если ключ имеет дочерний элемент (вложенный json), то документ будет состоять из совокупности значений вложенных ключей. Также каждый ключ, кроме значения, имеет признаки: код тип ключа по классификатору, код тега ключа по классификатору, сложность ключа (количество вложенных ключей).Dataset JSON files uploaded to the Platform are a collection of documents - key values. If the key has a child element (nested json), then the document will consist of a set of nested key values. Also, each key, except for the value, has signs: key type code by classifier, key tag code by classifier, key complexity (number of nested keys).
На этапе подготовки данных значения ключей датасета кодируются: текст переводится в список токенов (слов), при этом слова лемматизируются, удаляются стоп-слова (предлоги), числа заменяются значениями разрядности (например, числу 3664069397 будет соответствовать 10) и составляется словарь документа. Операция выполняется посредством библиотеки sklearn (python). At the stage of data preparation, the values of the dataset keys are encoded: the text is translated into a list of tokens (words), while the words are lemmatized, stop words (prepositions) are removed, the numbers are replaced by bit depth values (for example, the number 3664069397 will correspond to 10) and the dictionary of the document is compiled. The operation is performed using the sklearn (python) library.
После предварительной подготовки все значения ключей, загруженных датасетов, к которым применяется конкретная модель контроля качества, случайным образом разделяются на обучающую и тестовую выборки в соотношении 4:1.After preliminary preparation, all key values, loaded datasets, to which a specific quality control model is applied, are randomly divided into training and test samples in a ratio of 4:1.
В обучающей выборке на основе словарей документа составляется матрица используемых слов, отбираются 20 наиболее часто встречаемых токенов и каждый документ векторизуется: для каждого слова из матрицы слов вычисляется частота его использования в документе. In the training sample, based on the dictionaries of the document, a matrix of used words is compiled, the 20 most frequently encountered tokens are selected, and each document is vectorized: for each word, the frequency of its use in the document is calculated from the matrix of words.
Классификация объектов обучающей выборки происходит с помощью алгоритма случайный лес (RandomForestClassifier). Матрица признаков документов включает вектор документа, код тега по классификатору, код типа по классификатору, количество вложенных ключей. Матрица ответа содержит для каждого документа значение 1 или 0 в зависимости от того, используется ли ключ, по значению которого составлен документ, в конкретной модели контроля качества данных.Classification of training sample objects occurs using the random forest algorithm (RandomForestClassifier). The document feature matrix includes the document vector, tag code by classifier, type code by classifier, number of nested keys. The response matrix contains a value of 1 or 0 for each document, depending on whether the key used in the document is used in a particular data quality control model.
Обученная модель проверяется на тестовой выборке. По результатам работы алгоритма на тестовой выборке стоится матрица ошибок (confusion matrix) и оценивается точность (доля документов, которые отнесены алгоритмом к классу с меткой 1 и которые действительно относятся к этому классу) и полноту (доля объектов класса с меткой 1 , которых определил алгоритм, от всех объектов, относящихся к классу с меткой 1). Если значение точности и полноты превышает 0.78, то алгоритм считается обученным. В противном случае процесс обучения повторяется.The trained model is tested on the test set. Based on the results of the algorithm’s work on the test sample, the error matrix (confusion matrix) is calculated and the accuracy (the proportion of documents that are assigned by the algorithm to the class with label 1 and that really belong to this class) and completeness (the proportion of objects of the class with label 1 that were determined by the algorithm) , from all objects belonging to the class labeled 1). If the value of precision and recall exceeds 0.78, then the algorithm is considered trained. Otherwise, the learning process is repeated.
После успешного обучения алгоритма Платформа будет рекомендовать пользователю конкретную модель контроля качества данных для ключей, значения которых алгоритм относит к классу с меткой 1 с вероятностью более 0.8.After successful training of the algorithm, the Platform will recommend to the user a specific data quality control model for keys whose values the algorithm assigns to the class with label 1 with a probability of more than 0.8.
Например, в платформу загружают датасет – реестр помещений Росреестра, в котором, в том числе, представлены данные об адресе собственника помещения (ключ “address”) и документ-основания для расчета кадастровой стоимости (“approvement_doc_requisites”). В модели данных датасета для ключа “address” указано: формат ключа - текст (код значения – 1), тег ключа – адрес (код значения - 101), количество вложенных ключей – 0; для ключа “approvement_doc_requisites”: формат ключа - json (код значения – 7), тег ключа – документ-основание (код значения - 178), количество вложенных ключей – 8. For example, a dataset is uploaded to the platform - the register of premises of Rosreestr, which, among other things, contains data on the address of the owner of the premises (the “address” key) and the basis document for calculating the cadastral value (“approvement_doc_requisites”). In the dataset data model for the “address” key, the following is specified: key format - text (value code - 1), key tag - address (value code - 101), number of nested keys - 0; for the “approvement_doc_requisites” key: the key format is json (value code is 7), the key tag is the base document (value code is 178), the number of nested keys is 8.
В режиме реального времени обученный алгоритм контроля качества данных, отвечающий за структурирование адресной строки методом вызова сервиса почты России по валидации адреса, анализирует значение каждого ключа в каждом загруженном json-файле рассматриваемого датасета: формат ключа, тег ключа, количество вложенных ключей и непосредственно значение ключа. Например, для ключа “address” одно из значений равно «Москва, Замоскворечье, ул. Валовая, д. 11/19, кв. 29 к.2,3»). В соответствии с алгоритмом, строка адреса токенизируется, числа заменяются значениями разрядности (["москв”, “замоскворечь”, “ул”, “валов”, “д”, “2”, “2”, “кв”, “2”, “к”, “1”, “1”] и векторизуется на основе матрицы наиболее часто встречающих токенов, полученной при обучении алгоритма ([1, 1, 1, 1, 2, 3, 0, 0 … 1 …, 0]). Обученный алгоритм помечает меткой 1 или 0, с указанием вероятности отнесения значения к указанному классу, каждый ключ в каждом json-файле загружаемого датасета. Для датасета динамично определяется доля ключей с меткой 1 с вероятностью корректного определения более 0,78. Если доля таких ключей превышает 0,6, то в метаданных алгоритма ключ связывается с моделью контроля качества данных, отвечающей за структурирование адресной строки методом вызова сервиса почты России по валидации адреса. В результате, в графическом интерфейсе, при выборе модели контроля качества данных для датасета «реестр помещений Росреестра» в разделе «Рекомендации» для ключа «address» устанавливается описанная модель, а для ключа “approvement_doc_requisites” эта модель будет отсутствовать т.к. она не подходит для ключа «approvement_doc_requisites» (алгоритм определил, что значение ключа не является адресной строкой).In real time, a trained data quality control algorithm responsible for structuring the address bar by calling the Russian mail service to validate the address analyzes the value of each key in each uploaded json file of the dataset in question: key format, key tag, number of nested keys and the key value itself . For example, for the “address” key, one of the values is “Moscow, Zamoskvorechye, st. Valovaya, d. 11/19, apt. 29 k.2,3"). In accordance with the algorithm, the address string is tokenized, the numbers are replaced with bit depth values (["moscow", "zamoskvorech", "st", "valov", "d", "2", "2", "kv", "2" , “k”, “1”, “1”] and is vectorized based on the matrix of the most frequently occurring tokens obtained during the training of the algorithm ([1, 1, 1, 1, 2, 3, 0, 0 … 1 …, 0] ).The trained algorithm marks with a label 1 or 0, indicating the probability of assigning a value to the specified class, each key in each json file of the loaded dataset. For the dataset, the proportion of keys with label 1 is dynamically determined with a probability of correctly determining more than 0.78. If the proportion of such keys exceeds 0.6, then in the metadata of the algorithm the key is associated with the data quality control model responsible for structuring the address line by calling the Russian mail service to validate the address.As a result, in the graphical interface, when choosing a data quality control model for the dataset Rosreestr" in the "Recommendations" section for the "address" key set the described model is given, and for the “approvement_doc_requisites” key, this model will be absent because it does not match the "approvement_doc_requisites" key (the algorithm determined that the key's value is not an address string).
Рекомендательная система платформы постоянно самообучается. В случае если пользователь в графическом интерфейсе выбирает рекомендованную Платформой модель контроля качества данных или помечает рекомендованную модель, как неуместную, значение ключа или ключей json-файла добавляется в обучающую выборку с меткой 1 или 0 соответственно, тем самым уточняя обучающую выборку. Если в облачной интеллектуальной платформе отсутствует модель контроля качества данных, то осуществляют разработку новой модели. The platform's recommender system is constantly self-learning. If the user in the graphical interface selects the data quality control model recommended by the Platform or marks the recommended model as inappropriate, the value of the key or keys of the json file is added to the training sample with a label of 1 or 0, respectively, thereby refining the training sample. If there is no data quality control model in the cloud intelligent platform, then a new model is developed.
Например, в Платформу загружается датасет Департамента городского имущества с данными о земельных участках, находящих в собственности города. Вложенный блок загружаемого json-файла содержит следующие ключи: номер договора, дата договора, тип договора, наименование договора. В модели датасета указано, что значение ключа «Номер договора аренды» должно быть текстовым, оператор создает модель обработки данных для контроля формата предоставляемого номера. В модели оператор методом drag-and-drop собирает процесс обработки данных для проверки корректности номера документа: For example, a dataset of the Department of City Property with data on land plots owned by the city is uploaded to the Platform. The nested block of the loaded json file contains the following keys: contract number, contract date, contract type, contract name. The dataset model states that the value of the "Lease agreement number" key must be text, the operator creates a data processing model to control the format of the provided number. In the model, the drag-and-drop operator collects the data processing process to check the correctness of the document number:
1) Перетаскивает блок «Источник данных» и указывает датасет (из ниспадающего меню выбирает доступный датасет)1) Drag the "Data Source" block and specify the dataset (select an available dataset from the drop-down menu)
2) Перетаскивает в рабочую область блок ”If” и заполняет условие:2) Drag the ”If” block into the workspace and fill in the condition:
i) Указывает ключ, для которого выполняется проверка («Номер договора»),i) Indicates the key for which the verification is performed ("Contract Number"),
ii) Указывает тип отношения – равенство,ii) Indicates the type of relationship - equality,
iii) Указывает регулярное выражение '[П,Р,В,И,С,ИЖС]{1}-[0-9]{2}-[0-9]{5,7}'iii) Specifies the regular expression '[P,R,V,I,S,IVS]{1}-[0-9]{2}-[0-9]{5,7}'
1) Перетаскивает блок с действиями в зависимости от результатов проверки условия. 1) Drag the block with actions depending on the results of the condition check.
Если условие не выполнено, запускается ранее созданный управленческий процесс, целью которого является корректировка данных (в Департамент направляется автоматически подготовленный документ с предписанием проверить корректность переданных данных. Заполнение документа происходит по заранее подготовленному в графическом интерфейсе Платформы шаблону). Посредством выбранной модели контроля качества данных осуществляют обработку данных датасета, которая включает автоматическую валидацию данных датасета, включающую автоматическую проверку структуры датасета, автоматическую проверку форматов данных датасета, автоматическую проверку полноты данных датасета, автоматическую проверку достоверности данных датасета. If the condition is not met, a previously created management process is launched, the purpose of which is to correct the data (an automatically prepared document is sent to the Department with an instruction to check the correctness of the transmitted data. The document is filled in according to a template prepared in advance in the graphical interface of the Platform). By means of the selected data quality control model, dataset data processing is carried out, which includes automatic dataset data validation, including automatic dataset structure check, automatic check of dataset data formats, automatic check of dataset data completeness, automatic check of dataset data reliability.
Автоматическая проверка структуры данных датасета заключается в проверке соответствия структуры загружаемых данных датасета структуре, описанной в модели данных (сравнение загружаемых данных датасета с моделью данных). Например, в модели данных указано, что атрибут «ИНН» должен быть числовым, автоматически проверяется, что в датасете значение ИНН – это число (отсутствуют текстовые, непечатные и иные нечисловые символы). Если значение ключа, в загруженных данных датаста, не соответствует формату, указанному в модели данных, то загрузка данных останавливается и в автоматическом режиме в службу технической поддержки отправляется сообщение с описанием ошибки. Automatic check of the dataset data structure consists in checking the compliance of the structure of the loaded dataset data with the structure described in the data model (comparison of the loaded dataset data with the data model). For example, in the data model it is specified that the "TIN" attribute must be numeric, it is automatically checked that the TIN value in the dataset is a number (there are no text, non-printable and other non-numeric characters). If the key value in the downloaded datast data does not match the format specified in the data model, then the data loading is stopped and a message describing the error is automatically sent to the technical support service.
Автоматическая проверка форматов данных датасета представляет собой логический контроль значений ключей, загружаемых данных датасета. Например, кадастровый номер должен соответствовать регулярному выражению ‘[0-9]{2}:[0-9]{2}:[0-9]{6,7}:[0-9]{7}’. В случае если кадастровый номер не соответствует логическому контролю, загрузка данных датасета продолжается, но в автоматическом режиме в службу технической поддержки направляется письмо с описанием ошибки.Automatic check of dataset data formats is a logical control of key values, loaded dataset data. For example, the cadastral number must match the regular expression ‘[0-9]{2}:[0-9]{2}:[0-9]{6,7}:[0-9]{7}’. If the cadastral number does not correspond to the logical control, the dataset data loading continues, but a letter describing the error is automatically sent to the technical support service.
Автоматическая проверка полноты данных датасета заключается в обогащении датасета недостающими данными. Например, в платформу загружается датасет, содержащий информацию об адресе. Вложенный блок загружаемого json-файла содержит следующие ключи: населенный пункт, улица, дом, строение, квартира. Автоматически запускается модель контроля качества данных, которая по структурированному адресу запрашивает код ФИАС (Федеральная информационная адресная система) (код, который однозначно идентифицирует адрес).Automatic check of the completeness of dataset data consists in enriching the dataset with missing data. For example, a dataset containing address information is loaded into the platform. The nested block of the loaded json file contains the following keys: settlement, street, house, building, apartment. The data quality control model is automatically launched, which requests the FIAS (Federal Information Address System) code (a code that uniquely identifies the address) using a structured address.
Автоматическая проверка достоверности данных датасета заключается в проверке значений ключей, загруженных данных датасетов, на основе достоверных источников. Например, в Платформу загружена и регулярно обновляется юридически значимая информация о зарегистрированных юридических лица - единый государственный реестр юридических лиц (ЕГРЮЛ). В платформу начали поступать данные нового датасета, содержащие информацию о заключенных договорах на аренду земельного участка с указанием ИНН, названия и адреса юридического лица. В Платформе автоматически, на основе модели контроля качества данных, проверяется корректность данных о юридическом лице: наличие указанного ИНН в ЕГРЮЛ, соответствие ИНН, названия организации и адреса организации данным ЕГРЮЛ. При отсутствии данных в ЕГРЮЛ Платформа помечает данные как ненадежные и запускает процесс проверки данных по договору в виде, например, отправки письма ответственному сотруднику.Automatic validation of the dataset data consists in checking the key values of the loaded dataset data based on reliable sources. For example, legally significant information about registered legal entities is uploaded to the Platform and is regularly updated - the Unified State Register of Legal Entities (EGRLE). The platform began to receive data from a new dataset containing information on concluded agreements for the lease of a land plot, indicating the TIN, name and address of the legal entity. The Platform automatically, based on the data quality control model, checks the correctness of the data on the legal entity: the presence of the specified TIN in the Unified State Register of Legal Entities, the compliance of the TIN, the name of the organization and the address of the organization with the data of the Unified State Register of Legal Entities. If there is no data in the Unified State Register of Legal Entities, the Platform marks the data as unreliable and starts the process of verifying the data under the contract in the form, for example, by sending a letter to the responsible officer.
Обработанный датасет сохраняется в базе данных в соответствии с моделью представления данных. В платформе автоматически создаются рекомендации по формату хранения данных на основе метаданных датасета. В качестве рекомендаций могут быть указаны PostgreSQL, MongoDB, Kassandra, Redis. Выбор системы хранения основывается на аналитически построенном дереве решений, критериями которого являются объем данных, структура данных (глубина вложенности элементов данных), количество обращений к данным. Примеры критериев для базы данных Redis: объем данных менее 16 Гб и количество обращений входит в топ 10% по Платформе (общее количество обращений по Платформе вычисляется по метаданным датасетов). Для структуры данных с вложенностью более 5 уровней рекомендуется mongoDB, для плоских структур – PostgreSQL. Оператор платформы в графическом интерфейсе может cкорректировать рекомендации платформы.The processed dataset is stored in the database in accordance with the data presentation model. The platform automatically generates recommendations on the data storage format based on the dataset metadata. PostgreSQL, MongoDB, Kassandra, Redis can be mentioned as recommendations. The choice of a storage system is based on an analytically built decision tree, the criteria of which are the amount of data, the data structure (the depth of nesting of data elements), the number of data accesses. Examples of criteria for a Redis database: the amount of data is less than 16 GB and the number of hits is in the top 10% by the Platform (the total number of hits by the Platform is calculated from the metadata of the datasets). For data structures with more than 5 levels of nesting, mongoDB is recommended, for flat structures, PostgreSQL. The platform operator in the graphical interface can adjust the recommendations of the platform.
В облачной интеллектуальной платформе создают или выбирают в графическом интерфейсе, или получают из внешних источников задачу, необходимую для решения в области управления городом, которая представляет собой исполняемую модель процесса анализа данных для формирования управленческого решения (модель бизнес-анализа). При создании модели в графическом интерфейсе Платформы автоматически предоставляются рекомендации по ее наполнению. Например, в модели, результатом работы которой является информирование собственника жилого помещения о необходимости оформить земельно-правовые отношения на земельный участок, на котором находится помещение, Платформа автоматически рекомендует модель уточнения адреса собственника помещения, путем отправки цепочки запросов в рамках межведомственного взаимодействия: запрос выписки из ЕГРН в Росреестре по кадастровому номера помещения (результат: номер СНИЛС собственника помещения) – запрос паспортного досье по номеру СНИЛС (результат – данные действующего паспорта РФ), запрос адреса регистрации по паспортным данным (результат – адрес по месту регистрации и/или по месту проживания).In the cloud intelligent platform, a task is created or selected in a graphical interface, or obtained from external sources, which is necessary for a solution in the field of city management, which is an executable model of the data analysis process for forming a management decision (business analysis model). When creating a model in the graphical interface of the Platform, recommendations for its filling are automatically provided. For example, in a model whose work results in informing the owner of a dwelling about the need to formalize land and legal relations for the land plot on which the premises are located, the Platform automatically recommends a model for clarifying the address of the owner of the premises by sending a chain of requests as part of interdepartmental interaction: request for an extract from USRN in Rosreestr by the cadastral number of the premises (result: SNILS number of the owner of the premises) - request for a passport dossier by SNILS number (result - data of a valid Russian passport), request for a registration address according to passport data (result - address at the place of registration and / or place of residence ).
Рекомендации по наполнению модели бизнес-анализа создаются на основе применения алгоритма машинного обучения (случайный лес) аналогично рекомендациям по выбору модели контроля качества данных. Целью алгоритма является определить с какой вероятностью шаг (запрос данных в рамках межведомственного взаимодействия), используемых в моделях бизнес-анализа Платформы, подходит для значений ключей анализируемого датасета.Recommendations for filling the business analysis model are created based on the application of a machine learning algorithm (random forest) similar to the recommendations for choosing a data quality control model. The purpose of the algorithm is to determine with what probability a step (requesting data within the framework of interdepartmental interaction) used in the business analysis models of the Platform is suitable for the key values of the analyzed dataset.
Обучение и оценка алгоритма происходит на датасетах, для которых используется конкретная модель бизнес-анализа. Выборка данных – это значения ключей данных. Ответ алгоритма – это метка класса: 1, если значения ключа используется в конкретной модели бизнес-анализа; 0, если значения ключа не используется в конкретной модели.Training and evaluation of the algorithm takes place on datasets for which a specific business analysis model is used. The data sample is the values of the data keys. The algorithm's response is a class label: 1 if the key value is used in a specific business analysis model; 0 if the key value is not used in the particular model.
Обучение и оценка алгоритма по созданию рекомендаций по наполнению модели бизнес-анализа происходит аналогично обучению алгоритма по созданию рекомендации по использованию моделей контроля качества данных, описанному ранее.The training and evaluation of the algorithm to create recommendations for filling the business analysis model is similar to the training of the algorithm to create recommendations for the use of data quality control models, described earlier.
Если в облачной интеллектуальной платформе отсутствуют рекомендации для решения поставленной задачи, то осуществляют разработку новой модели бизнес-анализа. На основе обработанного датасета, согласно выбранной модели решения поставленной задачи, осуществляют автоматическое выполнение команд модели решения поставленной задачи.If there are no recommendations for solving the task in the cloud intelligent platform, then a new business analysis model is being developed. On the basis of the processed dataset, according to the selected problem solving model, the commands of the problem solving model are automatically executed.
Рекомендательная система платформы постоянно самообучается. В случае, если пользователь в графическом интерфейсе выбирает рекомендованную Платформой модель бизнес-анализа или помечает рекомендованную модель, как неуместную, значение ключа или ключей json-файла добавляется в обучающую выборку с меткой 1 или 0 соответственно, тем самым уточняя обучающую выборку.The platform's recommender system is constantly self-learning. If the user in the graphical interface selects the business analysis model recommended by the Platform or marks the recommended model as inappropriate, the value of the key or keys of the json file is added to the training sample with a label of 1 or 0, respectively, thereby refining the training sample.
В результате выполнения модели бинес-анализа получают рекомендации по решению поставленной задачи в области управления городом. Рекомендации по решению поставленной задачи в области управления городом, в том числе, включают автоматические заполнение шаблонов документов для решения поставленной задачи, вызов внешних сервисов, инициирование межведомственного взаимодействия и прочее.As a result of the implementation of the business analysis model, they receive recommendations for solving the problem in the field of city management. Recommendations for solving the set task in the field of city management, among other things, include automatic filling in of document templates for solving the set task, calling external services, initiating interdepartmental interaction, and so on.
Примеры осуществления предлагаемого решения.Examples of implementation of the proposed solution.
1. Государственная услуга «Изменение разрешенного использование земельного участка» 1. Public service "Changing the permitted use of a land plot"
Юридическое лицо подает заявку на портале государственных услуг на выдачу распоряжения на изменение вида разрешенного использования земельного участка, находящегося в его собственности. В заявке юридическое лицо указывает кадастровый номер земельного участка, данные собственника (название, ИНН), данные физического лица, уполномоченного подать заявку на портале государственных услуг, и отсканированную доверенность, желаемый вид разрешенного использования A legal entity submits an application on the public services portal for issuing an order to change the type of permitted use of a land plot owned by it. In the application, the legal entity indicates the cadastral number of the land plot, the owner's data (name, TIN), the data of the individual authorized to submit an application on the public services portal, and a scanned power of attorney, the desired type of permitted use
Услуга выполняется на базе Платформы. The service is performed on the basis of the Platform.
Подача заявления на портале государственных услуг инициирует запуск управленческого процесса по изменению разрешенного использования земельного участка. Submission of an application on the public services portal initiates the launch of a management process to change the permitted use of a land plot.
Платформа автоматически запрашивает выписку из Единого государственного реестра юридических лиц (ЕГРЮЛ) по указанному номеру ИНН. В случае отсутствия сведений в ЕГРЮЛ или при несоответствии названия организации, указанного в заявке и в ЕГРЮЛ для соответствующего ИНН, Платформа формирует документ с отказом по оказанию государственной услуги по причине некорректно заполненных данных.The platform automatically requests an extract from the Unified State Register of Legal Entities (EGRLE) at the specified TIN number. If there is no information in the Unified State Register of Legal Entities or if the name of the organization specified in the application and in the Unified State Register of Legal Entities for the corresponding TIN does not match, the Platform generates a document with a refusal to provide public services due to incorrectly filled in data.
Платформа распознает текст доверенности и сверяет фамилию, имя и отчество заявителя в доверенности с данными в заявке, сверяет фамилия, имя, отчество генерального директора в доверенности и с данными ЕГРЮЛ, сверяет дату подачи заявки со сроком действия доверенности, при несовпадении хотя бы одно пункта Платформа формирует документ с отказом по оказанию государственной услуги по причине того, что заявитель не уполномочен подавать заявление на оказание соответствующей государственной услуги.The platform recognizes the text of the power of attorney and checks the last name, first name and patronymic of the applicant in the power of attorney with the data in the application, checks the last name, first name, patronymic of the General Director in the power of attorney and with the data of the Unified State Register of Legal Entities, checks the date of filing the application with the validity period of the power of attorney, if at least one item does not match Platform generates a document with a refusal to provide a public service due to the fact that the applicant is not authorized to apply for the provision of the relevant public service.
Платформа автоматически запрашивает выписку из Единого государственного реестра недвижимости (ЕГРН) для указанного в заявке кадастрового номера. При отсутствии данных в ЕГРН Платформа формирует документ с отказом по оказанию государственной услуги по причине некорректно заполненных данных.The platform automatically requests an extract from the Unified State Real Estate Register (EGRN) for the cadastral number specified in the application. In the absence of data in the USRN, the Platform generates a document with a refusal to provide public services due to incorrectly completed data.
Платформа сверяет собственника земельного участка, указанного в выписке из ЕГРН, с данными заявителя. В случае несовпадения данных Платформа формирует документ с отказом по оказанию государственной услуги по причине того, что заявитель не уполномочен подавать заявление на оказание соответствующей государственной услуги.The platform verifies the owner of the land plot specified in the extract from the USRN with the applicant's data. In case of data discrepancy, the Platform generates a document with a refusal to provide a public service due to the fact that the applicant is not authorized to apply for the provision of the relevant public service.
По данным выписки ЕГРН Платформа проверяет, что границы земельного участка установлены в соответствии с требованиями земельного законодательством. В случае, если границы земельного участка не установлены (отсутствуют координаты границ) Платформа формирует документ с отказом по оказанию государственной услуги по причине того, что границы земельного участка не установлены. Также Платформа запускает бизнес-процесс оформления границ земельного участка.According to the USRN extract, the Platform verifies that the boundaries of the land plot are established in accordance with the requirements of land legislation. If the boundaries of the land plot are not established (there are no coordinates of the boundaries), the Platform generates a document with a refusal to provide public services due to the fact that the boundaries of the land plot have not been established. The Platform also launches a business process for registering the boundaries of a land plot.
Платформа на основе пространственного анализа сопоставляет границы земельного участка с зонами, указанными в правилах землепользования и застройки (ПЗЗ). ПЗЗ ведутся в Платформе. При пересечение земельного участка зон с особыми условиями использования территории Платформа формирует документ с отказом по оказанию государственной услуги по причине того, что границы земельного участка пересекают зоны с особыми условиями использования.The platform, based on spatial analysis, compares the boundaries of the land plot with the zones specified in the land use and development rules (LZZ). PPPs are maintained in the Platform. When crossing a land plot of zones with special conditions for the use of the territory, the Platform generates a document with a refusal to provide public services due to the fact that the boundaries of the land plot cross zones with special conditions for use.
Платформа формирует запрос в юридическое подразделение Департамента городского имущества с вопросом о наличии судебных разбирательств на земельном участке. При наличии судебных разбирательств. Платформа формирует документ с отказом по оказанию государственной услуги.The platform generates a request to the legal unit of the City Property Department with a question about the existence of litigation on the land plot. In the presence of litigation. The platform generates a document with a refusal to provide a public service.
В случае, если все проверки пройдены успешно, Платформа формирует документ-распоряжение на изменение разрешенного используемого земельного участка и направляет уведомление в Росреестр на изменение кадастровой стоимости земельного участка.If all checks are successfully passed, the Platform generates an order document to change the permitted usable land plot and sends a notification to Rosreestr to change the cadastral value of the land plot.
Весь процесс происходит без участия оператора, кроме направления документа с отказом или распоряжения заявителю, т.к. по законодательству документ должен быть подписан ЭЦП уполномоченного сотрудника.The whole process takes place without the participation of the operator, except for sending a document with a refusal or an order to the applicant, because according to the legislation, the document must be signed by the digital signature of an authorized employee.
2. Процесс выявления незаконной пристройки этажа в здании 2. The process of detecting an illegal addition of a floor to a building
В платформу по мере создания и обновления загружаются трехмерные модели зданий (датасеты), расположенных на территории города. При поступлении новой модели здания (датасет) в Платформе автоматически запускается процесс выявления изменения этажности здания.Three-dimensional models of buildings (datasets) located on the territory of the city are loaded into the platform as they are created and updated. When a new building model (dataset) arrives, the Platform automatically starts the process of detecting changes in the number of storeys of the building.
Платформа на основе пространственного анализа сопоставляет полученную модель с ранее загруженной моделью. При отсутствии ранее загруженной модели Платформа запускает процесс выявления объектов самовольного строительства, процесс выявления незаконной пристройки этажа в здании завершается.The platform based on spatial analysis matches the received model with the previously loaded model. In the absence of a previously loaded model, the Platform starts the process of identifying objects of unauthorized construction, the process of identifying an illegal extension of a floor in a building is completed.
При наличии ранее загруженной модели здания Платформа на основе пространственного анализа сопоставляет высоты моделей. Если разница в высоте модели не превышает 1 метр, то процесс выявления незаконной пристройки этажа в здании завершается. В противном случае Платформа на основе пространственного анализа определяет здание, соответствующее модели и поставленное на кадастровый учет.If you have a previously loaded building model, the Platform matches the heights of the models based on spatial analysis. If the difference in the height of the model does not exceed 1 meter, then the process of detecting an illegal extension of a floor in the building is completed. Otherwise, the Platform, based on spatial analysis, determines the building corresponding to the model and put on the cadastral register.
Если здание отсутствует Платформа запускает процесс выявления объектов самовольного строительства, процесс выявления незаконной пристройки этажа в здании завершается.If there is no building, the Platform starts the process of identifying unauthorized construction objects, and the process of identifying an illegal addition of a floor in the building is completed.
При наличии здания Платформа запрашивает выписку из ЕГРН. ПО данным выписки из ЕГРН Платформа проверяет наличие земельного участка. If there is a building, the Platform requests an extract from the USRN. According to the extract from the USRN, the Platform checks the availability of a land plot.
По данным выписки из ЕГРН Платформа сверяет дату постановки здания на кадастровый учет и дату предпоследней загрузки модели здания в Платформу. Если дата постановки на учет больше даты загрузки, то Платформа запрашивает разрешение на строительство земельный участок, на котором расположено здания (по данным выписки из ЕГРН), за рассматриваемый период. При отсутствии разрешения на строительства или дата постановки здания на кадастровый учет меньше даты загрузки предпоследней загрузки модели, Платформа ставит задание на проверку здания и формирует документ-основание для проведения проверки.According to the extract from the USRN, the Platform verifies the date the building was registered with the cadastral register and the date of the penultimate loading of the building model into the Platform. If the date of registration is greater than the date of loading, then the Platform requests a construction permit for the land plot on which the building is located (according to the extract from the USRN) for the period under review. In the absence of a building permit or the date of registration of the building for cadastral registration is less than the date of loading the penultimate loading of the model, the Platform sets a task for checking the building and generates a document-the basis for the verification.
На Фиг. 2 далее будет представлена общая схема вычислительного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленного решения. On FIG. 2, the general scheme of the computing device (200) will be presented below, providing the data processing necessary for the implementation of the claimed solution.
В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).In general, the device (200) contains components such as: one or more processors (201), at least one memory (202), data storage (203), input/output interfaces (204), I/O ( 205), networking tools (206).
Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функциональности одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).The processor (201) of the device performs the basic computing operations necessary for the operation of the device (200) or the functionality of one or more of its components. The processor (201) executes the necessary machine-readable instructions contained in the main memory (202).
Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. The memory (202) is typically in the form of RAM and contains the necessary software logic to provide the required functionality.
Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.The data storage means (203) can be in the form of HDD, SSD disks, raid array, network storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray disks), etc. The means (203) allows long-term storage of various types of information, for example, the above-mentioned files with user data sets, a database containing records of time intervals measured for each user, user identifiers, etc.
Интерфейсы (204) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.Interfaces (204) are standard means for connecting and working with the server part, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire, etc.
Выбор интерфейсов (204) зависит от конкретного исполнения устройства (200), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.The choice of interfaces (204) depends on the specific implementation of the device (200), which can be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, and the like.
В качестве средств В/В данных (205) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.As means of I/O data (205) in any embodiment of the system that implements the described method, the keyboard must be used. The keyboard hardware can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a separate device connected to a desktop computer, server, or other computer device. In this case, the connection can be either wired, in which the keyboard connection cable is connected to the PS / 2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports. In addition to the keyboard, I/O devices can also use: joystick, display (touchscreen), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.Means of network interaction (206) are selected from a device that provides network data reception and transmission, for example, an Ethernet card, WLAN/Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc. With the help of means (205) the organization of data exchange over a wired or wireless data transmission channel, for example, WAN, PAN, LAN (LAN), Intranet, Internet, WLAN, WMAN or GSM, is provided.
Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210).The components of the device (200) are connected via a common data bus (210).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.In these application materials, a preferred disclosure of the implementation of the claimed technical solution was presented, which should not be used as limiting other, private embodiments of its implementation, which do not go beyond the scope of the requested legal protection and are obvious to specialists in the relevant field of technology.
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2021/000627 WO2023128789A1 (en) | 2021-12-28 | 2021-12-30 | Cloud-based intelligent decision-making platform for managing a smart city |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2790038C1 true RU2790038C1 (en) | 2023-02-14 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130304904A1 (en) * | 2012-05-09 | 2013-11-14 | Everbridge, Inc. | Systems and methods for metric-based cloud management |
| US8745239B2 (en) * | 2010-04-07 | 2014-06-03 | Limelight Networks, Inc. | Edge-based resource spin-up for cloud computing |
| RU2643479C2 (en) * | 2013-12-13 | 2018-02-01 | Интел Корпорейшн | Platform, self-managing resources based on contextual understanding of user's plans and purposes |
| CN105023188B (en) * | 2015-01-07 | 2019-12-10 | 泰华智慧产业集团股份有限公司 | Digital city management data sharing system based on cloud data |
| CN111092938A (en) * | 2019-12-04 | 2020-05-01 | 重庆特斯联智慧科技股份有限公司 | Smart city management system based on cloud platform |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8745239B2 (en) * | 2010-04-07 | 2014-06-03 | Limelight Networks, Inc. | Edge-based resource spin-up for cloud computing |
| US20130304904A1 (en) * | 2012-05-09 | 2013-11-14 | Everbridge, Inc. | Systems and methods for metric-based cloud management |
| RU2643479C2 (en) * | 2013-12-13 | 2018-02-01 | Интел Корпорейшн | Platform, self-managing resources based on contextual understanding of user's plans and purposes |
| CN105023188B (en) * | 2015-01-07 | 2019-12-10 | 泰华智慧产业集团股份有限公司 | Digital city management data sharing system based on cloud data |
| CN111092938A (en) * | 2019-12-04 | 2020-05-01 | 重庆特斯联智慧科技股份有限公司 | Smart city management system based on cloud platform |
Non-Patent Citations (1)
| Title |
|---|
| Michael Maurer et al. "Adaptive resource configuration for Cloud infrastructure management", опубл. 28.02.2013 на 16 страницах [найдено 13.01.2023], размещено в Интернет по адресу URL: https://www.sciencedirect.com/science/article/pii/S0167739X12001525. Felipe Marques Pires et al. "Integrated system architecture for decision-making and urban planning in smart cities", опубл. 12.08.2019 на 15 страницах [найдено 13.01.2023], размещено в Интернет по адресу URL: https://journals.sagepub.com/doi/pdf/10.1177/1550147719867829. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816544B2 (en) | Composite machine learning system for label prediction and training data collection | |
| WO2021017679A1 (en) | Address information parsing method and apparatus, system and data acquisition method | |
| Bennett et al. | Transformations, transitions, or tall tales? A global review of the uptake and impact of NoSQL, blockchain, and big data analytics on the land administration sector | |
| WO2021042521A1 (en) | Contract automatic generation method, computer device and computer non-volatile storage medium | |
| CN111192012B (en) | Item processing method, item processing device, server and storage medium | |
| CN108876166A (en) | Financial risk authentication processing method, device, computer equipment and storage medium | |
| CN111149100A (en) | Determining thesaurus interrelationships across documents based on named entity parsing and recognition | |
| CN106796595A (en) | For the data conversion recommended and the declarative language and visualization system repaired | |
| CN113434623A (en) | Fusion method based on multi-source heterogeneous space planning data | |
| CN110909970A (en) | Credit scoring method and device | |
| US10019507B2 (en) | Detection and creation of appropriate row concept during automated model generation | |
| US11875412B2 (en) | System for fast composing, launch and configuration of customizable second-tier transfer structures with build-in auditing and monitoring structures and method thereof | |
| EP3965050A1 (en) | Systems and methods for deriving rating for properties | |
| US11544328B2 (en) | Method and system for streamlined auditing | |
| CN113946690A (en) | Potential customer mining method and device, electronic equipment and storage medium | |
| Nic Lochlainn et al. | Improving mapping for Ebola response through mobilising a local community with self-owned smartphones: Tonkolili District, Sierra Leone, January 2015 | |
| US11544327B2 (en) | Method and system for streamlined auditing | |
| RU2790038C1 (en) | Cloud smart decision-making platform for smart city control | |
| CN115577983B (en) | Enterprise task matching method based on block chain, server and storage medium | |
| WO2023128789A1 (en) | Cloud-based intelligent decision-making platform for managing a smart city | |
| CN116624226A (en) | Coal mine disaster data acquisition, analysis and visual display system | |
| WO2019203693A1 (en) | Method of designing information space topology for a management information system | |
| Wang | [Retracted] Design of Chinese Teaching Evaluation System for International Students under the Background of Data Mining | |
| CN117296064A (en) | Interpretable artificial intelligence in a computing environment | |
| Touzani et al. | Towards Geographic Requirements Engineering |