RU2747214C1 - Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities - Google Patents

Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities Download PDF

Info

Publication number
RU2747214C1
RU2747214C1 RU2020119318A RU2020119318A RU2747214C1 RU 2747214 C1 RU2747214 C1 RU 2747214C1 RU 2020119318 A RU2020119318 A RU 2020119318A RU 2020119318 A RU2020119318 A RU 2020119318A RU 2747214 C1 RU2747214 C1 RU 2747214C1
Authority
RU
Russia
Prior art keywords
neural network
training
algorithms
validation
weights
Prior art date
Application number
RU2020119318A
Other languages
Russian (ru)
Inventor
Виктор Сергеевич Балакчин
Анастасия Викторовна Балакчина
Евгения Владимировна Гасникова
Лариса Желалудиновна Благушина
Дмитрий Александрович Гаврилов
Сергей Витальевич Гамиловский
Артем Геннадьевич Еременко
Мария Александровна Гутор
Николай Николаевич Ефанов
Вячеслав Юрьевич Ефимов
Илья Леонидович Каврецкий
Владимир Петрович Косицын
Андрей Георгиевич Лапушкин
Дмитрий Александрович Маслов
Александр Моисеевич Местецкий
Леонид Моисеевич Местецкий
Андрей Богданович Пунь
Павел Борисович Родионов
Андрей Борисович Семенов
Глеб Михайлович Соколов
Елена Александровна Татаринова
Андрей Владимирович Федоров
Владимир Николаевич Фонин
Юрий Николаевич Фонин
Антон Александрович Фортунатов
Original Assignee
Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ filed Critical Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ
Priority to RU2020119318A priority Critical patent/RU2747214C1/en
Application granted granted Critical
Publication of RU2747214C1 publication Critical patent/RU2747214C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

FIELD: image data processing.SUBSTANCE: invention relates to a complex of training and/or re-training of processing algorithms for aerial photographs in visible and far infrared band. The complex is comprised of sequentially connected import module, a training data database, a sample generation module, a neural network core whereto a neuron weight database unit and a neural network model catalog are connected, a validation module whereto a validation data database is connected, wherein the first output of the neural network core is connected with the input of the neuron weight database providing storage of the weights of the trained neural network algorithms, the second input of the neural network core is connected with the output of the neural network model catalog, the second input of the validation module is connected with the validation data database providing storage of validation data for continuous control of the training and/or re-training process, wherein the training data database is formed accounting for the possibility of excluding ambiguous examples from the loss function calculation and adjusting the weights of the neural network, using dynamic in-depth analysis of negative samples, the neural network model catalog is configured to gradually complicate the architecture of the neural network model while maintaining the weights of the trained neurons of the neural network algorithms by adding new layers to the full-contraction neural network, the sample generation module is configured to automate the processing of training data and the training sample forming.EFFECT: improved quality of training processing algorithms for aerial photographs.1 cl, 2 dwg

Description

Область техники.The field of technology.

Изобретение относится к компьютерным системам, основанным на биологических моделях, а именно к способам обучения и/или дообучения алгоритмов на основе полносверточных нейронных сетей, предназначенным для обнаружения, локализации и классификации строений вне населенных пунктов на аэрофотоснимках видимого и дальнего инфракрасного диапазонов.The invention relates to computer systems based on biological models, in particular to methods of training and / or additional training of algorithms based on full convolutional neural networks, designed to detect, localize and classify buildings outside settlements on aerial photographs of the visible and far infrared ranges.

Уровень техникиState of the art

Нейронные сети широко применяются для решения задач детектирования, локализации и классификации алгоритмом машинного зрения объектов интереса известного класса на изображениях произвольного размера. В качестве изображений для обработки могут использоваться изображения, полученные с помощью аэрофотосъемки видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов.Neural networks are widely used to solve problems of detection, localization and classification by the machine vision algorithm of objects of interest of a known class in images of arbitrary size. Images obtained using aerial photography of the visible and far infrared ranges can be used as images for processing in order to detect, localize and classify buildings outside settlements.

Одним из наиболее существенных недостатков алгоритмов машинного обучения является необходимость создания для их обучения и работы базы образцов изображений или обучающей выборки с обозначенными объектами интереса. Создание данных баз образцов обычно выполняется вручную человеком-оператором, что представляет трудоемкую задачу, требующую достаточно большой выборки изображений, содержащих объекты интереса, снятые в различных видах и ракурсах. Известны фрэймворки, обеспечивающие автоматизацию процесса разметки изображений, такие как Amazon SageMaker, https://handl.ai/ Handl, Google Data Labeling https://cloud.google.com/datalabeling/docs/ к недостаткам существующих решений можно отнести недостаточную точность разметки изображений аэрофотоснимков видимого и дальнего инфракрасного диапазонов для обучения алгоритмов с целью обнаружения, локализации и классификации строений вне населенных пунктов, и отсутствие возможности непрерывного контроля процесса обучения и/или дообучения алгоритмов.One of the most significant drawbacks of machine learning algorithms is the need to create a database of image samples or a training sample with designated objects of interest for their training and operation. The creation of sample databases is usually done manually by a human operator, which is a laborious task requiring a large enough sample of images containing objects of interest captured in various views and angles. There are known frameworks that provide automation of the process of marking up images, such as Amazon SageMaker, https://handl.ai/ Handl, Google Data Labeling https://cloud.google.com/datalabeling/docs/; disadvantages of existing solutions include insufficient accuracy of markup images of aerial photographs of the visible and far infrared ranges for training algorithms in order to detect, localize and classify buildings outside settlements, and the lack of the possibility of continuous monitoring of the learning process and / or additional training of algorithms.

Для обучения алгоритмов полносверточных нейросетей, как правило, используются, так называемые, библиотеки глубокого обучения. Процесс обучения в библиотеках глубокого обучения строится на возможностях высоко-параллельных вычислений на графических ускорителях (GPGPU- General-purpose computing for graphics processing units, неспециализированные вычисления на графических процессорах) [1]. Известны библиотеки глубокого обучения, такие как Caffe [2] и Tensorflow [3]. Недостатком известных решений является невозможность их применения в случае отсутствия достаточного количества изображений объектов интереса - строений вне населенных пунктов, для создания обучающих выборок. Изображения, имеющиеся в свободном доступе, не содержат достаточного количества аэрофотоснимков одной и той же местности, снятых в разное время суток в видимом и дальнем инфракрасном диапазонах, а также не содержат необходимого количества объектов интереса или достаточного количества ракурсов объектов интереса, требуемых для решения поставленной задачи. Кроме того, аэрофотоснимки, предназначенные для распознавания, могут быть получены в разных условиях и иметь различное качество, что требует разных данных для обучения, тестирования и валидации, а также не позволяет формировать обучающие выборки для обучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов в автоматическом или полуавтоматическом режимах.To train algorithms of full-convolutional neural networks, as a rule, so-called deep learning libraries are used. The learning process in deep learning libraries is based on the capabilities of highly parallel computing on graphics accelerators (GPGPU - General-purpose computing for graphics processing units) [1]. There are known deep learning libraries such as Caffe [2] and Tensorflow [3]. The disadvantage of the known solutions is the impossibility of their application in the absence of a sufficient number of images of objects of interest - buildings outside settlements, to create training samples. Freely available images do not contain a sufficient number of aerial photographs of the same area, taken at different times of the day in the visible and far infrared ranges, and also do not contain the required number of objects of interest or a sufficient number of angles of objects of interest required to solve the problem. ... In addition, aerial photographs intended for recognition can be obtained under different conditions and have different quality, which requires different data for training, testing and validation, and also does not allow the formation of training samples for training algorithms for processing aerial photographs of the visible and far infrared ranges for the purpose of detection, localization and classification of buildings outside settlements in automatic or semi-automatic modes.

Другим недостатком существующих решений обучения и/или дообучения нейронных сетей, предназначенных для обработки аэрофотоснимков с целью обнаружения, локализации и классификации объектов интереса, является то, что разработка таких алгоритмов требует обязательного участия высококвалифицированного специалиста по машинному обучению, в том числе для выполнения работ по обновлению программных компонент, обучению и/или дообучению существующих алгоритмов.Another drawback of existing solutions for training and / or retraining of neural networks designed for processing aerial photographs in order to detect, localize and classify objects of interest is that the development of such algorithms requires the mandatory participation of a highly qualified machine learning specialist, including to perform updating work. software components, training and / or additional training of existing algorithms.

Разработанный программно-аппаратный комплекс позволяет устранить указанные недостатки.The developed hardware-software complex allows to eliminate the indicated disadvantages.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

Техническим результатом предлагаемого изобретения является повышение эффективности и обеспечение непрерывности процесса обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов, стабилизация и ускорение процесса обучения и/или дообучения, за счет непрерывного контроля процесса обучения и/или дообучения алгоритмов, формирование обучающих выборок в автоматическом или полуавтоматическом режимах, постепенное автоматическое усложнение архитектуры нейросети при сохранении весов обученных нейронов нейросетевых алгоритмов для обеспечения многоступенчатого обучения без привлечения высококвалифицированного специалиста по машинному обучению.The technical result of the proposed invention is to increase the efficiency and ensure the continuity of the learning process and / or additional training of algorithms for processing aerial photographs of the visible and far infrared ranges in order to detect, localize and classify buildings outside settlements, stabilize and accelerate the learning process and / or additional training, due to continuous monitoring the learning process and / or additional training of algorithms, the formation of training samples in automatic or semi-automatic modes, the gradual automatic complication of the architecture of the neural network while maintaining the weights of the trained neurons of the neural network algorithms to ensure multi-stage learning without the involvement of a highly qualified machine learning specialist.

Предлагаемый программно-аппаратный комплекс (см. схему на фиг. 1) состоит из последовательно соединенных: модуля импорта 1, базы данных (БД) обучающих данных 2, модуля генерации выборок 4, нейросетевого ядра 5, к которому подсоединены блок базы данных весов нейронов 3 и каталог нейросетевых моделей 7, модуля валидации 6, к которому подсоединена база данных валидационных данных 8, при этом первый выход нейросетевого ядра 5 соединен со входом блока базы данных весов нейронов 3, обеспечивающего сохранение весов обученных нейросетевых алгоритмов, второй вход нейросетевого ядра 5 соединен с выходом каталога нейросетевых моделей 7, второй вход модуля валидации 6 соединен с базой данных валидационных данных 8, обеспечивающей хранение валидационных данных для непрерывного контроля процесса обучения и/или дообучения, причем каталог нейросетевых моделей 7 выполнен с возможностью постепенного автоматического усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов, что обеспечивает многоступенчатое обучение, модуль генерации выборок 4 выполнен с возможностью обеспечения автоматизации процесса обработки обучающих данных, полученных в различных условиях и имеющих различное качество, и формирования обучающих выборок в автоматическом или полуавтоматическом режиме.The proposed hardware and software complex (see the diagram in Fig. 1) consists of serially connected: import module 1, database (DB) of training data 2, sample generation module 4, neural network core 5, to which the neuron weights database block 3 is connected and the catalog of neural network models 7, validation module 6, to which the validation data base 8 is connected, while the first output of the neural network core 5 is connected to the input of the neuron weights database block 3, which ensures the storage of the weights of the trained neural network algorithms, the second input of the neural network core 5 is connected to the output of the catalog of neural network models 7, the second input of the validation module 6 is connected to the database of validation data 8, which provides storage of validation data for continuous monitoring of the learning process and / or additional training, and the catalog of neural network models 7 is made with the possibility of gradual automatic complication of the architecture of the neural network model while maintaining the weights trained neurons neuros network algorithms, which provides multi-stage training, the sample generation module 4 is made with the ability to automate the processing of training data obtained in different conditions and having different quality, and the formation of training samples in automatic or semi-automatic mode.

Осуществление изобретенияImplementation of the invention

Осуществление предлагаемого изобретения поясняется схемой программно-аппаратного комплекса, предназначенного для обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов, представленной на фиг. 1. С помощью модуля импорта 1 формируется база обучающих данных, данные из которой поступают в БД обучающих данных 2, а из нее в модуль генерации выборок 4. Сформированные обучающие выборки из модуля генерации выборок 4, выполненного с возможностью обеспечения автоматизации процесса обработки обучающих данных, полученных в различных условиях и имеющих различное качество, и формирования обучающих выборок в автоматическом или полуавтоматическом режиме, передаются в нейросетевое ядро 5 с возможностью выбора нейросети для обучения и/или дообучения из каталога нейросетевых моделей 7 с возможностью постепенного автоматического усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов для обеспечения многоступенчатого обучения, при этом для контроля процесса обучения и/или дообучения организована база данных валидационных данных 8, контроль процесса обучения и/или дообучения осуществляется в модуле валидации 6. По окончании процесса обучения формируется отчет о проведенном обучении.The implementation of the invention is illustrated by a diagram of a software and hardware complex intended for training and / or additional training of algorithms for processing aerial photographs of the visible and far infrared ranges in order to detect, localize and classify buildings outside settlements, shown in Fig. 1.Using the import module 1, a training database is formed, the data from which is fed to the training data database 2, and from it to the sample generation module 4. Formed training samples from the sample generation module 4, made with the ability to automate the processing of training data, obtained in different conditions and having different quality, and the formation of training samples in automatic or semi-automatic mode, are transmitted to the neural network core 5 with the possibility of choosing a neural network for training and / or additional training from the catalog of neural network models 7 with the possibility of gradual automatic complication of the architecture of the neural network model while maintaining the weights trained neurons of neural network algorithms to provide multi-stage learning, while a validation data database 8 is organized to control the learning process and / or additional training, control of the training process and / or additional training is carried out in the validation module 6. At the end of the learning process, a report on the training carried out is compiled.

Процесс формирования БД обучающих данных 2 осуществляется с учетом того, что в обучающую выборку не должны быть включены изображения объектов, в отношении которых у оператора-эксперта нет полной уверенности, являются ли они объектом интереса или нет, в нашем случае это обнаружение, локализация и классификация строений вне населенных пунктов при обработке аэрофотоснимков видимого и дальнего инфракрасного диапазонов. В процессе формирования обучающих данных обеспечивается возможность отмечать на изображениях области, в наличии объектов интереса на которых, он не уверен. В случае, если разметка объектов какого-либо типа затруднена, например, объектов слишком много, эксперт может игнорировать данные объекты, и это не приводит к ухудшению базы образцов и обучающей выборки. Вмешательство эксперта на этом заканчивается и дальнейшее обучение и/или дообучение алгоритмов на основе полносверточных нейронных сетей в рамках предлагаемого программно-аппаратного комплекса проходит без его участия. Образец такой разметки представлен на фиг. 2.The process of forming the database of training data 2 is carried out taking into account the fact that the training set should not include images of objects in relation to which the operator-expert does not have full confidence whether they are an object of interest or not, in our case this is detection, localization and classification buildings outside settlements when processing aerial photographs of the visible and far infrared ranges. In the process of forming training data, it is possible to mark areas on the images, in the presence of objects of interest on which, he is not sure. If the marking of objects of any type is difficult, for example, there are too many objects, the expert can ignore these objects, and this does not lead to a deterioration in the base of samples and training sample. This is where the expert's intervention ends, and further training and / or additional training of algorithms based on fully convolutional neural networks within the framework of the proposed hardware and software complex takes place without his participation. An example of such markings is shown in Fig. 2.

Для стабилизации и ускорения обучения обеспечивается возможность постепенного автоматического усложнения архитектуры нейросетевой модели из каталога нейросетевых моделей 7 при сохранении весов обученных нейронов нейросетевых алгоритмов, а также исключение неоднозначных примеров (это примеры, когда фрагмент изображения визуально схож с объектом интереса) из расчета функции потерь, которая используется для оценки разницы между безошибочными и полученными ответами нейронной сети, и корректировок весов нейронов нейросетевых алгоритмов. Осуществляется возможность введения нулевого коэффициента в функцию потерь для элементов, расстояние до центра которых находится в заданной области. Зона такого расстояния называется зоной нулевого штрафа.To stabilize and accelerate learning, it is possible to gradually automatically complicate the architecture of the neural network model from the catalog of neural network models 7 while maintaining the weights of the trained neurons of neural network algorithms, as well as to exclude ambiguous examples (these are examples when an image fragment is visually similar to the object of interest) from the calculation of the loss function, which is used to estimate the difference between the error-free and received responses of the neural network, and adjust the weights of the neurons of the neural network algorithms. It is possible to introduce a zero coefficient into the loss function for elements, the distance to the center of which is in a given area. The zone of this distance is called the zero penalty zone.

Используется глубинный анализ отрицательных примеров, который заключается в том, что в полносверточную нейронную сеть добавляются новые слои для усложнения ее архитектуры, что ведет к повышению качества и ускорению процесса обучения и/или дообучения. В БД обучающих данных 2 включаются образцы фона, которые могут считаться сложными для восприятия человеком, например, области фона, визуально схожие по форме или внешнему виду с объектами интереса, данные образцы могут добавляться в обучающие выборки чаще, чем другие образцы фона. Дополнительное обучение на таких усложненных примерах улучшает качество обнаружения и локализации обученной нейросети.An in-depth analysis of negative examples is used, which consists in the fact that new layers are added to a fully convolutional neural network to complicate its architecture, which leads to an increase in the quality and acceleration of the learning and / or retraining process. The training database 2 includes background samples that can be considered difficult for human perception, for example, background areas that are visually similar in shape or appearance to objects of interest, these samples can be added to training samples more often than other background samples. Additional training on such complicated examples improves the quality of detection and localization of the trained neural network.

Кроме того, используется и динамический глубинный анализ отрицательных примеров. Выходными данными нейронной сети является тепловая карта, на которой при помощи изменения цвета отображается вероятность нахождения объектов интереса, при этом теплые (красный, оранжевый, желтый) цвета показывают места, имеющие наибольшую вероятность нахождения объектов интереса, холодные цвета (фиолетовый, синий, зеленый) показывают места с наименьшей вероятностью нахождения объектов интереса. Выходные данные нейронной сети, которыми является тепловая карта объектов интереса, при обучении обнаружению имеет различное цветовое изображение в начале, середине и конце обучения. В начале обучения на тепловой карте имеется множество ложноположительных откликов. Коэффициент, балансирующий объекты и фон (балансирующий коэффициент), обеспечивает оптимальную сходимость обучения именно при таком режиме обучения. В середине и в конце обучения количество ложноположительных откликов незначительно. Данный эффект обусловлен тем, что нейросеть уже достаточно обучена отличать объект от фона с достаточно высокой степенью уверенности. Необходимо увеличение балансирующего коэффициента для обеспечения более высокого качества обнаружения. В элементы ответов нейросети, соответствующие фону, вводятся различные балансирующие коэффициенты для разных периодов обучения. В начале обучения, при большом количестве ложноположительных ответов нейросети для отрицательных примеров, балансирующий коэффициент не применяется для большинства ответов (откликов), соответствующих фону. В середине и конце обучения балансирующий коэффициент применяется для редких ложноположительных откликов, обеспечивая сложным отрицательным примерам более высокий штраф, чем простым отрицательным примерам.In addition, dynamic in-depth analysis of negative examples is also used. The output of the neural network is a heat map, on which, by changing the color, the probability of finding objects of interest is displayed, while warm (red, orange, yellow) colors show the places with the highest probability of finding objects of interest, cold colors (purple, blue, green) show places with the lowest probability of finding objects of interest. The output data of the neural network, which is a heat map of objects of interest, when learning to detect, has a different color image at the beginning, middle and end of training. At the beginning of training, there are many false positives on the heatmap. The coefficient balancing the objects and the background (balancing coefficient) ensures optimal training convergence in this particular training mode. In the middle and at the end of training, the number of false positive responses is negligible. This effect is due to the fact that the neural network is already sufficiently trained to distinguish the object from the background with a sufficiently high degree of confidence. An increase in the balancing factor is required to ensure a better detection quality. Different balancing coefficients for different training periods are introduced into the elements of the neural network responses corresponding to the background. At the beginning of training, with a large number of false positive responses of the neural network for negative examples, the balancing coefficient is not applied for most of the responses (responses) corresponding to the background. In the middle and at the end of training, a balancing factor is applied for rare false positives, providing complex negative examples with a higher penalty than simple negative examples.

Краткое описание чертежейBrief Description of Drawings

На фиг. 1 представлена схема программно-аппаратного комплекса, предназначенного для обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов.FIG. 1 shows a diagram of a hardware and software complex designed for training and / or additional training of algorithms for processing aerial photographs of the visible and far infrared ranges in order to detect, localize and classify buildings outside settlements.

На фиг. 2 приведен образец разметки области нулевого штрафа.FIG. 2 shows a sample of the marking of the zero penalty area.

Область нулевого штрафа при обозначении для задачи обнаружения и локализации строений выделена пунктиром.The area of zero penalty for designation for the task of detecting and localizing buildings is highlighted with a dotted line.

Технический результат достигается обеспечением непрерывности процесса обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов за счет формирования обучающих выборок в автоматическом или полуавтоматическом режимах, исключением неоднозначных примеров из расчета функции потерь и корректировок весов нейросети с использованием динамического глубинного анализа отрицательных примеров, автоматизации процесса обработки обучающих данных, полученных в различных условиях и имеющих различное качество, расширением функциональных возможностей, повышением качества и ускорением процесса обучения и/или дообучения за счет автоматического обновления алгоритмов путем автоматического усложнения архитектуры нейронной сети при сохранении весов обученных нейронов нейросетевых алгоритмов для обеспечения многоступенчатого обучения без привлечения высококвалифицированного специалиста по машинному обучению.The technical result is achieved by ensuring the continuity of the training process and / or additional training of algorithms for processing aerial photographs of the visible and far infrared ranges in order to detect, localize and classify buildings outside settlements by forming training samples in automatic or semi-automatic modes, excluding ambiguous examples from the calculation of the loss function and adjustments weights of a neural network using dynamic in-depth analysis of negative examples, automating the processing of training data obtained in various conditions and having different quality, expanding functionality, improving the quality and accelerating the learning process and / or additional training by automatically updating algorithms by automatically complicating the architecture of the neural network while maintaining the weights of the trained neurons of neural network algorithms to provide multi-stage training without the involvement of a highly qualified specialist but on machine learning.

Библиографические данные источников информацииBibliographic data of information sources

1. Fung J., Tang F., Mann S. Mediated Reality using Computer Graphics Hardware for Computer Vision // Proceedings of the International Symposium on Wearable Computing 2002 (ISWC2002). Seattle, Washington, USA. P. 83-89.1. Fung J., Tang F., Mann S. Mediated Reality using Computer Graphics Hardware for Computer Vision // Proceedings of the International Symposium on Wearable Computing 2002 (ISWC2002). Seattle, Washington, USA. P. 83-89.

2. Caffe [Electronic resource]. URL: http://caffe.berkeleyvision.org/ (accessed: 20.10.2018).2. Caffe [Electronic resource]. URL: http://caffe.berkeleyvision.org/ (accessed: 10/20/2018).

3. Tensorflow [Electronic resource]. URL: https://www.tensorflow.org/ (accessed: 20.10.2018).3. Tensorflow [Electronic resource]. URL: https://www.tensorflow.org/ (accessed: 10/20/2018).

4. Crawford C. An Introduction to Deep Learning [Electronic resource]. URL: https://blog.algorithmia.com/introduction-to-deep-learning/ (accessed: 13.07.2018).4. Crawford C. An Introduction to Deep Learning [Electronic resource]. URL: https://blog.algorithmia.com/introduction-to-deep-learning/ (accessed: 13.07.2018).

Claims (1)

Программно-аппаратный комплекс, предназначенный для обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов с возможностью обновления алгоритмов обработки аэрофотоснимков, расширения рабочего диапазона параметров, ввода новых классов объектов без привлечения высококвалифицированного специалиста по машинному обучению, состоящий из последовательно соединенных модуля импорта, базы данных обучающих данных, модуля генерации выборок, нейросетевого ядра, к которому подсоединены блок базы данных весов нейронов и каталог нейросетевых моделей, модуля валидации, к которому подсоединена база данных валидационных данных, при этом первый выход нейросетевого ядра соединен с входом базы данных весов нейронов, обеспечивающей сохранение весов обученных нейросетевых алгоритмов, второй вход нейросетевого ядра соединен с выходом каталога нейросетевых моделей, второй вход модуля валидации соединен с базой данных валидационных данных, обеспечивающей хранение валидационных данных для непрерывного контроля процесса обучения и/или дообучения, причем формирование базы данных обучающих данных ведется с учетом возможности исключения неоднозначных примеров из расчета функции потерь и корректировок весов нейросети, с использованием динамического глубинного анализа отрицательных примеров, каталог нейросетевых моделей выполнен с возможностью постепенного усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов посредством добавления в полносверточную нейронную сеть новых слоев, модуль генерации выборок выполнен с возможностью обеспечения автоматизации процесса обработки обучающих данных и формирования обучающих выборок.A software and hardware complex designed for training and / or additional training of algorithms for processing aerial photographs of the visible and far infrared ranges in order to detect, localize and classify buildings outside settlements with the possibility of updating algorithms for processing aerial photographs, expanding the working range of parameters, introducing new classes of objects without involving a highly qualified machine learning specialist, consisting of a serially connected import module, a training data database, a sample generation module, a neural network core to which a neuron weights database block and a neural network models catalog are connected, a validation module to which a validation database is connected, while the first output of the neural network core is connected to the input of the database of neuron weights, which ensures the storage of the weights of the trained neural network algorithms, the second input of the neural network core is connected to the output of the catalog of neural network models, the second input is mode For validation, it is connected to the validation data database, which provides storage of validation data for continuous monitoring of the training and / or additional training process, and the formation of the training data database is carried out taking into account the possibility of excluding ambiguous examples from the calculation of the loss function and adjustments to the neural network weights, using dynamic in-depth analysis negative examples, the catalog of neural network models is made with the possibility of gradual complication of the architecture of the neural network model while maintaining the weights of the trained neurons of the neural network algorithms by adding new layers to the full convolutional neural network, the sample generation module is made with the ability to automate the processing of training data and the formation of training samples.
RU2020119318A 2020-06-10 2020-06-10 Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities RU2747214C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020119318A RU2747214C1 (en) 2020-06-10 2020-06-10 Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020119318A RU2747214C1 (en) 2020-06-10 2020-06-10 Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities

Publications (1)

Publication Number Publication Date
RU2747214C1 true RU2747214C1 (en) 2021-04-29

Family

ID=75850805

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020119318A RU2747214C1 (en) 2020-06-10 2020-06-10 Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities

Country Status (1)

Country Link
RU (1) RU2747214C1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2411468C1 (en) * 2009-09-21 2011-02-10 Закрытое акционерное общество "Научно-технический центр "Реагент" Method of evaluating quantitative characteristics of probed earth's surface
US20170228871A1 (en) * 2012-06-22 2017-08-10 Google Inc. System and method for labelling aerial images
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
RU2641447C1 (en) * 2016-12-27 2018-01-17 Общество с ограниченной ответственностью "ВижнЛабс" Method of training deep neural networks based on distributions of pairwise similarity measures
CN109492580A (en) * 2018-11-08 2019-03-19 北方工业大学 Multi-size aerial image positioning method based on full convolution network field saliency reference
RU2698649C1 (en) * 2018-01-16 2019-08-29 Акционерное общество "Федеральный научно-производственный центр "Нижегородский научно-исследовательский институт радиотехники" Method of detecting and classifying small objects on images obtained by synthetic aperture radar stations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2411468C1 (en) * 2009-09-21 2011-02-10 Закрытое акционерное общество "Научно-технический центр "Реагент" Method of evaluating quantitative characteristics of probed earth's surface
US20170228871A1 (en) * 2012-06-22 2017-08-10 Google Inc. System and method for labelling aerial images
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
RU2641447C1 (en) * 2016-12-27 2018-01-17 Общество с ограниченной ответственностью "ВижнЛабс" Method of training deep neural networks based on distributions of pairwise similarity measures
RU2698649C1 (en) * 2018-01-16 2019-08-29 Акционерное общество "Федеральный научно-производственный центр "Нижегородский научно-исследовательский институт радиотехники" Method of detecting and classifying small objects on images obtained by synthetic aperture radar stations
CN109492580A (en) * 2018-11-08 2019-03-19 北方工业大学 Multi-size aerial image positioning method based on full convolution network field saliency reference

Similar Documents

Publication Publication Date Title
CN107945204B (en) Pixel-level image matting method based on generation countermeasure network
US11487995B2 (en) Method and apparatus for determining image quality
CN107730000A (en) Refrigerant leakage detection method and device for air conditioner
CN112434721A (en) Image classification method, system, storage medium and terminal based on small sample learning
US20230119593A1 (en) Method and apparatus for training facial feature extraction model, method and apparatus for extracting facial features, device, and storage medium
CN109583357A (en) A kind of improvement LBP and the cascade face identification method of light weight convolutional neural networks
CN108427941B (en) Method for generating face detection model, face detection method and device
CN109583364A (en) Image-recognizing method and equipment
CN109948429A (en) Image analysis method, device, electronic equipment and computer-readable medium
CN103279944A (en) Image division method based on biogeography optimization
CN110070026A (en) Video image danger Situation Awareness method, system, device based on pattern-recognition
CN111881706B (en) Living body detection, image classification and model training method, device, equipment and medium
CN110941933A (en) Complex electromagnetic environment fidelity evaluation model and method based on similar theory
CN116958021A (en) Product defect identification method based on artificial intelligence, related device and medium
CN117011859A (en) Picture processing method and related device
CN105574844B (en) Rdaiation response Function Estimation method and apparatus
RU2747214C1 (en) Hardware-software complex designed for training and (or) re-training of processing algorithms for aerial photographs in visible and far infrared band for detection, localization and classification of buildings outside of localities
CN111161789B (en) Analysis method and device for key areas of model prediction
CN106960188A (en) Weather image sorting technique and device
US20240104804A1 (en) System for clustering data points
CN111652102B (en) Power transmission channel target identification method and system
US20220292706A1 (en) Object number estimation device, control method, and program
CN113538412A (en) Insulator defect detection method and device for aerial image
CN112861586B (en) Living body detection, image classification and model training method, device, equipment and medium
CN107784662B (en) Image target significance measurement method