RU2779281C1

RU2779281C1 - Image processing method with trained neural networks

Info

Publication number: RU2779281C1
Application number: RU2021120222A
Authority: RU
Inventors: Дмитрий Юрьевич Бойченко; Игорь Анатольевич Бырков; Сергей Александрович Мишин; Игорь Вячеславович Овчинников; Игорь Николаевич Оков
Original assignee: Акционерное общество "Концерн радиостроения "Вега"
Filing date: 2021-07-09
Publication date: 2022-09-05

Abstract

FIELD: image recognition.

SUBSTANCE: invention relates to the field of image recognition, namely to a technique for detecting and classifying objects in images using 3D modeling and generating adversarial neural networks. The method comprises the steps of obtaining sets of natural objects and a set of background images, as well as three-dimensional models of objects, by rendering a three-dimensional model of each of the objects with a background, initial sets of synthesized images are obtained using an adversarial neural network consisting of a generator neural network and a discriminator neural network, using a generator neural network, each image is iteratively changed from the original sets of images, using a discriminator neural network, at this iteration, the modified image is compared with a set of full-scale images of objects with a background, the differences are evaluated and the estimated differences are transmitted to the generator neural network, which, taking into account these differences, changes the image, and the estimated differences are used in the discriminator neural network to increase its ability to compare images, and the previously described actions are repeated until the discriminator neural network is able to highlight the differences, and when the possibility of distinguishing the differences is exhausted, the sets of modified images as training data samples are used for training of the respective classifying neural networks, the corresponding trained classifying neural network is applied to the examined image to detect and classify the depicted object.

EFFECT: increasing the probability of detecting and classifying objects on images of various types, including images of the visible range, microwave range and infrared range.

7 cl, 9 dwg

Description

Заявленное техническое решение относится к области распознавания изображений, а именно к технике обнаружения и классификации объектов на изображениях с использованием 3D-моделирования и порождающих состязательных нейронных сетей.The claimed technical solution relates to the field of image recognition, namely to the technique of detecting and classifying objects in images using 3D modeling and generating adversarial neural networks.

Заявленное изобретение может быть использовано для повышения вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.The claimed invention can be used to increase the probability of detecting and classifying objects in various types of images, including images of the visible range, microwave range and infrared range.

Использование нейронных сетей, обученных на большом числе изображений объектов, включающих множество вариантов условий съемки этих объектов, вариативность самих объектов и воздействующих на процесс съемки помех, позволяет существенно повысить возможности по обнаружению и классификации искомых объектов на исследуемых изображениях. К распознаваемым объектам могут относиться различные объекты как искусственного, так и природного происхождения, такие как различные транспортные и технические средства, технические средства и объекты специального и военного назначения, здания и строительные конструкции, элементы инфраструктуры, элементы местности и т.п.The use of neural networks trained on a large number of images of objects, including many options for shooting conditions for these objects, the variability of the objects themselves and the interference that affects the shooting process, can significantly increase the ability to detect and classify the desired objects in the images under study. Recognizable objects may include various objects of both artificial and natural origin, such as various vehicles and technical means, technical means and objects of special and military purposes, buildings and building structures, infrastructure elements, terrain elements, etc.

Современные средства получения изображений позволяют формировать изображения объектов в различных диапазонах электромагнитных волн, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона. Данные типы изображений существенно отличаются по своим характеристикам. Например, получаемые в СВЧ-диапазоне радиолокационные изображения (РЛИ) обладают рядом особенностей, существенно отличающих их от снимков видимого диапазона, как описано в [1]. Специфика рассеяния электромагнитных волн в сверхвысокочастотном диапазоне приводит к тому, что на РЛИ большей яркостью обладают образы объектов, имеющих более высокую электропроводность, главным образом объектов искусственного происхождения. При этом образы (изображения) объектов представляют собой совокупность локальных центров рассеяния, которые формируются вследствие однократного или многократного переотражения зондирующего сигнала от элементов объекта. Расположение и яркость таких центров определяется ракурсом наблюдения объекта, что приводит к высокой изменчивости образов, наблюдаемых на РЛИ. Также свои особенности имеют изображения в ИК-диапазоне.Modern means of obtaining images make it possible to form images of objects in various ranges of electromagnetic waves, including images of the visible range, microwave range and infrared range. These types of images differ significantly in their characteristics. For example, radar images (RLI) obtained in the microwave range have a number of features that significantly distinguish them from images of the visible range, as described in [1]. The specificity of the scattering of electromagnetic waves in the microwave range leads to the fact that images of objects with a higher electrical conductivity, mainly objects of artificial origin, have greater brightness on radar images. In this case, the images (images) of objects are a set of local scattering centers, which are formed as a result of a single or multiple re-reflection of the probing signal from the elements of the object. The location and brightness of such centers is determined by the viewing angle of the object, which leads to a high variability of the images observed on radar images. Also, images in the IR range have their own characteristics.

Очень разнообразными могут быть условия получения изображений, такие как съемка с борта подвижных технических средств, включающих пилотируемые и беспилотные летательные аппараты, наземные и морские пилотируемые и робототехнические комплексы и т.п. При этом на формируемые изображения влияют различные условия, такие как искажения, вызванные движением носителя средства съемки или самого объекта съемки, изменением освещенности, дистанции съемки, воздействием шумовых помех различного физического происхождения, также влияют характеристики средств наблюдения объектов, окружающие объекты и т.п. Перечисленные факторы приводят к тому, что для обучения нейронных сетей, способных уверенно обнаруживать и классифицировать искомые объекты на исследуемых изображениях на фоне окружающей среды, необходимо использовать большое количество изображений каждого объекта с фоном, полученные в разное время суток, года, с разных средств формирования изображений, с разных ракурсов, сделанные с различным разрешением и учитывающих всевозможные воздействия на процесс съемки. Однако это является затруднительным в силу высокой стоимости получения натурных изображений объектов в различных условиях, юридически и этически затруднительным для медицинских снимков, или физически невозможным, например, для многих космических и подводных объектов в силу их низкой доступности для наблюдения и т.п.The conditions for obtaining images can be very diverse, such as filming from the board of mobile technical means, including manned and unmanned aerial vehicles, ground and sea manned and robotic systems, etc. At the same time, various conditions affect the formed images, such as distortions caused by the movement of the carrier of the recording means or the subject itself, changes in illumination, shooting distance, exposure to noise interference of various physical origins, the characteristics of the means of observing objects, surrounding objects, etc. These factors lead to the fact that in order to train neural networks that can confidently detect and classify the desired objects in the studied images against the background of the environment, it is necessary to use a large number of images of each object with a background obtained at different times of the day, year, from different imaging tools. , from different angles, made with different resolutions and taking into account all kinds of impacts on the shooting process. However, this is difficult due to the high cost of obtaining full-scale images of objects in various conditions, legally and ethically difficult for medical images, or physically impossible, for example, for many space and underwater objects due to their low availability for observation, etc.

Эти условия требуют применения новых технических решений, таких как создание с использованием вычислительных средств электронных трехмерных моделей объектов и формирование из них множества синтетических фотореалистических изображений этих объектов, где синтетические фотореалистические изображения должны быть подобны натурным изображениям, обычно используемых классифицирующими нейронными сетями при обучении в интересах обнаружения и классификации этих объектов. Формирование синтетических фотореалистических изображений объектов из трехмерных моделей этих объектов целесообразно совместить с различными типовыми фоновыми изображениями, характерными для практического размещения таких объектов. Объединение изображения объекта с изображением фона целесообразно, так как фон оказывает существенное влияние на вероятность обнаружения и классификации этих объектов для различных диапазонов волн их наблюдения.These conditions require the use of new technical solutions, such as the creation of electronic three-dimensional models of objects using computational tools and the formation of a set of synthetic photorealistic images of these objects from them, where synthetic photorealistic images should be similar to natural images, usually used by classifying neural networks in training in the interests of detection. and classification of these objects. It is advisable to combine the formation of synthetic photorealistic images of objects from three-dimensional models of these objects with various typical background images typical for the practical placement of such objects. Combining the image of an object with the image of the background is expedient, since the background has a significant effect on the probability of detecting and classifying these objects for different wavelength ranges of their observation.

Однако создаваемые из электронных трехмерных моделей объектов и фоновых изображений синтетические фотореалистические изображения объекта с фоном отличаются от натурных изображений, что снижает эффективность использования создаваемых изображений с фоном для обучения нейронных сетей с последующим обнаружением и классификацией искомых объектов. Различия обусловлены многими причинами, такими как несовершенство существующих способов объемного моделирования объектов (неточность отображения физических параметров реальных объектов при построении трехмерных моделей, несовпадение отражательных и излучательных свойств поверхности построенной модели свойствам реальной поверхности), погрешности состыковки изображений объекта и фона, отсутствие учета влияния атмосферы и в целом среды распространения при реальном наблюдении объектов, отсутствие учета влияния характеристик устройств формирования снимков объектов на фоне подстилающей поверхности (фотокамер для видимого диапазона, радиолокационных станций для СВЧ-диапазона, инфракрасных камер для ИК-диапазона), влияние условий освещения.However, synthetic photorealistic images of an object with a background created from electronic three-dimensional models of objects and background images differ from natural images, which reduces the efficiency of using the created images with a background for training neural networks with subsequent detection and classification of the desired objects. The differences are due to many reasons, such as the imperfection of the existing methods of volumetric modeling of objects (inaccuracy in displaying the physical parameters of real objects when building three-dimensional models, the discrepancy between the reflective and radiative properties of the surface of the constructed model and the properties of the real surface), errors in matching images of the object and the background, lack of consideration of the influence of the atmosphere and in general, the propagation environment during real observation of objects, the lack of consideration of the influence of the characteristics of devices for forming images of objects against the background of the underlying surface (cameras for the visible range, radar stations for the microwave range, infrared cameras for the infrared range), the influence of lighting conditions.

Известен способ вычислительно эффективного многоклассового распознавания изображений с использованием последовательного анализа нейросетевых признаков по патенту РФ №2706960, описанный в [2]. Данный способ заключается в том, что посредством сверточной нейронной сети получают вектор глубоких признаков входного изображения, применяют преобразование по методу главных компонент к данному вектору для получения последовательности главных компонент входного изображения, делят последовательность главных компонент на заранее заданное количество смежных частей, каждая из которых относится к отличающемуся от других уровню гранулярности, присоединяют часть последовательности, относящуюся к этому уровню гранулярности, к первоначально пустой подпоследовательности главных компонент входного изображения, вычисляют расстояние между подпоследовательностью и соответствующими подпоследовательностями главных компонент эталонов из множества решений-кандидатов, оценивают отношения минимального расстояния к другим расстояниям, исключают эталоны с отношениями меньше порога из множества решений-кандидатов, и если множество решений-кандидатов включают в эталоны только одного класса, идентифицируют входное изображение как относящееся к этому классу.There is a method of computationally efficient multiclass image recognition using sequential analysis of neural network features according to RF patent No. 2706960, described in [2]. This method consists in the fact that by means of a convolutional neural network a vector of deep features of the input image is obtained, a principal component transformation is applied to this vector to obtain a sequence of principal components of the input image, the sequence of principal components is divided into a predetermined number of adjacent parts, each of which belongs to to a different level of granularity, the part of the sequence related to this level of granularity is attached to the initially empty subsequence of the main components of the input image, the distance between the subsequence and the corresponding subsequences of the main components of the templates from the set of candidate solutions is calculated, the ratios of the minimum distance to other distances are estimated, etalons with ratios less than a threshold are excluded from the set of candidate solutions, and if the set of candidate solutions is included in the etalons of only one class, the input one image as belonging to this class.

Недостатком указанного аналога является неустойчивость распознавания изображений при воздействии на исследуемые изображения различных искажающих воздействий при формировании изображений.The disadvantage of this analog is the instability of image recognition when exposed to the studied images of various distorting influences in the formation of images.

Известен также способ автоматической обработки изображений с использованием порождающих состязательных нейронных сетей по патенту РФ №2710659, описанный в [3]. Данный способ заключается в том, что из исходного двумерного изображения вырезают интересующий объект и вставляют его во второе изображение, содержащее только фон. С использованием генераторной нейронной сети последовательно изменяют изображение вставленного объекта и прилегающего к нему фона, а соответствующая дискриминаторная нейронная сеть последовательно пытается выявить различия между исходным изображением объекта и изображением вставленного объекта, а также между исходным изображением фона и подрисованным изображением фона таким образом, что дискриминаторы, начиная с некоторой итерации, оказываются неспособными выявить различия между исходными изображениями объекта и фона, и изображением объекта вставленного в фон объекта, При этом выявленные дискриминатором на очередной итерации различия используют для улучшения последующих генерируемых изображений и для повышения точности различения дискриминатором на последующих итерациях.There is also known a method for automatic image processing using generating adversarial neural networks according to RF patent No. 2710659, described in [3]. This method consists in cutting out an object of interest from the original two-dimensional image and inserting it into a second image containing only the background. Using a generator neural network, the image of the inserted object and the background adjacent to it are sequentially changed, and the corresponding discriminator neural network sequentially tries to identify differences between the original image of the object and the image of the inserted object, as well as between the original background image and the painted background image in such a way that the discriminators, starting from a certain iteration, they are unable to identify differences between the original images of the object and the background, and the image of the object inserted into the background of the object. At the same time, the differences identified by the discriminator at the next iteration are used to improve subsequent generated images and to increase the accuracy of discrimination by the discriminator at subsequent iterations.

Достоинством указанного аналога является возможность повышения правдоподобия изображения объекта совместно с фоновым изображением, а недостатком - невозможность создания изображений объекта с измененным ракурсом его наблюдения по азимуту и углу места относительно исходного изображения и фона.The advantage of this analogue is the ability to increase the likelihood of the image of the object together with the background image, and the disadvantage is the impossibility of creating images of the object with a changed angle of observation in azimuth and elevation relative to the original image and background.

Наиболее близким по своей технической сущности к заявленному способу обработки изображений обученными нейронными сетями является способ обработки изображений обученными сверточными нейронными сетями по патенту РФ №2709661, описанный в [4]. Способ - прототип обработки изображений обученными сверточными нейронными сетями включает получение набора натурных изображений объекта, создание вычислительной системой исходного набора изображений, где каждое изображение из исходного набора изображений содержит рендеринг изображения типа текст, создание аугментированного набора изображений путем обработки исходного набора изображений для внесения в каждое изображение из исходного набора изображений по меньшей мере одного смоделированного дефекта эмуляции процесса фотосъемки изображения, создание обучающей выборки данных, содержащей множество пар изображений, в которых каждая пара изображений содержит первое изображение, выбранное из исходного набора изображений, и второе изображение, выбранное из аугментированного набора изображений, и обучение, с использованием обучающей выборки данных, одной или более сверточной нейронной сети для обработки изображений путем активации сверточной нейронной сети для каждого изображения из обучающей выборки данных, предварительной обработки каждого указанного изображения посредством соответствующих сверточных слоев нейронной сети, уменьшения каждого указанного изображения на заданный коэффициент масштабирования, увеличения изображения на заданный коэффициент масштабирования посредством соответствующих слоев транспонированной свертки и применение одной или более обученной сверточной нейронной сети для обработки одного или более изображений.The closest in its technical essence to the claimed method of image processing by trained neural networks is the method of image processing by trained convolutional neural networks according to RF patent No. 2709661, described in [4]. The method - a prototype of image processing by trained convolutional neural networks includes obtaining a set of full-scale images of an object, creating an initial set of images by a computing system, where each image from the original set of images contains rendering of an image of the text type, creating an augmented set of images by processing the original set of images for insertion into each image from the original set of images of at least one simulated defect of emulating the process of photographing an image, creating a training data sample containing a plurality of pairs of images, in which each pair of images contains the first image selected from the original set of images and the second image selected from the augmented set of images, and training, using the training data set, one or more image processing convolutional neural networks by activating the convolutional neural network for each image from the training to fetching the data, pre-processing each said image with respective convolutional neural network layers, reducing each said image by a given scaling factor, enlarging the image by a given scaling factor by means of respective transposed convolution layers, and applying one or more trained convolutional neural networks to process one or more images .

Особенностью способа-прототипа является то, что для обучения нейронных сетей создают большой набор изображений объектов с различными модификациями, такими как изменение, закрытие или затемнение части изображения объекта, размытие изображения объекта, наложение на изображения объекта мешающего шума и т.д., что позволяет обучить нейронные сети на большом наборе различных вариантов изображений одного и того же текстового сообщения, и обеспечить устойчивое к таким модификациям обнаружение и распознавание на изображениях видимого диапазона символов текста с использованием обученных нейронных сетей.A feature of the prototype method is that for training neural networks a large set of images of objects with various modifications is created, such as changing, closing or darkening part of the image of the object, blurring the image of the object, imposing interfering noise on the image of the object, etc., which allows to train neural networks on a large set of different variants of images of the same text message, and to ensure detection and recognition of the visible range of text characters in images that are resistant to such modifications using trained neural networks.

Однако в данном способе-прототипе обработки изображений обученными нейронными сетями выполняют обнаружение и классификацию только на изображениях видимого диапазона и только объектов вида алфавитно-цифровых надписей, причем условия получения таких изображений ограничиваются фотосъемкой изображений с борта наземных средств передвижений, таких как автомобиль. При этом фон изображений является фиксированным, так как изображаются стандартизированные дорожные указатели и надписи. А также не обеспечивается возможность создания изображений объекта с измененным ракурсом его наблюдения по азимуту и углу места относительно исходного изображения.However, in this prototype method of image processing, trained neural networks detect and classify only on images of the visible range and only on objects of the form of alphanumeric inscriptions, and the conditions for obtaining such images are limited to photographing images from the board of ground vehicles, such as a car. At the same time, the background of the images is fixed, since standardized road signs and inscriptions are displayed. It also does not provide the ability to create images of an object with a changed view of its observation in azimuth and elevation relative to the original image.

Таким образом, недостатком ближайшего аналога (прототипа) способа обработки изображений обученными нейронными сетями является относительно низкая вероятность обнаружения и классификации на изображениях объектов на фоне окружающей среды, представляющих собой различные транспортные и технические средства, технические средства и объекты специального и военного назначения, здания и строительные конструкции, элементы инфраструктуры, элементы местности и т.п., при получении изображений с различным ракурсом и различной физической природы, включающей изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона, с использованием подвижных технических средств, включающих пилотируемые и беспилотные летательные аппараты и наземные и морские пилотируемые и робототехнические комплексы.Thus, the disadvantage of the closest analogue (prototype) of the image processing method by trained neural networks is the relatively low probability of detecting and classifying objects in images against the background of the environment, which are various vehicles and technical means, technical means and objects of special and military purposes, buildings and construction structures, infrastructure elements, terrain elements, etc., when obtaining images from different angles and different physical nature, including images of the visible range, microwave range and infrared range, using mobile technical means, including manned and unmanned aerial vehicles and ground and sea manned and robotic systems.

Техническим результатом заявляемого решения является разработка способа обработки изображений обученными нейронными сетями, обеспечивающего повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.The technical result of the proposed solution is the development of a method for processing images by trained neural networks, providing an increase in the probability of detecting and classifying objects in images of various types, including images of the visible range, microwave range and infrared range.

Указанный технический результат в заявляемом способе обработки изображений обученными нейронными сетями достигается тем, что в известном способе обработки изображений обученными нейронными сетями, включающем получение набора натурных изображений объекта, создание исходного набора изображений, где каждое изображение из исходного набора изображений является результатом рендеринга изображения, создание обучающей выборки данных, содержащей множество изображений, обучение с использованием обучающей выборки данных классифицирующих нейронных сетей, применение обученной классифицирующей нейронной сети, дополнительно получают наборы натурных изображений N ≥ 2 объектов с фоном и трехмерные модели N объектов, а также набор М ≥ 2 фоновых изображений, причем наборы натурных изображений объектов сформированы в видимом диапазоне, или в СВЧ-диапазоне, или в ИК-диапазоне, а трехмерные модели объектов соответствуют видимому диапазону, или СВЧ-диапазону, или ИК-диапазону.The specified technical result in the claimed method of image processing by trained neural networks is achieved by the fact that in the known method of image processing by trained neural networks, including obtaining a set of full-scale images of an object, creating an initial set of images, where each image from the initial set of images is the result of image rendering, creating a training data sample containing a plurality of images, training using a training data sample of classifying neural networks, using a trained classifying neural network, additionally receive sets of natural images of N ≥ 2 objects with a background and three-dimensional models of N objects, as well as a set of M ≥ 2 background images, and sets of natural images of objects are formed in the visible range, or in the microwave range, or in the infrared range, and three-dimensional models of objects correspond to the visible range, or microwave range, or infrared range.

Создают K, где K ≥ N⋅M, исходных наборов изображений объектов с фоном, где каждое изображение из исходного набора изображений является результатом рендеринга трехмерной модели одного из объектов, совмещенной с одним из фоновых изображений. Рендеринг трехмерной модели объекта выполняют изменением ракурса наблюдения трехмерной модели этого объекта по азимуту и углу места.Create K, where K ≥ N⋅M, initial sets of images of objects with a background, where each image from the original set of images is the result of rendering a three-dimensional model of one of the objects, combined with one of the background images. Rendering of a three-dimensional model of an object is performed by changing the observation angle of a three-dimensional model of this object in azimuth and elevation.

Используя порождающую состязательную нейронную сеть, состоящую из генераторной нейронной сети и дискриминаторной нейронной сети, с помощью генераторной нейронной сети итеративно изменяют каждое изображение из исходных наборов изображений, с помощью дискриминаторной нейронной сети сравнивают на этой итерации измененное изображение с набором натурных изображений объектов с фоном, оценивают различия и передают оцененные различия генераторной нейронной сети, которая с учетом этих различий изменяет изображение, а также оцененные различия используют в дискриминаторной нейронной сети для повышения ее способности сравнения изображений. При этом генераторная нейронная сеть и дискриминаторная нейронная сеть выполнена с возможностью итеративного обучения. Повторяют ранее описанные действия до тех пор, пока дискриминаторная нейронная сеть способна выделять различия.Using a generating adversarial neural network consisting of a generator neural network and a discriminator neural network, each image from the original image sets is iteratively modified using a generator neural network, the modified image is compared at this iteration with a set of full-scale images of objects with a background using a discriminator neural network, the differences and pass the estimated differences to the generator neural network, which, taking into account these differences, changes the image, and the estimated differences are used in the discriminator neural network to increase its ability to compare images. At the same time, the generator neural network and the discriminator neural network are made with the possibility of iterative learning. The previously described steps are repeated until the discriminator neural network is able to distinguish differences.

При исчерпании возможности выделения различий, К наборов измененных изображений в качестве обучающих выборок данных используют для обучения соответствующих классифицирующих нейронных сетей, соответствующую обученную классифицирующую нейронную сеть применяют к исследуемому изображению для обнаружения и классификации изображенного на нем объекта. В качестве обученных классифицирующих нейронных сетей используют сверточные классифицирующие нейронные сети. Соответствующие обученные классифицирующие нейронные сети обнаруживают и классифицируют объекты на изображениях видимого диапазона, или СВЧ-диапазона, или ИК-диапазона.When the possibility of highlighting differences is exhausted, K sets of modified images as training data samples are used to train the corresponding classifying neural networks, the corresponding trained classifying neural network is applied to the image under study to detect and classify the object depicted on it. Convolutional classifying neural networks are used as trained classifying neural networks. Appropriate trained classifying neural networks detect and classify objects in visible or microwave or infrared images.

В предлагаемой совокупности действий формирование множества синтетических фотореалистических изображений объектов с фоном путем рендеринга трехмерной модели соответствующего объекта при изменении ракурса наблюдения трехмерной модели этого объекта по азимуту и углу места позволяет получить большое количество разнообразных изображений каждого объекта на фоне различных вариантов окружающей среды. Важным моментом также является то, что из трехмерной модели объекта с фоном возможно формирование достаточно большого для обучения классифицирующих нейронных сетей множества синтетических фотореалистических изображений этого объекта в видимом, СВЧ или ИК диапазонах электромагнитного спектра в условиях, когда получение значительных по размеру наборов натурных изображений объектов на фоне требуемой окружающей среды является затруднительным или невозможным в силу высокой стоимости получения натурных изображений, их низкой доступности для наблюдения и т.п. Далее полученное множество синтетических фотореалистических изображений объектов с фоном с использованием порождающей состязательной нейронной сети приближают к виду натурных изображений, что важно для обучения сверточной нейронной сети, способной повысить вероятность обнаружения и классификации изображенных объектов на исследуемых изображениях соответствующего диапазона электромагнитных волн.In the proposed set of actions, the formation of a set of synthetic photorealistic images of objects with a background by rendering a three-dimensional model of the corresponding object while changing the viewing angle of the three-dimensional model of this object in azimuth and elevation allows you to get a large number of different images of each object against the background of various environmental options. An important point is also that from a three-dimensional model of an object with a background, it is possible to form a set of synthetic photorealistic images of this object in the visible, microwave or IR ranges of the electromagnetic spectrum, which is large enough for training the classifying neural networks in the conditions when obtaining large sets of natural images of objects on against the background of the required environment is difficult or impossible due to the high cost of obtaining natural images, their low availability for observation, etc. Further, the resulting set of synthetic photorealistic images of objects with a background using a generating adversarial neural network is brought closer to the appearance of full-scale images, which is important for training a convolutional neural network that can increase the probability of detecting and classifying depicted objects in the studied images of the corresponding range of electromagnetic waves.

Поэтому указанная новая совокупность действий при выполнении обработки изображений обученными нейронными сетями позволяет обеспечить повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.Therefore, the specified new set of actions when performing image processing by trained neural networks makes it possible to increase the probability of detecting and classifying objects in images of various types, including images of the visible range, microwave range and infrared range.

Заявленный способ поясняется чертежами, на которых показаны:The claimed method is illustrated by drawings, which show:

- на фиг. 1 - система обработки изображений обученными нейронными сетями;- in Fig. 1 - image processing system with trained neural networks;

- на фиг. 2 - алгоритм обработки изображений обученными нейронными сетями;- in Fig. 2 - algorithm for image processing by trained neural networks;

- на фиг. 3 - примеры натурных и модельных изображений самолета на изображениях СВЧ-диапазона с различными ракурсами;- in Fig. 3 - examples of full-scale and model images of the aircraft on images of the microwave range from different angles;

- на фиг. 4 - примеры натурных и модельных изображений самолета в ИК-диапазоне, днем, в зимних условиях;- in Fig. 4 - examples of full-scale and model images of the aircraft in the IR range, during the day, in winter conditions;

- на фиг. 5 - примеры фоновых изображений в ИК диапазоне;- in Fig. 5 - examples of background images in the IR range;

- на фиг. 6 - примеры визуализации трехмерной модели танка в видимом диапазоне;- in Fig. 6 - examples of visualization of a three-dimensional tank model in the visible range;

- на фиг. 7 - пример изображения грузового автомобиля на фоне поверхности в видимом диапазоне до и после обработки;- in Fig. 7 - an example of an image of a truck against the background of the surface in the visible range before and after processing;

- на фиг. 8 - иллюстрация метода трассировки лучей при рендеринге;- in Fig. 8 is an illustration of a ray tracing rendering method;

- на фиг. 9 - пример построения генераторной нейронной сети в виде автокодировщика.- in Fig. 9 - an example of building a generator neural network in the form of an auto-encoder.

Реализация заявленного способа представлена на примере системы обработки изображений обученными нейронными сетями, показанной на фиг. 1. На вход блока совмещения 1 поочередно поступают трехмерные модели объектов и фоновые изображения. В этом блоке, представляющем из себя вычислительную систему, изменяя ракурс наблюдения трехмерной модели объекта и фонового изображения, формируют совмещенное двумерное изображение объекта и фона. Затем в блоке создания исходных наборов изображений 2 создают К исходных наборов изображений объектов с фоном, где каждый ракурс объекта представлен вместе с одним из фонов. Каждый из исходных наборов изображений объектов с фоном поступает на генераторную нейронную сеть 3, в которой выходное изображение итеративно изменяется (дорисовывается) по сравнению с соответствующим входным изображением. Очередная итерация выходных изображений поступает на первый вход дискриминаторной нейронной сети 4, на второй вход которой поступают имеющиеся натурные изображения объектов с фоном. Дискриминаторная нейронная сеть 4 пытается определить, на кого похожи поступающие на ее первый вход изображения: на натурные изображения (НИ) или на синтетические изображения (СИ). Выработанные решения дискриминаторной нейронной сети 4 поступают на блок выделения различий 5, в котором на каждой итерации сравнения натурных и синтетических изображений вырабатывают различия очередных сгенерированных в генераторной нейронной сети 3 синтетических изображений от натурных изображений. Выявленные различия поступают на вход управления генераторной нейронной сети 3, в которой на следующей итерации будут сгенерированы синтетические изображения, более похожие на натурные изображения, и на вход управления дискриминаторной нейронной сети 4, которая на следующей итерации будет более обоснованно разделять синтетические изображения от натурных изображений. При этом генераторная нейронная сеть и дискриминаторная нейронная сеть на каждой итерации обучается, последовательно оптимизируя свои параметры. В ходе многоитерационного состязания между генераторной и дискриминаторной нейронными сетями генераторная нейронная сеть 3 сгенерирует изображения, которые в дискриминаторной нейронной сети 4 неотличимы от натурных изображений. При достижении этого, в блоке создания обучающей выборки данных 6 из итоговых сгенерированных генераторной нейронной сетью 3 изображений создают соответствующую обучающую выборку данных. Изначально исходные натурные изображения и фоновые изображения представляли собой или изображения видимого диапазона, или СВЧ-диапазона, или ИК-диапазона. Соответствующая выбранному диапазону обучающая выборка данных далее в блоке обучения классифицирующей нейронной сети используется для обучения соответствующей классифицирующей нейронной сети. Затем соответствующую обученную классифицирующую нейронную сеть применяют к исследуемому изображению для обнаружения и классификации изображенного на нем объекта. Эти обученные классифицирующие нейронные сети обнаруживают и классифицируют объекты, изображения которых возможно присутствуют на исследуемом изображении. Результатом работы является обнаружение и классификация по N типам изображенных объектов или при их отсутствии вынесение решения вида "объектов не обнаружено". Если на исследуемом изображении имеются изображения двух и более объектов, то их обнаружение и классификация выполняют независимо друг от друга. Представленная система обработки изображений описывает использование нейронных сетей для обнаружения и классификации объектов применительно к изображениях видимого диапазона, или СВЧ-диапазона, или ИК-диапазона, соответственно.The implementation of the claimed method is presented on the example of an image processing system by trained neural networks, shown in Fig. 1. 3D models of objects and background images are received alternately at the input of the matching block 1. In this block, which is a computing system, by changing the viewing angle of the three-dimensional model of the object and the background image, a combined two-dimensional image of the object and the background is formed. Then, in the block for creating initial sets of images 2, K initial sets of images of objects with a background are created, where each view of the object is presented together with one of the backgrounds. Each of the initial sets of images of objects with a background enters the generator neural network 3, in which the output image is iteratively changed (drawn) in comparison with the corresponding input image. The next iteration of the output images is fed to the first input of the discriminator neural network 4, the second input of which receives the available full-scale images of objects with a background. Discriminatory neural network 4 tries to determine whether the images received at its first input are similar to natural images (LI) or synthetic images (SI). The developed solutions of the discriminator neural network 4 are fed to the difference detection unit 5, in which, at each iteration of the comparison of full-scale and synthetic images, the differences of the next synthetic images generated in the generator neural network 3 from natural images are generated. The revealed differences are fed to the control input of the generator neural network 3, in which synthetic images more similar to natural images will be generated at the next iteration, and to the control input of the discriminator neural network 4, which at the next iteration will more reasonably separate synthetic images from natural images. At the same time, the generator neural network and the discriminator neural network are trained at each iteration, consistently optimizing their parameters. In the course of a multi-iteration competition between the generator and discriminator neural networks, the generator neural network 3 will generate images that are indistinguishable from natural images in the discriminator neural network 4. When this is achieved, in the block for creating a training data sample 6, the corresponding training data sample is created from the final images generated by the generator neural network 3. Initially, the original natural images and background images were either images of the visible range, or the microwave range, or the IR range. The training data sample corresponding to the selected range is further used in the training block of the classifying neural network to train the corresponding classifying neural network. Then the corresponding trained classifying neural network is applied to the studied image to detect and classify the object depicted on it. These trained classifying neural networks detect and classify objects whose images are possibly present in the image under study. The result of the work is the detection and classification by N types of depicted objects or, in their absence, a decision of the form "objects not found". If the image under study contains images of two or more objects, then their detection and classification are performed independently of each other. The presented image processing system describes the use of neural networks for detection and classification of objects in relation to images of the visible range, or microwave range, or infrared range, respectively.

В способе реализуют следующую последовательность действий.The method implements the following sequence of actions.

Алгоритм обработки изображений обученными нейронными сетями представлен на фигуре 2.The algorithm for image processing by trained neural networks is shown in Figure 2.

Способы получения наборов натурных изображений N ≥ 2 объектов с фоном известны, натурные изображения объектов получают, например, с использованием электронных фотоаппаратов для изображений видимого диапазона, с использованием радиолокационных станций для изображений СВЧ-диапазона, с использованием инфракрасных датчиков для изображений ИК-диапазона. Целесообразно для каждого объекта получение множества натурных изображений, отличающихся точкой съемки, ракурсом объекта, масштабом изображения, климатическими условиями и т.п. Например, в верхней части фиг. 3 показаны натурные изображения самолета в СВЧ-диапазоне с различными ракурсами (угол азимута 79 градусов в левой верхней части рисунка и 350 градусов в правой верхней части рисунка), а на фиг. 4а) - натурное изображение самолета в ИК-диапазоне, днем, в зимних условиях.Methods for obtaining sets of natural images of N ≥ 2 objects with a background are known, natural images of objects are obtained, for example, using electronic cameras for visible images, using radar stations for microwave images, using infrared sensors for infrared images. It is advisable for each object to obtain a plurality of natural images that differ in the shooting point, the angle of the object, the image scale, climatic conditions, etc. For example, at the top of FIG. 3 shows full-scale images of the aircraft in the microwave range from different angles (azimuth angle 79 degrees in the upper left part of the figure and 350 degrees in the upper right part of the figure), and in Fig. 4a) - full-scale image of the aircraft in the IR range, during the day, in winter conditions.

В силу возможных высоких затрат получения наборов натурных изображений или физической сложности их получения, например, для объектов в космосе и иных малодоступных сферах, количество имеющихся натурных изображений некоторых объектов, как правило, ограничено.Due to the possible high costs of obtaining sets of natural images or the physical complexity of obtaining them, for example, for objects in space and other inaccessible areas, the number of available natural images of some objects is usually limited.

Аналогичны способы получения набора М ≥ 2 фоновых изображений. На этих изображениях представлен только фон, например, различные виды подстилающей поверхности. Набор фоновых изображений раздельно формируют в видимом диапазоне, в СВЧ-диапазоне, в ИК-диапазоне. Примеры фоновых изображений в ИК диапазоне показаны на фиг. 5.The methods for obtaining a set of M ≥ 2 background images are similar. These images only show the background, such as various views of the underlying surface. A set of background images is separately formed in the visible range, in the microwave range, in the IR range. Examples of IR background images are shown in FIG. 5.

Способы получения трехмерных моделей объектов известны, для их построения разработан ряд программ, таких как 3ds Max, Maya, Cinema 4D, Blender. Трехмерные модели различных объектов создают в результате их 3D-моделирования. Для построения 3D-модели объекта измеряют его геометрические размеры и оценивают его форму. Полученные 3D-модели объектов должны удовлетворять следующим требованиям: высокая степень реалистичности, визуального подобия геометрических форм создаваемых моделей самим объектам, соответствие габаритных размеров моделей размерам объектов, достаточный уровень детализации моделей, высокая точность форм, положения и размеров отдельных конструктивных элементов. Например, моделирование объектов, представляемых изображениями в СВЧ-диапазоне, описано в [5], а моделирование объектов, представляемых изображениями в видимом диапазоне, описано в [6]. Полученные трехмерные модели объектов соответствуют видимому диапазону, или СВЧ-диапазону, или ИК-диапазону. Геометрические параметры трехмерных моделей одного и того же объекта в разных диапазонах длин волн в целом соответствуют друг другу, но отличаются друг от друга характеристиками поверхности, что определяется физическими особенностями отражения от них электромагнитных волн разных диапазонов.Methods for obtaining three-dimensional models of objects are known; a number of programs have been developed for their construction, such as 3ds Max, Maya, Cinema 4D, Blender. Three-dimensional models of various objects are created as a result of their 3D modeling. To build a 3D model of an object, its geometric dimensions are measured and its shape is estimated. The resulting 3D models of objects must meet the following requirements: a high degree of realism, visual similarity of the geometric shapes of the created models to the objects themselves, compliance of the overall dimensions of the models with the dimensions of the objects, a sufficient level of detail of the models, high accuracy of the shapes, position and dimensions of individual structural elements. For example, modeling of objects represented by images in the microwave range is described in [5], and modeling of objects represented by images in the visible range is described in [6]. The obtained three-dimensional models of objects correspond to the visible range, or the microwave range, or the infrared range. The geometric parameters of three-dimensional models of the same object in different wavelength ranges generally correspond to each other, but differ from each other in surface characteristics, which is determined by the physical features of the reflection of electromagnetic waves from them in different ranges.

При создании трехмерных моделей наиболее распространенным способом является построение объемных фигур из сетки полигонов, описываемых вершинами, ребрами и гранями. Трехмерная модель объекта, состоящая из множества полигонов, представляет собой полигональную сетку. Например, на фиг. 6 показаны примеры визуализации трехмерной модели танка в видимом диапазоне. Для обеспечения фотореалистичности изображения поверхностям трехмерной модели объекта придают вид реальных материалов, таких как металл, дерево, пластик и т.п. Поверхность при необходимости становится прозрачной или зеркальной. Для этого, например, используется функция редактора материалов вида Material Editor в 3ds Max.When creating three-dimensional models, the most common way is to build three-dimensional figures from a grid of polygons described by vertices, edges, and faces. A three-dimensional model of an object, consisting of many polygons, is a polygonal mesh. For example, in FIG. 6 shows examples of visualization of a three-dimensional tank model in the visible range. To ensure photorealistic images, the surfaces of a three-dimensional model of an object are given the appearance of real materials, such as metal, wood, plastic, etc. The surface, if necessary, becomes transparent or mirror. To do this, for example, use the Material Editor feature of the Material Editor view in 3ds Max.

Каждую трехмерную модель объекта в заданном диапазоне волн последовательно совмещают с каждым фоновым изображением из набора М фоновых изображений соответствующего диапазона волн. Способы совмещения широко известны и заключаются, например, в наложении электронного изображения трехмерной модели объекта поверх электронного изображения требуемого фона.Each three-dimensional model of the object in a given wavelength range is sequentially combined with each background image from the set M of background images of the corresponding wavelength range. Methods of alignment are widely known and consist, for example, in superimposing an electronic image of a three-dimensional model of an object on top of an electronic image of the desired background.

Далее создают K, где K ≥ N⋅M, исходных наборов изображений объектов с фоном, где каждое изображение из исходного набора изображений является результатом рендеринга трехмерной модели одного из объектов, совмещенной с одним из фоновых изображений. Для этого каждое изображение из исходного набора изображений получают изменением ракурса наблюдения трехмерной модели этого объекта, совмещенной с одним из фоновых изображений, по азимуту и углу места. Исходные наборы изображений объектов с фоном создают раздельно для видимого диапазона, СВЧ- диапазона и ИК-диапазона. Например, на фиг. 7а) показано сформированное из трехмерной модели изображение грузового автомобиля на фоне поверхности в видимом диапазоне.Next, K, where K ≥ N⋅M, initial sets of images of objects with a background are created, where each image from the original set of images is the result of rendering a three-dimensional model of one of the objects, combined with one of the background images. To do this, each image from the original set of images is obtained by changing the viewing angle of a three-dimensional model of this object, combined with one of the background images, in azimuth and elevation. Initial sets of images of objects with a background are created separately for the visible range, microwave range and infrared range. For example, in FIG. 7a) shows an image of a truck formed from a three-dimensional model against the background of the surface in the visible range.

При рендеринге из виртуально наблюдаемой стороны трехмерной модели объекта с соответствующим фоновым изображением создают двумерное изображение объекта с фоном. Например, одним из способов рендеринга является метод трассировки лучей [7]. При этом методе формируемое изображение рассматривается как наблюдаемое из определенной точки. Из точки наблюдения на трехмерную модель объекта с соответствующим фоновым изображением направляются лучи, с помощью которых определяется интенсивность и цвет отображаемого пикселя на двумерном изображении. Лучи прекращают свое распространение, когда достигают поверхности трехмерной модели объекта или используемой фоновой поверхности. Иллюстрация метода трассировки лучей при рендеринге показана на фиг. 8.When rendering from a virtually observed side of a 3D object model with a corresponding background image, a 2D image of the object is created with a background. For example, one of the rendering methods is the ray tracing method [7]. With this method, the generated image is considered as being observed from a certain point. Rays are directed from the observation point to the three-dimensional model of the object with the corresponding background image, with the help of which the intensity and color of the displayed pixel on the two-dimensional image are determined. Rays stop their propagation when they reach the surface of the 3D model of the object or the background surface being used. An illustration of the rendering ray tracing method is shown in FIG. eight.

Существующую в виде электронного образа в вычислительной системе трехмерную модель объекта с соответствующим фоновым изображением виртуально поворачивают на заданные угол азимута и угол места и фиксируют наблюдаемый ракурс изображения объекта. Значения углов азимута и углов места наблюдения трехмерной модели объекта выбирают исходя из возможных ракурсов физического наблюдения этого объекта, таких как вид спереди, сзади, с боков, горизонтально земной поверхности или под углом, включая вид сверху. Шаг изменения угла азимута и угла места выбирают не более нескольких градусов для увеличения числа изображений в наборе для каждого объекта с различающимися ракурсами, что позволит повысить вероятность обнаружения и распознавания этих объектов.The three-dimensional model of the object existing in the form of an electronic image in the computer system with the corresponding background image is virtually rotated by the specified azimuth angle and elevation angle and the observed angle of the object image is fixed. The values of the azimuth angles and elevation angles of the three-dimensional model of the object are selected based on the possible angles of physical observation of this object, such as front, rear, side, horizontal to the earth's surface or at an angle, including a top view. The step of changing the azimuth and elevation angles is chosen no more than a few degrees to increase the number of images in the set for each object with different angles, which will increase the probability of detecting and recognizing these objects.

В результате созданы K исходных наборов изображений объектов с фоном, где каждый из N объектов изображен совместно с одним из М фоновых изображений во множестве ракурсов наблюдения, причем исходные наборы созданы раздельно для видимого диапазона, СВЧ-диапазона и ИК-диапазона.As a result, K initial sets of images of objects with a background are created, where each of the N objects is shown together with one of the M background images in a variety of observation angles, and the initial sets are created separately for the visible range, microwave range and IR range.

Однако созданные описанным образом двумерные изображения объектов на фоне подстилающей поверхности являются синтезированными изображениями. Они похожи на натурные изображения, но отличаются от них. Поэтому напрямую созданные описанным образом изображения объектов с фоном не могут быть эффективно использованы для обучения классифицирующих нейронных сетей, которые далее должны применяться к исследуемым изображениям для обнаружения и классификации изображенных на них объектов.However, the two-dimensional images of objects created in the described manner against the background of the underlying surface are synthesized images. They are similar to natural images, but differ from them. Therefore, images of objects with a background directly created in the described way cannot be effectively used to train classifying neural networks, which should then be applied to the images under study to detect and classify the objects depicted on them.

Созданные исходные наборы изображений объектов с фоном изменяют с целью максимального приближения к естественности натурных изображений. Для этого предлагается использовать порождающую состязательную нейронную сеть (generative adversarial network, GAN), состоящую из генераторной нейронной сети и дискриминаторной нейронной сети. Примеры построения порождающих состязательных нейронных сетей описаны в [8-9], они основаны на итеративном соревновании двух связанных между собой антагонистических нейронных сетей, где генераторная нейронная сеть из созданных с помощью 3D-модели изображений объектов с фоном пытается порождать синтезированные изображения (СИ), похожие на натурные изображения (НИ), а дискриминаторная нейронная сеть, имея в качестве образцов для сравнения натурные изображения, пытается определить на кого больше похожи сгенерированные на очередной итерации изображения, на СИ или на НИ, и при сравнении порожденных на очередной итерации синтезированных изображений с натурными изображения выделяет их различия. Дискриминаторная нейронная сеть построена на основе связанных между собой сложным образом нейронных слоев, которые описываются вектором параметров, включающих виды связей между элементами нейронных слоев и значения коэффициентов передачи в имеющихся связях. На очередной итерации работы порождающей состязательной нейронной сети выделенные дискриминатором различия в виде параметров нейронной сети, различающиеся при сравнении синтезированных изображений и натурных изображений, передают выделенные различия генераторной нейронной сети, которая с учетом полученных различий подстраивает параметры свой нейронной сети, что позволяет ей на следующей итерации генерировать изображения более похожие на натурные изображения. Взаимодействие генераторной нейронной сети и дискриминаторной нейронной сети показано на фиг. 1.The created initial sets of images of objects with a background are changed in order to get as close as possible to the naturalness of natural images. To do this, it is proposed to use a generative adversarial network (GAN), consisting of a generator neural network and a discriminator neural network. Examples of constructing generating adversarial neural networks are described in [8-9], they are based on an iterative competition of two interconnected antagonistic neural networks, where a generator neural network tries to generate synthesized images (SI) from objects created using a 3D image model with a background, similar to natural images (LI), and the discriminator neural network, having natural images as samples for comparison, tries to determine who the images generated at the next iteration are more similar to, to SI or to LI, and when comparing the synthesized images generated at the next iteration with natural image highlights their differences. The discriminator neural network is built on the basis of neural layers interconnected in a complex way, which are described by a vector of parameters, including the types of connections between the elements of the neural layers and the values of the transfer coefficients in the existing connections. At the next iteration of the operation of the generating adversarial neural network, the differences identified by the discriminator in the form of neural network parameters that differ when comparing synthesized images and natural images transmit the distinguished differences to the generator neural network, which, taking into account the differences obtained, adjusts the parameters of its neural network, which allows it to generate images that look more like natural images. The interaction of a generator neural network and a discriminator neural network is shown in FIG. one.

Таким образом, на каждой итерации генераторная нейронная сеть, подстраивая свои параметры, дообучается и итеративно изменяет каждое изображение из исходных наборов изображений. Также на каждой итерации выделенные различия используются для подстройки параметров дискриминаторной нейронной сети, которая на следующей итерации становится способной лучше разделять синтезированные и натурные изображения и выделять различия между ними. В результате многоитерационной взаимной оптимизации генераторной и дискриминаторной нейронных сетей генераторная нейронная сеть порождает изображения объектов с фоном настолько похожие по своим характеристикам с натурными изображениями, что дискриминаторная нейронная сеть не способна отделить СИ от НИ и выделять между ними различия.Thus, at each iteration, the generator neural network, adjusting its parameters, retrains and iteratively changes each image from the original image sets. Also, at each iteration, the distinguished differences are used to adjust the parameters of the discriminator neural network, which, at the next iteration, becomes able to better separate the synthesized and natural images and highlight the differences between them. As a result of multi-iteration mutual optimization of the generator and discriminator neural networks, the generator neural network generates images of objects with a background that are so similar in their characteristics to natural images that the discriminator neural network is not able to separate SI from NI and highlight the differences between them.

Предлагаемая порождающая состязательная нейронная сеть обучается в соответствии с методом обучения без учителя (unsupervised learning), так как ей не требуется предварительное назначение классифицирующих меток для используемых при обучении изображений. Генераторная нейронная сеть построена по принципу автокодировщика (autoencoder), который, получив на свои входы очередное созданное с помощью 3D-модели изображение объекта с фоном, с помощью последовательных сужающихся нейронных слоев пытается построить из него компактное представление входного изображения (решение задачи понижения размерности набора данных с выделением наиболее существенных параметров), как показано на фиг. 9. Эта часть автокодировщика называется кодировщик. Затем из полученного сжатого представления очередного изображения объекта с фоном, вторая часть автокодировщика, называемая декодировщик, с помощью последовательных расширяющихся нейронных слоев реконструирует входное изображение и в выходном слое декодировщика выдает совокупность пикселов выходного изображения, где число пикселов равно числу пикселов входного изображения, поступившему на входной слой кодировщика. В автокодировщике нейронные слои кодировщика и нейронные слои декодировщика обучаются синхронно. Например, такой автокодировщик описан в работе [10]. В результате многоитерационного обучения вектор параметров нейронных слоев автокодировщика, описывающий виды связей между элементами нейронных слоев и значения коэффициентов передачи в имеющихся связях, и определяемый как поступающим на него созданными с помощью ЗБ-модели изображениями объекта с фоном, так и информацией различия, преобразуется к виду, при котором изображения на выходе неотличимы от наборов натурных изображений. Например, на фиг. 7б) показано обработанное описанным образом изображение грузового автомобиля на фоне поверхности в видимом диапазоне.The proposed generative adversarial neural network is trained in accordance with the unsupervised learning method, since it does not require pre-assignment of classifying labels for the images used in training. The generator neural network is built on the principle of an autoencoder, which, having received at its inputs the next image of an object created using a 3D model with a background, using successive tapering neural layers, tries to build a compact representation of the input image from it (solving the problem of reducing the dimension of a data set highlighting the most significant parameters), as shown in Fig. 9. This part of the autoencoder is called the encoder. Then, from the resulting compressed representation of the next image of the object with a background, the second part of the auto-encoder, called the decoder, reconstructs the input image using successive expanding neural layers and in the output layer of the decoder produces a set of output image pixels, where the number of pixels is equal to the number of pixels of the input image received at the input encoder layer. In the autoencoder, the neural layers of the encoder and the neural layers of the decoder are trained synchronously. For example, such an autoencoder is described in [10]. As a result of multi-iteration training, the vector of parameters of the neural layers of the autoencoder, which describes the types of connections between the elements of the neural layers and the values of the transfer coefficients in the existing connections, and is determined both by the images of the object with the background created using the ST model and the difference information, is converted to the form , at which the output images are indistinguishable from sets of natural images. For example, in FIG. 7b) shows the image of a truck processed in the described way against the background of the surface in the visible range.

При невозможности выделения различий, К наборов измененных изображений в качестве обучающих выборок данных используют для обучения соответствующих классифицирующих нейронных сетей. Вместе с ними для обучения соответствующих классифицирующих нейронных сетей также могут дополнительно использовать имеющиеся наборы натурных изображений. Отметим, что объем обучающих данных в К наборах измененных изображений во много раз превышает объем обучающих данных в наборах натурных изображений. Данные классифицирующие нейронные сети обучаются в соответствии с методом обучения с учителем (supervised learning), в обучающих выборках каждому используемому при обучении изображению назначается метка изображенного на нем объекта.If it is impossible to extract differences, K sets of modified images are used as training data samples to train the corresponding classifying neural networks. Together with them, the existing sets of natural images can also be additionally used to train the corresponding classifying neural networks. Note that the amount of training data in K sets of altered images is many times greater than the amount of training data in sets of natural images. These classifying neural networks are trained in accordance with the supervised learning method, in the training samples, each image used in training is assigned a label of the object depicted on it.

Дискриминаторная нейронная сеть может быть построена как классическая классифицирующая на два различающихся класса сверточная нейронная сеть, например, описанная в патенте [11].A discriminator neural network can be built as a classical convolutional neural network that classifies into two distinct classes, for example, described in the patent [11].

В результате для каждого объекта создают обучающую выборку данных, состоящую из многих тысяч изображений, отражающих различные условия съемки данного объекта на фоне различных изображениях окружающей среды раздельно для изображений видимого диапазона, СВЧ-диапазона и ИК-диапазона.As a result, for each object, a training data set is created, consisting of many thousands of images, reflecting various shooting conditions of this object against the background of various environmental images separately for images of the visible range, microwave range and IR range.

Создание обучающих выборок данных, содержащих множество изображений, выбранных из К наборов измененных изображений, выполняют следующим образом. Раздельно для изображений видимого диапазона, СВЧ-диапазона и ИК- диапазона, из наборов измененных изображений случайным образом выбирают часть изображений, составляющую, например, 60-90% от К наборов измененных изображений соответствующего диапазона, как рекомендуется в [9]. При этом выбранное количество изображений каждого объекта может быть или равным для всех объектов или пропорциональным частости встречаемости такого объекта на практике.The creation of training data samples containing a plurality of images selected from K sets of modified images is performed as follows. Separately for images of the visible range, microwave range and IR range, a part of the images is randomly selected from the sets of modified images, constituting, for example, 60-90% of K sets of modified images of the corresponding range, as recommended in [9]. In this case, the selected number of images of each object can be either equal for all objects or proportional to the frequency of occurrence of such an object in practice.

Как описано, например, в [11], обучают классифицирующую нейронную сеть, например, сверточную классифицирующую нейронную сеть, в которой для операции свертки используется лишь ограниченная матрица весов небольшого размера, которую смещают по всему обрабатываемому слою, формируя после каждого сдвига сигнал активации для нейрона следующего слоя с аналогичной позицией. То есть для различных нейронов выходного слоя используются одна и та же матрица весов, которую называют ядром свертки. Ее интерпретируют как графическое кодирование какого-либо признака, например, наличие наклонной линии под определенным углом. Тогда следующий слой, получившийся в результате операции свертки такой матрицей весов, показывает наличие данного признака в обрабатываемом слое и ее координаты, формируя так называемую карту признаков. Соответственно, в сверточной нейронной сети используют ряд наборов весов, кодирующих элементы изображения (например, линии и дуги под разными углами). При этом такие ядра свертки не закладываются исследователем заранее, а формируются на этапе обучения сети различными способами, описанными, например, в [8-10].As described, for example, in [11], a classifying neural network is trained, for example, a convolutional classifying neural network, in which only a limited small-sized weight matrix is used for the convolution operation, which is shifted over the entire processed layer, generating an activation signal for the neuron after each shift the next layer with a similar position. That is, for different neurons of the output layer, the same weight matrix is used, which is called the convolution kernel. It is interpreted as a graphic encoding of some feature, for example, the presence of an oblique line at a certain angle. Then the next layer, resulting from the convolution operation by such a weight matrix, shows the presence of this feature in the processed layer and its coordinates, forming the so-called feature map. Accordingly, a convolutional neural network uses a number of sets of weights that encode image elements (eg, lines and arcs at different angles). At the same time, such convolution kernels are not laid down by the researcher in advance, but are formed at the stage of network training in various ways, described, for example, in [8–10].

Обучение сверточной нейронной сети с использованием обучающей выборки данных выполняют, например, следующим образом. Раздельно обучают сверточные нейронные сети для обнаружения и классификации объектов на изображениях видимого диапазона, СВЧ-диапазона и ИК-диапазона. Для обучения сети используют одну из созданных обучающих выборок данных. Например, как предлагается в [11], для каждого изображения из обучающей выборки данных с помощью сверточной нейронной сети вычисляют вектор признаков в пространстве признаков изображений, для обучающей выборки данных вычисляют значение функции потерь. Функция потерь отображает множество значений расстояния, где каждое значение расстояния вычисляют в пространстве признаков изображений между вектором признаков, представляющим изображение из обучающей выборки данных, и центром класса, ассоциируемого с этим изображением в соответствии с обучающей выборкой данных. На основе вычисленного значения функции потерь выполняют настройку одного или более параметров сверточной нейронной сети. Данную последовательность действий итеративно выполняют множество раз, добиваясь минимизации значения функции потерь. Если на очередных итерациях дальнейшего уменьшения значения функции потерь не происходит, то для данной обучающей выборки данных обучение сверточной нейронной сети для обнаружения и классификации объектов на изображениях соответствующего диапазона считают завершенным. Проверка достижения максимально достижимой вероятности обнаружения и классификации объектов для обученной сверточной нейронной сети выполняют на остатке множества изображений, выбранных из наборов изображений объектов, из которого исключена использованная для обучения сети обучающая выборка данных. Запомнив полученные значения вероятности обнаружения и классификации объектов, повторно описанным выше образом из аугментированных наборов изображений объектов создают новую обучающую выборку данных, заново обучают на ней сверточную нейронную сеть, для заново обученной сверточной нейронной сети получают значения вероятности обнаружения и классификации объектов на соответствующем остатке множества изображений, выбранных из наборов изображений объектов, из которого исключена использованная для обучения обучающая выборка данных. Если вновь полученные значения вероятности обнаружения и классификации объектов не превосходят ранее полученные значения, то обучение сверточной нейронной сети с использованием данной обучающей выборки данных завершают.The training of a convolutional neural network using the training data sample is performed, for example, as follows. Separately, convolutional neural networks are trained to detect and classify objects in visible, microwave, and infrared images. To train the network, one of the created training data samples is used. For example, as suggested in [11], for each image from the training data sample, a convolutional neural network calculates a feature vector in the image feature space, and for the training data sample, the value of the loss function is calculated. The loss function displays a set of distance values, where each distance value is calculated in the image feature space between the feature vector representing the image from the training data sample and the center of the class associated with this image according to the training data sample. Based on the calculated value of the loss function, one or more parameters of the convolutional neural network are tuned. This sequence of actions is iteratively performed many times in order to minimize the value of the loss function. If at the next iterations there is no further decrease in the value of the loss function, then for a given training data set, the training of a convolutional neural network to detect and classify objects in images of the corresponding range is considered completed. Checking the achievement of the maximum achievable probability of detecting and classifying objects for a trained convolutional neural network is performed on the remainder of the set of images selected from sets of object images, from which the training data sample used for network training is excluded. Having memorized the obtained values of the probability of detection and classification of objects, in the manner described above, a new training data sample is created from the augmented sets of images of objects, the convolutional neural network is retrained on it, for the newly trained convolutional neural network, the values of the probability of detection and classification of objects are obtained on the corresponding remainder of the set of images , selected from sets of images of objects, from which the training data set used for training is excluded. If the newly obtained values of the probability of detection and classification of objects do not exceed the previously obtained values, then the training of the convolutional neural network using this training data set is completed.

Применение соответствующей обученной классифицирующей нейронной сети к исследуемому изображению для обнаружения и классификации изображенных на нем объектов выполняют следующим образом. Для обработки исследуемого изображения, полученного в соответствующем диапазоне электромагнитных волн, используют обученную для этого диапазона нейронную сеть. Результатом обнаружения и классификации изображенного на нем объекта могут быть решения вида "обнаружены и классифицированы объекты" с локализацией их места на исследуемом изображении или решение вида "на данном изображении искомых объектов не обнаружено", как показано на фиг. 1. На исследуемом изображении могут быть несколько искомых объектов одного или различных типов. Для их обнаружения на изображении параллельно или последовательно выполняют поиск объектов различных типов.The application of the appropriate trained classifying neural network to the image under study to detect and classify the objects depicted on it is performed as follows. To process the studied image obtained in the corresponding range of electromagnetic waves, a neural network trained for this range is used. The result of the detection and classification of the object depicted on it can be solutions of the form "objects were detected and classified" with the localization of their place in the image under study, or a solution of the form "no objects of interest were found in this image", as shown in Fig. 1. There can be several desired objects of the same or different types on the studied image. To detect them in the image, a search for objects of various types is performed in parallel or sequentially.

Таким образом, в предлагаемом способе обеспечивается повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.Thus, the proposed method provides an increase in the probability of detecting and classifying objects in images of various types, including images of the visible range, microwave range and infrared range.

ЛитератураLiterature

[1] Радиолокационные характеристики объектов. Методы исследования / Под ред. С.М. Несторова. - М.: Изд. Радиотехника. 2015. - 312 с. [1] Radar characteristics of objects. Research methods / Ed. CM. Nestorov. - M.: Ed. Radio engineering. 2015. - 312 p.

[2] Способ вычислительно эффективного многоклассового распознавания изображений с использованием последовательного анализа нейросетевых признаков. Патент РФ №2706960 от 25.01.2019, МПК G06K 9/62 (2006.01).[2] A method for computationally efficient multiclass image recognition using sequential analysis of neural network features. Patent of the Russian Federation No. 2706960 dated 01/25/2019, IPC G06K 9/62 (2006.01).

[3] Способ автоматической обработки изображений с использованием генеративно-состязательных нейронных сетей. Патент РФ №2710659 от 20.02.2019, МПК G06T 1/40 (2019.08).[3] A method for automatic image processing using generative adversarial neural networks. RF patent No. 2710659 dated February 20, 2019, IPC G06T 1/40 (2019.08).

[4] Способ обработки изображений обученными сверточными нейронными сетями. Патент РФ №2709661 от 19.09.2018, МПК G06N 3/08 (2006.01).[4] Method of image processing by trained convolutional neural networks. RF patent No. 2709661 dated September 19, 2018, IPC G06N 3/08 (2006.01).

[5] Афиногенов А.Ю. Математическое моделирование радиолокационных портретов распределенных объектов сложной формы и некоторые его приложения: дисс... канд. физ.- мат.наук. - М.: 1996. - 275 с. [5] Afinogenov A.Yu. Mathematical modeling of radar portraits of distributed objects of complex shape and some of its applications: diss... cand. physics and mathematics - M.: 1996. - 275 p.

[6] Гарбуль А.А., Жданов Д.Д., Потемкин И.С., Соколов В.Г. Компьютерное моделирование изображений сложных трехмерных сцен, сформированных моделями реальных оптических систем: // Журнал Научная визуализация. МИФИ. 2013, том 5, номер 4. - С. 88-117.[6] Garbul A.A., Zhdanov D.D., Potemkin I.S., Sokolov V.G. Computer modeling of images of complex three-dimensional scenes formed by models of real optical systems: // Journal of Scientific Visualization. MEPhI. 2013, volume 5, number 4. - S. 88-117.

[7] Ульянов А.Ю., Котюжанский Л.А., Рыжкова Н.Г. Метод трассировки лучей как основная технология фотореалистичного рендеринга: // Журнал Фундаментальные исследования. УФУ. 2015, №11. - С. 1124-1128.[7] Ulyanov A.Yu., Kotyuzhansky L.A., Ryzhkova N.G. Ray tracing method as the main technology of photorealistic rendering: // Journal of Fundamental Research. UFU. 2015, No. 11. - S. 1124-1128.

[8] Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. - СПб.: Питер. 2018. - 480 с. [8] Nikolenko S., Kadurin A., Arkhangelskaya E. Deep learning. Dive into the world of neural networks. - St. Petersburg: Peter. 2018. - 480 p.

[9] Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy. Zhengwey Wang, Qi She, Tomas E. Ward. // arXiv preprint arXiv: 1906. 01529v4, 15 Jun. 2020.[9] Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy. Zhengwey Wang, Qi She, Tomas E. Ward. // arXiv preprint arXiv: 1906. 01529v4, 15 Jun. 2020.

[10] Паттерсон Дж., Гибсон А. Глубокое обучение с точки зрения практики. - М.: ДМК Пресс.2018. - 418 с. [10] Patterson J., Gibson A. Deep learning from a practical point of view. - M.: DMK Press.2018. - 418 p.

[11] Способ обучения нейронной сети. Патент РФ №2707147 от 31.10.2018, МПК G06N 3/08 (2006.01).[11] A method for training a neural network. RF patent No. 2707147 dated October 31, 2018, IPC G06N 3/08 (2006.01).

Claims

1. A method for processing images by trained neural networks, including obtaining a set of full-scale images of an object, creating an initial set of images, where each image from the original set of images is the result of image rendering, creating a training data set containing a plurality of images, training using a training data set of classifying neural networks, the use of a trained classifying neural network, characterized in that they receive sets of natural images of N ≥ 2 objects with a background and three-dimensional models of N objects, as well as a set of M ≥ 2 background images, create K, where K ≥ N⋅M, of the original image sets objects with a background, where each image from the original set of images is the result of rendering a three-dimensional model of one of the objects, combined with one of the background images, then using an adversarial neural network consisting of a generator neural network and a discriminator neural network using a generator using a discriminator neural network, iteratively changes each image from the original image sets, using a discriminator neural network, at this iteration, the modified image is compared with a set of full-scale images of objects with a background, the differences are evaluated and the estimated differences are transmitted to the generator neural network, which, taking into account these differences, changes the image, and also, the estimated differences are used in the discriminator neural network to increase its ability to compare images, and the previously described actions are repeated until the discriminator neural network is able to distinguish differences, and when the possibility of distinguishing differences is exhausted, K sets of modified images as training data samples are used for learning the corresponding classifying neural networks, the corresponding trained classifying neural network is applied to the studied image to detect and classify the object depicted on it.

2. The method according to claim 1, characterized in that sets of natural images of N objects with a background and a set of M background images are formed as images of the visible range, the obtained three-dimensional models of objects correspond to the visible range, and the corresponding trained classifying neural network detects and classifies objects on visible range images.

3. The method according to claim 1, characterized in that sets of natural images of N objects with a background and a set of M background images are formed as microwave images, the obtained three-dimensional object models correspond to the microwave range, and the corresponding trained classifying neural network detects and classifies objects in microwave images.

4. The method according to claim 1, characterized in that sets of natural images of N objects with a background and a set of M background images are formed as IR images, the obtained three-dimensional object models correspond to the IR range, and the corresponding trained classifying neural network detects and classifies objects in IR images.

5. The method according to claim 1, characterized in that when creating K initial sets of images of objects with a background, each image from the initial set is the result of rendering a three-dimensional model of one of the objects, which is performed by changing the viewing angle of the three-dimensional model of this object in azimuth and elevation.

6. The method according to claim. 1, characterized in that the generator neural network and the discriminator neural network are made with the possibility of iterative learning.

7. The method according to claim 1, characterized in that convolutional neural networks are used as trained classifying neural networks.