RU2817001C1 - Method of detecting anomaly of hyperspectral image based on "training-trained" model, computer data medium and device - Google Patents
Method of detecting anomaly of hyperspectral image based on "training-trained" model, computer data medium and device Download PDFInfo
- Publication number
- RU2817001C1 RU2817001C1 RU2023117085A RU2023117085A RU2817001C1 RU 2817001 C1 RU2817001 C1 RU 2817001C1 RU 2023117085 A RU2023117085 A RU 2023117085A RU 2023117085 A RU2023117085 A RU 2023117085A RU 2817001 C1 RU2817001 C1 RU 2817001C1
- Authority
- RU
- Russia
- Prior art keywords
- network model
- training
- data
- learning network
- model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000012549 training Methods 0.000 claims abstract description 124
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 230000002547 anomalous effect Effects 0.000 claims description 35
- 239000010410 layer Substances 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 38
- 239000013598 vector Substances 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012907 on board imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
Description
Перекрестные ссылки на смежные заявкиCross-references to related applications
Настоящее описание основано на предварительной заявке на патент Китая № 2023103874726, поданной в Национальное управление интеллектуальной собственности Китая 12 апреля 2023 г. и озаглавленной «Method for Detecting Hyperspectral Image Anomaly Based On Teacher-Student Model, Computer Storage Medium and Device», описание которой полностью включено в настоящий документ путем ссылки, и испрашивает приоритет по ней.The present disclosure is based on Chinese Provisional Patent Application No. 2023103874726, filed with the National Intellectual Property Administration of China on April 12, 2023, entitled “Method for Detecting Hyperspectral Image Anomaly Based on Teacher-Student Model, Computer Storage Medium and Device,” which is described in full is incorporated herein by reference, and claims benefit therefrom.
ОБЛАСТЬ ТЕХНИКИTECHNICAL FIELD
Настоящее описание относится к способу обнаружения аномалии изображения, в частности к способу обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый», компьютерному носителю данных и устройству.The present description relates to an image anomaly detection method, in particular to a hyperspectral image anomaly detection method based on a teacher-learner model, a computer storage medium and an apparatus.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯPREREQUISITES FOR CREATION OF THE INVENTION
С развитием пилотируемой аэрокосмической техники бортовые системы визуализации становятся все более совершенными и создается все больше изображений гиперспектрального разрешения (далее — гиперспектральные изображения). Гиперспектральные изображения, как правило, обладают очень высокой информативностью, имея сотни последовательных узких полос, составляющих их спектральные размерности, при этом диапазон длин волн включает ультрафиолетовый, видимый, ближний инфракрасный, короткий инфракрасный и средний инфракрасный диапазоны. Гиперспектральные изображения имеют большее количество полос, чем мультиспектральные, так что они содержат более подробную информацию об объекте. Гиперспектральные изображения часто используют для различных задач обнаружения, таких как классификация изображений, обнаружение объекта и обнаружение аномалий.With the development of manned aerospace technology, on-board imaging systems are becoming more sophisticated and more and more hyperspectral resolution images (hereinafter referred to as hyperspectral images) are being created. Hyperspectral images are typically very highly informative, having hundreds of successive narrow bands making up their spectral dimensions, with a range of wavelengths including ultraviolet, visible, near-infrared, short-infrared and mid-infrared. Hyperspectral images have more bands than multispectral images, so they contain more detailed information about an object. Hyperspectral images are often used for various detection tasks such as image classification, object detection, and anomaly detection.
Целью обнаружения аномалии изображения, по существу, является идентификация аномальных объектов, признаки которых значительно отличаются от соседних пикселей или глобального фона. Аномальная цель может представлять собой аномалию спектрального признака или аномалию пространственного признака; аномалия не относится к конкретному пикселю, она может представлять собой пиксель, или множество пикселей, или признак, или множество разных признаков. В практических применениях обнаружение аномалии изображения может представлять собой быструю и простую работу по отсеиванию до обнаружения объекта; сначала подозрительные объекты со значительными отличиями от фона быстро отсеивают с последующим уточненным обнаружением объекта, например сопоставлением с априорной информацией об объектах для различения объектов.The goal of image anomaly detection is essentially to identify anomalous objects whose features differ significantly from neighboring pixels or the global background. The anomalous target may be a spectral feature anomaly or a spatial feature anomaly; an anomaly is not specific to a specific pixel, it can be a pixel, or many pixels, or a feature, or many different features. In practical applications, image anomaly detection can be a quick and simple sifting job until the object is detected; First, suspicious objects with significant differences from the background are quickly eliminated, followed by refined object detection, such as comparison with a priori object information to distinguish objects.
В существующих способах обнаружения аномалий на основе глубокого обучения приоритет отдают генеративным моделям, таким как автокодировщики или генеративно-состязательные сети. В этих способах стараются не использовать какие-либо предварительные знания об изображении, обучаться с нуля и обнаруживать аномалии путем сравнения исходного изображения с восстановленным изображением, однако существуют следующие проблемы: при сравнении используется простое сравнение на уровне пикселей, информация в пространственной области не учитывается, при восстановлении изображения обязательно присутствуют дефекты, и эти проблемы в некоторой степени ограничивают эффективность обнаружения этими способами.Existing deep learning-based anomaly detection methods prioritize generative models such as autoencoders or generative adversarial networks. These methods try not to use any prior knowledge about the image, train from scratch and detect anomalies by comparing the original image with the reconstructed image, but there are the following problems: the comparison uses a simple comparison at the pixel level, information in the spatial domain is not taken into account, when There are bound to be defects in image reconstruction, and these problems limit the detection efficiency of these methods to some extent.
Andrews et al. пытались сместить векторы эмбеддинга предварительно обученной сети в задачу обнаружения аномалии посредством выполнения подгонки неглубокого машинного обучения на признаках обучающих данных без аномалии и достигли хороших результатов; однако они применяют этот способ только для классификации изображений и не учитывают проблему обнаружения аномалии (см. Jerone TA Andrews, Thomas Tanay, Edward J Morton, and Lewis D Griffin. Transfer RepresentationLearning for Anomaly Detection. In Anomaly Detection Workshop at ICML 2016, 2016).Andrews et al. tried to bias the embedding vectors of a pre-trained network into an anomaly detection task by performing shallow machine learning fitting on features of training data without an anomaly and achieved good results; however, they only use this method for image classification and do not take into account the problem of anomaly detection (see Jerone TA Andrews, Thomas Tanay, Edward J Morton, and Lewis D Griffin. Transfer RepresentationLearning for Anomaly Detection. In Anomaly Detection Workshop at ICML 2016, 2016) .
Аналогичные эксперименты выполняли Burlina et al., и, согласно их результатам, эффективность применения таких отличительных векторов эмбеддинга выше по сравнению с пространством признаков, полученным из генеративных моделей, но не в полной мере использует информацию о пространственной и спектральной областях (см. Philippe Burlina, Neil Joshi, and I-Jeng Wang. Where’s Wally Now Deep Generative and Discriminative Embeddings for Novelty Detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019).Similar experiments were performed by Burlina et al., and according to their results, the efficiency of using such discriminative embedding vectors is higher compared to the feature space obtained from generative models, but does not fully use information about the spatial and spectral domains (see Philippe Burlina, Neil Joshi, and I-Jeng Wang, "Where's Wally Now Deep Generative and Discriminative Embeddings for Novelty Detection," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.
ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Целью настоящего описания является решение технических проблем, связанных с тем, что информация сравнения не является исчерпывающей и эффективность обнаружения ограничена из-за дефектов восстановленного изображения при обнаружении существующей аномалии гиперспектрального изображения, и предложение способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый», компьютерного носителя данных и устройства.The purpose of this description is to solve the technical problems associated with the fact that the comparison information is not exhaustive and the detection efficiency is limited due to defects in the reconstructed image when detecting an existing hyperspectral image anomaly, and to propose a method for detecting a hyperspectral image anomaly based on a teach-learner model. , computer storage media and device.
Технические решения, предложенные в настоящем описании, представляют собой:The technical solutions proposed in this description are:
способ обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый», включающий следующие стадии:a method for detecting anomalies in a hyperspectral image based on a “teacher-learner” model, including the following stages:
стадию S1 — построение модели обучающей сети и модели обучаемой сети;stage S1 - building a training network model and a learning network model;
стадию S2 — повторяющееся множество раз обучение модели обучающей сети с помощью меченых обучающих данных модели обучающей сети с проверочными аномальными данными, причем функция потерь Loss t на момент обучения имеет вид: , до тех пор, пока функция потерь Loss t не перестанет падать более чем на 0,1 процента за 5 циклов обучения, завершая обучение модели обучающей сети;stage S2 - repeated training of the training network model many times using labeled training data of the training network model with testing anomalous data, and the loss function Loss t at the time of training has the form: , until the loss function Loss t stops falling by more than 0.1 percent over 5 training cycles, completing training of the learning network model;
где представляет собой метку обучающих данных модели обучающей сети, а представляет собой выводимые данные обучающих данных модели обучающей сети через модель обучающей сети;Where represents the label of the training data of the learning network model, and represents the output data of the training data of the training network model through the training network model;
стадию S3 — выбор нормальных данных для формирования обучающих данных модели обучаемой сети;stage S3—selection of normal data to form training data for the learning network model;
стадию S4 — ввод обучающих данных модели обучаемой сети в модель обучающей сети, обученную на стадии S2, и получение эмбеддинга, выведенного моделью обучающей сети; одновременно ввод обучающих данных модели обучаемой сети в модель обучаемой сети, получение эмбеддинга, выведенного моделью обучаемой сети, выполнение обучения модели обучаемой сети множество раз, причем функция потерь Loss s на момент обучения имеет вид: , до тех пор, пока функция потерь Loss s не перестанет падать более чем на 0,1 процента за 5 циклов обучения, завершение обучения модели обучаемой сети;stage S4 - inputting the training data of the training network model into the training network model trained at stage S2, and receiving the embedding output by the training network model; simultaneously inputting the training data of the learning network model into the learning network model, receiving the embedding output by the learning network model, performing training of the learning network model many times, and the loss function Loss s at the time of training has the form: ,until the loss function Loss s stops falling by more than 0.1 percent in 5 training cycles, the training network model is completed;
где представляет собой эмбеддинг, выведенный моделью обучающей сети, а представляет собой эмбеддинг, выведенный моделью обучаемой сети;Where represents the embedding output from the learning network model, and represents the embedding output from the learning network model;
стадию S5 — ввод подлежащих обнаружению данных в модель обучающей сети, обученную на стадии S2, и в модель обучаемой сети, обученную на стадии S4, для обнаружения аномалии, и функция оценки аномалии имеет вид:stage S5 - input of the data to be detected into the learning network model trained in stage S2 and into the learning network model trained in stage S4 to detect an anomaly, and the anomaly scoring function is:
, ,
где Error представляет собой оценку аномалии, представляет собой эмбеддинг, выведенный моделью обучающей сети после ввода подлежащих обнаружению данных, а представляет собой эмбеддинг, выведенный моделью обучаемой сети после ввода подлежащих обнаружению данных; иwhere Error represents the anomaly score, represents the embedding output by the learning network model after input of the data to be detected, and represents the embedding output by the learning network model after input of the data to be detected; And
вычисление для получения оценки аномалии и определение того, что соответствующий пиксель представляет собой аномальный пиксель, в соответствии с предварительно заданным пороговым значением T оценки аномалии, в случае если оценка аномалии больше или равна пороговому значению T; в случае если оценка аномалии меньше порогового значения T, определение того, что соответствующий пиксель представляет собой нормальный пиксель.calculating to obtain an anomaly score and determining that a corresponding pixel is an anomalous pixel according to a predetermined anomaly score threshold value T, in case the anomaly score is greater than or equal to the threshold value T; in case the anomaly score is less than a threshold value T, determining that the corresponding pixel is a normal pixel.
В некоторых вариантах осуществления на стадии S1 построение модели обучающей сети и модели обучаемой сети предусматривает следующее:In some embodiments, in step S1, the construction of the training network model and the learning network model involves the following:
архитектура модели обучающей сети включает в себя трехуровневую сверточную нейронную сеть, четыре линейных уровня и уровень нормализации, которые расположены последовательно; трехуровневая сверточная нейронная сеть используется для извлечения признаков, а сверточная нейронная сеть первого уровня представляет собой трехмерную свертку, используемую для одновременного извлечения пространственной информации и спектральной информации; иThe architecture of the training network model includes a three-layer convolutional neural network, four linear layers and a normalization layer, which are arranged sequentially; three-layer convolutional neural network is used to extract features, and the first-layer convolutional neural network is a three-dimensional convolution used to extract spatial information and spectral information simultaneously; And
архитектура модели обучаемой сети включает в себя одноуровневую сверточную нейронную сеть и два линейных уровня, которые расположены последовательно.The architecture of the learning network model includes a single-layer convolutional neural network and two linear layers, which are arranged in series.
В некоторых вариантах осуществления на стадии S2 обучающие данные модели обучающей сети представляют собой один или более наборов данных; иIn some embodiments, in step S2, the training data of the learning network model is one or more data sets; And
множество наборов данных соответствует множеству разных сценариев.many data sets correspond to many different scenarios.
В некоторых вариантах осуществления на стадии S3 обучающие данные модели обучаемой сети удовлетворяют следующему:In some embodiments, at step S3, the training data of the learning network model satisfies the following:
подлежащие обнаружению данные содержат n типов фоновых данных, а обучающие данные модели обучаемой сети содержат нормальные данные из n типов фоновых данных.The data to be detected contains n types of background data, and the training data of the learning network model contains normal data from n types of background data.
В некоторых вариантах осуществления на стадии S4 эмбеддинг, выведенный моделью обучающей сети, выводится третьим линейным уровнем из четырех линейных уровней.In some embodiments, in step S4, the embedding output by the training network model is output by the third line layer of the four line layers.
В некоторых вариантах осуществления на стадии S5 ввод подлежащих обнаружению данных в обученную модель обучающей сети со стадии S2 и обученную модель обучаемой сети со стадии S4 конкретно включает в себя:In some embodiments, in step S5, the input of the data to be discovered to the trained learning network model from step S2 and the trained learning network model from step S4 specifically includes:
ввод каждого подлежащего обнаружению пикселя и восьми смежных с ним пикселей в подлежащих обнаружению данных в квадрат данных размерами 3 * 3 в пространственной области в качестве блока ввода, который вводят в модель обучающей сети и модель обучаемой сети после завершения обучения.inputting each pixel to be detected and its eight adjacent pixels in the data to be detected into a data square of size 3 * 3 in the spatial domain as an input block, which is input to the training network model and the learning network model after training is completed.
В настоящем описании также предложен компьютерный носитель данных, содержащий в себе компьютерную программу, которая при исполнении процессором реализует стадии вышеописанного способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый».The present description also provides a computer storage medium containing a computer program that, when executed by a processor, implements the steps of the above-described method for detecting an anomaly of a hyperspectral image based on a teacher-learner model.
В настоящем описании также предложено компьютерное устройство, содержащее процессор, запоминающее устройство, подключенное к процессору, и компьютерную программу, исполняемую процессором, и компьютерная программа при исполнении процессором реализует стадии вышеописанного способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый».The present disclosure also provides a computer device comprising a processor, a storage device coupled to the processor, and a computer program executable by the processor, and the computer program, when executed by the processor, implements the steps of the above-described method for detecting a hyperspectral image anomaly based on a teach-learner model.
Преимущественные эффекты изобретенияAdvantageous effects of the invention
Настоящее описание относится к способу обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый», при этом принимают сетевую модель «обучающий-обучаемый», полностью применяют информацию о пространственной и спектральной области в гиперспектральном изображении, вектор эмбеддинга модели обучающей сети переводят в задачу обнаружения гиперспектральной аномалии, получают более быстрое обнаружение аномалии на гиперспектральных изображениях в случае, когда получение меченых данных затруднено, и результаты обнаружения получают с высокой точностью, причем способ может быть широко применен для контроля различных видов внешних воздействий, и приспособляемость к внешним воздействиям сильна.The present description relates to a hyperspectral image anomaly detection method based on a teacher-learner model, adopting a teacher-learner network model, fully applying the spatial and spectral domain information in the hyperspectral image, and converting the embedding vector of the training network model into a detection task. hyperspectral anomaly, faster anomaly detection in hyperspectral images is obtained in the case where obtaining labeled data is difficult, and detection results are obtained with high accuracy, and the method can be widely applied to control various kinds of external influences, and the adaptability to external influences is strong.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВBRIEF DESCRIPTION OF GRAPHIC MATERIALS
На ФИГ. 1 представлена блок-схема варианта осуществления способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый» в соответствии с настоящим описанием;In FIG. 1 is a flowchart of an embodiment of a hyperspectral image anomaly detection method based on a teacher-learner model according to the present disclosure;
на ФИГ. 2 представлены гиперспектральное изображение (A) по первому сценарию для аэропорта и диаграмма (B) вероятности обнаружения по первому сценарию для аэропорта в наборе данных ABU в варианте осуществления настоящего описания;in FIG. 2 shows a hyperspectral image (A) of a first scenario for an airport and a diagram (B) of the detection probability of a first scenario for an airport in the ABU dataset in an embodiment of the present disclosure;
на ФИГ. 3 представлены гиперспектральное изображение (A) по второму сценарию для аэропорта и диаграмма (B) вероятности обнаружения по второму сценарию для аэропорта в наборе данных ABU в варианте осуществления настоящего описания;in FIG. 3 shows a hyperspectral image (A) of a second scenario for an airport and a diagram (B) of detection probability of a second scenario for an airport in the ABU dataset in an embodiment of the present disclosure;
на ФИГ. 4 представлены гиперспектральное изображение (A) по третьему сценарию для аэропорта и диаграмма (B) вероятности обнаружения по третьему сценарию для аэропорта в наборе данных ABU в варианте осуществления настоящего описания;in FIG. 4 shows a hyperspectral image (A) of a third scenario for an airport and a diagram (B) of detection probability of a third scenario for an airport in the ABU dataset in an embodiment of the present disclosure;
на ФИГ. 5 представлены гиперспектральное изображение (A) по четвертому сценарию для аэропорта и диаграмма (B) вероятности обнаружения по четвертому сценарию для аэропорта в наборе данных ABU в варианте осуществления настоящего описания;in FIG. 5 shows a hyperspectral image (A) of the fourth airport scenario and a diagram (B) of detection probability of the fourth airport scenario in the ABU dataset in an embodiment of the present disclosure;
на ФИГ. 6 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием глобального метода Рида — Сяоли (GRX); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию;in FIG. Figure 6 shows detection probability diagrams for scenarios two through four obtained using the global Reed-Xiaoli (GRX) method; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario;
на ФИГ. 7 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием локального метода Рида — Сяоли (LRX); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию;in FIG. Figure 7 shows detection probability diagrams for scenarios two to four obtained using the local Reed-Xiaoli (LRX) method; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario;
на ФИГ. 8 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием метода обнаружения аномалии на основе совместных представлений (CRD); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию;in FIG. 8 shows the detection probability diagrams for scenarios two through four obtained using the joint representation detection (CRD) anomaly method; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario;
на ФИГ. 9 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием метода Рида — Сяоли на основе энтропии для дробного преобразования Фурье (FrFE-RX); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию;in FIG. 9 shows the detection probability plots for scenarios two through four obtained using the Fractional Fourier Transform entropy-based Reed–Xiaoli method (FrFE-RX); (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario;
на ФИГ. 10 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием метода извлечения признаков и очистки фона (FEBP); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию;in FIG. 10 shows detection probability diagrams for scenarios two to four, obtained using the feature extraction and background purification (FEBP) method; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario;
на ФИГ. 11 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием метода автокодировщика (AE); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию;in FIG. 11 shows detection probability diagrams for scenarios two through four obtained using the autoencoder (AE) method; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario;
на ФИГ. 12 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием метода разреженного автокодировщика (SAE); (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию; иin FIG. 12 shows detection probability diagrams for scenarios two through four obtained using the sparse autoencoder (SAE) method; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario; And
на ФИГ. 13 представлены диаграммы вероятности обнаружения для сценариев со второго по четвертый, полученные с использованием метода обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый»; (a) — диаграмма вероятности обнаружения по второму сценарию, (b) — диаграмма вероятности обнаружения по третьему сценарию, и (c) — диаграмма вероятности обнаружения по четвертому сценарию.in FIG. Figure 13 shows detection probability diagrams for scenarios two to four obtained using the hyperspectral image anomaly detection method based on the teach-learner model; (a) is the detection probability diagram for the second scenario, (b) is the detection probability diagram for the third scenario, and (c) is the detection probability diagram for the fourth scenario.
ПОДРОБНОЕ ОПИСАНИЕDETAILED DESCRIPTION
Способ обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый», предлагаемый в настоящем варианте осуществления, дополнительно описан ниже со ссылкой на прилагаемые графические материалы.The hyperspectral image anomaly detection method based on the teach-learner model proposed in the present embodiment is further described below with reference to the accompanying drawings.
На ФИГ. 1 представлены следующие стадии способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый»:In FIG. 1 presents the following stages of a method for detecting hyperspectral image anomalies based on the “teacher-learner” model:
1. Построение модели обучающей сети и модели обучаемой сети;1. Construction of a training network model and a learning network model;
построение соответствующих архитектур для модели обучающей сети и модели обучаемой сети соответственно для облегчения последующей реализации алгоритма обнаружения аномалии; структура модели обучающей сети включает в себя сверточный уровень, линейные уровни и конечный уровень нормализации. Структура модели обучаемой сети упрощена от модели обучающей сети.constructing appropriate architectures for the training network model and the learning network model, respectively, to facilitate the subsequent implementation of the anomaly detection algorithm; The structure of the learning network model includes a convolutional layer, linear layers, and a final normalization layer. The structure of the learning network model is simplified from the learning network model.
В модели обучающей сети для извлечения признаков используют трехуровневую сверточную нейронную сеть, и первый уровень сверточной нейронной сети представляет собой трехмерную свертку, он может одновременно использовать пространственную информацию и спектральную информацию; далее следуют четыре линейных уровня. Линейные уровни, как правило, функционируют как классификаторы и могут выводить свои вероятности принадлежности к соответствующим классам на основе входной информации о признаке. Необходимо пояснить, что, когда модель обучающей сети обучена, последний линейный уровень реализует функцию вывода вероятностей принадлежности к различным классам в соответствии с входной информацией о признаке, здесь это двоичная классификация, т. е. аномалия и отсутствие аномалии; но при использовании модели обучающей сети и модели обучаемой сети для вывода эмбеддингов линейный уровень функционирует для скрининга требуемой информации о признаке.The learning network model uses three-layer convolutional neural network to extract features, and the first layer of convolutional neural network is a three-dimensional convolution, it can simultaneously use spatial information and spectral information; This is followed by four linear levels. Linear levels typically function as classifiers and can infer their probabilities of membership in the corresponding classes based on the input information about the feature. It should be clarified that when the learning network model is trained, the last linear layer implements the function of outputting the probabilities of belonging to different classes according to the input feature information, here it is a binary classification, i.e. anomaly and no anomaly; but when using the learning network model and the learning network model to output embeddings, the linear layer functions to screen the required feature information.
Модель обучаемой сети включает в себя один сверточный уровень и два линейных уровня и упрощается от модели обучающей сети для сведения к минимуму количества параметров в сети, чтобы ускорить процесс обучения и зондирования при одновременном обеспечении обнаружения.The learning network model includes one convolutional layer and two linear layers and is simplified from the training network model to minimize the number of parameters in the network to speed up the training and sensing process while achieving detection.
2. Обучение модели обучающей сети посредством множества меченых обучающих данных модели обучающей сети;2. Training the learning network model using a set of labeled training data of the learning network model;
в некоторых вариантах осуществления подлежащий обнаружению пиксель и его восемь соседних пикселей образуют квадрат данных, имеющий размер 3 * 3, в пространственной области, квадрат данных вводят в модель обучающей сети, а затем выходной вектор, имеющий размер 2, берут из конца сети (два значения в векторе представляют вероятность аномалии и вероятность отсутствия аномалии соответственно).in some embodiments, the pixel to be detected and its eight neighboring pixels form a data square having size 3 * 3 in the spatial domain, the data square is input into the training network model, and then an output vector having size 2 is taken from the end of the network (two values in the vector represent the probability of an anomaly and the probability of no anomaly, respectively).
Обучающие данные модели обучающей сети включают в себя аномальные данные, и обучающие данные модели обучающей сети выбирают для обучения модели обучающей сети, причем выбранные обучающие данные модели обучающей сети имеют тип, соответствующий набору данных, подлежащих обнаружению, и представляют собой набор гиперспектральных данных, и для удобства может быть выбран набор данных, уже имеющий метку. Может быть выбран один или более наборов обучающих данных модели обучающей сети. В данном варианте осуществления выбирают только один набор данных для обнаружения эффективности способа в наихудшем случае. Предпочтительно выбор обучающих данных модели обучающей сети в множестве разных сценариев позволяет модели обучающей сети усваивать как можно больше информации.The training data of the learning network model includes anomalous data, and the training data of the learning network model is selected for training the learning network model, wherein the selected training data of the learning network model is of a type corresponding to the data set to be detected and is a hyperspectral data set, and for For convenience, a data set that already has a label can be selected. One or more sets of training data for the learning network model may be selected. In this embodiment, only one data set is selected to detect the worst case performance of the method. Preferably, selecting the learning network model's training data in many different scenarios allows the learning network model to learn as much information as possible.
Следует подчеркнуть, что обучение модели обучающей сети не приводит к заметной точности ее результатов обнаружения (выводу вероятности аномалии в конце сети). Выходные данные в конце сети используют только во время обучения модели обучающей сети, и последующее обнаружение использует только эмбеддинг, выведенный линейным уровнем в середине. Роль данного обучения заключается только в том, чтобы модель обучающей сети усвоила определенные признаки аномальных и неаномальных данных и различия между ними. Другими словами, конечная цель данного обучения заключается в том, чтобы позволить модели обучающей сети различать эмбеддинги, выводимые соответствующими линейными уровнями модели обучающей сети, в определенной степени для обоих случаев: ввода аномальных данных и ввода неаномальных данных.It should be emphasized that training a training network model does not lead to noticeable accuracy of its detection results (inferring the probability of an anomaly at the end of the network). The output at the end of the network is used only during training of the training network model, and subsequent detection uses only the embedding output from the line layer in the middle. The role of this training is only to ensure that the learning network model learns certain features of anomalous and non-anomalous data and the differences between them. In other words, the ultimate goal of this training is to allow the learning network model to distinguish between the embeddings output by the corresponding linear layers of the learning network model to a certain extent for both cases of anomalous data input and non-anomalous data input.
Функция потерь Loss t для обучения модели обучающей сети имеет вид:The loss function Loss t for training a learning network model has the form:
, ,
где представляет собой метку обучающих данных модели обучающей сети, а представляет собой выводимые данные обучающих данных модели обучающей сети через модель обучающей сети, причем выходные данные представляют собой вектор размером 2, второе значение которого в настоящем варианте осуществления принимают в качестве вероятности аномалии. Функция потерь представляет собой квадрат евклидовой нормы метки обучающих данных модели обучающей сети и выводимых данных обучающих данных модели обучающей сети через модель обучающей сети.Where represents the label of the training data of the learning network model, and represents the output data of the training data of the training network model through the training network model, the output data being a vector of size 2, the second value of which is taken as the anomaly probability in the present embodiment. The loss function is the square of the Euclidean norm of the label of the training data of the learning network model and the output of the training data of the learning network model through the learning network model.
Обучение повторяют несколько раз на наборе данных, используемом до тех пор, пока функция потерь Loss t не перестанет падать более чем на 0,1 процента за 5 циклов обучения, при этом обучение модели обучающей сети завершается.The training is repeated several times on the dataset used until the loss function Loss t stops falling by more than 0.1 percent over 5 training cycles, at which point training of the training network model is completed.
3. Выбор неаномальных данных (нормальных данных) для формирования обучающих данных модели обучаемой сети;3. Selection of non-anomalous data (normal data) to form training data for the learning network model;
неаномальные данные представляют собой данные в наборе данных, отличные от аномальных целевых данных, подлежащих обнаружению, которые также могут называться фоновыми данными. Такие данные разнообразны и относятся к различным категориям. Фоновые данные, по существу, составляют большой объем в изображении.non-anomalous data is data in a dataset other than the anomalous target data to be detected, which may also be called background data. Such data is varied and falls into different categories. Background data essentially makes up a large volume in the image.
Основной принцип способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый» заключается в использовании различия в информации модели обучающей сети и модели обучаемой сети для обнаружения аномалий после формирования обучающих данных модели обучаемой сети с использованием неаномальных данных, только предшествующая информация о неаномальных данных присутствует в модели обучаемой сети, в то время как предшествующая информация как об аномальных данных, так и о неаномальных данных существует в модели обучающей сети, тем самым создавая различие в информации между моделью обучаемой сети и моделью обучающей сети.The basic principle of the hyperspectral image anomaly detection method based on the teach-learner model is to use the difference in information of the training network model and the learning network model to detect anomalies after generating the training data of the learning network model using the non-anomalous data, only the previous information of the non-anomalous data is present in the learning network model, while prior information about both anomalous data and non-anomalous data exists in the learning network model, thereby creating a difference in information between the learning network model and the learning network model.
Неаномальные данные, составляющие обучающие данные модели обучаемой сети, должны быть как можно более репрезентативными при выборе, т. е. они должны быть репрезентативными по отношению к фоновым данным в подлежащих обнаружению данных; например, в подлежащих обнаружению данных существует n типов фоновых данных, при этом идеально, чтобы существовало определенное количество n типов фоновых данных в обучающих данных модели обучаемой сети; чем более репрезентативны данные в обучающих данных модели обучаемой сети по отношению к фоновым данным в подлежащих обнаружению данных, тем лучше будет результат обнаружения.The non-anomalous data that constitutes the training data of the learning network model should be as representative as possible when selected, i.e., it should be representative of the background data in the data to be discovered; for example, there are n types of background data in the data to be discovered, and it is ideal that there are a certain number of n types of background data in the training data of the learning network model; The more representative the data in the learning network model's training data is with respect to the background data in the data to be detected, the better the detection result will be.
4. Обучение модели обучаемой сети на обучающих данных модели обучаемой сети с помощью псевдометки, сгенерированной моделью обучающей сети;4. Training the learning network model on the training data of the learning network model using a pseudo-label generated by the learning network model;
сначала, если говорить о средствах ввода данных, модель обучаемой сети имеет структуру, аналогичную структуре модели обучающей сети, так что модель обучаемой сети имеет такие же средства ввода данных, что и модель обучающей сети, и подлежащий обнаружению пиксель и восемь соседних пикселей образуют в качестве блока ввода квадрат данных размерами 3 * 3 в пространственной области. Следует подчеркнуть, что в этом квадрате данных только центральный пиксель должен представлять собой неаномальные данные из обучающих данных, а остальные соседние пиксели могут представлять собой аномальные данные, однако усвоение признаков аномальных данных в пространственной области также является неизбежным процессом для модели обучаемой сети и не препятствует формированию различия в информации с моделью обучающей сети.First, in terms of input means, the learning network model has a structure similar to that of the learning network model, so that the learning network model has the same input means as the learning network model, and the pixel to be detected and eight neighboring pixels form as input block is a data square of dimensions 3 * 3 in the spatial domain. It should be emphasized that in this data square, only the central pixel should represent non-anomalous data from the training data, and the remaining neighboring pixels may represent anomalous data, but learning the features of anomalous data in the spatial domain is also an inevitable process for the learning network model and does not prevent the formation differences in information with the learning network model.
Функция потерь Loss s при обучении имеет вид:The loss function Loss s during training has the form:
, ,
где представляет собой эмбеддинг, выведенный моделью обучающей сети (эмбеддинг представляет собой вектор, извлеченный и преобразованный из входных данных, содержащий некоторую информацию о признаке входных данных), и используется в настоящем документе в качестве псевдометки, причем эмбеддинг модели обучающей сети выводится третьим линейным уровнем, из которого вектор эмбеддинга размером 512 (подразумевающий информацию о признаке входных данных) берется по требованию; представляет собой эмбеддинг, выведенный моделью обучаемой сети; функция потерь представляет собой квадрат евклидовой нормы их обоих.Where represents the embedding output of the learning network model (the embedding is a vector extracted and transformed from the input data, containing some information about the feature of the input data), and is used herein as a pseudo-label, with the embedding of the learning network model being output by the third linear layer, from whose embedding vector of size 512 (implying information about the input data attribute) is taken on demand; represents the embedding output from the learning network model; the loss function is the square of the Euclidean norm of both of them.
Из функции потерь можно видеть, что цель данного обучения заключается в том, чтобы сделать эмбеддинг, выведенный моделью обучаемой сети, как можно ближе к эмбеддингу, выведенному моделью обучающей сети, т. е. это процесс, с помощью которого модель обучаемой сети усваивает априорные знания в модели обучающей сети. Следует подчеркнуть, что обучающие данные модели обучаемой сети содержат только неаномальные данные, поэтому знания, усвоенные моделью обучаемой сети, связаны только с неаномальными данными, что представляет собой процесс формирования различия в информации модели обучаемой сети и модели обучающей сети.From the loss function, we can see that the goal of this training is to make the embedding output by the learning network model as close as possible to the embedding output by the learning network model, i.e., this is the process by which the learning network model learns prior knowledge in the learning network model. It should be emphasized that the training data of the learning network model only contains non-anomalous data, so the knowledge learned by the learning network model is only associated with non-anomalous data, which is the process of forming differences in the information of the learning network model and the learning network model.
Процесс обучения повторяют несколько раз на обучающих данных до тех пор, пока функция потерь Loss s не перестанет падать более чем на 0,1 процента за 5 циклов обучения, при этом обучение модели обучаемой сети завершается.The training process is repeated several times on the training data until the loss function Loss s stops falling by more than 0.1 percent over 5 training cycles, at which point training of the trained network model is completed.
5. Ввод подлежащих обнаружению данных, использование обученной модели обучающей сети и модели обучаемой сети для обнаружения аномалий;5. Input the data to be detected, use the trained learning network model and the learning network model to detect anomalies;
во-первых, если говорить о формате ввода данных, в соответствии со способом обучения на стадии 2 и стадии 4 подлежащий обнаружению пиксель и его восемь соседних пикселей, которые образуют квадрат размерами 3 * 3 в пространственной области, вводят в модель обучающей сети и модель обучаемой сети для получения эмбеддинга, выведенного моделью обучающей сети, и эмбеддинга, выведенного моделью обучаемой сети, соответственно.Firstly, in terms of data input format, according to the learning method in stage 2 and stage 4, the pixel to be detected and its eight neighboring pixels, which form a 3 * 3 square in the spatial domain, are input into the training network model and the learner network model networks to obtain the embedding output by the training network model and the embedding output by the learning network model, respectively.
Из-за различия в информации между моделью обучающей сети и моделью обучаемой сети эмбеддинги, выводимые ими, также будут отличаться. Когда входной подлежащий обнаружению пиксель представляет собой неаномальные данные, эмбеддинги, выводимые моделью обучающей сети и моделью обучаемой сети, очень близки, как и при обучении; когда входной подлежащий обнаружению пиксель представляет собой аномальные данные, эмбеддинг, выведенный моделью обучаемой сети, в это время получает отклонение, поскольку предыдущая информация об аномальных данных в модели обучаемой сети отсутствует.Due to the difference in information between the training network model and the learning network model, the embeddings they output will also be different. When the input pixel to be detected is non-anomalous data, the embeddings output by the training network model and the learning network model are very close, as in training; when the input pixel to be detected is abnormal data, the embedding output by the learning network model is rejected at this time because there is no previous information about the abnormal data in the learning network model.
Во-вторых, для обнаружения аномалии можно найти евклидову норму эмбеддинга, выведенного моделью обучающей сети, и эмбеддинга, выведенного моделью обучаемой сети. Евклидова норма также известна как евклидово расстояние, которое измеряет истинное расстояние между двумя точками в многомерном пространстве, при этом чем больше это расстояние, тем больше вероятность того, что пиксель представляет собой аномальный пиксель.Secondly, for anomaly detection, the Euclidean norm of the embedding output by the training network model and the embedding output by the learning network model can be found. Euclidean norm is also known as Euclidean distance, which measures the true distance between two points in a multidimensional space, where the greater the distance, the more likely the pixel is an anomalous pixel.
Конкретная функция оценки аномалии имеет вид:The specific anomaly evaluation function has the form:
, ,
где представляет собой эмбеддинг, выведенный моделью обучающей сети, а представляет собой эмбеддинг, выведенный моделью обучаемой сети; оценка Error аномалии представляет собой квадрат евклидовой нормы их обоих.Where represents the embedding output from the learning network model, and represents the embedding output from the learning network model; the Error score of the anomaly is the square of the Euclidean norm of both of them.
Наконец, в соответствии с предварительно заданным пороговым значением T оценки аномалии, в случае если оценка аномалии больше или равна пороговому значению T, соответствующий пиксель представляет собой аномальный пиксель; в случае если оценка аномалии меньше порогового значения T, соответствующий пиксель представляет собой нормальный пиксель. В частности, после нормализации оценки аномалии в диапазоне всех подлежащих обнаружению данных оценка аномалии находится в диапазоне от 0 до 1. Чем ближе оценка аномалии к 1, тем выше вероятность, что данные являются аномальными. В одном варианте реализации, как правило, значение 0,5 можно использовать в качестве порогового значения для отличения аномального от неаномального: если значение больше или равно 0,5, то пиксель считается аномальным пикселем, в противном случае он является неаномальным пикселем.Finally, according to the preset anomaly score threshold T, in the case that the anomaly score is greater than or equal to the threshold T, the corresponding pixel is an abnormal pixel; in case the anomaly score is less than the threshold value T, the corresponding pixel is a normal pixel. Specifically, after normalizing the anomaly score across the range of all detectable data, the anomaly score ranges from 0 to 1. The closer the anomaly score is to 1, the higher the likelihood that the data is anomalous. In one implementation, typically a value of 0.5 can be used as a threshold value for distinguishing anomalous from non-anomalous: if the value is greater than or equal to 0.5, then the pixel is considered an anomalous pixel, otherwise it is a non-anomalous pixel.
Результат настоящего способа дополнительно проиллюстрирован ниже посредством испытания методом моделирования.The result of the present method is further illustrated below through a simulation test.
1. Условия моделирования1. Simulation conditions
Испытание методом моделирования варианта осуществления проводили на операционной системе Linux с использованием программного обеспечения PyCharm.Simulation testing of the embodiment was carried out on a Linux operating system using PyCharm software.
Смоделированные экспериментальные данные для этого эксперимента представляют собой набор данных, названный «аэропорт-пляж-город» (ABU), содержащий гиперспектральные изображения по четырем сценариям для аэропорта; четырем сценариям для пляжа и пяти сценариям для города, причем в настоящем эксперименте брали гиперспектральные изображения сценариев для аэропорта для эксперимента. Схематические представления этого набора данных показаны на ФИГ. 2–5, демонстрируя визуальный результат гиперспектральных изображений сценариев для аэропорта с первого по четвертый и соответствующих им диаграмм вероятности обнаружения. Чем он ярче, тем выше вероятность аномальной цели, а подробная информация об изображении сценариев для аэропорта с первого по четвертый приведена в таблице 1.The simulated experimental data for this experiment is a dataset called airport-beach-city (ABU), containing hyperspectral imagery from four airport scenarios; four beach scenarios and five city scenarios, with the present experiment taking hyperspectral images of the airport scenarios for the experiment. Schematic representations of this data set are shown in FIG. 2–5, showing the visual output of hyperspectral images of airport scenarios one through four and their corresponding detection probability plots. The brighter it is, the higher the probability of an anomalous target, and the detailed image information for airport scenarios one through four is given in Table 1.
В таблице 1 представлена подробная информация о гиперспектральных изображениях сценариев для аэропорта в ABU.Table 1 provides details of the hyperspectral imagery scenarios for the airport at ABU.
2. Содержание моделирования2. Contents of the simulation
Сначала подлежащий обнаружению пиксель и его соседние пиксели упаковывали в один блок ввода в соответствии с вышеуказанным способом, этот блок I ввода вводили в обученную модель обучающей сети и модель обучаемой сети для получения соответственно эмбеддинга , выведенного моделью обучающей сети, и эмбеддинга , выведенного моделью обучаемой сети, евклидову норму разности двух эмбеддингов возводили в квадрат и получали оценку аномалии.First, the pixel to be detected and its neighboring pixels were packed into one input block according to the above method, this input block I was input into the trained training network model and the learning network model to obtain embedding respectively , derived by the training network model, and embedding , derived by the learning network model, the Euclidean norm of the difference between two embeddings was squared and the estimate was obtained anomalies.
В качестве индикатора для оценки результатов обнаружения по сравнению с существующими способами выбирали площадь под кривой (AUC) рабочей характеристики приемника (ROC). В частности, для выходного набора данных обнаружения и набора эталонных данных значение AUC вычисляли по следующей формуле:The area under the curve (AUC) of the receiver operating characteristic (ROC) was chosen as an indicator to evaluate the detection results in comparison with existing methods. Specifically, for the output detection dataset and reference dataset, the AUC value was calculated using the following formula:
Определенное пороговое значение устанавливали равным H, при этом TPR (H) определяет частоту истинно положительных результатов, т. е. частоту, с которой встречаются правильные положительные результаты среди всех положительных образцов; FPR (H) определяет частоту, с которой встречаются ложноположительные результаты среди всех доступных отрицательных образцов. Смысл данной формулы заключается в вычислении площади под кривой с TPR (H) по вертикальной оси и FPR (H) по горизонтальной оси. Преимущество AUC в качестве индикатора заключается в том, что он зависит только от порядка пикселей, а не от абсолютного значения обнаружения. Таким образом, AUC используется в настоящем документе для оценки объективной эффективности разных способов.A certain threshold value was set to H, where TPR (H) defines the true positive rate, i.e., the frequency with which correct positives occur among all positive samples; FPR(H) determines the frequency with which false positives occur among all available negative samples. The meaning of this formula is to calculate the area under the curve with TPR (H) on the vertical axis and FPR (H) on the horizontal axis. The advantage of AUC as an indicator is that it depends only on the pixel order and not on the absolute detection value. Therefore, AUC is used herein to evaluate the objective effectiveness of different methods.
Конечные результаты получали с использованием процедуры данного примера на базе данных ABU и оценивали с использованием индекса AUC, как показано в таблице 2. Следует отметить, что abu-аэропорт-1 используют в качестве обучающих данных модели обучающей сети и, следовательно, не используют в настоящем документе в качестве тестового изображения для обеспечения достоверности результатов. Обучающие данные модели обучающей сети выбирают только одно изображение для проверки эффективности способа в наихудшем случае. Каждое изображение имеет семьдесят процентов фоновых пикселей в качестве обучающих данных модели обучаемой сети для обучения модели обучаемой сети, оставляя тридцать процентов фоновых пикселей и аномальных пикселей в качестве тестового набора данных. Следует подчеркнуть, что в таблице 2 представлен перечень результатов оценки, полученных с использованием разных классических способов обнаружения (сравнительных способов) и с использованием способа обнаружения в соответствии с вариантом осуществления настоящего описания, и «Способ изобр.» в таблице 2 представляет собой способ обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый», предложенной в варианте осуществления.The final results were obtained using the procedure of this example on the ABU database and evaluated using the AUC index as shown in Table 2. It should be noted that abu-airport-1 is used as training data for the learning network model and therefore is not used in the present document as a test image to ensure the accuracy of the results. The training data of the learning network model selects only one image to test the worst-case performance of the method. Each image has seventy percent background pixels as training data of the learning network model to train the learning network model, leaving thirty percent background pixels and anomalous pixels as the test data set. It should be emphasized that Table 2 presents a list of evaluation results obtained using different classical detection methods (comparative methods) and using the detection method in accordance with the embodiment of the present description, and the “Image Method.” in Table 2 is a hyperspectral image anomaly detection method based on the teach-learner model proposed in the embodiment.
Таблица 2. Результаты оценки разными способамиTable 2. Assessment results using different methods
Все данные в таблице 2 сгенерированы в тестовом наборе, и данные в тестовом наборе никак не соприкасаются с сетью в модели, тем самым обеспечивая достаточно надежные результаты. Результаты обнаружения представлены на ФИГ. 6–13. Здесь следует отметить, что на показанных результирующих диаграммах 70% фоновых пикселей каждой диаграммы используются в качестве обучающих данных. Таким образом, результирующие диаграммы предназначены только для справки. Точная эффективность может быть измерена с помощью значений AUC в таблице 2. Более того, согласно данным экспериментальным испытаниям, значения AUC, полученные на тестовом наборе, и значения AUC, полученные на всей диаграмме, очень близки, поэтому результирующая диаграмма представляет собой эталонное значение.All data in Table 2 is generated in the test set, and the data in the test set has no contact with the network in the model, thereby providing fairly reliable results. The detection results are presented in FIG. 6–13. It should be noted here that in the resulting charts shown, 70% of the background pixels of each chart are used as training data. Therefore, the resulting diagrams are for reference only. The exact performance can be measured by the AUC values in Table 2. Moreover, according to these experimental tests, the AUC values obtained on the test set and the AUC values obtained on the whole chart are very close, so the resulting chart represents the reference value.
Как видно из таблицы 2 и ФИГ. 6–13, способ согласно настоящему варианту осуществления обеспечивает хороший результат. Как видно из данных графических материалов, большинство классических способов ошибочно идентифицируют большое количество фоновых пикселей в качестве аномальных точек. Напротив, в результате обнаружения способом, предложенным в данном варианте осуществления, меньшее количество фоновых пикселей ошибочно идентифицируются как аномальные пиксели. Исходя из таблицы, способ, предложенный в данном варианте осуществления, принимает наибольшее значение на диаграммах аэропорта-2 и аэропорта-4 в сценариях для аэропортов и опережает второе значение на большую величину на диаграмме аэропорта-2.As can be seen from Table 2 and FIG. 6 to 13, the method according to the present embodiment achieves good results. As can be seen from these graphic materials, most classical methods mistakenly identify a large number of background pixels as anomalous points. In contrast, as a result of detection by the method proposed in this embodiment, fewer background pixels are falsely identified as abnormal pixels. Based on the table, the method proposed in this embodiment takes the highest value in the airport-2 and airport-4 diagrams in the airport scenarios and is ahead of the second value by a larger amount in the airport-2 diagram.
Хотя данный способ может показывать лучший результат не во всех случаях, однако средний результат является лучшим, и среднее значение AUC, измеренное способом, предложенным в данном варианте осуществления, составляет 0,9679, что значительно лучше по сравнению со вторым результатом 0,9572 для CRD.Although this method may not show the best result in all cases, but the average result is the best, and the average AUC value measured by the method proposed in this embodiment is 0.9679, which is significantly better compared to the second result of 0.9572 for CRD .
В настоящих вариантах осуществления также предложен машиночитаемый носитель данных, содержащий в себе компьютерную программу, которая при исполнении процессором реализует стадии вышеупомянутого способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый». Машиночитаемый носитель данных может представлять собой считываемый носитель сигнала или считываемый носитель данных. В настоящем варианте осуществления также предложено компьютерное устройство, включающее в себя процессор, запоминающее устройство, подключенное к процессору, и компьютерную программу, исполняемую процессором, причем процессор при исполнении компьютерной программы реализует стадии вышеупомянутого способа обнаружения аномалии гиперспектрального изображения на основе модели «обучающий-обучаемый»; компьютерное устройство в настоящем документе может представлять собой вычислительное устройство, такое как компьютер, ноутбук, карманный компьютер и любые облачные серверы, а процессор может представлять собой процессор общего назначения, процессор обработки цифровых сигналов, специализированную интегральную схему или любое другое программируемое логическое устройство.The present embodiments also provide a computer-readable storage medium containing a computer program that, when executed by a processor, implements the steps of the above-mentioned hyperspectral image anomaly detection method based on a teacher-learner model. The computer readable storage medium may be a readable signal medium or a readable storage medium. The present embodiment also provides a computer device including a processor, a storage device connected to the processor, and a computer program executable by the processor, wherein the processor, when executing the computer program, implements the steps of the above-mentioned hyperspectral image anomaly detection method based on a teach-learner model. ; a computing device as used herein may be a computing device such as a computer, a laptop, a PDA, and any cloud servers, and a processor may be a general purpose processor, a digital signal processor, an application specific integrated circuit, or any other programmable logic device.
Claims (28)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310387472.6 | 2023-04-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2817001C1 true RU2817001C1 (en) | 2024-04-09 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408705A (en) * | 2014-09-23 | 2015-03-11 | 西安电子科技大学 | Anomaly detection method of hyperspectral image |
| RU2729557C2 (en) * | 2018-07-18 | 2020-08-07 | Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа-Югры "Сургутский государственный университет" | Method of identifying objects on digital images of an underlying surface by fuzzy triangulation of delaunay |
| US20200265227A1 (en) * | 2019-02-18 | 2020-08-20 | Nec Laboratories America, Inc. | Background suppression for anomaly detection |
| CN107563355B (en) * | 2017-09-28 | 2021-04-02 | 哈尔滨工程大学 | Hyperspectral anomaly detection method based on generation of countermeasure network |
| US20220301123A1 (en) * | 2021-03-17 | 2022-09-22 | Ali Mosleh | End to end differentiable machine vision systems, methods, and media |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408705A (en) * | 2014-09-23 | 2015-03-11 | 西安电子科技大学 | Anomaly detection method of hyperspectral image |
| CN107563355B (en) * | 2017-09-28 | 2021-04-02 | 哈尔滨工程大学 | Hyperspectral anomaly detection method based on generation of countermeasure network |
| RU2729557C2 (en) * | 2018-07-18 | 2020-08-07 | Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа-Югры "Сургутский государственный университет" | Method of identifying objects on digital images of an underlying surface by fuzzy triangulation of delaunay |
| US20200265227A1 (en) * | 2019-02-18 | 2020-08-20 | Nec Laboratories America, Inc. | Background suppression for anomaly detection |
| US20220301123A1 (en) * | 2021-03-17 | 2022-09-22 | Ali Mosleh | End to end differentiable machine vision systems, methods, and media |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472627B (en) | End-to-end SAR image recognition method, device and storage medium | |
| Peng et al. | Self-paced joint sparse representation for the classification of hyperspectral images | |
| CN110348319B (en) | Face anti-counterfeiting method based on face depth information and edge image fusion | |
| CN108830285B (en) | Target detection method for reinforcement learning based on fast-RCNN | |
| CN111563557B (en) | Method for detecting target in power cable tunnel | |
| CN107563433B (en) | Infrared small target detection method based on convolutional neural network | |
| WO2016037300A1 (en) | Method and system for multi-class object detection | |
| CN108629286B (en) | Remote sensing airport target detection method based on subjective perception significance model | |
| KR20200094622A (en) | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same | |
| JP7212247B2 (en) | Target detection program, target detection device, and target detection method | |
| CN114841972A (en) | Power transmission line defect identification method based on saliency map and semantic embedded feature pyramid | |
| CN114821282B (en) | Image detection device and method based on domain antagonistic neural network | |
| Gao et al. | Sea ice change detection in SAR images based on collaborative representation | |
| CN115861756A (en) | Earth background small target identification method based on cascade combination network | |
| CN111428730B (en) | Weak supervision fine-grained object classification method | |
| Grosgeorge et al. | Concurrent segmentation and object detection CNNs for aircraft detection and identification in satellite images | |
| RU2817001C1 (en) | Method of detecting anomaly of hyperspectral image based on "training-trained" model, computer data medium and device | |
| WO2017166156A1 (en) | Hyperspectral image classification method and system | |
| Al-Shammri et al. | A Combined Method for Object Detection under Rain Conditions Using Deep Learning | |
| CN110503631A (en) | A kind of method for detecting change of remote sensing image | |
| CN115937718A (en) | Method for detecting remote sensing image rotating target by context sensing of aggregated frequency domain information | |
| Johansson | Small vessel detection in high quality optical satellite imagery | |
| CN113706636A (en) | Method and device for identifying tampered image | |
| CN112733686A (en) | Target object identification method and device used in image of cloud federation | |
| Gerg et al. | A Perceptual Metric Prior on Deep Latent Space Improves Out-Of-Distribution Synthetic Aperture Sonar Image Classification |