RU2718419C1 - Интеллектуальная космическая система для мониторинга участков недропользования открытого типа - Google Patents

Интеллектуальная космическая система для мониторинга участков недропользования открытого типа Download PDF

Info

Publication number
RU2718419C1
RU2718419C1 RU2018145490A RU2018145490A RU2718419C1 RU 2718419 C1 RU2718419 C1 RU 2718419C1 RU 2018145490 A RU2018145490 A RU 2018145490A RU 2018145490 A RU2018145490 A RU 2018145490A RU 2718419 C1 RU2718419 C1 RU 2718419C1
Authority
RU
Russia
Prior art keywords
earth
neural network
remote sensing
spacecraft
convolutional neural
Prior art date
Application number
RU2018145490A
Other languages
English (en)
Inventor
Анна Александровна Островская
Дмитрий Борисович Никольский
Ольга Николаевна Колесникова
Original Assignee
Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы")
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") filed Critical Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы")
Priority to RU2018145490A priority Critical patent/RU2718419C1/ru
Application granted granted Critical
Publication of RU2718419C1 publication Critical patent/RU2718419C1/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к вычислительной технике и может быть использовано для мониторинга участков недропользования открытого типа. Техническим результатом является повышение быстродействия обработки данных и снижение количества вычислительных ресурсов. Система содержит совокупность компьютерных средств на основе сверточной нейронной сети, использующей данные с космических аппаратов дистанционного зондирования Земли. Сверточная нейронная сеть обрабатывает изображения объектов лесного фонда, принятые от космических аппаратов дистанционного зондирования Земли, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов. Для каждой прямоугольной матрицы путем поворота и зеркального отображения генерируют восемь отображений с сегментацией каждого отображения и его классификацией средствами сверточной нейронной сети в качестве одного из участков недропользования открытого типа и получением итогового изображения, классифицированного в качестве одного из участков недропользования открытого типа. 3 ил.

Description

Предлагаемое изобретение относится к области средств и технологий дистанционного зондирования Земли, а именно к применению результатов дистанционного зондирования Земли для мониторинга участков недропользования открытого типа.
Из уровня техники известен способ обработки изображений со спутников [Thomas Blaschke, Stefan Lang, Eric Lorup, Josef Strobl and Peter Zeil. Object-Oriented Image Processing in an Integrated GIS/Remote Sensing Environment and Perspectives for Environmental Applications. Envirolnfo 2000: Umweltinformatik '00 Umweltinformation
Figure 00000001
Planung, Politik und
Figure 00000002
. Copyright 2000 Metropolis Verlag, Marburg]. Способ включает обработку спутниковых снимков по различным алгоритмам и сочетание полученных результатов с данными GIS.
В качестве ближайшего аналога предлагаемого изобретения может быть выбрана основанная на использовании нейронной сети система получения и обработки космических снимков, предложенная в заявке на изобретение CN 107945146, Univ. Nanjing Information Science & Tech., публикация 2018 г. Система из CN 107945146 включает совокупность компьютерных средств, структурированных на основе сверточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли программы LandSat и научно-исследовательским космическим аппаратом Aqua с аппаратурой дистанционного зондирования Земли Modis. Сверточная нейронная сеть обеспечивает получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли, то есть известное техническое решение относится к способу слияния космических снимков на основе глубокой сверточной нейронной сети.
Предусматриваются следующие этапы: этап подготовки - выбор соответствующего изображения Landsat и соответствующего изображения MODIS для формирования пары изображений Landsat - MODIS; выполнение сэмплирования по образцу Landsat; получение изображения LSR Landsat, приближающегося к пространственное разрешение MODIS; обучение в соответствии с комбинацией изображения Landsat изображения MODIS и изображения LSR Landsat, получение нелинейного отображения CNN и реконструкция CNN с суперразрешением; фаза прогнозирования - выбор пар изображений Landsat - MODIS на дату t1 и дату t3, прогнозирование изображения предсказания Landsat в дату t2 между датой t1 и датой t3 на основе нелинейного отображения CNN и суперразрешение CNN, полученное на этапе обучения.
В свою очередь, в нашем изобретении предложено применить технические возможности сверточной нейронной сети для решения более узкой задачи - мониторинга участков недропользования открытого типа для отслеживания изменений границ выработки, с обеспечением быстроты обработки данных и задействовании меньшего количества вычислительных ресурсов.
Таким образом, нами предложена интеллектуальная космическая система мониторинга, включающая совокупность компьютерных средств на основе сверточной нейронной сети, позволяющих обрабатывать данные с космических аппаратов дистанционного зондирования Земли Ресурс-П, Канопус-В и космических аппаратов компании Planet Labs (Dove, RapidEye). Отличие от аналога заключается в структуре нейронной сети, использовании данных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, Канопус-В и космических аппаратов компании Planet Labs (Dove, RapidEye). Сверточная нейронная сеть обрабатывает изображения участков недропользования открытого типа, принятые от космических аппаратов дистанционного зондирования Земли указанных типов, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов, генерацию нескольких отображений для каждой прямоугольной матрицы путем поворота и зеркального отображения с сегментацией каждого отображения средствами сверточной нейронной сети и его классификацией средствами сверточной нейронной сети в качестве одного из участков недропользования открытого типа и получением итогового изображения, классифицированного в качестве одного из участков недропользования открытого типа.
Предложенная система поясняется следующими изображениями:
фиг. 1 - схема алгоритма распознавания и классификации изменений участков недропользования открытого типа;
фиг. 2 - архитектура сверточной нейронной сети с отображением последовательности операций кодировки и декодировки;
фиг. 3 - разбиение исходного снимка на куски фиксированного размера методом скользящего окна.
Спутниковые снимки участков недропользования открытого типа, полученные с космических аппаратов Канопус-В, Ресурс-П, Planet Labs поступают на вход сверточной нейронной сети (фиг. 1). В настоящее время используются спутниковые снимки в уровне обработки 4А - комплексированное изображение панхроматического (уровня обработки 2А) и многоспектрального (уровня обработки 2А1) снимков одной и той же территории. Применение сверточной нейронной сети в предлагаемой архитектуре позволит быстрее выполнять обработку данных за счет меньшего количество операций и времени, необходимых для выполнения одного прохода сети, нейронная сеть менее требовательна к техническим ресурсам, а также позволяет выполнять обработку в режиме близком к реальному времени. Применение космических аппаратов Канопус-В и Ресурс-П позволит задействовать при мониторинге участков недропользования открытого типа данные дистанционного зондирования Земли высокого и сверхвысокого разрешения.
Архитектуру предложенной сверточной сети можно описать (фиг. 2) как совокупность последовательностей блоков кодировки и декодировки. Блоки кодировки уменьшают пространственное разрешение исходного изображения в данном случае разрешение кропов - прямоугольных матриц пикселей изображения. Блоки декодировки увеличивают пространственное разрешение, объединяя входные данные с картами признаков, полученных с помощью метода проброса из блоков кодировки соответствующего разрешения, что обеспечивает ансамблирование результатов всех слоев и разрешений.
Блок кодировки представляет собой набор из трех функциональных подблоков (операций над картами признаков): слой свертки, функция активации ReLU, слой субдискретизации. Блок декодировки представляет собой набор из четырех функциональных подблоков (набор из двух последовательностей двух операций): слой свертки, функция активации ReLU. Слой свертки включает свой фильтр для каждого канала, ядро свертки которого обрабатывает предыдущий слой по фрагментам, суммируя результаты матричного произведения для каждого фрагмента, и обозначается свертка ([k×k], m, n), где k×k - размер ядра свертки, тип количество входных и выходных фильтров для слоя соответственно. Функция активации ReLU, представляющая собой функцию max(0,x) ReLU=x, позволяет избежать проблем затухающего и взрывающегося градиента, а также является вычислительно несложной, скалярный результат каждой свертки попадает на функцию активации. Слой субдискретизации (слой подвыборки) представляет собой нелинейное уплотнение карты признаков, при этом группа точек (обычно размера 2×2) уплотняется до одной точки, проходя нелинейное преобразование. Наиболее употребительна при этом функция максимума. Преобразования затрагивают непересекающиеся прямоугольники или квадраты, каждый из которых ужимается в одну точку, при этом выбирается точка, имеющая максимальное значение. Операция пулинга (то есть, если на предыдущей операции свертки уже были выявлены некоторые признаки, то для дальнейшей обработки настолько подробное изображение уже не нужно, и оно уплотняется до менее подробного и служит для генерации новых карт признаков большей размерности) позволяет существенно уменьшить пространственный объем изображения.
Блок декодировки результата представляет собой набор из четырех функциональных подблоков (последовательных операций): пространственное исключение - выключает слой нейронов с вероятностью р; слой свертки с ядром 1×1 - необходим для уменьшения размерности карты признаков; функция активации - скалярный результат каждой свертки попадает на функцию активации, которая представляет собой нелинейную функцию sigmoid=1/(1+e-x), позволяющая усиливать слабые сигналы и не насыщаться от сильных сигналов; линейное увеличение размерности - операция обратная субдискретизации, то есть линейное повторение карты признаков, каждая точка преобразуется в группу точек 2×2, проходя линейное преобразование, преобразования затрагивают все точки, каждая из которых превращается в группу точек, при этом они имеют одинаковое значение, данная операция позволяет увеличить объем изображения.
Для обработки принятых спутниковых снимков методом скользящего окна формируют кропы - прямоугольные матрицы пикселей изображения (фиг. 3), кропы формируют с заданным шагом, для чего задают размеры скользящего окна HSW×WSW, задают шаг скользящего окна - SH пикселей по вертикали и SW пикселей по горизонтали; исходное изображение I с высотой Н и шириной W дополняют по краям до размера кратного размерам скользящего окна; из дополненного изображения с шагом SH×SW формируют матрицы пикселей - кропы размера HSW×WSW. Предложено использовать HSW=WSW=512 пикселей для обеспечения с одной стороны попадания достаточно крупных объектов в один кроп, что позволит достичь заданной точности, и практической возможности создания программной реализации, с другой стороны, поскольку размер окна напрямую определяет размер слоя нейронной сети, увеличение которого ведет к увеличению требований к размеру памяти и скорости работы аппаратного обеспечения и экспоненциальному увеличению времени обучения. Также, предложено использовать шаг SH=HSW/2=256 пикселей и SW=WSW/2=256 пикселей для обеспечения наложения кропов друг на друга таким образом, чтобы край одного кропа совпадал с центром смежного с ним, что позволит избежать конфликтов на краях кропов при восстановлении сегментации всего снимка из сегментаций отдельных кропов.
Для каждой прямоугольной матрицы - кропа генерируют несколько отображений путем поворота и зеркального отображения исходного изображения. Предложено генерировать восемь отображений на каждый кроп, то есть вариации отображения исходного куска с помощью операций поворота на угол π/2 и зеркального отображения. То есть, для кропа изображения С(ϕ(х) - поворот на угол π/2, ψ(х) - зеркальное отображение) множество из восьми отображений О модно представить, как O={С, ϕ(С), ϕ(ϕ(С)), ϕ(ϕ(ϕ(С))), ψ(C), ψ(ϕ(С)), ψ(ϕ(ϕ(С))), ψ(ϕ(ϕ(ϕ(С))))}. Средствами сверточной нейронной сети получают карту сегментов для каждого отображения с последующей классификацией в качестве одного из участков недропользования открытого типа для чего через нейронную сеть пропускают исходный кроп С с итоговой функцией получения предсказания P=h(C) на кроп изображения С. В результате, на выходе сегментации сверточной нейронной сети получается набор из восьми (для рассматриваемого примера) карт вероятности того, что каждая точка исходного кропа может быть классифицирована, как изменения участков недропользования открытого типа, а также восемь вероятностей принадлежности к таким изменениям участков недропользования открытого типа.
К полученному набору карт вероятности применяются операции обратного отображения (поворота на -π/2 и зеркального отображения) с целью получения прообразов используемых образов применительно к выходным картам вероятности. При х=ψ(ψ(х)) и х=ϕ-1(х)=ϕ(ϕ(ϕ(х))), искомое множество Ор имеет вид Op={Р1, ϕ-1-1-1(P2))), ϕ-1-13)), ϕ-1(P4), ψ(P5), ψ(ϕ-1-1-1(P6)))), ψ(ϕ-1-17))), ψ(ϕ-18))}. С помощью усреднения предсказаний уточняют границы полученных сегментов. Итоговое предсказание для каждой точки кропа изображения для предложенного варианта вычисляется по следующей формуле Ритог(i,j)=Σk=1 8Pk(i,j)/8. Данный подход позволяет улучшить результаты сегментации, полученные на предыдущем этапе. Объединив полученные пересекающиеся карты предсказаний с помощью взвешенной суммы, используя в качестве весов двумерное распределение Гаусса с нулем в центре кропа и среднеквадратичным отклонением σ=HSW/2⋅3=~85, вычисленное в точках соответствующих центрам пикселей кропа, чтобы получить сегментацию исходного изображения. Это позволит устранить конфликты и артефакты на границах кропов, так как для каждого пикселя наибольший вклад в его значение внесет тот кроп, к центру которого он ближе находится, а вклад крайних точек кропа составит ~0,2.

Claims (10)

  1. Интеллектуальная космическая система мониторинга, включающая совокупность компьютерных средств, структурированных на основе сверточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли и обеспечивающих получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли, отличающаяся тем, что
  2. компьютерные средства, структурированные на основе сверточной нейронной сети, связаны с космическими аппаратами дистанционного зондирования Земли типа Ресурс-П, космическим аппаратом дистанционного зондирования Земли Канопус-В, космическими аппаратами дистанционного зондирования Земли компании Planet Labs,
  3. сверточная нейронная сеть, представляющая собой последовательность блоков кодировки, каждый из которых включает три функциональных подблока - слой свертки, функция активации ReLU, слой субдискретизации, и
  4. блоков декодировки, каждый из которых включает четыре функциональных подблока - слой свертки, функция активации ReLU, слой свертки, функция активации ReLU,
  5. обрабатывает изображения участков недропользования открытого типа, принятые от космических аппаратов дистанционного зондирования Земли указанных типов, с
  6. формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом - кропов,
  7. генерацией восьми отображений для каждой прямоугольной матрицы путем поворота и зеркального отображения с
  8. сегментацией каждого отображения средствами сверточной нейронной сети и его
  9. классификацией средствами сверточной нейронной сети в качестве одного из участков недропользования открытого типа и
  10. получением итогового изображения, классифицированного в качестве одного из участков недропользования открытого типа.
RU2018145490A 2018-12-21 2018-12-21 Интеллектуальная космическая система для мониторинга участков недропользования открытого типа RU2718419C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018145490A RU2718419C1 (ru) 2018-12-21 2018-12-21 Интеллектуальная космическая система для мониторинга участков недропользования открытого типа

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018145490A RU2718419C1 (ru) 2018-12-21 2018-12-21 Интеллектуальная космическая система для мониторинга участков недропользования открытого типа

Publications (1)

Publication Number Publication Date
RU2718419C1 true RU2718419C1 (ru) 2020-04-02

Family

ID=70156522

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018145490A RU2718419C1 (ru) 2018-12-21 2018-12-21 Интеллектуальная космическая система для мониторинга участков недропользования открытого типа

Country Status (1)

Country Link
RU (1) RU2718419C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2783296C1 (ru) * 2021-11-25 2022-11-11 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Устройство и способ распознавания контуров сельскохозяйственных полей с применением глубинного обучения по данным дистанционного зондирования земли

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200063A1 (en) * 2016-01-13 2017-07-13 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
RU2640331C2 (ru) * 2015-12-11 2017-12-27 Частное образовательное учреждение высшего образования "ЮЖНЫЙ УНИВЕРСИТЕТ (ИУБиП)" Способ идентификации протяженных объектов земной поверхности
RU2651147C1 (ru) * 2017-03-27 2018-04-18 Акционерное общество "ЭЛВИС-НеоТек" Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей
CN107945182A (zh) * 2018-01-02 2018-04-20 东北农业大学 基于卷积神经网络模型GoogleNet的玉米叶片病害识别方法
CN107945146A (zh) * 2017-11-23 2018-04-20 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2640331C2 (ru) * 2015-12-11 2017-12-27 Частное образовательное учреждение высшего образования "ЮЖНЫЙ УНИВЕРСИТЕТ (ИУБиП)" Способ идентификации протяженных объектов земной поверхности
US20170200063A1 (en) * 2016-01-13 2017-07-13 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
RU2651147C1 (ru) * 2017-03-27 2018-04-18 Акционерное общество "ЭЛВИС-НеоТек" Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей
CN107945146A (zh) * 2017-11-23 2018-04-20 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN107945182A (zh) * 2018-01-02 2018-04-20 东北农业大学 基于卷积神经网络模型GoogleNet的玉米叶片病害识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2783296C1 (ru) * 2021-11-25 2022-11-11 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Устройство и способ распознавания контуров сельскохозяйственных полей с применением глубинного обучения по данным дистанционного зондирования земли

Similar Documents

Publication Publication Date Title
CN113688808B (zh) 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法
Li et al. Survey of single image super‐resolution reconstruction
RU2703349C1 (ru) Интеллектуальная космическая система для мониторинга лесного фонда
He et al. Generating annual high resolution land cover products for 28 metropolises in China based on a deep super-resolution mapping network using Landsat imagery
RU2707138C1 (ru) Интеллектуальная космическая система для мониторинга зданий и сооружений
Al-Azzeh et al. Adaptation of matlab K-means clustering function to create Color Image Features
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
Aghamaleki et al. Image fusion using dual tree discrete wavelet transform and weights optimization
Zhao et al. Multi-window visual saliency extraction for fusion of visible and infrared images
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
Bhardwaj et al. Haar wavelet transform–based optimal Bayesian method for medical image fusion
Wang et al. A new Gabor based approach for wood recognition
Mei et al. GTMFuse: Group-attention transformer-driven multiscale dense feature-enhanced network for infrared and visible image fusion
Tang et al. Infrared and visible image fusion based on guided hybrid model and generative adversarial network
CN118397458A (zh) 一种红外弱小目标检测方法及装置
Pereira et al. An end-to-end framework for low-resolution remote sensing semantic segmentation
CN112508786B (zh) 面向卫星图像的任意尺度超分辨率重建方法及系统
Yang et al. Fast multisensor infrared image super-resolution scheme with multiple regression models
RU2733823C1 (ru) Система сегментации изображений участков недропользования открытого типа
RU2718419C1 (ru) Интеллектуальная космическая система для мониторинга участков недропользования открытого типа
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
Xian-chuan et al. Remote sensing image fusion based on integer wavelet transformation and ordered nonnegative independent component analysis
Prasad et al. V-BANet: Land cover change detection using effective deep learning technique
Zhang et al. A cross-paired wavelet based spatiotemporal fusion network for remote sensing images
Lian et al. A sequence-to-sequence based multi-scale deep learning model for satellite cloud image prediction