RU2733823C1 - Система сегментации изображений участков недропользования открытого типа - Google Patents
Система сегментации изображений участков недропользования открытого типа Download PDFInfo
- Publication number
- RU2733823C1 RU2733823C1 RU2019141854A RU2019141854A RU2733823C1 RU 2733823 C1 RU2733823 C1 RU 2733823C1 RU 2019141854 A RU2019141854 A RU 2019141854A RU 2019141854 A RU2019141854 A RU 2019141854A RU 2733823 C1 RU2733823 C1 RU 2733823C1
- Authority
- RU
- Russia
- Prior art keywords
- images
- fragments
- image
- fragment
- subsoil
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
Abstract
Изобретение относится к вычислительной технике и может быть использовано для сегментации изображений участков недропользования открытого типа. Техническим результатом является повышение быстродействия обработки цифровых данных при снижении количества вычислительных ресурсов. Система содержит компьютерные средства, структурированные на основе свёрточной нейронной сети Mask R-CNN, которые обрабатывают фрагменты четырехканальных спутниковых снимков, содержащих изображения участков недропользования открытого типа, с генерацией на этапе обучения алгоритма сегментации восьми фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, с применением к каждому новому полученному фрагменту операторов случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения. В итоге получается спутниковое изображение изначального размера с выделенными на нем участками недропользования открытого типа. 4 ил.
Description
Предлагаемое изобретение относится к области средств и технологий дистанционного зондирования Земли, а именно к интеллектуальным космическим системам сегментации участков недропользования открытого типа.
Известен способ обработки спутниковых изображений [Blaschke T. et al., «Object-Oriented Image Processing in an Integrated GIS / Remote Sensing Environment and Perspectives for Environmental Applications», EnviroInfo 2000], предусматривающий сегментацию изображений с помощью различных алгоритмов и последующее объединение результатов с данными геоинформационной системы. Известна также система получения и обработки спутниковых изображений, основанная на использовании сверточной нейронной сети, предложенная в заявке на изобретение CN 10 7 945 146, Univ. Nanjing Information Science & Tech., публикация 2018 г. Система представляет собой нейронную сеть глубокого обучения, получающую изображения от спутников Landsat с аппаратурой дистанционного зондирования Земли Modis и сегментацией изображений, принятых с космического аппарата. В CN 10 7 945 146 на стадии подготовки выбираются изображения Landsat и Modis для формирования пары изображений Landsat – Modis, выполняется формирование репрезентативной выборки данных по образцу Landsat. Изображение LSR Landsat, приближающееся к пространственному разрешению Modis; обучается в соответствии с комбинацией Landsat и Modis LSR Landsat, получая нелинейное отображение и реконстрируя свёрточную нейронную сеть с суперразрешением. На стадии прогнозирования выбираются пары изображений Landsat – Modis на дату t1 и дату t3, и прогнозируется возможное изображение Landsat в дату t2, между датой t1 и t3, полученное на этапе обучения на основе нелинейного отображения с суперразрешением.
В качестве ближайшего аналога выбрана система сегментации спутниковых изображений, являющаяся составной частью интеллектуальной космической системы мониторинга лесного фонда. Система, основанная на использовании свёрточной нейронной сети, была предложена в патенте на изобретение RU 2 703 349, Российские космические системы, публикация 2019 г. Нейронная сеть глубокого обучения обрабатывает фрагменты изображений, полученных с космических аппаратов дистанционного зондирования Земли Ресурс-П, Канопус-В и Planet Labs. Фрагменты изображений формируются методом скользящего окна с заданным шагом. На этапе обучения, для расширения обучающей выборки генерируются новые фрагменты изображений.
В нашем изобретении предложено применить технические возможности и особенности алгоритмов глубокого машинного обучения для решения задачи сегментации изображений участков недропользования открытого типа. Система включает в себя свёрточную нейронную сеть, обеспечивающую обработку фрагментов изображений, полученных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, Канопус-В и компании Planet Labs (Dove, RapidEye). Фрагменты изображений формируются методом скользящего окна с заданным шагом. На этапе обучения, для расширения обучающей выборки генерируются новые фрагменты изображений. В отличие от аналога, свёрточная нейронная сеть обрабатывает фрагменты четырехканальных спутниковых снимков. При работе системы методом скользящего окна с фиксированным шагом из каждого спутникового изображения выделяется набор фрагментов для сегментации. На этапе обучения, для расширения обучающей выборки к каждому из фрагментов применяются операторы поворота и зеркального отображения, изменения масштаба в пределах [1;1,2], сдвига в пределах 2% от размера фрагмента, поворота на небольшой угол в пределах [-π/12; π/12] и хроматического искажения. На этапе работы алгоритма фрагменты объединяются для получения изначального, «большого» спутникового снимка с выделенными на нем участками недропользования открытого типа.
Предложенная система поясняется следующими изображениями:
фиг. 1 – схема обучения алгоритма сегментации участков недропользования открытого типа;
фиг. 2 – схема работы алгоритма сегментации участков недропользования открытого типа;
фиг. 3 – архитектура свёрточной нейронной сети для сегментации участков недропользования открытого типа;
фиг. 4 – разбиение исходного спутникового снимка на фрагменты фиксированного размера методом скользящего окна.
Спутниковые снимки участков недропользования открытого типа, полученные с космических аппаратов Канопус-В, Ресурс-П и Planet Labs поступают на вход свёрточной нейронной сети (фиг. 1, 2). В настоящее время используются четырехканальные спутниковые снимки исследуемой территории. Свёрточная нейронная сеть позволяет быстрее выполнить обработку данных за счет меньшего количества требуемых вычислений. Применение космических аппаратов Канопус-В, Ресурс-П и Palnet Labs позволяет задействовать при мониторинге участков недропользования открытого типа данные дистанционного зондирования Земли высокого и сверхвысокого разрешения. Предложено использовать свёрточную нейронную сеть Mask R-CNN (фиг. 3), расширяющую функциональность архитектуры Faster R-CNN для детектирования объектов на изображениях, добавляя в свёрточную сеть дополнительную ветвь – полносвязную нейронную сеть FCN для осуществления сегментации на уровне пикселей в области детектированного объекта (RoI) параллельно с уже существующими выходами – метками класса и рамками, ограничивающими объекты.
Свёрточные слои являются основными элементами нейронных сетей глубокого обучения. На этапе работы этих слоев с помощью свёрточного фильтра и матричных операций преобразуются данные, поступившие на вход с предыдущего слоя нейронной сети. Результатом такой обработки является набор матриц меньшего размера – множество слоёв преобразованных признаков. Свёрточная сеть Faster R-CNN, основанная на архитектуре сети ResNet-101, состоит из двух последовательно выполняемых алгоритмов: полносвязной сети (RPN), совершающей с помощью скользящего окна предсказания о возможном местоположении рамок, ограничивающих объекты, с учетом большого диапазона их возможных размеров, и сети Fast R-CNN, извлекающей из этого набора рамок те, которые более точно окружают объекты. Одновременно с этим осуществляется и классификация детектируемых объектов. Сеть RPN с помощью скользящего окна предоставляет информацию о возможных местоположениях рамок, окружающих объекты на снимках и при этом специальные, равномерно расположенные на изображении «якори», прямоугольные рамки с разными размерами и разным отношением сторон, генерируемые алгоритмом, позволяют выделить рамки любых размеров, окружающие объекты, расположенные на снимке (фиг. 3). Решение о наличии или отсутствии объекта внутри рамки делается на основании значения метрики IoU: если IoU>0,5, то считается, что объект попал в рамку. Ключевыми составляющими алгоритма Fast R-CNN является пространственно-пирамидальный слой с операцией RoIPool по извлечению карты признаков из каждой области с детектированным объектом и слой RoIAlign, определяющий точное пространственное расположение рамок детектированных объектов на снимках.
Для улучшения качества поступающих с космических аппаратов изображений, отбрасывается импульсный шум, присутствующий на спутниковых изображениях в виде одиночных, очень светлых и темных пикселей. Для этого проводилась эквилизация гистограммы – процесс предобработки изображений, в результате которого значения яркости пикселей изображения перераспределяются равномерно, с учетом пороговых значений яркости светлых и темных пикселей. Значения пикселей, не попадающие в промежуток допустимой яркости, меняются на пороговые величины. Для выравнивания гистограммы яркости производится также линейное преобразование для каждого пикселя.
Для обработки предобработанных спутниковых снимков методом скользящего окна с заданным шагом формируются фрагменты изображений (фиг. 4), поступающие на вход свёрточной нейронной сети. Предложено использовать окно размером 1024×1024 пикселей для обеспечения попадания достаточно крупных объектов недропользования в один фрагмент. При необходимости, спутниковый снимок по краям дополняется до такого размера, что каждая сторона снимка была кратна 1024. Шаг окна в 512 пикселей обеспечивает наложение фрагментов друг на друга таким образом, что край одного фрагмента совпадает с центром смежного с ним. Это позволяет избежать искажений сегментации на краях при восстановлении всего снимка из отдельных фрагментов на этапе внедрения и использования алгоритма.
При обучении сети, из каждого фрагмента спутникового снимка генерируются несколько изображений путём поворота и зеркального отображения исходного фрагмента. Предложено сначала сгенерировать восемь фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, а затем к каждому новому полученному фрагменту дополнительно применять операторы случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения. Это позволяет значительно увеличить обучающую выборку для повышения качества сегментации алгоритма глубокого обучения на этапе обучения. На фазе тестирования свёрточной сети, а также при её последующем внедрении и использовании генерация новых фрагментов пропускается.
В качестве алгоритма численной оптимизации при обучении свёрточной нейронной сети был выбран оптимизатор адаптивной оценки моментов Adam. Эта функция объединяет лучшие подходы от градиентного спуска и импульсных оптимизаторов, показывая быструю сходимость для большинства задач машинного обучения, в частности для задачи сегментации участков недропользования открытого типа. Средствами свёрточной нейронной сети для каждого фрагмента получается множество рамок, ограничивающих объекты, и карт вероятностей того, что каждый пиксель относится к участкам недропользования открытого типа. С помощью отсечения пикселей по определенному порогу, получается итоговая сегментация фрагмента спутникового изображения. При внедрении и использовании алгоритма фрагменты изображения с помощью нормированной суммы объединяются. В итоге, получается спутниковое изображение изначального размера с выделенными на нем участками недропользования открытого типа.
Claims (4)
- Система сегментации изображений участков недропользования открытого типа, включающая
- компьютерные средства, структурированные на основе свёрточной нейронной сети, обеспечивающие обработку фрагментов изображений, полученных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, а также космических аппаратов Канопус-В и PlanetLabs и сформированных методом скользящего окна с заданным шагом, с генерацией новых фрагментов при помощи поворота исходного фрагмента и зеркального отображения, отличающаяся тем, что
- компьютерные средства, структурированные на основе свёрточной нейронной сети Mask R-CNN, обрабатывают фрагменты четырехканальных спутниковых снимков, содержащих изображения участков недропользования открытого типа,
- с генерацией на этапе обучения алгоритма сегментации восьми фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, с применением к каждому новому полученному фрагменту операторов случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019141854A RU2733823C1 (ru) | 2019-12-17 | 2019-12-17 | Система сегментации изображений участков недропользования открытого типа |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019141854A RU2733823C1 (ru) | 2019-12-17 | 2019-12-17 | Система сегментации изображений участков недропользования открытого типа |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2733823C1 true RU2733823C1 (ru) | 2020-10-07 |
Family
ID=72927114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019141854A RU2733823C1 (ru) | 2019-12-17 | 2019-12-17 | Система сегментации изображений участков недропользования открытого типа |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2733823C1 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255660A (zh) * | 2021-03-18 | 2021-08-13 | 自然资源部第三海洋研究所 | 一种基于实例分割框架的海洋底质自动识别方法及装置 |
CN116469014A (zh) * | 2023-01-10 | 2023-07-21 | 南京航空航天大学 | 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945146A (zh) * | 2017-11-23 | 2018-04-20 | 南京信息工程大学 | 一种基于深度卷积神经网络的时空卫星图像融合方法 |
US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
RU2694016C1 (ru) * | 2015-08-06 | 2019-07-08 | Эксенчер Глобал Сервисез Лимитед | Обнаружение состояния объектов с использованием системы обработки изображения, соответствующий способ и постоянный машиночитаемый носитель |
CN110264476A (zh) * | 2019-06-19 | 2019-09-20 | 东北大学 | 一种多尺度串行的卷积深度学习显微图像分割方法 |
RU2703349C1 (ru) * | 2019-04-16 | 2019-10-16 | Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") | Интеллектуальная космическая система для мониторинга лесного фонда |
RU2707138C1 (ru) * | 2018-12-21 | 2019-11-22 | Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") | Интеллектуальная космическая система для мониторинга зданий и сооружений |
-
2019
- 2019-12-17 RU RU2019141854A patent/RU2733823C1/ru active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2694016C1 (ru) * | 2015-08-06 | 2019-07-08 | Эксенчер Глобал Сервисез Лимитед | Обнаружение состояния объектов с использованием системы обработки изображения, соответствующий способ и постоянный машиночитаемый носитель |
US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
CN107945146A (zh) * | 2017-11-23 | 2018-04-20 | 南京信息工程大学 | 一种基于深度卷积神经网络的时空卫星图像融合方法 |
RU2707138C1 (ru) * | 2018-12-21 | 2019-11-22 | Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") | Интеллектуальная космическая система для мониторинга зданий и сооружений |
CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
RU2703349C1 (ru) * | 2019-04-16 | 2019-10-16 | Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") | Интеллектуальная космическая система для мониторинга лесного фонда |
CN110264476A (zh) * | 2019-06-19 | 2019-09-20 | 东北大学 | 一种多尺度串行的卷积深度学习显微图像分割方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255660A (zh) * | 2021-03-18 | 2021-08-13 | 自然资源部第三海洋研究所 | 一种基于实例分割框架的海洋底质自动识别方法及装置 |
CN116469014A (zh) * | 2023-01-10 | 2023-07-21 | 南京航空航天大学 | 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 |
CN116469014B (zh) * | 2023-01-10 | 2024-04-30 | 南京航空航天大学 | 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113688808B (zh) | 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法 | |
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN106846285B (zh) | 高性能遥感影像合成方法及装置 | |
CN111626947B (zh) | 基于生成对抗网络的地图矢量化样本增强方法及系统 | |
CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
RU2733823C1 (ru) | Система сегментации изображений участков недропользования открытого типа | |
CN109308688B (zh) | 一种可见光和近红外波段厚云及阴影去除方法 | |
CN109191498B (zh) | 基于动态记忆和运动感知的目标检测方法及系统 | |
Chen et al. | A new process for the segmentation of high resolution remote sensing imagery | |
Attarzadeh et al. | Object-based rule sets and its transferability for building extraction from high resolution satellite imagery | |
Pandey et al. | Satellite image enhancement techniques—a comparative study | |
Han et al. | Local patchwise minimal and maximal values prior for single optical remote sensing image dehazing | |
Singh et al. | Semantic segmentation using deep convolutional neural network: A review | |
Mostafa et al. | Corresponding regions for shadow restoration in satellite high-resolution images | |
Yu et al. | Method of remote sensing image detail encryption based on symmetry algorithm | |
Vida et al. | Open-source meteor detection software for low-cost single-board computers | |
Mangala et al. | A new automatic road extraction technique using gradient operation and skeletal ray formation | |
Zeng et al. | \mathrm 3D^ 2Unet 3 D 2 U net: 3D Deformable Unet for Low-Light Video Enhancement | |
CN111768326A (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
CN116563103A (zh) | 一种基于自适应神经网络的遥感图像时空融合方法 | |
RU2734058C1 (ru) | Система сегментации изображений зданий и сооружений | |
CN113420671A (zh) | 一种基于全局信息注意力的显著性目标检测方法 | |
Gladkova et al. | Towards high-resolution multi-sensor gridded ACSPO SST product: Reducing residual cloud contamination | |
Kumar | Statistical image processing for enhanced scientific analysis | |
RU2718419C1 (ru) | Интеллектуальная космическая система для мониторинга участков недропользования открытого типа |