RU2716477C1 - Система мониторинга лесопользования и лесопатологических изменений - Google Patents

Abstract

Изобретение относится к лесному хозяйству. Система мониторинга лесопользования и лесопатологических изменений содержит по меньшей мере одно беспилотно летающее средство, на котором установлена по меньшей мере одна камера для получения изображений лесного массива в первый и во второй промежуток времени, и по меньшей мере одно средство для обработки изображений выполненное с возможностью: цветокоррекции полученных изображений, сегментации полученных изображений с целью выявления однородных участков лесного массива, анализа полученных изображений для получения информации о состоянии лесного массива, при этом система мониторинга выполнена с возможностью оптимизации технологического процесса посредством применения машинного обучения. Изобретение позволяет повысить эффективность обработки изображений лесного массива и получить точную информацию о состояние лесного массива за счет автоматизации технологического процесса. 4 ил.

Description

Настоящее изобретение относится к лесному хозяйству, а именно к системе мониторинга лесных массивов с помощью беспилотных летательных аппаратов. Изобретение раскрывает систему и способ мониторинга лесопользования и лесопатологический изменений при использовании алгоритма интеллектуальной оптимизации процесса мониторинга.

Контроль за состоянием лесного хозяйства является одной из важнейших задач по охране природных ресурсов, которые напрямую влияют на экологическую и, как следствие, экономическую составляющую страны. Контроль за состоянием лесных ресурсов особенно актуален в нашей стране, поэтому эффективная реализация мониторинга состояния лесных ресурсов, а также предотвращения и борьбы с несанкционированными вырубками является чрезвычайно важной работой.

В настоящее время мониторинг лесных ресурсов проводится методами, включающими искусственное наземное патрулирование, мониторинг со смотровой площадки, дистанционное видеонаблюдение, мониторинг круизных воздушных судов и метеорологических спутников и другие методы. Недостатки данных методик очевидны: лесная местность - это обширная территория, патрулирование которой невозможно обеспечить в полной мере и надлежащим образом пешим персоналом, в свою очередь патрулирование самолетами достаточно дорого и малоэффективно.

Из уровня техники известна система экологического мониторинга лесов (см. патент RU 2406295 С1, опубл. 20.12.2010). Согласно изобретению экологический мониторинг лесов осуществляют дистанционной регистрацией полей яркости лесной растительности много- или гиперспектральным датчиком в зеленой G (450-550 нм), красной R (550-670 нм) и ближней инфракрасной БИК (670-950 нм) зонах спектра с одновременным получением цифровых изображений для каждой зоны, вычисляют математическое ожидание сигналов (M_G, M_R, М_БИК) в каждой зоне, формируют матрицу результирующего изображения путем попиксельного сложения изображений G, R, БИК, рассчитывают признаки лесопатологи в виде индекса жизненности g=M_G/(M_G+M_R), индекса поражения R=M_R/(M_G+M_R), нормированного дифференциального индекса продуктивности фитомассы NDVI=(М_БИК-M_R)/(М_БИК+M_R), площади рельефа древесных пологов изображения R и результирующего изображения.

Недостатком данного решения является отсутствие кластеризации исследуемых объектов. Таким образом пользователю необходимо в ручном режиме разместить интересующие для исследования области. В результате значительно падает производительность и увеличивается время обработки результатов мониторинга.

Наиболее близким техническим решение, выбранным в качестве аналога является способ мониторинга леса (см. патент RU 2489845 С1, опубл. 20.08.2013) предусматривающий дистанционную регистрацию полей яркости лесной растительности аэрокосмическими средствами путем зондирования много- или гиперспектральным датчиком с получением цифровых изображений, на основе которых формируют поля значений вегетационных индексов. Дополнительно определяют значения удельных энергетических поверхностей рассеивания на основе зондирования леса радиолокационными средствами. Поля значений вегетационных индексов и удельной энергетической поверхности рассеивания подвергают кластеризации с выделением относительно однородных групп, в пределах которых общая изменчивость значений меньше, чем в генеральной совокупности. Определяют пересечения полученных кластеров в пространстве географических координат изображения. Формируют векторные слои участков пересечений для последующего многолетнего мониторинга с определением искомых параметров леса в границах полученных пересечений кластеров.

Недостатком данного способа является необходимость регулярного зондирования леса радиолокационными средствами и установление энергетических порогов для выделения лесного массива.

Задача изобретения заключается в разработке мониторинга лесопользования и лесопатологических изменений с помощью беспилотных летательных аппаратов. Данная технология сократит издержки при организации мероприятий по мониторингу лесного хозяйства, за счет более гибкого и интеллектуального подхода, вырабатываемого с учетом обратной связи от внешней среды.

Техническим результатом заявленного изобретения является повышение эффективности обработки изображений лесного массива и получения точной информации о состояние лесного массива за счет автоматизации технологического процесса.

Изобретение поясняется чертежами:

На фиг. 1a и 1б показаны результаты работы средства по обработке изображений с выделением однородных участков лесного массива

На фиг. 2а и 2б показаны результаты работы средства по обработке изображений с выделением однородных участков лесного массива

Согласно предложенному техническому решению система мониторинга лесопользования и лесопатологических изменений содержит по меньшей мере одно беспилотное летающее транспортное средство (далее БПЛА) для осуществления аэрофотосъемки лесного массива, содержащее по меньшей мере одну камеру для получения изображения лесного массива и средство для обработки изображений. В качестве камеры может быть использована гиперспектральная, мультиспекральная, светосильная тепловизионная камера дальнего действия ИК диапазона, активно-импульсная ТВ камера ближнего ИК диапазона, дневная ТВ камера с широким диапазоном трансформаций, безопасный для глаз человека дальномер и др. Тип камеры выбирается в зависимости от того в каком спектральном диапазоне осуществляется съемка. В качестве примера реализации средства для обработки изображений может быть ноутбук, планшет, смартфон, компьютер, сервер, серверный кластер, мейнфрейм, процессор. В некоторых вариантах выполнения изобретения средство для обработки изображениях может быть установлено на борту БПЛА. Средство для обработки изображений предназначено для оценки изображений, получаемых БПЛА в «реальном времени» и выдаче рекомендаций системе мониторинга лесопользования и лесопатологических изменений.

Аэрофотосъемка местности осуществляется с целью получения также с целью получения изображений лесного массива в первый и во второй промежуток времени. Аэрофотосъемка местности согласно изобретению, включает в себя подготовительные мероприятие, летно-съемочные работы и фотограмметрические работы. Подготовительные мероприятия, заключаются в изучении местности, которая подлежит фотографированию, подготовке карт, проектировании маршрутов полетов и в производстве расчета элементов аэрофотосъемки. Летно-съемочные работы проводятся с целью фотографирование земной поверхности при помощи аэрофотоаппаратов цифровых и спектральных камер. Фотограмметрические работы проводятся как на полевом, так и на лабораторном оборудовании и связаны с обработкой аэрофотоснимков для составления планов и карт снятой местности.

Для получения геопривязанного ортофотоизображения используется плановая аэрофотосъемка местности. При плановой съемке камера направлена вертикально вниз, под прямым углом к поверхности земли. Результат представляет из себя снимки с ортогональной проекцией. Данный вид аэрофотосъемки позволяет определить взаиморасположение объектов на плоскости без учета их высот, для последующей обработки и получения информации о плотности лесных насаждений, местоположении вырубок и других географических характеристик.

Для получения информации о высоте лесного покрова или отдельных элементов используется перспективная съемка, при которой камера направлена под углом к горизонту. Такой вид съемки невозможен для спутников и традиционной "большой авиации". Результатом перспективной аэрофотосъемки является аксонометрическая проекция. Таким образом, мы получаем информацию не только о взаиморасположении объектов на плоскости, но и об их форме, кроме того, определяем высоту объектов относительно друг друга.

Для получения дополнительной информации о породном составе лесного массива используется мультиспектральная камера. Результатом мультиспектральной съемки являются изображения, полученные в ближней инфракрасной области спектра, которые служат используются для получения нормализованного относительного индекса растительности (NDVI) спектрального образа растительности.

Проведение аэрофотосъемочных работ проводится в соответствии со следующими этапами:

Подготовительный этап. Осуществляется сбор имеющейся на район изысканий топографической информации и материалов аэросъемок прошлых лет, на основании которых обосновывают полосу варьирования конкурентоспособных вариантов трассы и составляют проект производства аэросъемочных работ

Полевой этап. Проведение наземных геодезических работ по созданию планово-высотного обоснования аэросъемок; закрепление и маркировку точек опорной сети; разметка модельных площадок; сплошной перечет растительности на модельных площадках; проведение аэросъемочных работ.

Этап обработки. Привязка и дешифрирование аэрофотоснимков. Обнаружение, анализ и получение ключевых характеристик объектов и элементов местности по их изображениям на снимках, их качественных и количественных характеристик, своеобразных свойств и особенностей.

На этапе проработки маршрута исходными параметрами аэрофотосъемки при помощи БПЛА являются требуемое разрешение снимка, разрешение аэрофотоаппарата камеры, угол зрения объектива камеры, величина перекрытия кадров. Из этих данных рассчитывается высота полета, скорость БПЛА и частота срабатывания затвора фотокамеры. Во время полета БПЛА в автоматическом режиме рассчитывает свою скорость и частоту срабатывания затвора (скорость кадров) так, чтобы обеспечить заданное перекрытие кадров. Перекрытие снимков с БПЛА отвечает обычным требованиям для аэрофотосъемки и составляет, как правило, 60% кадра. Снимки с БПЛА перекрываются на 60% 70% в продольном перекрытии и на 30% 60% в поперечном перекрытии. В результате полета формируются набор фотографий и данные телеметрии, которые включают в себя координаты центра фотографирования, а также углы крена, тангажа и курса.

Для проведения аэрофотосъемки может быть использовано беспилотное летающее транспортное средство, оснащенное как обычной цифровой RGB фотокамерой на основе ПЗС матрицы, гиперспектральной, мультиспектральной, так и большой многообъективной системой, в зависимости от параметров трассы проведения аэрофотосъемочных работ. В частности, для получения информации о NDVI БПЛА оснащается мультиспектральной камерой.

Как уже указывалось выше, в предлагаемом изобретение предусмотрено создание изображений лесного массива в различные промежутки времени (в первый и во второй промежуток времени). Первым промежутком времени обычно является первый облет БПЛА карты местности для получения первичный изображений лесного массива. Необходимо отметить, что в некоторых случаях такая информация может быть занесена предварительно в средство для обработки изображений. Вторым промежутком времени является любой момент времени, когда совершается повторный облет территории для получения изображений лесного массива. К примеру БПЛА обследуя первый раз территорию создает карту местности и передает ее для обработки и анализа в средство для обработки изображений. При обработке графической информации фиксируется наличие лесной вырубки или другими словами отсутствие лесных насаждений с характерами чертами местности, такими как наличие пеньков, поваленные стволы деревьев или упорядоченно разложенные. Эта информация заносится в специализированный отчет по облету БПЛА и становится исторической информацией. Таким образом осуществляется получение изображений лесного массива в первый промежуток времени. Совершая облет в следующий раз БПЛА создает очередной временной картографический срез. При обработке снова фиксируется наличие вырубки и снова вносится информация в отчеты. Таким образом мы создаем некий архив картографии одной и то же местности в различные временные интервалы и можем строить простые аналитические зависимости о количестве появлений новых вырубок за определенный период времени или по изменению формы вырубок и др.

Так же при проведении аэрофотосъемки БПЛА оснащается системой определения положения в пространстве. Для достижения точности позиционирования около 5-10 см аппарат, помимо стандартной системы GPS/Глонасс оснащается дополнительным высокоточным приемником GPS Глобальной Навигационной Спутниковой Системы (ГНСС) вместе с наземными базовыми GPS ГНСС станциями. Изначально маршрут облета территорией задан и БПЛА летает согласно заданным координатам GPS. Для выполнения съемки создаются устанавливаются базовые GPS ГНСС-станции, данные которых используются для вычисления дифференциальных поправок при определении траектории летательного аппарата. Для определения траектории летательного аппарата и уточнения угловых данных инерциальной системы применяется метод совместной обработки GPS ГНСС-данных и данных инерциальной системы.

БПЛА также может быть оснащен различными приборами, такими как гироскопы, системы глобального позиционирования, оборудование для определения высоты полета, превышений между центрами фотографирования, а также аэронавигационные системы и др. Показания специальных приборов и оборудования, зафиксированные в процессе аэрофотосъемки, обеспечивают стабилизацию съемочной камеры в полете или последующее определение по ним пространственного положения камеры аэроснимков в абсолютной или относительной системе координат с целью последующего их использования при выполнении фотограмметрических работ и преобразовании аэроснимков в планы и карты. Наличие указанных данных во многом определяет технологию камеральной обработки материалов аэрофотосъемки, существенно влияет на оперативность, точность фотограмметрических построений и объемы полевых работ по их обеспечению.

Результатом цифровой аэрофотосъемки местности является получение изображений лесного массива в первый и во второй промежуток времени, а также зафиксированные в полете элементы внешнего ориентирования, например некие визуальные признаки, такие как граница леса, поля, реки и другие объекты, линейные - Xs, Ys, Zs - координаты центра фотографирования; угловые - α, β, γ - ориентирование камеры относительно осей координат.

В соответствии с законами центрального проектирования, по которым строится изображение лесного массива, аэронегатив (аэроснимок) содержит ряд искажений, величины которых определяются углом наклона оптической оси аэрофотоаппарата камеры и колебанием рельефа местности. Устранение этих искажений осуществляется в процессе их компьютерной фотограмметрической обработки, и в частности - фотографического или цифрового преобразования, называемого трансформированием. В связи с этим использование аэроснимков без их предварительного трансформирования для картографического (топографического) обеспечения выполняемых работ, в том числе в качестве основы для ГИС, ограничивается влиянием указанных искажений. Поэтому полученные изображения передаются для обработки и анализа в средство для обработки изображений.

Первым этапом необходимо провести цветокоррекию изображения с учетом характеристик камеры, используемой для фотосъемки. Этот процесс необходим, если в процессе съемки условия освещения менялись. На этом этапе происходит процесс выравнивания баланса белого, настройка кривой яркости/контрастности и насыщенности цветов.

Сегментация выполняется за счет выделения локальных минимумов функции градиента или интенсивности. Рост площади сегмент осуществляется вдоль плавного изменения градиента до границы объекта. Значение границы может быть задетектирована в двух случаях: резкая смена градиента, соприкосновение с границей соседней области. Для сегментации могут быть использованы как исходные изображения, так и спектральные карты, полученные методом получения разницы интенсивностей отраженного света в видимом и инфракрасном диапазоне, деленной на сумму их интенсивностей. Таким образом происходит сегментация крупных участков.

На фиг. 1а слева показан результат работы сегментации, на фиг. 1б справа показан один из промежуточных этапов работы алгоритма, на котором заметен принцип выделения однородных участков, таких как:

Область лесного массива

Область свободная от лесного массива (поля, просеки, населенные пункты, свалки и т.д.)

Область вырубки лесного массива

Области лесного массива визуально отличающиеся друг от друга по цветовому составу визуальному и спектральному образам (области засохшего леса, выгоревший лес, массивы с различными породами, и т.д.)

Аналогично, но с другими весовыми коэффициентами проводится анализ выделенных сегментов на наличие в них индивидуальных объектов (деревьев). Потенциально возможные области выделяются в прямоугольные сегменты для проведения формальной проверки на наличие в сегменте интересующего нас объекта.

На фиг. 2а слева показан результат работы сегментации, на фиг. 2б справа показан один из промежуточных этапов работы алгоритма, на котором хорошо заметно принцип выделения однородных участков.

Для каждого сегмента проводится классификация объекта и получение его характеристик. Для обучения алгоритма классификации используется обучающий набор изображений содержащий графическое представления исследуемых объектов, классифицированных по нужным категориям. В процессе работы алгоритм обучается различать на фотографии различные объекты по внешним признакам подобно глазу человека. Для того, чтобы алгоритм умел различать классы ему необходимо показать некоторое количество примеров изображения каждого класса и в дальнейшем нейронный алгоритм сможет самостоятельно в будущем детектировать схожие участки на полученных им изображениях.

Цель проведения аэрофотосъемочных работ заключается в получении информации о текущем состоянии лесного массива, а также в получении по меньшей мере одного параметра лесного массива, а именно: вегетационный индекс NDVI, спектральные образы произрастающей растительности, породный состав, возраст и кубатура, наличие патологий, высота деревьев и др. Совокупность этих данных дает информацию о состоянии леса, например:

Порода (получаем по анализу формы, окраски и спектрального образа в сочетании с геолокацией и базой данных территориального распределения различных пород)

Санитарное состояние (получаем по анализу цвета визуального образа и рисунка принта)

По полученным характеристикам получаем метрики

Состав и соотношение пород деревьев (на основании классификации и выделения зон с однородным породным составом и вычислении соотношения между ними)

Плотность массива (на основании среднестатистических интервалов между деревьями)

Санитарное состояние (на основании классификации (здоровое дерево, высохшее дерево, дерево с нетипичным цветовым спекром)

Высота деревьев (на основании карты высот между верхушками деревьев и землей)

Кубатура (на основании плотности насаждений, высоты деревьев)

Процесс мониторинга лесопользования и лесопатологических изменений включает в себя ряд подпроцессов, эффективность которых может быть описана большим набором параметров. Оптимизируя данные параметры можно получить более эффективный технологический процесс. Для этого заявленная система мониторинга использует принцип машинного обучения на основе нейронного алгоритма. Изначально мы закладываем некий базовый алгоритм пролета над исследуемой местностью и БПЛА делает фотографии согласно этому алгоритму, при этом он БПЛА самостоятельно решает куда лететь и что фотографировать. Базовый алгоритм основывается на базе входных данных, которыми могут быть как GPS, так и визуальная картинка сделанная БПЛА. Первоначально БПЛА действует практически наугад, совершает действия и смотри к чему они привели (насколько изменился охват территории, сколько полезных данных было получено и др.). Целью применения машинного обучения является научить БПЛА принимать решение о необходимых действиях, а именно: куда лететь, что фотографировать, с какими параметрами проводить фотосъемку. С каждым разом алгоритм понимает какие действия ведут к увеличению результата, а какие наоборот ухудшают его. Алгоритм собирает различные параметры технологического процесса (скорость полета, скорость срабатывания затвора камеры и др.), а также собирает полученную информацию (набор изображений с камер, координаты полета и др.). В процессе также осуществляется сбор информации по анализу полученных изображений (наличие или отсутствие леса, породный состав, вегетативные характеристики и др.). Алгоритм все эти данные обрабатывает сопоставляет с потраченными усилиями (количество облетов для хорошего покрытия, время полета, количество ошибок при распознании объектов и др.). На основе обработанных данных выдается результат, какие параметры на что влияют и для следующего полета корректирует эти параметры, чтобы новый полет был более эффективным. В результате алгоритм выбирает наиболее «выигрышный вариант действий». Далее описан подробный процесс машинного обучения.

Суть машинного обучения сводится к классическому методу обучения с подкреплением применительно ко всему технологическому циклу. Классическая модель обучения подкреплением обучается через систему

наблюдений

выигрышей

действий

Задача оптимизации полного технологического цикла подразумевает

Процесс выбора траектории маршрута на базе технологии curiosity driven

Процесс проведения аэрофотосъемочных работ

Процесс анализа изображений (например, Mask RCNN)

В результате технологического процесса будут накапливаться набор данных по всем параметрам технологического процесса во времени, система сбора и хранения оперативной информации будет являться нашей моделью системой наблюдений.

Системой выигрышей будет являться дельта между метриками, которые включают в себя:

Покрытие территории за пролет

Качество полученных данных аэрофотосъемки, NIR др.

Количество полезных/бесполезных данных

Качество распознавания

Система действий напрямую взаимодействует с основными системами технологического цикла и генерирует наиболее оптимальные параметры системы с учетом предыдущего опыта. Преимущество применения алгоритма Reinforcement learning заключается в следующем:

Экономия бензина, за счет минимизации пройденного пути

Экономия времени облета площади

Использование автономных БПЛА и сокращение затрат на использование людских ресурсов для управления БПЛА

Настройка параметров камеры в зависимости от среды окружения облета, в том числе знания параметров местности в каждой точке:

• Высоты

• Ветра

• Освещенности

• Наличия дождя

• Погодных условий

Алгоритмы reinforcement learning используют награду для обучения агентов. Агент - это тот, кто учится взаимодействовать со средой. В роли Агента в нашем случае выступают БПЛА. Награду агента можно разделить на extrinsic (внешняя, несвойственное поведение) и intrinsic (внутренняя, свойственное/присущее поведение). Агент редко получает extrinsic награду, например, при облете всей карты, поэтому алгоритмы используют intrinsic награду, которая измеряется функцией потерь. В заявленном изобретении использовался используется Actor-Critic (А3С) алгоритм.

Функцию потерь можно разделить на ошибку «незнакомых» состояний и ошибку стохастического шума, который определяется параметрами среды в данной точке.

Таким образом, для подсчета ошибки применяется 3 нейронной сети, а именно:

1. Policy Network (Нейронная сеть выбора стратегии)

2. Target Network (Целевая нейронная сеть)

3. Prediction Network (Нейронная сеть предсказания)

Агент, находясь в состоянии s(t) (текущее состояние), решает какое будет следующее состояние, посредством Policy Network. Далее, на основании вывода Policy Network выполняется действие a(t) (действие для достижения текущего состояния), и осуществляется переход в состояние S(t+1) (новое состояние).

Для обновления intrinsic награды используется две нейронные сети: target network и prediction network, которая на каждом шаге агента предсказывает features первой нейронной сети. Далее, по features двух алгоритмов вычисляется ошибка по MSE, по которой вычисляется intrinsic награда.

Claims (6)

1. Система мониторинга лесопользования и лесопатологических изменений, содержащая по меньшей мере одно беспилотно летающее средство, на котором установлена по меньшей мере одна камера для получения изображений лесного массива в первый и во второй промежуток времени,
2. и по меньшей мере одно средство для обработки изображений, выполненное с возможностью:
3. - цветокоррекции полученных изображений,
4. - сегментации полученных изображений с целью выявления однородных участков лесного массива,
5. - анализа полученных изображений для получения информации о состоянии лесного массива,
6. при этом система мониторинга выполнена с возможностью оптимизации технологического процесса посредством применения машинного обучения.

Images