RU2799078C1 - Способ обнаружения и распознавания малоразмерных объектов на изображениях при помощи алгоритма машинного обучения и устройство для его реализации - Google Patents

Abstract

Изобретение относится к области вычислительной обработки данных. Техническим результатом является улучшение точности обнаружения и распознавания малоразмерных объектов на оптических изображениях в реальном времени в рамках ограниченных вычислительных ресурсов. Такой результат достигается за счёт того, что анализируют изображение на снимке, полученном беспилотным летательным аппаратом (БПЛА) во время полета, причем анализ проводят вычислительным модулем, входящим в состав БПЛА, при помощи алгоритма машинного обучения с учетом параметров поиска, где алгоритм машинного обучения дообучают на основании параметров поиска искомого объекта и с учетом условий ограниченной видимости; при обнаружении на изображении в результате анализа объекта, подходящего под параметры поиска, проводят его распознавание вычислительным модулем при помощи алгоритма машинного обучения; когда в результате распознавания обнаруженный объект определен как искомый объект, определяют местоположение обнаруженного объекта. 2 н. и 9 з.п. ф-лы, 8 ил.

Description

Область техники

Настоящее изобретение относится к области вычислительной обработки данных в целом и, в частности, к способу и устройству для обнаружения малоразмерных объектов на основании анализа изображений, формируемых во время полета беспилотного летательного аппарата, которые могут быть использованы для проведения операций по спасению и поиску людей в условиях плохой видимости. 

Уровень техники

В аэрофотосъемке c борта беспилотного летательного аппарата (далее – БПЛА) обработка и анализ изображений на снимках традиционно выполняются уже по возвращению БПЛА на землю и после извлечения данных с него.

В то же время известно несколько решений, позволяющих проводить обработку данных непосредственно и на борту БПЛА, однако в этом случае предъявляются существенные требования как к размерам объектов на изображениях снимков, так и к фотовидеофиксации. Объекты на снимках должны быть достаточно крупными, а размер фотографий должен быть относительно небольшим в связи с ограниченной вычислительной мощностью БПЛА. Обычно на таком снимке размер объекта должен занимает существенную часть изображения, например, более 20%.

Так в патентной заявке US20180158197A1 представлено решение использования БПЛА для слежения за объектом с помощью бортовых визуальных датчиков. Изображения физической среды, захваченные такими датчиками, обрабатываются на БПЛА для извлечения семантической информации об обнаруженных объектах. Обработка (анализ) захваченных изображений может включать применение методов машинного обучения для извлечения семантических сигналов, касающихся объектов, обнаруженных на изображениях. При этом отслеживание объекта используется, например, для облегчения автономной навигации БПЛА или для генерации и отображения дополнительной информации, касающейся отслеживаемых объектов, для пользователей. Кроме того, отслеживаемый объект должен быть достаточно крупным в рамках изображения.

Такие решения не позволяют выполнить ряд задач, связанных с необходимостью оперативного поиска и поиска объектов малого и сверхмалого размера относительно размера всего изображения снимка. Примерами таких задач являются поиск потерявшихся людей, поиск и подсчет пострадавших людей или зданий в зоне чрезвычайных ситуаций. Поиск включает такие задачи, как обнаружение и распознавание объектов (например, человек, здание, автомобиль). Таким образом, существует мало решений, посвященных совместному обнаружению и распознаванию малых и сверхмалых объектов.

Еще одной задачей, не решаемой в представленном уровне техники, является обработка изображений с целью обнаружения и распознавания объектов малого и сверхмалого размера непосредственно на БПЛА с помощью алгоритмов машинного обучения в рамках общей схемы работы на БПЛА. Для такой задачи требуется определенные вычислительные мощности, при нехватке которых уменьшается вероятность распознать объект или его классифицировать, либо значительно возрастает время обработки изображения. Такие недостатки приводит к потере времени (БПЛА уже покидает зону) и неэффективности с точки зрения поиска объектов в режиме реального времени. Стоит отметить, что упомянутые методы обнаружения на изображениях с помощью алгоритмов машинного обучения обычно подразумевают и классификацию, но при этом классификация является достаточно простой. Либо число классов невелико (2-3), либо классы имеют сильно различающиеся характеристики. Для классов объектов, схожих по форме и размерам (например, различные виды техники), точность классификации недостаточно высока. При этом, чем меньше размер распознаваемых объектов, тем сложнее становится задача классификации.

Предлагаемое решение позволяет одновременно решать задачи обнаружения и распознавания объектов малых и сверхмалых размеров и сходных форм непосредственно на борту БПЛА в режиме реального времени. Дополнительно предлагаемое решение позволяет и классифицировать объект.

Раскрытие изобретения

Заявленное техническое решение предлагает новый подход в области обнаружения и распознавания малоразмерных объектов на оптических изображения высокого разрешения непосредственно на борту БПЛА при помощи вычислительного модуля, который включает алгоритм машинного обучения. Кроме того, заявленное решение дополнительно позволяет и классифицировать искомый объект. В качестве алгоритма машинного обучения может быть использована архитектура сверточной нейронной сети. Реализация технического решения может быть осуществлена при помощи любого типа БПЛА, например: самолётного, вертолётного или коптерного. Также заявленное решение позволяет информировать оператора наземной станции о результатах обнаружения и распознавания искомого объекта в режиме реального времени при помощи реализации компонента (модуля) для доставки фрагментов изображений с обнаруженными объектами и указанием местоположения обнаруженных объектов посредством радиоканала или сотовой сети.

При этом получение данных от БПЛА и их визуализация производится с использованием веб-интерфейса, который может быть реализован локально на наземной станции в секторе поиска или удаленно через известные средства связи, например, через сеть «Интернет». Веб-интерфейс включает онлайн-карту, на которой производится визуализация.

В одном из вариантов реализации заявленное изобретение реализуется в комплексе с подобными изобретениями, что позволяет расширить границы поиска искомого объекта и уменьшить время поиска. В этом случае существует возможность задавать траекторию полета и производить ее корректировку для каждого БПЛА, входящего в состав комплекса, и получать данные от всех БПЛА в режиме реального времени.

Решаемой технической проблемой или технической задачей является обнаружение и распознавания малоразмерных объектов непосредственно на борту БПЛА в режиме реального времени. При реализации на БПЛА обеспечивается выполнение поставленной задачи в рамках ограниченных технических возможностей БПЛА, в частности ограниченных вычислительных ресурсов.

В рамках осуществления заявленного изобретения дополнительно реализуется способ создания модели обнаружения и распознавания, а также классификации малоразмерных объектов (например, человека или частей его тела) на основании анализа видео-, фотоизображения, при этом размер объекта считается малым или сверхмалым относительно размера изображения на снимке, где разница достигает в 1000 и более раз. Указанная модель обладает высокой степенью точности распознавания объектов на изображениях и скоростью обработки входящих данных с учетом технических особенностей устройства (БПЛА). Обнаружение и распознавание осуществляется при помощи алгоритма машинного обучения в режиме реального времени во время полета БПЛА и реализованного непосредственно на борту БПЛА.

Одним техническим результатом, достигающимся при решении вышеуказанной технической проблемы, является улучшение точности обнаружения и распознавания малоразмерных объектов на оптических изображениях в реальном времени в рамках ограниченных вычислительных ресурсов.

Другим техническим результатом является уменьшение времени обнаружения и распознавания малоразмерных объектов на изображениях за счет реализации вычислительного модуля, содержащего по меньшей мере один алгоритм машинного обучения, непосредственно на БПЛА.

Еще один технический результат заключается в расширении арсенала технических средств для поиска малоразмерных объектов в условиях ограниченной видимости.

Заявленные результаты достигаются за счет способа и устройства для обнаружения и распознавания малоразмерных объектов на основании анализа изображений при помощи вычислительного модуля, включающего по меньшей мере один алгоритм машинного обучения.

В качестве одного варианта исполнения настоящего изобретения предлагается способ для обнаружения и распознавания малоразмерных объектов на основании анализа изображения при помощи вычислительного модуля, включающего по меньшей мере один алгоритм машинного обучения, реализуемый на беспилотном летательном аппарате (БПЛА) и включает этапы, на которых получают параметры поиска объекта, где параметры включают по меньшей мере один характерный признак искомого объекта; формируют во время полета БПЛА по меньшей мере один снимок, содержащий изображение высокого разрешения, при этом передают каждый снимок вычислительному модулю, входящему в состав БПЛА; анализируют изображения на каждом полученном снимке, где анализ проводят вычислительным модулем при помощи алгоритма машинного обучения с учетом параметров поиска; при обнаружении на изображении в результате анализа по меньшей мере одного объекта, подходящего под параметры поиска, проводят его распознавание вычислительным модулем при помощи алгоритма машинного обучения; в случае если в результате распознавания обнаруженный объект был определен как искомый объект, определяют местоположение обнаруженного объекта.

В другом варианте исполнения способа обнаружение и распознавание объекта на БПЛА осуществляют в режиме реального времени.

В еще одном варианте исполнения способа дообучают алгоритм машинного обучения на основании параметров поиска искомого объекта.

В другом варианте исполнения способа частота формирования снимков происходит со скоростью 1 раз в секунду.

В еще одном варианте исполнения способа в качестве алгоритма машинного обучения применяют свёрточную нейро-сетевую архитектуру.

В другом варианте исполнения способа местоположение определяют путем анализа данных с GPS/Glonass-приемника БПЛА, где данные содержат сведения о координатах и высоте полета БПЛА в момент формирования снимка, на изображении которого был найден искомый объект, с использованием данных с изображения о размере объекта в пикселях и его положению на изображении.

В еще одном варианте исполнения способа формируют файл, содержащий фрагмент изображения, на котором представлен искомый объект в увеличенном виде и местоположение искомого объекта.

В другом варианте исполнения способа фрагмент изображения содержит тип объекта и вероятность совпадения.

В еще одном варианте исполнения способа сформированный файл, содержащий фрагмент изображения с искомым объектом и местоположение искомого объекта, передают по каналу связи принимающей стороне, при этом в случае невозможности передачи ожидают до момента появления связи и проводят повторную передачу.

В другом варианте исполнения способа принимающей стороной является наземная станция или приемник оператора БПЛА.

В еще одном варианте исполнения способа дополнительно на наземной станции визуализируют местоположения объекта в веб-интерфейсе на основании полученных данных от БПЛА.

В качестве другого варианта исполнения настоящего изобретения предлагается устройство типа БПЛА для обнаружения и распознавания малоразмерных объектов в режиме реального времени на основании сделанных снимков при помощи вычислительного модуля, содержащего по меньшей мере один алгоритм машинного обучения, согласно по крайней мере одному из указанных выше способах.

Краткое описание чертежей

Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

На Фиг. 1 представлена блок-схема способа обнаружения и распознавания малоразмерных объектов на изображениях при помощи алгоритма машинного обучения в составе БПЛА.

На Фиг. 2 схематично представлена система обнаружения и распознавания малоразмерных объектов на изображениях при помощи алгоритма машинного обучения в составе БПЛА.

На Фиг. 3а-3в представлены примеры обнаруженного, распознанного и представленного в качестве фрагмента изображения, на котором распознан искомый объект.

На Фиг. 4 представлен пример захваченного изображения, на котором представлены обнаруженные и распознанные малоразмерные объекты.

На Фиг. 5 представлены два примера изображений, на которых представлены обнаруженные и распознанные малоразмерные объекты.

Фиг. 6 иллюстрирует пример компьютерной системы общего назначения, с помощью которого может быть реализовано заявленное изобретение.

Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено приложенной формуле.

Описание вариантов осуществления изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Приведенное описание предназначено для помощи специалисту в области техники для исчерпывающего понимания изобретения, которое определяется только в объеме приложенной формулы.

При описании представленного изобретения для ясности понимания работы используется такой термин, как «оператор», который в общем виде следует понимать, как «пользователь» заявленного изобретения.

Стоит отметить, что используемый термин «малоразмерный объект» следует понимать пятно сравнительно малых или сверхмалых размеров на изображении, при этом яркость пятна отличается от яркости его окрестности. Малоразмерным объектом является, в частности, изображение объекта, занимающее пару десятков пикселей или менее на изображении снимка (кадра), разрешение которого составляет 4К пикселей и выше, например 6000х4000 пикселей. При данном соотношении размера объекта к размеру самого изображения можно говорить о том, что на изображении снимка частный дом или автомобиль – малые объекты, а сверхмалым объектом является человек. Стоит отметить, что при помощи снимков с высоким разрешением заявленное изобретение, с одной стороны, позволяет охватить большую площадь земли при анализе такого изображения. С другой же стороны накладывает дополнительные требования к самому анализу снимка, содержащего изображение территории такой площади, при поиске объектов на нем. Например, при высоте полета БПЛА равной 150 метров и формированием фотокадров 6000x4000 пикселей (24 Мп), где размер изображения 70х46 метров, а разрешение 1.2 пикселя на см, то охват площади одним кадром будет равен 3320 квадратных метра.

Настоящее изобретение позволяет решить недостатки предшествующего уровня техники и/или расширить арсенал технических средств, представляя способ и устройство для обнаружения и распознавания малоразмерных объектов на основании анализа изображений высокого разрешения, полученных от фото- или видеокамеры, при помощи вычислительного модуля, включающего по меньшей мере один алгоритм машинного обучения.

Заявленный способ 100 обнаружения и распознавания малоразмерных объектов на изображениях, полученных от средства обнаружения, при помощи средства вычисления, включающего по меньшей мере один алгоритм машинного обучения, как представлено на Фиг. 1, заключается в выполнении ряда последовательных этапов, осуществляемых компонентами, входящим в состав БПЛА. В частности, состав компонентов БПЛА, как показано на Фиг. 2, включает по меньшей мере упомянутые средство обнаружения 210 и средство вычисления (вычислительный модуль) 220, которое включает искусственную нейронную сеть, а также средство (GPS/Glonass приемник) 230 и средство передачи данных 240. Дополнительно БПЛА содержит элементы, необходимые для осуществления полета на протяжении определенного времени. Кроме того, каждое средство БПЛА использует программное обеспечение (ПО), позволяющие взаимодействовать друг с другом и выполнять свое предназначение. Связь между средствами обеспечивается по меньшей мере при помощи проводной связи (кабельные соединения).

В одном из вариантов реализации средство обнаружения 210 может быть выполнено в качестве беззеркальной фотокамеры, позволяющей формировать снимок с изображением высокого разрешения во время полета БПЛА. Например, в качестве средства обнаружения 210 используется фотоаппарат Sony Alpha 6000 или ему подобный. Средство вычисления 220 (вычислительный модуль) может быть реализовано на бортовом обрабатывающем одноплатном компьютере 225, например, на микрокомпьютере (встраиваемой микропроцессорной системе), имеющем небольшие габариты для установки на БПЛА и позволяющем произвести необходимые вычисления заявленного изобретения с требуемой скоростью (например, не более 1 секунды на обработку и анализ изображения). Наиболее предпочтительным вариантом такого микрокомпьютера является автономное устройство в виде платы-модуля, содержащее процессор, GPU, систему управления питанием, высокоскоростные интерфейсы и другие возможности, требуемые для реализации назначения. Примером подобного автономного устройства могут являться устройства, реализованные с помощью платформы NVIDIA^Ⓡ Jetson™ или модуля МВ164.01 от компании АО НТЦ «Модуль». Средством передачи данных 240 является известное стандартное устройство, позволяющие производить передачу и получения данных по информационным каналам связи, таким как радиоканал и/или сотовая связь.

Стоит отметить, что при описании способа 100 признаки способа могут использоваться как в единственном, так и во множественном числе, при этом в различных вариантах реализации способа могут быть использованы обе формы, кроме тех случаев, где это указано явно. Например, при упоминании признака «объект» подразумевается как один искомый объект, так и несколько. Соответственно, под признаком «заданные параметры» объекта могут подразумеваться как параметры одного искомого объекта, так и параметры нескольких искомых объектов.

Результатом обнаружения и распознавания малоразмерного объекта считается выделение на изображении группы пикселей, относящихся к искомому объекту, и определению по ним искомого объекта.

Итак, согласно блоке-схеме, представленной на Фиг. 1, предварительным шагом 110 является формирование по меньшей мере одного снимка, содержащего изображение для анализа, при помощи средства обнаружения 210 с борта БПЛА во время полета. БПЛА может осуществлять полет как по заданному маршруту, так и под управлением в режиме реального времени, при этом может осуществляться динамическая корректировка маршрута. В предпочтительном варианте реализации средство обнаружения 210 формирует снимки земли с воздуха 1 раз в секунду. Получаемый размер снимка и, соответственно, изображения на нем может регулироваться и зависит от возможностей как самого средства обнаружения 210, так и вычислительных возможностей автономного устройства, на котором реализовано средство вычисления 220. При этом изображение на снимке должно обладать высоким разрешением для анализа, так как полет БПЛА осуществляется на высоте более 100 метров, например, 150 метров, чтобы было возможно произвести анализ изображения.

В одном из вариантов реализации на шаге 110 дополнительно перед формированием снимков будут заданы траектория полета БПЛА, режим фотосъемки и его параметры (например, чистота кадров в секунду, разрешение изображения). Кроме того, средство вычисления 220 получит данные по меньшей мере об одном объекте для его поиска на изображении снимка. В качестве получаемых данных могут быть как другое изображение, на котором представлен объект, так и описание самого объекта, например, форма объекта, цвет, предположительный размер.

На шаге 120 непосредственно для обнаружения и распознавания малоразмерного объекта на изображении производится передача данных от средства обнаружения 210 и получение передаваемых данных средством вычисления 220. Под данными в первую очередь понимается по меньшей мере один снимок, содержащей изображение. Передача данных осуществляется в режиме реального времени. Кроме того, дополнительно в режиме реального времени средство вычисления 220 получает GPS-координаты и высоту полета БПЛА в момент формирования снимка от средства 230.

На шаге 130 в режиме реального времени средство вычисления 220 при помощи искусственной нейронной сети анализирует каждое изображение с целью первичного поиска по меньшей мере одного объекта, подходящего под заданные параметры поиска.

Стоит отметить, что искусственная нейронная сеть (ИНС) является разновидностью алгоритмов машинного обучения и предварительно подбирается для поиска (обнаружения и распознавания) объектов на сформированных изображениях по заданным параметрам. Также используемая ИНС предварительно обучается и имеет возможность производить дообучение в процессе работы. Обучение ИНС производится на подготовленном перечне изображений, на которых были представлены подобные искомые объекты в различных климатических условиях, под различными ракурсами и с различной освещенностью фона, при этом особенностью обучения является использование для обучения изображений объекта, выполненных в условиях ограниченной видимости. Кроме того, ИНС может быть дообучена непосредственно перед началом поиска объекта, который требуется найти, на основании параметров поиска. Параметрами поиска могут являться характерные признаки искомого объекта, такие как габариты, цвет, геометрическая форма или набор форм. Например, если искомым объектом является человек, то в качестве его признаков могут быть заданы габариты, цвет волос, тип и цвет одежды. Если искомым объектом является здание или транспортное средство, то, соответственно, в качестве признаков поиска будут заданы – габариты, цвет объекта или его частей, тип объекта, характерные элементы здания или транспортного средства.

Под ограниченной видимостью понимаются как сложные погодные условия (туман, боковой свет, садящееся солнце), так и иные причины, из-за которых искомый объект сверху или под углом относительно полета БПЛА виден только частично. Например, при поиске человека в лесу в летний период, листва чаще всего закрывает большую часть поверхности земли и искомого объекта. Поэтому ИНС обучается для обнаружения фрагментов объекта, например, частей тела человека (руки, ноги, плеча, головы), которые только и могут быть обнаружены на таком изображении, и на основании анализа обнаруженных фрагментов принять решение об обнаружении искомого объекта.

В одном из частных вариантов реализации в качестве ИНС используется сверточная нейронная сеть (англ. convolutional neural network, CNN), которая позволяет более эффективно обнаруживать и распознавать объекты на изображениях.

На шаге 140 в случае первичного обнаружения объекта, подходящего под заданные параметры, на анализируемом изображении средство вычисления 220 при помощи искусственной нейронной сети осуществляет распознавание обнаруженного объекта с целью принятия окончательного решения о соответствии найденного объекта искомому объекту. При этом в зависимости от варианта реализации распознавание может быть осуществлено как при помощи той же искусственной нейронной сети, которая обнаружила объект, так и при помощи другой искусственной нейронной сети, которая будет реализована в средстве вычисления 220.

В одном из вариантов реализации распознавание заключается в определении соответствия обнаруженного объекта по крайней мере большей части заданных параметров искомого объекта. Например, когда 75% и выше параметров совпали. При соответствии указанному критерию обнаруженный объект определяется как искомый объект.

На шаге 150 при успешном распознавании искомого объекта определяется его местоположение путем анализа данных, полученных от средства 230 БПЛА. Данные содержат сведения о координатах и высоте полета БПЛА в момент формирования снимка с учетом данных о снимке (размер и формат), а также с использованием таких данных с изображения, как размер объекта (в пикселях) и его положение на изображении. На основании указанных сведений вычисляется местоположение (координаты) искомого объекта. Также для определения координат искомого объекта используются данные об оптической схеме, используемой средством обнаружения 210 на БПЛА (например, используемом объективе, установленном на фотокамере). В предпочтительном варианте реализации будет использоваться 50мм фикс объектив.

На дополнительном шаге 160 формируют файл. Файл содержит часть (фрагмент) изображения, на котором был обнаружен и распознан искомый объект, и вычисленные координаты искомого объекта. Пример выделенного фрагмента представлен на Фиг. 3а- 3в под номером 3 (три).

На еще одном дополнительном шаге 170 передают сформированный файл на наземную станцию, при этом в случае, если передача файла невозможна, ожидают до момента появления связи и производят повторную передачу. Передача файла осуществляется при помощи средства передачи данных 240. В зависимости от варианта реализации наземная станция может быть как стационарной, так и мобильной (например, в виде автомобиля, оборудованного необходимыми средствами для приема информации и ее визуализации).

На дополнительном шаге 180 на наземной станции (не представлен на фигурах) согласно данным из файла визуализируют положение искомого объекта на карте, содержащей место поиска, например, в веб-интерфейсе или в созданном программном приложении, имеющем аналогичные свойства для визуализации.

Стоит отметить, что в одном из вариантов реализации данное изобретение может быть реализовано в виде системы, включающей несколько заявленных изобретений и по меньшей мере одну наземную станцию. При осуществлении поиска (обнаружения и распознавания) объекта при помощи нескольких подобных изобретений происходит обмен данными между изобретениями для более эффективного поиска. Обмен данными производится как между БПЛА, на которых реализовано заявленное изобретение, так и через наземную станцию, с которой имеют связь БПЛА, на которых реализовано заявленное изобретение. При этом с наземной станции производится управления каждым используемым изобретением, например, передача данных о искомом объекте, траектории полета и режимов поиска. В системе заявленные изобретения могут быть реализованы на различных типах БПЛА, например, один на самолетном типе, а другой на коптерном типе. Так, при использовании одного БПЛА с заявленным изобретением на облёт территории уйдет значительный отрезок времени. А совместное использование нескольких заявленных изобретений позволит поднять сразу множество БПЛА и агрегировать данные с них в едином интерфейсе (на наземной станции). Использование одновременно несколько заявленных изобретений позволяет увеличить площадь поиска как минимум до нескольких квадратных километров.

На Фиг. 3а – 3в представлены примеры следующих изображений:

1. формирование снимка, содержащего изображение;

2. результат обнаружения и распознавания найденного объекта;

3. фрагмент изображения, на котором представлен распознанный искомый объект.

На Фиг. 4 представлен результат применения заявленного изобретения для задачи обнаружения и распознавания нескольких объектов. На изображении представлен снимок части города, на котором были обнаружены и распознаны три типа объектов. Первым типом объектов является человек. Каждый найденный и распознанный как человек объект на изображении выделен желтым цветом и обозначен словом «pedestrian» (пешеход), при этом указана вероятность соответствия (степень уверенности ИНС) объекта классу в процентном отношении. Каждый найденный и распознанный как легковой автомобиль объект на изображении выделен красным цветом и обозначен словом «car», при этом также указана вероятность соответствия. В качестве третьего типа объектов был обнаружен и распознан крупногабаритный автомобиль типа «фургон» и представлен на изображении зеленным цветом с обозначением «van» и вероятностью соответствия.

На Фиг. 5 представлены два примера снимков, на которых представлены обнаруженные и распознанные искомые малоразмерные объекты. В указанных примерах задачей поиска объектов являлся поиск домов, расположенных рядом с рекой.

В примере 1 представлен один и тот же снимок, где в первом случае изображение 1.1 до применения заявленного изобретения, а на изображении 1.2 после применения заявленного изобретения. В примере 2 представлен второй снимок, где изображение 2.1 является полученным на вход заявленным изобретением, а изображение 2.2 иллюстрирует результат применения заявленного изображения.

Фиг. 6 представляет пример компьютерной системы 20 общего назначения, которая может быть использована как наземная станция (например, в виде персонального компьютера) или как бортовой обрабатывающий одноплатный компьютер 225, представленные на Фиг. 2, при этом имеющий определенную модификацию и удовлетворяющий требованиям установки и использования на БПЛА.

Компьютерная система 20 содержит центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами компьютерной системы 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.

Компьютерная система 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных компьютерной системы 20.

Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.

Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканнер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.

Компьютерная система 20 способна работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа компьютерной системы 20, представленного на Фиг. 6. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.

Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях компьютерная система (персональный компьютер) 20 подключена к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.

Claims (16)

1. Способ обнаружения и распознавания малоразмерных объектов на основании анализа изображения при помощи вычислительного модуля, включающего по меньшей мере один алгоритм машинного обучения, реализуемый на беспилотном летательном аппарате (БПЛА) и включающий этапы, на которых:

a) получают параметры поиска объекта, где параметры включают по меньшей мере один характерный признак искомого объекта;

b) формируют во время полета БПЛА снимок, содержащий изображение высокого разрешения, при этом передают снимок вычислительному модулю, входящему в состав БПЛА;

с) анализируют изображение на полученном снимке, где анализ проводят вычислительным модулем при помощи алгоритма машинного обучения с учетом параметров поиска, где алгоритм машинного обучения дообучают на основании параметров поиска искомого объекта и с учетом условий ограниченной видимости;

d) при обнаружении на изображении в результате анализа по меньшей мере одного объекта, подходящего под параметры поиска, проводят его распознавание вычислительным модулем при помощи алгоритма машинного обучения;

e) когда в результате распознавания обнаруженный объект определен как искомый объект, определяют местоположение обнаруженного объекта.

2. Способ по п. 1, по которому обнаружение и распознавание объекта на БПЛА осуществляют в режиме реального времени.

3. Способ по п. 1, по которому частота формирования снимков происходит со скоростью 1 раз в секунду.

4. Способ по п. 1, по которому в качестве алгоритма машинного обучения применяют свёрточную нейросетевую архитектуру.

5. Способ по п. 1, по которому местоположение определяют путем анализа данных с GPS/Glonass-приемника БПЛА, где данные содержат сведения о координатах и высоте полета БПЛА в момент формирования снимка, на изображении которого был найден искомый объект, с использованием данных с изображения о размере объекта в пикселях и его положении на изображении.

6. Способ по п. 1, по которому формируют файл, содержащий фрагмент изображения, на котором представлен искомый объект в увеличенном виде и местоположение искомого объекта.

7. Способ по п. 6, по которому фрагмент изображения содержит тип объекта и вероятность совпадения.

8. Способ по п. 6, по которому сформированный файл, содержащий фрагмент изображения с искомым объектом и местоположение искомого объекта, передают по каналу связи принимающей стороне, при этом в случае невозможности передачи ожидают до момента появления связи и проводят повторную передачу.

9. Способ по п. 8, по которому принимающей стороной является наземная станция или приемник оператора БПЛА.

10. Способ по п. 9, по которому дополнительно на наземной станции визуализируют местоположения объекта в веб-интерфейсе на основании полученных данных от БПЛА.

11. Устройство типа БПЛА для обнаружения и распознавания малоразмерных объектов в режиме реального времени на основании сделанных снимков при помощи вычислительного модуля, содержащего по меньшей мере один алгоритм машинного обучения, согласно способу по любому из пп. 1-10.

Images