WO2024144434A1 - Бпла и способ выполнения аэрофотосъемки - Google Patents

Бпла и способ выполнения аэрофотосъемки Download PDF

Info

Publication number
WO2024144434A1
WO2024144434A1 PCT/RU2023/050305 RU2023050305W WO2024144434A1 WO 2024144434 A1 WO2024144434 A1 WO 2024144434A1 RU 2023050305 W RU2023050305 W RU 2023050305W WO 2024144434 A1 WO2024144434 A1 WO 2024144434A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
quality
uav
images
Prior art date
Application number
PCT/RU2023/050305
Other languages
English (en)
French (fr)
Inventor
Дмитрий Владимирович ДЕВИТТ
Марк Романович ВИШНЕВСКИЙ
Original Assignee
Автономная некоммерческая организация высшего образования "Университет Иннополис"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2022135296A external-priority patent/RU2798604C1/ru
Application filed by Автономная некоммерческая организация высшего образования "Университет Иннополис" filed Critical Автономная некоммерческая организация высшего образования "Университет Иннополис"
Publication of WO2024144434A1 publication Critical patent/WO2024144434A1/ru

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography

Definitions

  • UAVs One of the popular areas for using UAVs is the creation of an orthophotomap or aerial photography (AFS) for geographic information systems.
  • AFS aerial photography
  • UAVs for these purposes makes it possible to increase the spatial resolution of the map up to several mm/pixel, which is impossible when constructing an orthomosaic using manned aircraft or satellite imagery.
  • a flight mission is generated that takes into account the required spatial resolution of the images, camera characteristics, percentage of image overlap, flight speed and much more.
  • the present invention is directed to the creation of devices and methods that eliminate at least some of the above disadvantages of the prior art.
  • a camera configured to capture images of the terrain under the UAV
  • a camera control module configured to control the camera to obtain terrain images during aerial photography
  • a module for determining the quality of images configured to determine the quality of images received from the camera
  • the image quality determination module is configured to determine a new quality metric reference value according to the additional image and update the quality metric threshold based on the new quality metric reference value.
  • a method for performing aerial photography to be performed in a UAV comprising the steps of:
  • the return of the UAV to the point where the image was taken that was determined to be poor is based on a determination that the distance traveled or the elapsed time since the image was taken does not allow sufficient overlap of the additional image with the last good image preceding the image that was determined to be of poor quality along the route specified in the flight mission.
  • the moment the additional image is taken resets the interval countdown.
  • the present invention improves image quality, accelerates and reduces resource costs for performing aerial photography of a given area with the required quality, increases the accuracy of the orthomosaic, speeds up and reduces resource costs for generating an orthomosaic of the required quality.
  • FIG. 1 shows a block diagram of an apparatus according to the present invention.
  • An unmanned aerial vehicle may contain a body, propulsors, engines, landing gear, engine control module, flight controller, transceiver, navigation module, power source, camera, and a set of sensors.
  • the specific set of UAV elements and their arrangement are not limited to the present invention.
  • Engines are designed to convert energy from a power source into mechanical energy and can be made, for example, in the form of internal combustion engines (ICE) or electric motors. Electric motors can be made, for example, in the form of brushless motors.
  • ICE internal combustion engines
  • Electric motors can be made, for example, in the form of brushless motors.
  • the engine control module controls engine operation through actuators to improve efficiency and can be configured as an electronic cruise control, idle speed control, valve timing control, etc.
  • the on-board computer 120 may be implemented as a device that includes a processor, memory, and data interfaces.
  • the memory may contain a set of instructions that, when executed by the processor, cause the processor to perform the functions of the camera control module 140 and the image quality determination module 150.
  • the on-board computer can be implemented as a device that contains a controller, data transfer interfaces and physically implemented (for example, in the form of microcircuits) separate camera control modules 140 and image quality determination modules 150.
  • Various combinations of the above are also possible.
  • the type of camera and flight controller that can be used for the purposes of the present invention are not limited in this description and are determined by the requirements of the particular application. Accordingly, the present invention can be implemented in a wide variety of embodiments and can be integrated into many existing UAVs.
  • the module 150 for determining the quality of images is configured to determine the quality of images obtained using the UAV camera directly during the flight (in the process of performing aerial photography) on board the UAV.
  • the on-board computer 120 may contain an image set generating module (not shown in Fig. 1) configured to generate a set of images from images obtained using the UAV camera to form an orthomosaic.
  • the module for generating a set of images contains memory.
  • the moment of taking an additional image can reset the countdown of the interval between frames. Since the secondary image is of high quality, it may not be necessary to shoot close in time to the previous primary image determined to be poor quality, since this would result in excessive overlap between the secondary image and the subsequent primary image. This reduces the number of frames required and increases the speed of aerial photography, while still guaranteeing improved image quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к фотограмметрии, в частности к выполнению аэрофотосъемки с помощью БПЛА. Техническим результатом является повышение качества изображений, ускорение и снижение затрат ресурсов на выполнение аэрофотосъемки заданной области с требуемым качеством. Способ выполнения аэрофотосъемки с помощью БПЛА содержит этапы, на которых получают изображение от камеры согласно интервалу, заданному в полетной миссии; и если определено, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено, что значение метрики текущего изображения меньше порога метрики качества, принимают решение о необходимости повторной калибровки; при этом выполнение повторной калибровки содержит этапы, на которых: инициируют автофокусировку камеры, получают дополнительное изображение от камеры после автофокусировки, определяют новое эталонное значение метрики качества согласно дополнительному изображению, обновляют порог метрики качества на основании нового эталонного значения метрики качества.

Description

БПЛА и способ выполнения аэрофотосъемки
Изобретение относится к фотограмметрии, в частности к выполнению аэрофотосъемки с помощью БПЛА.
Беспилотные летательные аппараты (БПЛА, UAV) постепенно становятся частью повседневной жизни – они выполняют доставку грузов, различные исследования, анализ окружающего пространства, мониторинг территорий, контроль объектов, фото- и видеосъемку, используются в спасательных операциях и находят множество других применений.
Одним из востребованных направлений применения БПЛА является создание ортофотоплана или аэрофотосъемка (АФС) для геоинформационных систем. Использование БПЛА для этих целей позволяет повысить пространственное разрешение карты вплоть до нескольких мм/пиксель, что невозможно при построении ортофотоплана с помощью пилотируемой авиации или спутниковой съемки.
Независимо от типа БПЛА и полезной нагрузки формируется полетная миссия, которая учитывает требуемое пространственное разрешение снимков, характеристики камеры, процент перекрытия снимков, скорость полета и многое другое. Помимо миссии полета также необходимо настроить камеру и выставить оптимальные параметры выдержки, светочувствительности, параметры диафрагмы. Чаще всего данные параметры задаются вручную и результат напрямую зависит от опыта оператора. Вместе с тем выставленные вручную параметры не могут гарантировать качественный результат по причине таких проблем, как:
- смена погоды во время полета (низкая экспозиция);
- неправильно выставленная скорость затвора (размытие снимков или низкая экспозиция);
- перекрытие снимков осадками (некачественный снимок);
- резкие порывы ветра (съёмка не под заданным углом).
Вследствие этого в аэрофотосъемке сложилась практика, при которой уже после выполнения полетной миссии и возврата БПЛА на базу до 10% отснятых изображений бракуются, и выполняется новый полет для повторной съемки некачественных участков ортофотоплана, что приводит к увеличению времени и затрат на его создание. Отчасти проблема решается более замедленным движением БПЛА и/или путем получения большего числа снимков, однако это вновь приводит к увеличению времени и затрат, а также предъявляет повышенные требования к БПЛА, к доступному времени полета, к камере, к хранилищу, к блоку обработки, и при этом все равно некоторые области в конечном счете часто оказываются некачественными и требующими повторной съемки.
Настоящее изобретение направлено на создание устройств и способов, позволяющих устранить по меньшей мере некоторые из указанных выше недостатков предшествующего уровня техники.
В частности, предлагается определять качество полученных снимков непосредственно во время полета на борту БПЛА.
В одном аспекте настоящего изобретения предложен беспилотный летательный аппарат (БПЛА), содержащий:
полетный контроллер, выполненный с возможностью управления полетом БПЛА;
камеру, выполненную с возможностью захвата изображений местности под БПЛА; и
бортовой компьютер, соединенный с полетным контроллером и с камерой, и содержащий:
модуль управления камерой, выполненный с возможностью управления камерой для получения изображений местности в процессе выполнения аэрофотосъемки; и
модуль определения качества снимков, выполненный с возможностью определения качества изображений, полученных от камеры;
при этом бортовой компьютер выполнен с возможностью получения изображения от камеры согласно интервалу, заданному в полетной миссии, и принятия решения о необходимости повторной калибровки, если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества;
при этом для выполнения повторной калибровки:
модуль управления камерой выполнен с возможностью инициирования автофокусировки камеры,
бортовой компьютер выполнен с возможностью получения дополнительного изображения от камеры после автофокусировки,
модуль определения качества снимков выполнен с возможностью определения нового эталонного значения метрики качества согласно дополнительному изображению и обновления порога метрики качества на основании нового эталонного значения метрики качества.
В другом аспекте настоящего изобретения предложен способ выполнения аэрофотосъемки, подлежащий выполнению в БПЛА и содержащий этапы, на которых:
получают изображение от камеры согласно интервалу, заданному в полетной миссии; и
если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества, принимают решение с помощью бортового компьютера о необходимости повторной калибровки;
при этом выполнение повторной калибровки содержит этапы, на которых:
инициируют автофокусировку камеры с помощью модуля управления камерой,
получают дополнительное изображение от камеры после автофокусировки,
определяют новое эталонное значение метрики качества с помощью модуля определения качества снимков согласно дополнительному изображению,
обновляют порог метрики качества на основании нового эталонного значения метрики качества.
В одном из вариантов осуществления дополнительное изображение получают в результате съемки, выполненной в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры.
В одном из вариантов осуществления дополнительное изображение получают в результате съемки, выполненной в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное.
В одном из вариантов осуществления возврат БПЛА в точку съемки изображения, которое было определено как некачественное, выполняют на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии.
В одном из вариантов осуществления момент съемки дополнительного изображения обнуляет отсчет интервала.
При аэрофотосъемке с применением БПЛА сложилась практика, при которой после выполнения полетной миссии и возврата БПЛА на базу до 10% отснятых изображений бракуются, и выполняется новый полет для повторной съемки некачественных участков ортофотоплана, что приводит к увеличению времени и затрат на его создание.
Настоящее изобретение обеспечивает повышение качества изображений, ускорение и снижение затрат ресурсов на выполнение аэрофотосъемки заданной области с требуемым качеством, повышение точности ортофотоплана, ускорение и снижение затрат ресурсов на формирование ортофотоплана требуемого качества.
Упомянутые и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.
Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.
Фигура.1
показана блок-схема устройства согласно настоящему изобретению.
Фигура.2
показана блок-схема способа согласно настоящему изобретению.
Фигура.3
показан пример полетной миссии.
Фигура.4
показано сравнение результатов типового способа и способа согласно настоящему изобретению.
Подробное описание.
В качестве БПЛА для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлено или может быть установлено предложенное устройство.
Беспилотный летательный аппарат (БПЛА) может содержать корпус, движители, двигатели, посадочное шасси, модуль управления двигателями, полетный контроллер, приемопередатчик, модуль навигации, источник энергии, камеру, набор датчиков. Конкретный набор элементов БПЛА и их компоновка не ограничиваются настоящим изобретением.
БПЛА также может содержать инерциальный измерительный блок.
Набор датчиков может включать в себя, но без ограничения, гироскоп, акселерометр, барометр, магнитометр и т.д. Какие именно датчики установлены на БПЛА, зависит от назначения БПЛА и выполняемых им функций.
Источником энергии может быть аккумулятор для подачи электрического питания на бортовые средства БПЛА. В других вариантах осуществления источником энергии может служить керосин, водород, топливный элемент, бензин, дизельное топливо или иные источники топлива, предназначенные для обеспечения энергией силовых установок и электроники БПЛА.
Двигатели предназначены для преобразования энергии от источника энергии в механическую энергию и могут быть выполнены, например, в виде двигателей внутреннего сгорания (ДВС) или электродвигателей. Электродвигатели могут быть выполнены, например, в виде бесколлекторных двигателей.
Движители могут быть выполнены в виде пропеллеров, в частности пропеллеров, вращающихся по часовой стрелке (толкающих пропеллеров), или вращающихся против часовой стрелки (тянущих пропеллеров). При этом, опционально, в БПЛА могут быть использованы толкающие и/или тянущие пропеллеры в любых сочетаниях. Пропеллеры могут быть выполнены из двух и более лопастей. Пропеллеры могут быть выполнены из металла, пластика или из композитных материалов, например углеволокна. БПЛА может быть выполнен с одним движителем (например, с толкающим пропеллером) или с несколькими движителями.
Приемопередатчик – это устройство, отвечающее за прием и передачу радиосигналов, посылаемых на летательный аппарат и с него. Приемопередатчик может содержать систему передачи видео, включающую в себя передатчик видео и приемник видео.
Модуль управления двигателями управляет работой двигателя через исполнительные механизмы с целью повышения эффективности и может быть выполнен в виде электронного регулятора хода, регулятора холостого хода, регулятора фазы газораспределения и т.д.
Модуль навигации может содержать модуль спутниковой навигации, который на основе данных, принимаемых от глобальной навигационной спутниковой системы (GNSS), такой как GPS, ГЛОНАСС, BeiDou, Galileo, QZSS, определяет местоположение (географические координаты), направление, скорость и угол рыскания БПЛА и синхронизирует время.
Аэрофотосъемка
БПЛА может выполнять полетные миссии, направленные на аэрофотосъемку с целью формирования ортофотоплана. В настоящем изобретении предлагается определять качество полученных снимков непосредственно во время полета на борту БПЛА. Для этого требуется интеграция дополнительного бортового вычислителя на БПЛА с разработанной системой управления камерой.
Пример структуры подключения показан на Фиг. 1. В частности, к автопилоту (полетному контроллеру) 110 подключен через интерфейс передачи данных (например, через UART) бортовой компьютер 120, который подключен к камере 130 через интерфейс передачи данных (например, через USB), управляя ей и принимая и обрабатывая снимки с нее. Для этого бортовой компьютер 120 содержит модуль 140 управления камерой и модуль 150 определения качества снимков.
Бортовой компьютер 120 может быть реализован в виде устройства, которое содержит процессор, память и интерфейсы передачи данных. Память может содержать набор инструкций, которые при исполнении процессором предписывают процессору выполнять функции модуля 140 управления камерой и модуля 150 определения качества снимков. В другом варианте осуществления бортовой компьютер может быть реализован в виде устройства, которое содержит контроллер, интерфейсы передачи данных и физически реализованные (например, в виде микросхем) отдельные модули 140 управления камерой и 150 определения качества снимков. Возможны также различные комбинации вышеизложенного.
Тип камеры и полетного контроллера, которые могут использоваться для целей настоящего изобретения, не ограничиваются в данном описании и определяются требованиями конкретного применения. Соответственно, настоящее изобретение может быть воплощено в широком разнообразии вариантов реализации и может быть интегрировано во многие существующие БПЛА.
Модуль 140 управления камерой выполнен с возможностью управления камерой БПЛА для получения изображений местности в процессе выполнения аэрофотосъемки.
Модуль 150 определения качества снимков выполнен с возможностью определения качества изображений, полученных с помощью камеры БПЛА, непосредственно во время полета (в процессе выполнения аэрофотосъемки) на борту БПЛА.
Также бортовой компьютер 120 может содержать модуль формирования набора изображений (не показан на Фиг. 1), выполненный с возможностью формирования набора изображений из изображений, полученных с помощью камеры БПЛА, для формирования ортофотоплана. Для этого модуль формирования набора изображений содержит память.
Способ 200 выполнения аэрофотосъемки согласно настоящему изобретению показан на Фиг. 2 и может состоять в следующем.
На этапе 210 получают изображение от камеры согласно интервалу, заданному в полетной миссии. Интервал может быть задан по конкретным моментам времени, по прошедшему времени или пройденному расстоянию с момента последнего снимка, по местоположению (точке) на маршруте, заданном в полетной миссии, и т.д.
Далее на этапе 220 с помощью бортового компьютера определяется, достигло ли количество изображений, полученных от камеры с момента последней калибровки, предварительно заданного количества.
На этапе 230 с помощью модуля определения качества снимков определяется, ниже ли значение метрики текущего изображения, чем порог метрики качества. Порог метрики качества в начале миссии может быть предварительно задан пользователем или может формироваться путем калибровки на основе первого эталонного изображения, выполненного с автофокусировкой.
Этапы 220 и 230 могут выполняться параллельно или последовательно в любом порядке. Если обе проверки на этапах 220 и 230 дали отрицательный результат, то способ переходит к этапу 240, на котором бортовой компьютер принимает решение, что калибровка и повторная съемка не требуется, и далее аэрофотосъемка продолжается в обычном режиме, переходя к этапу 290, на котором бортовой компьютер ожидает следующего изображения, снятого согласно интервалу, заданному в полетной миссии, и цикл замыкается.
При поступлении следующего изображения способ вновь выполняет этап 210 и проверки на этапах 220 и 230. Аэрофотосъемка выполняется до тех пор, пока не будет выполнена полетная миссия, то есть пока не будут получены все необходимые изображения. Возможны также и случаи экстренного прерывания аэрофотосъемки из-за сбоев в работе БПЛА, низкого заряда батареи и т.д., однако они не относятся к нормальному режиму выполнения аэрофотосъемки и не рассматриваются в настоящем изобретении.
Если же на этапе 220 определено, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если на этапе 230 определено, что значение метрики текущего изображения меньше порога метрики качества, то способ переходит к этапу 250, на котором бортовой компьютер принимает решение о необходимости повторной калибровки.
Выполнение повторной калибровки содержит следующие этапы.
На этапе 260 модуль управления камерой инициирует автофокусировку камеры, и камера выполняет автофокусировку.
На этапе 270 бортовой компьютер получает дополнительное изображение от камеры после автофокусировки, и модуль определения качества снимков определяет новое эталонное значение метрики качества согласно дополнительному изображению.
На этапе 280 модуль определения качества снимков обновляет порог метрики качества на основании нового эталонного значения метрики качества, и способ переходит к этапу 290, на котором бортовой компьютер ожидает следующего изображения, снятого согласно интервалу, заданному в полетной миссии, и цикл замыкается.
Таким образом, выполняется своевременное определение некачественного снимка прямо на борту БПЛА в режиме, близком к режиму реального времени, и на замену или в дополнение к некачественному снимку формируется новый снимок, который за счет автофокусировки имеет высокое качество и принимается далее в качестве эталонного.
Для определения качества изображения модуль определения качества снимков может применять различные подходящие методы. При этом следует отметить, что для целей настоящего изобретения большинство известных методов непригодны по тем или иным причинам (некоторые методы требуют взаимодействия с пользователем, некоторые не подходят по скорости, некоторые пригодны только для движущихся объектов, некоторые требуют обучения моделей, некоторые не универсальны и зависят от данных и т.д.). Наибольшую производительность по затрачиваемым ресурсам и времени в сочетании с точностью и универсальностью демонстрируют методы SIFT, дифференциальный оператор Лапласа и масштабированный дифференциальный оператор Лапласа.
В частности, в методе SIFT происходит поиск и сопоставление между соседними изображениями ключевых точек, найденных при помощи построения пирамиды гауссианов, а затем разности гауссианов. Данный метод обеспечивает высокое качество изображений (за счет максимизации числа качественных ключевых точек, что проявляет преимущество именно при аэрофтосъемке и построении ортофотоплана или цифровой модели местности) и вместе с тем требует относительно высоких вычислительных мощностей и времени обработки, которые в условиях задачи съемки и моментальной обработки на борту БПЛА могут быть недоступны для некоторых реализаций.
Альтернативой SIFT является дифференциальный оператор Лапласа. Так как он представляет собой скользящее окно, выделяющее изменения интенсивности каждого пикселя, скорость этого метода значительно выше поиска ключевых точек при помощи SIFT, что делает этот метод пригодным в случае ограниченных вычислительных мощностей, так как метрики данных методов имеют схожие значения после нормализации.
Промежуточным вариантом является масштабированный дифференциальный оператор Лапласа, в основе которого лежит дифференциальный оператор Лапласа, но для финальной оценки вычисляется функция масштабирования, уменьшающая исходное изображение в четыре раза (в два по каждой из осей). Так как этот метод считает отношение метрик на двух изображениях, одно из которых заведомо ниже по качеству, описанная метрика возвращает значения в диапазоне от 0 до 1, что позволяет использовать её без учёта предыдущих данных и получать независимую метрику. При этом важно отметить, что этот метод работает дольше, чем обычный дифференциальный оператор Лапласа, так как вычисляет значение размытости для в два раза большего количества изображений. Тем не менее, время выполнения всё ещё значительно быстрее вычисления ключевых точек методом SIFT.
Поскольку качество снимков может по мере выполнения съемки деградировать, в настоящем изобретении регулярно выполняется повторная калибровка, даже если модуль определения качества снимков считает, что ряд последовательно полученных снимков являются качественными. Это позволяет избежать постепенного ухудшения качества и поддерживать высокие характеристики изображения на протяжении всей миссии. Новое значение порога может вычисляться, например, по формуле порог=Q(i)*допуск, где Q(i) - вычисленная метрика качества последнего полученного изображения, а допуск - величина, учитывающая погрешности в измерении метрики (задается при инициализации - например, по умолчанию может быть равен 0.8).
Выбор метода определения качества должен основываться на вычислительных мощностях конечного БПЛА, а итоговое решение принимается в зависимости от требований конкретного применения.
Обработка изображений непосредственно на борту позволяет исключить потерю данных съемки во время полета без необходимости вмешательства оператора в процессе полета. В отличие от типовых способов, когда оператор выставляет фиксированные параметры съемки перед полетом, предложенный способ гарантирует получение качественных снимков, что предотвращает или по крайней мере минимизирует повторную съемку.
Съемка дополнительного изображения может быть выполнена в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры. Если интервал между кадрами, заданный в полетной миссии, достаточно велик, и скорость определения качества снимка достаточно высока, то в таком случае возникшая потеря перекрытая между снимками будет невелика и приемлема для построения ортофотоплана без необходимости останавливать БПЛА.
Съемка дополнительного изображения может быть выполнена в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное. Такой подход может требовать приостановки плановой съемки по полетной миссии и возврата БПЛА к предыдущей точке, что может потребоваться, когда возникшая потеря перекрытая между снимками уже относительно велика и не может быть безболезненно восполнена новым снимком без возврата. Тем не менее, это по-прежнему гораздо более быстрый и точный способ формирования набора высококачественных изображений по сравнению с традиционными способами, в которых определение качества изображения на борту и немедленная пересъемка некачественных изображений не предусмотрены.
Возврат БПЛА в точку съемки изображения, которое было определено как некачественное, может выполняться на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии. Данный подход повышает автоматизацию и позволяет использовать относительно более затратные по времени методы определения качества изображения, но обладающие более высокими характеристиками. В некоторых вариантах реализации такой выбор может быть предпочтителен (например, когда вычислительные возможности БПЛА высоки, а ожидаемые условия съемки позволяют предположить, что доля некачественных снимков будет невелика, и не придется часто возвращаться назад для пересъемки).
Момент съемки дополнительного изображения может обнулять отсчет интервала между кадрами. Поскольку дополнительное изображение является качественным, может не быть необходимости выполнять близкую по времени съемку с отсчетом интервала от предыдущего основного изображения, определенного как некачественное, так как при этом будет получено избыточное перекрытие между дополнительным изображением и последующим основным изображением. Тем самым, снижается число необходимых кадров и повышается скорость аэрофотосъемки, при этом по-прежнему гарантируется повышенное качество изображений.
Из набора изображений местности, полученных посредством вышеупомянутого способа выполнения аэрофотосъемки с помощью БПЛА, может формироваться ортофотоплан. А именно, может выполняться ортотрансформирование изображений, вычисление порезов и сшивка ортотрансформированных изображений по порезам для формирования тем самым ортофотоплана. Обеспечивается повышение точности ортофотоплана, ускорение и снижение затрат ресурсов на формирование ортофотоплана требуемого качества.
Для испытаний настоящего изобретения использовался квадрокоптер DJI Mavic, на который через демпферы была установлена камера Sony A6000 (16мм). В качестве бортового вычислителя использовался одноплатный компьютер Raspberry Pi 4 8Gb с ОС Ubuntu 20.04 / ROS Melodic. Была создана единая полетная миссия с режимом автоматической съемки через заданное расстояние со след. характеристиками:
- площадь съемки 0,09 кв км;
- высота полета 100 метров;
- скорость полета 10 м/c;
- процент перекрытия по вертикали и горизонтали 70%;
- расчётное пространственное разрешение 2.4 см/пикс (с учётом характеристик камеры);
- расчётное расстояние между снимками 30м;
- расчётный интервал между снимками 3 сек;
- количество фото 150.
Рисунок полетной миссии показан на Фиг. 3. Следует отметить, что во время тестирования ветер был 5 м/с с порывами до 7 м/c. Полученные результаты обрабатывались в программе для создания ортофотоплана, сшивка данных происходила на одинаковых настройках качества и степени фильтрации данных. Результаты качества полученного ортофотоплана представлены в таблице 1.
Показатели качества Типовой способ Предложенный способ
количество снимков за миссию (факт/расчетные) 150/150 160/150
учтенные снимки 137 150
количество точек привязки 17564 25975
среднеквадратическая ошибка в плане (м) 0.975 0.614
пространственное разрешение 0.024556 0.016228
Из таблицы видно, что в обоих полетах дрон выполнил все фото в заданных координатах по маршруту. Однако при полете по типовому способу в процессе обработки снимков программное обеспечение посчитало непригодными 13 снимков из 150, что составляет 8,6% от общей полетной миссии. В основном потери были связаны с размытием из-за резких порывов ветра, постоянный же ветер компенсировался системой управления БПЛА на всем маршруте и не вносил существенных искажений в съемку. Также часть полученных снимков имела небольшие дефекты в виде несущественных смазов или переэкспонирования, но подходила для обработки программным обеспечением.
Предложенный способ позволил определить 10 размазанных снимков фото во время полёта и переснять их с минимальной задержкой. В конечном итоге это привело к незначительной потере перекрытия в участках съемки, но не сильно сказалась на конечном результате.
Из полученных данных удалось собрать плотное облако точек. Каждая точка имеет коэффициент достоверности, который отображается разным цветом: зеленый - отлично, синий-хорошо, оранжевый - удовлетворительно, красный - неудовлетворительно. Результаты одинакового участка, снятого разными способами, представлены на Фиг. 4A-4D. В частности, на Фиг. 4A показана фотограмметрическая модель, построенная типовым способом, на Фиг. 4B показана карта достоверности облака точек, полученного типовым способом, на Фиг. 4C показана фотограмметрическая модель, построенная предложенным способом, на Фиг. 4D показана карта достоверности облака точек, полученного предложенным способом.
Как видно из полученных изображений, предложенный способ позволил существенно снизить количество артефактов на построенной модели, а также исключить лишние артефакты из-за отсутствия смазанных снимков, при этом не потребовалось выполнять новый полет для досъемки некачественных участков.
Устройства и способы, согласно настоящему изобретению, можно использовать для автономного выполнения аэрофотосъемки с помощью БПЛА и на основе этой аэрофотосъемки, что может найти применение в автономном мониторинге для задач охраны территорий, сельхозугодий, в геоинформационных системах, в картографии и т.д.
Дополнительные особенности реализации.
Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).
Некоторые блоки или модули по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков или модулей в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.
Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного, если это применимо. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.
В случае если объем данных велик, может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.
Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.
В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM) и т.п.
Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.
Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки графики, таким как графический процессор (GPU), визуальный процессор (VPU) и т.д.
Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.
Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.
В одном варианте осуществления элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.
Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.
Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.]

Claims (6)

  1. Беспилотный летательный аппарат (БПЛА), содержащий:
    - полетный контроллер, выполненный с возможностью управления полетом БПЛА;
    - камеру, выполненную с возможностью захвата изображений местности под БПЛА; и
    - бортовой компьютер, соединенный с полетным контроллером и с камерой, и содержащий:
    - модуль управления камерой, выполненный с возможностью управления камерой для получения изображений местности в процессе выполнения аэрофотосъемки; и
    - модуль определения качества снимков, выполненный с возможностью определения качества изображений, полученных от камеры;
    - при этом бортовой компьютер выполнен с возможностью получения изображения от камеры согласно интервалу, заданному в полетной миссии, и принятия решения о необходимости повторной калибровки, если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества;
    - при этом для выполнения повторной калибровки:
    - модуль управления камерой выполнен с возможностью инициирования автофокусировки камеры,
    - бортовой компьютер выполнен с возможностью получения дополнительного изображения от камеры после автофокусировки,
    - модуль определения качества снимков выполнен с возможностью определения нового эталонного значения метрики качества согласно дополнительному изображению и обновления порога метрики качества на основании нового эталонного значения метрики качества.
  2. Способ выполнения аэрофотосъемки, подлежащий выполнению в БПЛА и содержащий этапы, на которых:
    - получают изображение от камеры согласно интервалу, заданному в полетной миссии; и
    - если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества, принимают решение с помощью бортового компьютера о необходимости повторной калибровки;
    - при этом выполнение повторной калибровки содержит этапы, на которых:
    - инициируют автофокусировку камеры с помощью модуля управления камерой,
    - получают дополнительное изображение от камеры после автофокусировки,
    - определяют новое эталонное значение метрики качества с помощью модуля определения качества снимков согласно дополнительному изображению,
    - обновляют порог метрики качества на основании нового эталонного значения метрики качества.
  3. Способ по п. 2, в котором дополнительное изображение получают в результате съемки, выполненной в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры.
  4. Способ по п. 2, в котором дополнительное изображение получают в результате съемки, выполненной в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное.
  5. Способ по п. 4, в котором возврат БПЛА в точку съемки изображения, которое было определено как некачественное, выполняют на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии.
  6. Способ по п. 2, в котором момент съемки дополнительного изображения обнуляет отсчет интервала.
PCT/RU2023/050305 2022-12-29 2023-12-25 Бпла и способ выполнения аэрофотосъемки WO2024144434A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2022135296A RU2798604C1 (ru) 2022-12-29 Бпла и способ выполнения аэрофотосъемки
RU2022135296 2022-12-29

Publications (1)

Publication Number Publication Date
WO2024144434A1 true WO2024144434A1 (ru) 2024-07-04

Family

ID=91718690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2023/050305 WO2024144434A1 (ru) 2022-12-29 2023-12-25 Бпла и способ выполнения аэрофотосъемки

Country Status (1)

Country Link
WO (1) WO2024144434A1 (ru)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU121055U1 (ru) * 2012-04-16 2012-10-10 Закрытое Акционерное Общество "Транзас" Блок для автоматизированной аэрофотосъемки с беспилотного летательного аппарата
RU2518440C2 (ru) * 2012-04-23 2014-06-10 Общество с ограниченной ответственностью "Завод Экспедиционных Машин" (ООО "ЗЭМ") Беспилотный летательный аппарат и комплекс авианаблюдения для него
US10358235B2 (en) * 2008-04-11 2019-07-23 Nearmap Australia Pty Ltd Method and system for creating a photomap using a dual-resolution camera system
RU195749U1 (ru) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10358235B2 (en) * 2008-04-11 2019-07-23 Nearmap Australia Pty Ltd Method and system for creating a photomap using a dual-resolution camera system
RU121055U1 (ru) * 2012-04-16 2012-10-10 Закрытое Акционерное Общество "Транзас" Блок для автоматизированной аэрофотосъемки с беспилотного летательного аппарата
RU2518440C2 (ru) * 2012-04-23 2014-06-10 Общество с ограниченной ответственностью "Завод Экспедиционных Машин" (ООО "ЗЭМ") Беспилотный летательный аппарат и комплекс авианаблюдения для него
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
RU195749U1 (ru) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования

Similar Documents

Publication Publication Date Title
CN102829762B (zh) 无人飞行载具的图像处理系统及方法
Fazeli et al. Evaluating the potential of RTK-UAV for automatic point cloud generation in 3D rapid mapping
Kim et al. Feasibility of employing a smartphone as the payload in a photogrammetric UAV system
CN113240813B (zh) 三维点云信息确定方法及装置
CN113640825A (zh) 一种无人机复合立体测绘系统及方法
US9635259B2 (en) Forward motion compensated flight path
CN111650962B (zh) 一种适用于带状测区的多旋翼无人机航线规划与航摄方法
Tariq et al. Development of a low cost and light weight uav for photogrammetry and precision land mapping using aerial imagery
CN106292126A (zh) 一种智能航测飞行曝光控制方法、无人机控制方法及终端
CN112009708B (zh) 一种固定翼无人机、单镜头倾斜摄影系统及方法
EP4015993B1 (en) Aircraft sensor system synchronization
CN112394351B (zh) 一种基于多传感器的航空共轴遥感装置及方法
CN113875222A (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
RU2513900C1 (ru) Способ и устройство определения координат объектов
CN113848541A (zh) 一种标定的方法、装置、无人机及计算机可读存储介质
Bailey Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation
WO2024144434A1 (ru) Бпла и способ выполнения аэрофотосъемки
WO2020012632A1 (ja) Ｕａｖ制御装置およびｕａｖ制御方法
CN109163718A (zh) 一种面向建筑群的无人机自主导航方法
RU2798604C1 (ru) Бпла и способ выполнения аэрофотосъемки
RU2796697C1 (ru) Устройство и способ для формирования ортофотоплана
JP2012167940A (ja) 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置
JP2023033991A (ja) 無人飛行体による自律飛行測量システムおよび方法
CN109782805A (zh) 激光雷达无人机规划航线的方法、装置、设备和存储介质
Anderson et al. Supporting remote sensing research with small unmanned aerial systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23913076

Country of ref document: EP

Kind code of ref document: A1