RU2798604C1 - Uav and method for performing aerial photography - Google Patents

Uav and method for performing aerial photography Download PDF

Info

Publication number
RU2798604C1
RU2798604C1 RU2022135296A RU2022135296A RU2798604C1 RU 2798604 C1 RU2798604 C1 RU 2798604C1 RU 2022135296 A RU2022135296 A RU 2022135296A RU 2022135296 A RU2022135296 A RU 2022135296A RU 2798604 C1 RU2798604 C1 RU 2798604C1
Authority
RU
Russia
Prior art keywords
image
camera
quality
uav
flight
Prior art date
Application number
RU2022135296A
Other languages
Russian (ru)
Inventor
Дмитрий Владимирович Девитт
Марк Романович Вишневский
Original Assignee
Автономная некоммерческая организация высшего образования "Университет Иннополис"
Filing date
Publication date
Application filed by Автономная некоммерческая организация высшего образования "Университет Иннополис" filed Critical Автономная некоммерческая организация высшего образования "Университет Иннополис"
Application granted granted Critical
Publication of RU2798604C1 publication Critical patent/RU2798604C1/en

Links

Images

Abstract

FIELD: UAVs.
SUBSTANCE: group of inventions relates to an unmanned aerial vehicle (UAV) and a method for performing aerial photography. The UAV comprises a flight controller, a camera, an on-board computer, a camera control module, a module for determining the quality of images taken in a certain way. To perform aerial photography, an image is obtained from the camera according to the interval specified in the flight mission. The number of images from the camera is determined and compared with a predetermined value. If this number has reached it and if the value of the image quality metric is less than a predetermined threshold value, a decision is made by the computer to re-calibrate and return to the shooting point.
EFFECT: improving the quality of images, accelerating and reducing the cost of resources for performing aerial photography of a given area with the required quality, increasing the accuracy of the orthomosaic, accelerating and reducing the cost of resources for the formation of an orthomosaic of the required quality.
6 cl, 7 dwg, 1 tbl

Description

Область техники, к которой относится изобретениеThe field of technology to which the invention belongs

Изобретение относится к фотограмметрии, в частности к выполнению аэрофотосъемки с помощью БПЛА.The invention relates to photogrammetry, in particular to the implementation of aerial photography using a UAV.

Уровень техникиState of the art

Беспилотные летательные аппараты (БПЛА, UAV) постепенно становятся частью повседневной жизни – они выполняют доставку грузов, различные исследования, анализ окружающего пространства, мониторинг территорий, контроль объектов, фото- и видеосъемку, используются в спасательных операциях и находят множество других применений.Unmanned aerial vehicles (UAVs, UAVs) are gradually becoming a part of everyday life - they carry out cargo delivery, various studies, analysis of the surrounding space, territory monitoring, object control, photo and video shooting, are used in rescue operations and find many other applications.

Одним из востребованных направлений применения БПЛА является создание ортофотоплана или аэрофотосъемка (АФС) для геоинформационных систем. Использование БПЛА для этих целей позволяет повысить пространственное разрешение карты вплоть до нескольких мм/пиксель, что невозможно при построении ортофотоплана с помощью пилотируемой авиации или спутниковой съемки.One of the popular areas of UAV application is the creation of an orthophotomap or aerial photography (APS) for geoinformation systems. The use of a UAV for these purposes makes it possible to increase the spatial resolution of the map up to several mm/pixel, which is impossible when constructing an orthomosaic using manned aviation or satellite imagery.

Независимо от типа БПЛА и полезной нагрузки формируется полетная миссия, которая учитывает требуемое пространственное разрешение снимков, характеристики камеры, процент перекрытия снимков, скорость полета и многое другое. Помимо миссии полета также необходимо настроить камеру и выставить оптимальные параметры выдержки, светочувствительности, параметры диафрагмы. Чаще всего данные параметры задаются вручную и результат напрямую зависит от опыта оператора. Вместе с тем выставленные вручную параметры не могут гарантировать качественный результат по причине таких проблем, как:Regardless of the type of UAV and payload, a flight mission is formed that takes into account the required spatial resolution of images, camera characteristics, percentage of image overlap, flight speed, and much more. In addition to the flight mission, it is also necessary to set up the camera and set the optimal shutter speed, light sensitivity, and aperture settings. Most often, these parameters are set manually and the result directly depends on the experience of the operator. However, manually set parameters cannot guarantee a quality result due to problems such as:

- смена погоды во время полета (низкая экспозиция);- change of weather during the flight (low exposure);

- неправильно выставленная скорость затвора (размытие снимков или низкая экспозиция);- Incorrectly set shutter speed (blur pictures or low exposure);

- перекрытие снимков осадками (некачественный снимок);- overlapping of images by precipitation (poor-quality image);

- резкие порывы ветра (съёмка не под заданным углом).- sharp gusts of wind (shooting not at a given angle).

Вследствие этого в аэрофотосъемке сложилась практика, при которой уже после выполнения полетной миссии и возврата БПЛА на базу до 10% отснятых изображений бракуются, и выполняется новый полет для повторной съемки некачественных участков ортофотоплана, что приводит к увеличению времени и затрат на его создание. Отчасти проблема решается более замедленным движением БПЛА и/или путем получения большего числа снимков, однако это вновь приводит к увеличению времени и затрат, а также предъявляет повышенные требования к БПЛА, к доступному времени полета, к камере, к хранилищу, к блоку обработки, и при этом все равно некоторые области в конечном счете часто оказываются некачественными и требующими повторной съемки.As a result, aerial photography has developed a practice in which, after the flight mission is completed and the UAV returns to the base, up to 10% of the captured images are rejected, and a new flight is performed to re-shoot poor-quality sections of the orthomosaic, which leads to an increase in time and costs for its creation. Some of the problem is solved by slower movement of the UAV and/or by obtaining more images, but this again leads to an increase in time and costs, and also places increased demands on the UAV, on the available flight time, on the camera, on the storage, on the processing unit, and however, some areas often end up being of poor quality and requiring re-shooting.

Сущность изобретенияThe essence of the invention

Настоящее изобретение направлено на создание устройств и способов, позволяющих устранить по меньшей мере некоторые из указанных выше недостатков предшествующего уровня техники.The present invention is directed to devices and methods to overcome at least some of the above disadvantages of the prior art.

В частности, предлагается определять качество полученных снимков непосредственно во время полета на борту БПЛА.In particular, it is proposed to determine the quality of the received images directly during the flight on board the UAV.

В одном аспекте настоящего изобретения предложен беспилотный летательный аппарат (БПЛА), содержащий:In one aspect of the present invention, an unmanned aerial vehicle (UAV) is provided, comprising:

полетный контроллер, выполненный с возможностью управления полетом БПЛА;a flight controller configured to control the flight of the UAV;

камеру, выполненную с возможностью захвата изображений местности под БПЛА; иa camera configured to capture images of the area under the UAV; And

бортовой компьютер, соединенный с полетным контроллером и с камерой, и содержащий:an on-board computer connected to the flight controller and to the camera and containing:

модуль управления камерой, выполненный с возможностью управления камерой для получения изображений местности в процессе выполнения аэрофотосъемки; иa camera control module, configured to control a camera to acquire images of the area in the process of performing aerial photography; And

модуль определения качества снимков, выполненный с возможностью определения качества изображений, полученных от камеры;a picture quality determination module, configured to determine the quality of images received from the camera;

при этом бортовой компьютер выполнен с возможностью получения изображения от камеры согласно интервалу, заданному в полетной миссии, и принятия решения о необходимости повторной калибровки, если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества;wherein the on-board computer is configured to receive an image from the camera according to the interval specified in the flight mission, and decide on the need for re-calibration if it is determined by the on-board computer that the number of images received from the camera since the last calibration has reached a predetermined number , or if it is determined by the image quality detection module that the metric value of the current image is less than the quality metric threshold;

при этом для выполнения повторной калибровки:however, to perform a recalibration:

модуль управления камерой выполнен с возможностью инициирования автофокусировки камеры,the camera control module is configured to initiate camera autofocus,

бортовой компьютер выполнен с возможностью получения дополнительного изображения от камеры после автофокусировки,the on-board computer is configured to receive an additional image from the camera after autofocusing,

модуль определения качества снимков выполнен с возможностью определения нового эталонного значения метрики качества согласно дополнительному изображению и обновления порога метрики качества на основании нового эталонного значения метрики качества.the image quality determination module is configured to determine a new quality metric reference value according to the additional image and update the quality metric threshold based on the new quality metric reference value.

В другом аспекте настоящего изобретения предложен способ выполнения аэрофотосъемки, подлежащий выполнению в БПЛА и содержащий этапы, на которых:In another aspect of the present invention, a method for performing aerial photography to be performed in a UAV is provided, comprising the steps of:

получают изображение от камеры согласно интервалу, заданному в полетной миссии; иreceiving an image from the camera according to the interval specified in the flight mission; And

если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества, принимают решение с помощью бортового компьютера о необходимости повторной калибровки;if it is determined by the on-board computer that the number of images received from the camera since the last calibration has reached a predetermined number, or if it is determined by the image quality determination module that the current image metric value is less than the quality metric threshold, a decision is made by the on-board computer the need for recalibration;

при этом выполнение повторной калибровки содержит этапы, на которых:while performing a recalibration comprises the steps of:

инициируют автофокусировку камеры с помощью модуля управления камерой,initiate camera autofocus using the camera control module,

получают дополнительное изображение от камеры после автофокусировки,receive an additional image from the camera after autofocusing,

определяют новое эталонное значение метрики качества с помощью модуля определения качества снимков согласно дополнительному изображению,determine a new reference value of the quality metric using the image quality determination module according to the additional image,

обновляют порог метрики качества на основании нового эталонного значения метрики качества.updating the quality metric threshold based on the new quality metric reference value.

В одном из вариантов осуществления дополнительное изображение получают в результате съемки, выполненной в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры.In one embodiment, an additional image is acquired from a survey taken on the same flight without deviating from the flight mission route, immediately after the decision to recalibrate is made and the camera has autofocused.

В одном из вариантов осуществления дополнительное изображение получают в результате съемки, выполненной в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное.In one embodiment, an additional image is obtained from an image taken on the same flight after the UAV returns to the point corresponding to the point where the image was taken, which was determined to be poor quality.

В одном из вариантов осуществления возврат БПЛА в точку съемки изображения, которое было определено как некачественное, выполняют на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии.In one embodiment, the return of the UAV to the point of capturing an image that has been determined to be poor quality is performed based on a determination that the distance traveled or the elapsed time since the capture of that image does not allow sufficient overlap of the additional image with the last high quality image preceding the image that was determined to be of poor quality, on the route specified in the flight mission.

В одном из вариантов осуществления момент съемки дополнительного изображения обнуляет отсчет интервала.In one embodiment, the moment the sub-image is taken resets the interval count.

Технический результатTechnical result

Настоящее изобретение обеспечивает повышение качества изображений, ускорение и снижение затрат ресурсов на выполнение аэрофотосъемки заданной области с требуемым качеством, повышение точности ортофотоплана, ускорение и снижение затрат ресурсов на формирование ортофотоплана требуемого качества.The present invention improves the quality of images, accelerates and reduces the cost of resources for performing aerial photography of a given area with the required quality, improves the accuracy of the orthomosaic, accelerates and reduces the cost of resources for the formation of an orthomosaic of the required quality.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.These and other advantages of the present invention will become apparent upon reading the following detailed description with reference to the accompanying drawings.

Краткое описание чертежейBrief description of the drawings

На Фиг. 1 показана блок-схема устройства согласно настоящему изобретению.On FIG. 1 shows a block diagram of an apparatus according to the present invention.

На Фиг. 2 показана блок-схема способа согласно настоящему изобретению.On FIG. 2 shows a flowchart of the method according to the present invention.

На Фиг. 3 показан пример полетной миссии.On FIG. 3 shows an example of a flight mission.

На Фиг. 4A-4D показано сравнение результатов типового способа и способа согласно настоящему изобретению.On FIG. 4A-4D show a comparison of the results of a typical method and the method according to the present invention.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.It should be understood that the figures may be represented schematically and not to scale and are intended primarily to improve understanding of the present invention.

Подробное описаниеDetailed description

В качестве БПЛА для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлено или может быть установлено предложенное устройство.As a UAV for the purposes of the present invention, for example, a drone, a quadrocopter, a multicopter, an unmanned helicopter, a vertical takeoff and landing aircraft (VTOL) or any other aircraft on which the proposed device is installed or can be installed can be considered.

Беспилотный летательный аппарат (БПЛА) может содержать корпус, движители, двигатели, посадочное шасси, модуль управления двигателями, полетный контроллер, приемопередатчик, модуль навигации, источник энергии, камеру, набор датчиков. Конкретный набор элементов БПЛА и их компоновка не ограничиваются настоящим изобретением.An unmanned aerial vehicle (UAV) may contain a body, propellers, engines, a landing gear, an engine control module, a flight controller, a transceiver, a navigation module, an energy source, a camera, a set of sensors. The specific set of UAV elements and their arrangement are not limited by the present invention.

БПЛА также может содержать инерциальный измерительный блок.The UAV may also contain an inertial measurement unit.

Набор датчиков может включать в себя, но без ограничения, гироскоп, акселерометр, барометр, магнитометр и т.д. Какие именно датчики установлены на БПЛА, зависит от назначения БПЛА и выполняемых им функций.The set of sensors may include, but is not limited to, a gyroscope, an accelerometer, a barometer, a magnetometer, and so on. Which sensors are installed on the UAV depends on the purpose of the UAV and the functions it performs.

Источником энергии может быть аккумулятор для подачи электрического питания на бортовые средства БПЛА. В других вариантах осуществления источником энергии может служить керосин, водород, топливный элемент, бензин, дизельное топливо или иные источники топлива, предназначенные для обеспечения энергией силовых установок и электроники БПЛА.The energy source can be a battery for supplying electrical power to the UAV onboard facilities. In other embodiments, the energy source may be kerosene, hydrogen, a fuel cell, gasoline, diesel fuel, or other fuel sources designed to power UAV propulsion systems and electronics.

Двигатели предназначены для преобразования энергии от источника энергии в механическую энергию и могут быть выполнены, например, в виде двигателей внутреннего сгорания (ДВС) или электродвигателей. Электродвигатели могут быть выполнены, например, в виде бесколлекторных двигателей.Engines are designed to convert energy from an energy source into mechanical energy and can be made, for example, in the form of internal combustion engines (ICE) or electric motors. Electric motors can be made, for example, in the form of brushless motors.

Движители могут быть выполнены в виде пропеллеров, в частности пропеллеров, вращающихся по часовой стрелке (толкающих пропеллеров), или вращающихся против часовой стрелки (тянущих пропеллеров). При этом, опционально, в БПЛА могут быть использованы толкающие и/или тянущие пропеллеры в любых сочетаниях. Пропеллеры могут быть выполнены из двух и более лопастей. Пропеллеры могут быть выполнены из металла, пластика или из композитных материалов, например углеволокна. БПЛА может быть выполнен с одним движителем (например, с толкающим пропеллером) или с несколькими движителями.The propellers can be in the form of propellers, in particular clockwise rotating propellers (pushing propellers) or counterclockwise rotating propellers (pulling propellers). At the same time, optionally, pushing and/or pulling propellers in any combination can be used in the UAV. Propellers can be made of two or more blades. Propellers can be made of metal, plastic or composite materials such as carbon fiber. The UAV can be made with a single propeller (for example, with a pusher propeller) or with multiple propellers.

Приемопередатчик – это устройство, отвечающее за прием и передачу радиосигналов, посылаемых на летательный аппарат и с него. Приемопередатчик может содержать систему передачи видео, включающую в себя передатчик видео и приемник видео.A transceiver is a device responsible for receiving and transmitting radio signals sent to and from an aircraft. The transceiver may comprise a video transmission system including a video transmitter and a video receiver.

Модуль управления двигателями управляет работой двигателя через исполнительные механизмы с целью повышения эффективности и может быть выполнен в виде электронного регулятора хода, регулятора холостого хода, регулятора фазы газораспределения и т.д.The engine control module controls the operation of the engine through actuators in order to increase efficiency and can be made in the form of an electronic speed controller, idle speed controller, valve timing controller, etc.

Модуль навигации может содержать модуль спутниковой навигации, который на основе данных, принимаемых от глобальной навигационной спутниковой системы (GNSS), такой как GPS, ГЛОНАСС, BeiDou, Galileo, QZSS, определяет местоположение (географические координаты), направление, скорость и угол рыскания БПЛА и синхронизирует время.The navigation module may include a satellite navigation module that, based on data received from a global navigation satellite system (GNSS) such as GPS, GLONASS, BeiDou, Galileo, QZSS, determines the position (geographical coordinates), direction, speed and yaw angle of the UAV and synchronizes time.

Аэрофотосъемкаaerial photography

БПЛА может выполнять полетные миссии, направленные на аэрофотосъемку с целью формирования ортофотоплана. В настоящем изобретении предлагается определять качество полученных снимков непосредственно во время полета на борту БПЛА. Для этого требуется интеграция дополнительного бортового вычислителя на БПЛА с разработанной системой управления камерой.The UAV can perform flight missions aimed at aerial photography in order to form an orthophoto. In the present invention, it is proposed to determine the quality of the received images directly during the flight on board the UAV. This requires the integration of an additional onboard computer on the UAV with the developed camera control system.

Пример структуры подключения показан на Фиг. 1. В частности, к автопилоту (полетному контроллеру) 110 подключен через интерфейс передачи данных (например, через UART) бортовой компьютер 120, который подключен к камере 130 через интерфейс передачи данных (например, через USB), управляя ей и принимая и обрабатывая снимки с нее. Для этого бортовой компьютер 120 содержит модуль 140 управления камерой и модуль 150 определения качества снимков.An example connection structure is shown in Fig. 1. In particular, the on-board computer 120 is connected to the autopilot (flight controller) 110 via a data interface (for example, via UART), which is connected to the camera 130 via a data interface (for example, via USB), controlling it and receiving and processing images from her. To this end, the on-board computer 120 includes a camera control module 140 and a module 150 for determining image quality.

Бортовой компьютер 120 может быть реализован в виде устройства, которое содержит процессор, память и интерфейсы передачи данных. Память может содержать набор инструкций, которые при исполнении процессором предписывают процессору выполнять функции модуля 140 управления камерой и модуля 150 определения качества снимков. В другом варианте осуществления бортовой компьютер может быть реализован в виде устройства, которое содержит контроллер, интерфейсы передачи данных и физически реализованные (например, в виде микросхем) отдельные модули 140 управления камерой и 150 определения качества снимков. Возможны также различные комбинации вышеизложенного.On-board computer 120 may be implemented as a device that includes a processor, memory, and data interfaces. The memory may contain a set of instructions that, when executed by the processor, cause the processor to perform the functions of the camera control module 140 and the image quality determination module 150 . In another embodiment, the on-board computer can be implemented as a device that contains a controller, data interfaces and physically implemented (for example, in the form of chips) separate modules 140 for controlling the camera and 150 for determining the quality of images. Various combinations of the above are also possible.

Тип камеры и полетного контроллера, которые могут использоваться для целей настоящего изобретения, не ограничиваются в данном описании и определяются требованиями конкретного применения. Соответственно, настоящее изобретение может быть воплощено в широком разнообразии вариантов реализации и может быть интегрировано во многие существующие БПЛА.The type of camera and flight controller that can be used for the purposes of the present invention is not limited in this description and is determined by the requirements of a particular application. Accordingly, the present invention can be embodied in a wide variety of embodiments and can be integrated into many existing UAVs.

Модуль 140 управления камерой выполнен с возможностью управления камерой БПЛА для получения изображений местности в процессе выполнения аэрофотосъемки.The camera control unit 140 is configured to control the camera of the UAV to acquire images of the area while performing aerial photography.

Модуль 150 определения качества снимков выполнен с возможностью определения качества изображений, полученных с помощью камеры БПЛА, непосредственно во время полета (в процессе выполнения аэрофотосъемки) на борту БПЛА.The image quality determination module 150 is configured to determine the quality of images obtained with the UAV camera directly during the flight (in the process of performing aerial photography) on board the UAV.

Также бортовой компьютер 120 может содержать модуль формирования набора изображений (не показан на Фиг. 1), выполненный с возможностью формирования набора изображений из изображений, полученных с помощью камеры БПЛА, для формирования ортофотоплана. Для этого модуль формирования набора изображений содержит память.Also, the on-board computer 120 may include an image set generation module (not shown in FIG. 1) configured to generate an image set from images acquired by the UAV camera to form an orthomosaic. To this end, the imaging set module contains a memory.

Способ 200 выполнения аэрофотосъемки согласно настоящему изобретению показан на Фиг. 2 и может состоять в следующем.A method 200 for performing aerial photography according to the present invention is shown in FIG. 2 and may be as follows.

На этапе 210 получают изображение от камеры согласно интервалу, заданному в полетной миссии. Интервал может быть задан по конкретным моментам времени, по прошедшему времени или пройденному расстоянию с момента последнего снимка, по местоположению (точке) на маршруте, заданном в полетной миссии, и т.д.At step 210, a camera image is obtained according to the interval set in the flight mission. The interval can be set by specific points in time, by the elapsed time or distance traveled since the last snapshot, by a location (point) on the route specified in the flight mission, etc.

Далее на этапе 220 с помощью бортового компьютера определяется, достигло ли количество изображений, полученных от камеры с момента последней калибровки, предварительно заданного количества.Next, at step 220, it is determined by the on-board computer whether the number of images received from the camera since the last calibration has reached a predetermined number.

На этапе 230 с помощью модуля определения качества снимков определяется, ниже ли значение метрики текущего изображения, чем порог метрики качества. Порог метрики качества в начале миссии может быть предварительно задан пользователем или может формироваться путем калибровки на основе первого эталонного изображения, выполненного с автофокусировкой.At step 230, it is determined by the image quality determination module whether the metric value of the current image is lower than the quality metric threshold. The quality metric threshold at the beginning of the mission may be predetermined by the user or may be generated by calibration based on the first reference image taken with autofocus.

Этапы 220 и 230 могут выполняться параллельно или последовательно в любом порядке. Если обе проверки на этапах 220 и 230 дали отрицательный результат, то способ переходит к этапу 240, на котором бортовой компьютер принимает решение, что калибровка и повторная съемка не требуется, и далее аэрофотосъемка продолжается в обычном режиме, переходя к этапу 290, на котором бортовой компьютер ожидает следующего изображения, снятого согласно интервалу, заданному в полетной миссии, и цикл замыкается.Steps 220 and 230 may be performed in parallel or sequentially in any order. If both checks at steps 220 and 230 are negative, then the method proceeds to step 240 where the on-board computer decides that calibration and re-survey is not required, and then the aerial survey continues normally, proceeding to step 290, where the on-board computer the computer waits for the next image taken according to the interval set in the flight mission, and the loop is completed.

При поступлении следующего изображения способ вновь выполняет этап 210 и проверки на этапах 220 и 230. Аэрофотосъемка выполняется до тех пор, пока не будет выполнена полетная миссия, то есть пока не будут получены все необходимые изображения. Возможны также и случаи экстренного прерывания аэрофотосъемки из-за сбоев в работе БПЛА, низкого заряда батареи и т.д., однако они не относятся к нормальному режиму выполнения аэрофотосъемки и не рассматриваются в настоящем изобретении.When the next image arrives, the method again performs step 210 and checks at steps 220 and 230. Aerial photography is performed until the flight mission is completed, that is, until all the necessary images are obtained. There are also cases of emergency interruption of aerial photography due to UAV malfunctions, low battery, etc., however, they do not belong to the normal mode of aerial photography and are not considered in the present invention.

Если же на этапе 220 определено, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если на этапе 230 определено, что значение метрики текущего изображения меньше порога метрики качества, то способ переходит к этапу 250, на котором бортовой компьютер принимает решение о необходимости повторной калибровки.If it is determined at step 220 that the number of images received from the camera since the last calibration has reached a predetermined number, or if it is determined at step 230 that the current image metric value is less than the quality metric threshold, then the method proceeds to step 250, where the on-board computer decides whether a recalibration is necessary.

Выполнение повторной калибровки содержит следующие этапы.Performing a recalibration contains the following steps.

На этапе 260 модуль управления камерой инициирует автофокусировку камеры, и камера выполняет автофокусировку.At step 260, the camera control module initiates camera autofocus, and the camera performs autofocus.

На этапе 270 бортовой компьютер получает дополнительное изображение от камеры после автофокусировки, и модуль определения качества снимков определяет новое эталонное значение метрики качества согласно дополнительному изображению.In step 270, the on-board computer receives an additional image from the camera after autofocusing, and the image quality determination module determines a new quality metric reference value according to the additional image.

На этапе 280 модуль определения качества снимков обновляет порог метрики качества на основании нового эталонного значения метрики качества, и способ переходит к этапу 290, на котором бортовой компьютер ожидает следующего изображения, снятого согласно интервалу, заданному в полетной миссии, и цикл замыкается.In step 280, the image quality determination module updates the quality metric threshold based on the new quality metric reference value and the method proceeds to step 290 where the flight computer waits for the next image captured according to the interval specified in the flight mission and the loop closes.

Таким образом, выполняется своевременное определение некачественного снимка прямо на борту БПЛА в режиме, близком к режиму реального времени, и на замену или в дополнение к некачественному снимку формируется новый снимок, который за счет автофокусировки имеет высокое качество и принимается далее в качестве эталонного.Thus, a timely determination of a low-quality image is performed directly on board the UAV in a mode close to real time, and a new image is formed to replace or in addition to the low-quality image, which, due to autofocusing, has a high quality and is further taken as a reference.

Для определения качества изображения модуль определения качества снимков может применять различные подходящие методы. При этом следует отметить, что для целей настоящего изобретения большинство известных методов непригодны по тем или иным причинам (некоторые методы требуют взаимодействия с пользователем, некоторые не подходят по скорости, некоторые пригодны только для движущихся объектов, некоторые требуют обучения моделей, некоторые не универсальны и зависят от данных и т.д.). Наибольшую производительность по затрачиваемым ресурсам и времени в сочетании с точностью и универсальностью демонстрируют методы SIFT, дифференциальный оператор Лапласа и масштабированный дифференциальный оператор Лапласа.The Image Quality Detection Module may apply various suitable methods to determine the image quality. It should be noted that for the purposes of the present invention, most of the known methods are unsuitable for one reason or another (some methods require user interaction, some are not suitable for speed, some are suitable only for moving objects, some require model training, some are not universal and depend from data, etc.). The SIFT methods, the Laplace differential operator, and the scaled Laplace differential operator demonstrate the highest performance in terms of resources and time spent, combined with accuracy and universality.

В частности, в методе SIFT происходит поиск и сопоставление между соседними изображениями ключевых точек, найденных при помощи построения пирамиды гауссианов, а затем разности гауссианов. Данный метод обеспечивает высокое качество изображений (за счет максимизации числа качественных ключевых точек, что проявляет преимущество именно при аэрофтосъемке и построении ортофотоплана или цифровой модели местности) и вместе с тем требует относительно высоких вычислительных мощностей и времени обработки, которые в условиях задачи съемки и моментальной обработки на борту БПЛА могут быть недоступны для некоторых реализаций.In particular, the SIFT method searches and compares between neighboring images of key points found by building a pyramid of Gaussians, and then the difference of Gaussians. This method provides high image quality (by maximizing the number of high-quality key points, which is advantageous precisely in aerial photography and the construction of an orthophotomap or digital terrain model) and at the same time requires relatively high computing power and processing time, which, under the conditions of a survey task and instant processing on board the UAV may not be available for some implementations.

Альтернативой SIFT является дифференциальный оператор Лапласа. Так как он представляет собой скользящее окно, выделяющее изменения интенсивности каждого пикселя, скорость этого метода значительно выше поиска ключевых точек при помощи SIFT, что делает этот метод пригодным в случае ограниченных вычислительных мощностей, так как метрики данных методов имеют схожие значения после нормализации.An alternative to SIFT is the Laplace differential operator. Since it is a sliding window highlighting changes in the intensity of each pixel, the speed of this method is much higher than the search for key points using SIFT, which makes this method suitable in case of limited computing power, since the metrics of these methods have similar values after normalization.

Промежуточным вариантом является масштабированный дифференциальный оператор Лапласа, в основе которого лежит дифференциальный оператор Лапласа, но для финальной оценки вычисляется функция масштабирования, уменьшающая исходное изображение в четыре раза (в два по каждой из осей). Так как этот метод считает отношение метрик на двух изображениях, одно из которых заведомо ниже по качеству, описанная метрика возвращает значения в диапазоне от 0 до 1, что позволяет использовать её без учёта предыдущих данных и получать независимую метрику. При этом важно отметить, что этот метод работает дольше, чем обычный дифференциальный оператор Лапласа, так как вычисляет значение размытости для в два раза большего количества изображений. Тем не менее, время выполнения всё ещё значительно быстрее вычисления ключевых точек методом SIFT.An intermediate option is the scaled Laplace differential operator, which is based on the Laplace differential operator, but for the final estimate, a scaling function is calculated that reduces the original image by a factor of four (two on each of the axes). Since this method calculates the ratio of metrics on two images, one of which is obviously lower in quality, the described metric returns values in the range from 0 to 1, which allows using it without taking into account previous data and obtaining an independent metric. However, it is important to note that this method takes longer than the usual Laplace differential operator, since it calculates the blur value for twice as many images. However, the execution time is still significantly faster than the keypoint calculation using the SIFT method.

Поскольку качество снимков может по мере выполнения съемки деградировать, в настоящем изобретении регулярно выполняется повторная калибровка, даже если модуль определения качества снимков считает, что ряд последовательно полученных снимков являются качественными. Это позволяет избежать постепенного ухудшения качества и поддерживать высокие характеристики изображения на протяжении всей миссии. Новое значение порога может вычисляться, например, по формуле порог=Q(i)*допуск, где Q(i) - вычисленная метрика качества последнего полученного изображения, а допуск - величина, учитывающая погрешности в измерении метрики (задается при инициализации - например, по умолчанию может быть равен 0.8).Because image quality may degrade as the image is taken, the present invention regularly recalibrates even if the image quality determination module considers that a number of consecutive images are good. This avoids gradual deterioration in quality and maintains high image performance throughout the mission. The new threshold value can be calculated, for example, using the formula threshold=Q(i)*tolerance, where Q(i) is the calculated quality metric of the last received image, and the tolerance is a value that takes into account errors in the measurement of the metric (set during initialization, for example, by may be 0.8 by default).

Выбор метода определения качества должен основываться на вычислительных мощностях конечного БПЛА, а итоговое решение принимается в зависимости от требований конкретного применения.The choice of quality determination method should be based on the computing power of the final UAV, and the final decision is made depending on the requirements of a particular application.

Обработка изображений непосредственно на борту позволяет исключить потерю данных съемки во время полета без необходимости вмешательства оператора в процессе полета. В отличие от типовых способов, когда оператор выставляет фиксированные параметры съемки перед полетом, предложенный способ гарантирует получение качественных снимков, что предотвращает или по крайней мере минимизирует повторную съемку.On-board image processing eliminates the loss of imagery data during flight without the need for operator intervention during flight. Unlike typical methods, when the operator sets fixed shooting parameters before the flight, the proposed method guarantees high-quality images, which prevents or at least minimizes re-shooting.

Съемка дополнительного изображения может быть выполнена в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры. Если интервал между кадрами, заданный в полетной миссии, достаточно велик, и скорость определения качества снимка достаточно высока, то в таком случае возникшая потеря перекрытая между снимками будет невелика и приемлема для построения ортофотоплана без необходимости останавливать БПЛА.Additional image acquisition can be performed within the same flight without deviating from the route set in the flight mission, immediately after the decision to recalibrate is made and the camera has autofocused. If the interval between frames specified in the flight mission is large enough, and the speed of image quality determination is high enough, then in this case the overlapped loss between images will be small and acceptable for orthomosaic construction without the need to stop the UAV.

Съемка дополнительного изображения может быть выполнена в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное. Такой подход может требовать приостановки плановой съемки по полетной миссии и возврата БПЛА к предыдущей точке, что может потребоваться, когда возникшая потеря перекрытая между снимками уже относительно велика и не может быть безболезненно восполнена новым снимком без возврата. Тем не менее, это по-прежнему гораздо более быстрый и точный способ формирования набора высококачественных изображений по сравнению с традиционными способами, в которых определение качества изображения на борту и немедленная пересъемка некачественных изображений не предусмотрены.An additional image can be taken within the same flight after the UAV returns to the point corresponding to the point where the image was taken, which was determined to be of poor quality. Such an approach may require the suspension of the planned survey for the flight mission and the return of the UAV to the previous point, which may be required when the loss that has occurred between the images is already relatively large and cannot be painlessly replenished with a new image without returning. However, it is still a much faster and more accurate way to generate a set of high quality images compared to traditional methods where on-board image quality detection and poor quality image recapture are not provided.

Возврат БПЛА в точку съемки изображения, которое было определено как некачественное, может выполняться на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии. Данный подход повышает автоматизацию и позволяет использовать относительно более затратные по времени методы определения качества изображения, но обладающие более высокими характеристиками. В некоторых вариантах реализации такой выбор может быть предпочтителен (например, когда вычислительные возможности БПЛА высоки, а ожидаемые условия съемки позволяют предположить, что доля некачественных снимков будет невелика, и не придется часто возвращаться назад для пересъемки).The return of the UAV to the point of capture of an image that was determined to be poor quality can be performed based on the determination that the distance traveled or the elapsed time since the capture of this image does not allow sufficient overlap of the additional image with the last high-quality image preceding the image that was determined to be poor quality. , on the route specified in the flight mission. This approach increases automation and allows the use of relatively more time-consuming methods for determining image quality, but with higher performance. In some implementations, this choice may be preferable (for example, when the computing power of the UAV is high, and the expected shooting conditions suggest that the proportion of low-quality images will be small, and you will not often have to go back for reshoots).

Момент съемки дополнительного изображения может обнулять отсчет интервала между кадрами. Поскольку дополнительное изображение является качественным, может не быть необходимости выполнять близкую по времени съемку с отсчетом интервала от предыдущего основного изображения, определенного как некачественное, так как при этом будет получено избыточное перекрытие между дополнительным изображением и последующим основным изображением. Тем самым, снижается число необходимых кадров и повышается скорость аэрофотосъемки, при этом по-прежнему гарантируется повышенное качество изображений.The moment the sub-image is taken may reset the countdown of the interval between shots. Since the sub-image is high quality, it may not be necessary to shoot close in time with the interval counting from the previous main image determined to be poor quality, as this would result in excessive overlap between the sub-image and the following main image. This reduces the number of frames required and increases the speed of aerial photography, while still guaranteeing improved image quality.

Из набора изображений местности, полученных посредством вышеупомянутого способа выполнения аэрофотосъемки с помощью БПЛА, может формироваться ортофотоплан. А именно, может выполняться ортотрансформирование изображений, вычисление порезов и сшивка ортотрансформированных изображений по порезам для формирования тем самым ортофотоплана. Обеспечивается повышение точности ортофотоплана, ускорение и снижение затрат ресурсов на формирование ортофотоплана требуемого качества.An orthomosaic can be formed from a set of terrain images acquired by the aforementioned UAV aerial photography method. Namely, orthorectification of images, calculation of cutlines, and stitching of orthorectified images by cutlines can be performed to thereby form an orthomosaic. EFFECT: improved orthomosaic accuracy, acceleration and reduction of resource costs for the formation of an orthomosaic of the required quality.

ПримерExample

Для испытаний настоящего изобретения использовался квадрокоптер DJI Mavic, на который через демпферы была установлена камера Sony A6000 (16мм). В качестве бортового вычислителя использовался одноплатный компьютер Raspberry Pi 4 8Gb с ОС Ubuntu 20.04 / ROS Melodic. Была создана единая полетная миссия с режимом автоматической съемки через заданное расстояние со след. характеристиками:To test the present invention, a DJI Mavic quadcopter was used, on which a Sony A6000 (16mm) camera was installed through dampers. Raspberry Pi 4 8Gb single board computer with Ubuntu 20.04 / ROS Melodic OS was used as an onboard computer. A single flight mission was created with the automatic shooting mode after a given distance from the next. characteristics:

- площадь съемки 0,09 кв км;- survey area 0.09 sq km;

- высота полета 100 метров;- flight altitude 100 meters;

- скорость полета 10 м/c;- flight speed 10 m/s;

- процент перекрытия по вертикали и горизонтали 70%;- Percentage of overlapping vertically and horizontally 70%;

- расчётное пространственное разрешение 2.4 см/пикс (с учётом характеристик камеры);- Estimated spatial resolution of 2.4 cm/pixel (taking into account the characteristics of the camera);

- расчётное расстояние между снимками 30м;- Estimated distance between images 30m;

- расчётный интервал между снимками 3 сек;- Estimated interval between shots 3 sec;

- количество фото 150.- number of photos 150.

Рисунок полетной миссии показан на Фиг. 3. Следует отметить, что во время тестирования ветер был 5 м/с с порывами до 7 м/c. Полученные результаты обрабатывались в программе для создания ортофотоплана, сшивка данных происходила на одинаковых настройках качества и степени фильтрации данных. Результаты качества полученного ортофотоплана представлены в таблице 1.The flight mission drawing is shown in Fig. 3. It should be noted that during testing the wind was 5 m/s with gusts up to 7 m/s. The results obtained were processed in the program for creating an orthomosaic, the data were stitched at the same quality settings and the degree of data filtration. The results of the quality of the resulting orthomosaic are presented in Table 1.

Таблица 1Table 1

Показатели качестваQuality indicators Типовой способTypical method Предложенный способProposed method количество снимков за миссию (факт/расчетные)number of shots per mission (actual/calculated) 150/150150/150 160/150160/150 учтенные снимкиcounted shots 137137 150150 количество точек привязкиnumber of anchor points 1756417564 2597525975 среднеквадратическая ошибка в плане (м)root mean square error in plan (m) 0.9750.975 0.6140.614 пространственное разрешениеspatial resolution 0.0245560.024556 0.0162280.016228

Из таблицы видно, что в обоих полетах дрон выполнил все фото в заданных координатах по маршруту. Однако при полете по типовому способу в процессе обработки снимков программное обеспечение посчитало непригодными 13 снимков из 150, что составляет 8,6% от общей полетной миссии. В основном потери были связаны с размытием из-за резких порывов ветра, постоянный же ветер компенсировался системой управления БПЛА на всем маршруте и не вносил существенных искажений в съемку. Также часть полученных снимков имела небольшие дефекты в виде несущественных смазов или переэкспонирования, но подходила для обработки программным обеспечением.The table shows that in both flights the drone took all the photos in the given coordinates along the route. However, when flying according to the standard method, in the process of image processing, the software considered 13 out of 150 images unsuitable, which is 8.6% of the total flight mission. The losses were mainly associated with blurring due to sudden gusts of wind, while the constant wind was compensated by the UAV control system along the entire route and did not introduce significant distortions into the imagery. Also, some of the received images had small defects in the form of insignificant blurring or overexposure, but were suitable for processing by the software.

Предложенный способ позволил определить 10 размазанных снимков фото во время полёта и переснять их с минимальной задержкой. В конечном итоге это привело к незначительной потере перекрытия в участках съемки, но не сильно сказалась на конечном результате.The proposed method made it possible to identify 10 blurry photographs during the flight and retake them with a minimum delay. In the end, this resulted in a slight loss of overlap in the shooting areas, but did not greatly affect the final result.

Из полученных данных удалось собрать плотное облако точек. Каждая точка имеет коэффициент достоверности, который отображается разным цветом: зеленый - отлично, синий-хорошо, оранжевый - удовлетворительно, красный - неудовлетворительно. Результаты одинакового участка, снятого разными способами, представлены на Фиг. 4A-4D. В частности, на Фиг. 4A показана фотограмметрическая модель, построенная типовым способом, на Фиг. 4B показана карта достоверности облака точек, полученного типовым способом, на Фиг. 4C показана фотограмметрическая модель, построенная предложенным способом, на Фиг. 4D показана карта достоверности облака точек, полученного предложенным способом.From the data obtained, it was possible to collect a dense cloud of points. Each point has a confidence factor, which is displayed in a different color: green - excellent, blue - good, orange - satisfactory, red - unsatisfactory. The results of the same area captured by different methods are presented in Fig. 4A-4D. In particular, in FIG. 4A shows a photogrammetric model constructed in a typical manner, FIG. 4B shows a point cloud confidence map obtained in a typical way, FIG. 4C shows a photogrammetric model constructed by the proposed method, FIG. 4D shows the confidence map of the point cloud obtained by the proposed method.

Как видно из полученных изображений, предложенный способ позволил существенно снизить количество артефактов на построенной модели, а также исключить лишние артефакты из-за отсутствия смазанных снимков, при этом не потребовалось выполнять новый полет для досъемки некачественных участков.As can be seen from the obtained images, the proposed method made it possible to significantly reduce the number of artifacts on the constructed model, as well as to eliminate unnecessary artifacts due to the absence of blurry images, while it was not necessary to perform a new flight to take additional images of low-quality areas.

ПрименениеApplication

Устройства и способы согласно настоящему изобретению можно использовать для автономного выполнения аэрофотосъемки с помощью БПЛА и на основе этой аэрофотосъемки, что может найти применение в автономном мониторинге для задач охраны территорий, сельхозугодий, в геоинформационных системах, в картографии и т.д.Devices and methods according to the present invention can be used to autonomously perform aerial photography using a UAV and based on this aerial photography, which can be used in autonomous monitoring for the tasks of protecting territories, farmland, in geographic information systems, in cartography, etc.

Дополнительные особенности реализацииAdditional Implementation Features

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).Various illustrative blocks and modules described in connection with the disclosure herein may be implemented or executed by a general purpose processor, digital signal processor (DSP), application specific integrated circuit (ASIC), field programmable gate array (FPGA), or other programmable logic device (PLD), discrete logic element or transistor logic, discrete hardware components, or any combination of the foregoing, designed to perform the functions described in this document. A general purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices (eg, a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors together with a DSP core, or any other similar configuration).

Некоторые блоки или модули по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков или модулей в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.Some blocks or modules, individually or collectively, may be, for example, a computer, and include a processor that is configured to call and execute computer programs from memory to perform method steps or functions of blocks or modules in accordance with embodiments of the present invention. According to embodiments, the device may further include a memory. The processor may call and execute computer programs from memory to execute the method. The memory may be a separate device independent of the processor or may be integrated with the processor. The memory may store code, instructions, commands, and/or data for execution on a set of one or more processors of the device described. Codes, instructions, commands may direct the processor to perform the steps of a method or device function.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного, если это применимо. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.The functions described in this document may be implemented in hardware, software running on one or more processors, firmware, or any combination of the foregoing, as applicable. The hardware and software implementing the functions may also be physically located in different locations, including such a distribution that parts of the functions are implemented in different physical locations, that is, distributed processing or distributed computing may be performed.

В случае если объем данных велик, может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.If the amount of data is large, multi-threaded data processing can be performed, which in a simple representation can be expressed in the fact that the entire set of data to be processed is divided into a set of subsets, and each processor core performs processing in relation to its assigned data subset.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.The above memory may be volatile or non-volatile memory, or may include both volatile and non-volatile memory. One of ordinary skill in the art will also understand that when referring to memory and storage of data, programs, codes, instructions, commands, and the like, it is understood that there is a machine-readable (or computer-readable, processor-readable) storage medium. A computer-readable storage medium can be any available medium that can be used to carry or store a desired piece of program code in the form of instructions or data structures, and that can be accessed by a computer, processor, or other general purpose or special purpose processing device. .

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM) и т.п.By way of example, and not limitation, computer-readable media may include read-only memory (ROM), programmable read-only memory (PROM), erasable programmable read-only memory (EPROM), electronically erasable programmable read-only memory (EEPROM), flash memory. , Random Access Memory (RAM), Static Random Access Memory (SRAM), Dynamic Random Access Memory (DRAM), Synchronous Dynamic Random Access Memory (SDRAM), Double Data Rate Synchronous Dynamic Random Access Memory (DDR SDRAM) , increased speed synchronous dynamic random access memory (ESDRAM), synchronous link DRAM (SLDRAM), and direct access bus random access memory (DR RAM), and the like.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.The information and signals described herein may be represented using any of a variety of different technologies. For example, the data, instructions, commands, information, signals, bits, symbols, and elementary signals that may be exemplified in the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields or particles, or any combinations of the above.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки графики, таким как графический процессор (GPU), визуальный процессор (VPU) и т.д.The processor may include one or more processors. At the same time, one or more processors may be a general purpose processor such as a central processing unit (CPU), an application processor (AP) and the like, a graphics processing unit such as a graphics processing unit (GPU), a visual processing unit (VPU) etc.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.It should be understood that although terms such as "first", "second", "third" and the like may be used herein to describe various elements, components, regions, layers and/or sections, these elements, components, areas, layers and/or sections should not be limited by these terms. These terms are only used to distinguish one element, component, region, layer, or section from another element, component, region, layer, or section. Thus, a first element, component, region, layer, or section may be referred to as a second element, component, region, layer, or section without departing from the scope of the present invention. As used herein, the term "and/or" includes any and all combinations of one or more of the respective listed positions. Elements mentioned in the singular do not exclude the plurality of elements, unless otherwise specified.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.The functionality of an element specified in the description or claims as a single element may be practiced by means of several components of the device, and conversely, the functionality of elements indicated in the description or claims as several separate elements may be practiced by means of a single component.

В одном варианте осуществления элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.In one embodiment, the elements/blocks/modules of the proposed device are in a common housing, can be placed on the same frame/structure/printed circuit board/crystal and are structurally connected to each other through assembly (assembly) operations and functionally through communication lines. The mentioned communication lines or channels, unless otherwise indicated, are typical communication lines known to specialists, the material implementation of which does not require creative efforts. The communication link may be a wire, a set of wires, a bus, a track, a wireless link (inductive, RF, infrared, ultrasonic, etc.). Communication protocols over communication lines are known to those skilled in the art and are not disclosed separately.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.The functional connection of elements should be understood as a connection that ensures the correct interaction of these elements with each other and the implementation of one or another functionality of the elements. Particular examples of functional communication may be communication with the ability to exchange information, communication with the ability to transmit electric current, communication with the ability to transmit mechanical motion, communication with the ability to transmit light, sound, electromagnetic or mechanical vibrations, etc. The specific type of functional connection is determined by the nature of the interaction of the mentioned elements, and, unless otherwise indicated, is provided by well-known means, using principles well-known in the art.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.Although exemplary embodiments have been described in detail and shown in the accompanying drawings, it should be understood that such embodiments are illustrative only and are not intended to limit the present invention, and that the present invention should not be limited to the particular arrangements and structures shown and described, since a person skilled in the art on the basis of the information set forth in the description and the knowledge of the prior art may be obvious various other modifications and embodiments of the invention without going beyond the essence and scope of this invention.

Claims (23)

1. Беспилотный летательный аппарат (БПЛА), содержащий:1. Unmanned aerial vehicle (UAV), containing: полетный контроллер, выполненный с возможностью управления полетом БПЛА;a flight controller configured to control the flight of the UAV; камеру, выполненную с возможностью захвата изображений местности под БПЛА; иa camera configured to capture images of the area under the UAV; And бортовой компьютер, соединенный с полетным контроллером и с камерой, и содержащий:an on-board computer connected to the flight controller and to the camera and containing: модуль управления камерой, выполненный с возможностью управления камерой для получения изображений местности в процессе выполнения аэрофотосъемки; иa camera control module, configured to control a camera to acquire images of the area in the process of performing aerial photography; And модуль определения качества снимков, выполненный с возможностью определения качества изображений, полученных от камеры;a picture quality determination module, configured to determine the quality of images received from the camera; при этом бортовой компьютер выполнен с возможностью получения изображения от камеры согласно интервалу, заданному в полетной миссии, и принятия решения о необходимости повторной калибровки, если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества;wherein the on-board computer is configured to receive an image from the camera according to the interval specified in the flight mission, and decide on the need for re-calibration if it is determined by the on-board computer that the number of images received from the camera since the last calibration has reached a predetermined number , or if it is determined by the image quality detection module that the metric value of the current image is less than the quality metric threshold; при этом для выполнения повторной калибровки:however, to perform a recalibration: модуль управления камерой выполнен с возможностью инициирования автофокусировки камеры,the camera control module is configured to initiate camera autofocus, бортовой компьютер выполнен с возможностью получения дополнительного изображения от камеры после автофокусировки,the on-board computer is configured to receive an additional image from the camera after autofocusing, модуль определения качества снимков выполнен с возможностью определения нового эталонного значения метрики качества согласно дополнительному изображению и обновления порога метрики качества на основании нового эталонного значения метрики качества.the image quality determination module is configured to determine a new quality metric reference value according to the additional image and update the quality metric threshold based on the new quality metric reference value. 2. Способ выполнения аэрофотосъемки, подлежащий выполнению в БПЛА и содержащий этапы, на которых:2. A method for performing aerial photography to be performed in a UAV and containing the steps in which: получают изображение от камеры согласно интервалу, заданному в полетной миссии; иreceiving an image from the camera according to the interval specified in the flight mission; And если определено с помощью бортового компьютера, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если определено с помощью модуля определения качества снимков, что значение метрики текущего изображения меньше порога метрики качества, принимают решение с помощью бортового компьютера о необходимости повторной калибровки;if it is determined by the on-board computer that the number of images received from the camera since the last calibration has reached a predetermined number, or if it is determined by the image quality determination module that the current image metric value is less than the quality metric threshold, a decision is made by the on-board computer the need for recalibration; при этом выполнение повторной калибровки содержит этапы, на которых:while performing a recalibration comprises the steps of: инициируют автофокусировку камеры с помощью модуля управления камерой,initiate camera autofocus using the camera control module, получают дополнительное изображение от камеры после автофокусировки,receive an additional image from the camera after autofocusing, определяют новое эталонное значение метрики качества с помощью модуля определения качества снимков согласно дополнительному изображению,determine a new reference value of the quality metric using the image quality determination module according to the additional image, обновляют порог метрики качества на основании нового эталонного значения метрики качества.updating the quality metric threshold based on the new quality metric reference value. 3. Способ по п. 2, в котором дополнительное изображение получают в результате съемки, выполненной в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры.3. The method according to claim 2, in which an additional image is obtained as a result of shooting performed within the same flight without deviating from the route specified in the flight mission, immediately after the decision to recalibrate is made and the camera is autofocused. 4. Способ по п. 2, в котором дополнительное изображение получают в результате съемки, выполненной в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное.4. The method according to claim 2, in which the additional image is obtained as a result of shooting performed within the same flight after the UAV returns to the point corresponding to the shooting point of the image, which was determined to be of poor quality. 5. Способ по п. 4, в котором возврат БПЛА в точку съемки изображения, которое было определено как некачественное, выполняют на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии.5. The method according to claim 4, wherein the return of the UAV to the shooting point of the image, which was determined to be of poor quality, is performed on the basis of determining that the distance traveled or the elapsed time since the capture of this image does not allow sufficient overlap of the additional image with the last high-quality image , preceding the image that was determined to be poor quality, on the route specified in the flight mission. 6. Способ по п. 2, в котором момент съемки дополнительного изображения обнуляет отсчет интервала.6. The method according to claim 2, wherein the moment of capturing the additional image resets the interval count.
RU2022135296A 2022-12-29 Uav and method for performing aerial photography RU2798604C1 (en)

Publications (1)

Publication Number Publication Date
RU2798604C1 true RU2798604C1 (en) 2023-06-23

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU121055U1 (en) * 2012-04-16 2012-10-10 Закрытое Акционерное Общество "Транзас" BLOCK FOR AUTOMATED AERIAL PHOTOGRAPHING FROM UNMANNED AIRCRAFT
RU2518440C2 (en) * 2012-04-23 2014-06-10 Общество с ограниченной ответственностью "Завод Экспедиционных Машин" (ООО "ЗЭМ") Pilotless aircraft and aerial monitoring complex for it
RU2562707C2 (en) * 2009-09-23 2015-09-10 ниармэп острэйлиа пти лтд Systems and methods of capture of large-area images by parts including cascade cameras and/or calibration attributes
US20190385283A1 (en) * 2018-06-18 2019-12-19 Honeywell International Inc. Image pre-processing for object recognition
RU195749U1 (en) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Intelligent vision system for an unmanned aerial vehicle for solving navigation problems, building a three-dimensional map of the surrounding space and obstacles, and autonomous patrolling
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2562707C2 (en) * 2009-09-23 2015-09-10 ниармэп острэйлиа пти лтд Systems and methods of capture of large-area images by parts including cascade cameras and/or calibration attributes
RU121055U1 (en) * 2012-04-16 2012-10-10 Закрытое Акционерное Общество "Транзас" BLOCK FOR AUTOMATED AERIAL PHOTOGRAPHING FROM UNMANNED AIRCRAFT
RU2518440C2 (en) * 2012-04-23 2014-06-10 Общество с ограниченной ответственностью "Завод Экспедиционных Машин" (ООО "ЗЭМ") Pilotless aircraft and aerial monitoring complex for it
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US20190385283A1 (en) * 2018-06-18 2019-12-19 Honeywell International Inc. Image pre-processing for object recognition
RU195749U1 (en) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Intelligent vision system for an unmanned aerial vehicle for solving navigation problems, building a three-dimensional map of the surrounding space and obstacles, and autonomous patrolling

Similar Documents

Publication Publication Date Title
US11756158B2 (en) Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
US9635259B2 (en) Forward motion compensated flight path
JP6138326B1 (en) MOBILE BODY, MOBILE BODY CONTROL METHOD, PROGRAM FOR CONTROLLING MOBILE BODY, CONTROL SYSTEM, AND INFORMATION PROCESSING DEVICE
CN109792484B (en) Image processing in unmanned autonomous aircraft
CN106292126A (en) A kind of intelligence aerial survey flight exposal control method, unmanned aerial vehicle (UAV) control method and terminal
Tariq et al. Development of a low cost and light weight uav for photogrammetry and precision land mapping using aerial imagery
CN106094876A (en) A kind of unmanned plane target locking system and method thereof
CN111650962B (en) Multi-rotor unmanned aerial vehicle route planning and aerial photography method suitable for banded survey area
CN110001945A (en) One kind facade that falls precipice finely tilts boat and takes the photograph device and method for imaging
CN110568860A (en) Unmanned aerial vehicle return method and device and unmanned aerial vehicle
US20220234753A1 (en) An Aerial Imaging System and Method
CN105243364B (en) Photoelectric nacelle searching method, device and system
CN113875222A (en) Shooting control method and device, unmanned aerial vehicle and computer readable storage medium
CN106289156B (en) The method of photography point solar elevation is obtained when a kind of satellite is imaged with any attitude
CN112009708B (en) Fixed-wing unmanned aerial vehicle, single-lens oblique photography system and method
JP7042911B2 (en) UAV control device and UAV control method
Bailey Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation
RU2798604C1 (en) Uav and method for performing aerial photography
RU2796697C1 (en) Device and method for forming orthophotomap
CN112985398A (en) Target positioning method and system
CN110223233A (en) A kind of unmanned plane based on image mosaic builds drawing method
KR20150006752A (en) Air observations using the rotor structure construction method and system for terrain data.
Hlotov et al. The analysis of the results of aerial photography experiments on the basis of a developed UAV model
US20230206580A1 (en) Composite image creation for aerial image capture system
정호현 Development and Accuracy Evaluation of Customized UAV for Photogrammetry