RU2756904C1 - Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности - Google Patents
Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности Download PDFInfo
- Publication number
- RU2756904C1 RU2756904C1 RU2021107671A RU2021107671A RU2756904C1 RU 2756904 C1 RU2756904 C1 RU 2756904C1 RU 2021107671 A RU2021107671 A RU 2021107671A RU 2021107671 A RU2021107671 A RU 2021107671A RU 2756904 C1 RU2756904 C1 RU 2756904C1
- Authority
- RU
- Russia
- Prior art keywords
- block
- image
- images
- unit
- complex image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Изобретение относится к бортовой многопозиционной технике и может быть использовано для синтезирования комплексного изображения, по снятым локационными устройствами разноракурсным изображениям, а именно цифровыми датчиками фото-, видеокамерами, оптико-локационными датчиками, радиолокационными системами с синтезированной апертурой антенны может быть использовано в системах комплексной цифровой обработки изображений, в системах компьютерного зрения. Техническим результатом является улучшение качества синтеза и повышение точности, а также информативности итогового комплексного изображения. Технический результат достигается тем, что в устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности, содержащее бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации, выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений, и введены 1+N позиций бортовой аппаратуры, в каждой из которых блок создания комплексного изображения выполнен в виде последовательно соединенных блока состыковки серии изображений в одно, блока кластеризации состыкованного изображения, блока разделения кластеризованного изображения, блока выделения контуров на каждом из разделенных изображений, блока поиска точек контура, блока подбора функционального преобразования, блока применения функционального преобразования к исходным зарегистрированным изображениям, блока оценки качества объединенного комплексного изображения и блока принятия решения о приемлемости качества объединенного комплексного изображения. 3 ил.
Description
Устройство относится к бортовой многопозиционной технике и может быть использовано для синтезирования комплексного изображения, по снятым локационными устройствами разноракурсным изображениям, а именно цифровыми датчиками фото-, видеокамерами, оптико-локационными датчиками, радиолокационными системами с синтезированной апертурой антенны может быть использовано в системах комплексной цифровой обработки изображений, в системах компьютерного зрения и т.п.
Известно «Устройство радиометрического комплексирования цифровых многоспектральных изображений земной поверхности» (Патент РФ №115884, МПК G01C 11/00, опубл. 10.05.2012 г., Бюл. №13).
Это устройство, включающее блоки улучшения характеристик исходного изображения, состоящие из блока адаптивной фильтрации и блока адаптивной коррекции яркости и контраста, блок комплексирования изображений, блок согласования яркостного диапазона, блок усиления спектрозональных отличий каждого исходного изображения относительно других исходных изображений, входы которого соединены с выходом каждого блока улучшения характеристик исходного изображения, а выходы - со входами блока комплексирования, при этом выход блока комплексирования соединен со входом блока согласования яркостного диапазона, и в каждом блоке улучшения характеристик исходного изображения выход блока адаптивной фильтрации соединен со входом блока адаптивной коррекции яркости и контраста, а количество блоков улучшения характеристик исходного изображения соответствует количеству исходных изображений.
Это устройство позволяет повысить информативность изображений за счет комплексирования измерительной информации от нескольких спектральных каналов на основе спектрозональных различий объектов на изображении.
Недостатком устройства является то, что часть полезной информации может быть удалена в результате предварительной адаптивной коррекции яркости и контраста, где происходит фильтрация шумов на изображениях и оптимизация характеристик яркости и контраста фильтрации изображения, что существенно может сказаться на качестве синтезированного итогового изображения.
Известно «Устройство дистанционного зондирования земли при помощи многопозиционной радиолокационной системы» (Патент РФ №103935, МПК G01S 13/90, опубл. 27.04.2011 г., Бюл. №12).
Устройство, содержит передающую позицию, включающую передатчики ортогональных зондирующих сигналов, и приемную позицию, расположенную на борту воздушного летательного аппарата (ВЛА), содержащую слабонаправленную антенну и антенную систему, формирующую М независимых неперекрывающихся лучей диаграммы направленности, диаграммы направленности слабонаправленной антенны и антенной системы ориентированы в сторону передатчиков передающей позиции и земной поверхности соответственно, антенная система подключена соответственно к приемникам отраженных навигационных сигналов, выходами соединенные с формирователями последовательности значений мощности указанных сигналов, выходами соединенными с формирователями полных радиоизображений, выходами соединенными с первым входом устройства визуализации текущих радиоизображений, со вторыми, третьими и четвертыми входами которого соединены выход бортового устройства хранения цифровой карты местности, бортового датчика высоты полета, тангажа и крена ВЛА, и навигационной аппаратуры потребителя, ко входу которой подключена слабонаправленная антенна, выходы устройств визуализации текущих радиоизображений соединены со входами средства радиосвязи. В процессе функционирования устройства формируются радиолокационные изображения. Далее происходит совмещения цифровой карты местности и полученных радиоизображений, после чего производят их анализ и определение координат целей на земной поверхности по их координатам на совмещенной цифровой карты местности.
Недостатком устройства является, низкая разрешающая способность по азимутальной координате, сложность формирования протяженного радиолокационного изображения и отсутствие возможности формировать комплексное изображение от источников локационной информации различной природы.
Наиболее близким по технической сущности к предлагаемому изобретению является «Устройство синтезированного видения» (Патент РФ №168333, МПК G06T 15/08, опубл. 30.01.2017 г., Бюл. №4).
Устройство представляет собой бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации, выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений. Один выход блока регистрации изображений соединен с входом модуля построение дерева изображений блока сегментатор, а второй соединен с входом модуля создание комплексного изображения блока совмещение, выход модуля построение дерева изображений соединен с пятью выполненными параллельно модулями простой сегментатор блока сегментатор, выходы модулей простой сегментатор соединены с входом модуля очередь блока классификатор, выход модуля очередь соединен с входом модуля дерево классификаторов блока классификатор, один из выходов модуля блок классификаторов соединен двухсторонней связью с входом модуля простой классификатор блока классификатор, а второй - с одним из входов блока визуализация, выход модуля создание комплексного изображения соединен с одним из входов модуля совмещение блока совмещение, другой вход модуля совмещение соединен с выходом модуля построение 3D модели местности блока совмещение, вход модуля построение 3D модели местности соединен с модулями баз данных цифровых карт местности и матриц высот, выход модуля совмещение соединен со вторым входом блока визуализация.
В блоке регистрации изображений исходные изображения от телевизионной, тепловизионной камер и радара объединяются и передаются в блоки сегментатор и совмещение. В блоке сегментатор, выполненном по пирамидальной схеме, производится сегментация соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, а результат передается в блок классификатор. В блоке классификатор, состоящем из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети, производится классификация объектов изображения и результат передается в блок визуализации. В блоке совмещение производится совмещение трехмерной модели местности и комплексного изображения, полученного путем комплексирования различных спектральных каналов друг с другом, и результат - синтезированное изображение передается в блок визуализация. В блоке визуализация упорядочиваются результаты совмещения и классификации накладыванием их друг на друга и формированием улучшенного изображения, передаваемого по шине Ethernet на дисплей системы улучшенного видения.
Недостатками устройства прототипа является отсутствие адаптивного (итерационного) механизма создания комплексного изображения, и как следствие обладание большой вычислительной сложностью устройства, что влечет трудности функционирования устройства в режиме реального времени.
Целью заявляемого изобретения является создание устройства, позволяющего синтезировать комплексное изображение земной поверхности в режиме реального времени.
Техническим результатом является улучшение качества синтеза, повышение точности и информативности итогового комплексного изображения.
Технический результат достигается тем, что в устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности, содержащее бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации, выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений дополнительно введены 1+N позиций бортовой аппаратуры в каждой из которых блок создания комплексного изображения выполнен в виде последовательно соединенных блока состыковки серии изображений в одно, блока кластеризации состыкованного изображения, блока разделения кластеризованного изображения, блока выделения контуров на каждом из разделенных изображений, блока поиска точек контура, блока подбора функционального преобразования, блока применения функционального преобразования к исходным зарегистрированным изображениям, блока оценки качества объединенного комплексного изображения, блока принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен с входом дисплея, а второй выход соединен со вторым входом блока кластеризации состыкованного изображения, при этом первый, второй и N-й входы блока применения функционального преобразования к исходным зарегистрированным изображениям соединены с выходами блока регистрации изображений, а блоки регистрации изображений на каждой из бортовой аппаратуры, соединены между собой высокоскоростным беспроводным каналом связи обмена зарегистрированных изображений.
Технический результат достигается за счет введения новых существенных признаков, заключающихся в дополнительно введенных пространственно-распределенных элементов многопозиционной системы, которые позволяют получить разноракурсные изображения с источников локационной информации различной природы, и за счет их взаимного обмена между блоками регистрации изображений и далее на общий блок создания комплексного изображения, по высокоскоростному беспроводному каналу связи, что позволяет синтезировать комплексное изображение за счет введения нового блока создания комплексного изображения, связей как в самом блоке, так и между элементами многопозиционной системы, а также за счет расширения устройства до многопозиционной системы на 1+N позиций.
Сущность изобретения поясняется чертежами, где
на фиг. 1 - схема устройства разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности;
на фиг. 2 - структурная схема многопозиционной системы бортовой локационной аппаратуры;
на фиг. 3 - вариант геометрии расположения бортовой локационной аппаратуры, и введены следующие обозначения:
1. - источник локационной информации;
1.1 - телевизионная камера;
1.2 - тепловизионная камера;
1.3 - радар;
2. - блок регистрации изображений;
3. - блок создания комплексного изображения;
3.1 - блок состыковки серии изображений в одно;
3.2 - блок кластеризации состыкованного изображения;
3.3 - блок разделения кластеризованного изображения;
3.4 - блок выделения контуров на каждом из разделенных изображений;
3.5 - блок поиска точек контура;
3.6 - блок подбора функционального преобразования;
3.7 - блок применения функционального преобразования к исходным зарегистрированным изображениям;
3.8 - блок оценки качества объединенного комплексного изображения;
3.9 - блок принятия решения о приемлемости качества объединенного комплексного изображения;
4. - дисплей.
Устройство состоит из источник локационной информации 1, включающее в себя телевизионная камеру 1.1, тепловизионная камеру 1.2 и радар 1.3, блок регистрации изображений 2, блок создания комплексного изображения 3 и дисплей 4, представляющий собой жидкокристаллический экран оператора, выходы блока источника локационной информации 1 соединены с входом блока регистрации изображения 2, а три параллельных идентичных выходы блока регистрации изображений соединены с входом блока создания комплексного изображения 3, который содержит последовательно соединенные блок состыковки серии изображений в одно 3.1, блок кластеризации состыкованного изображения 3.2, блок разделения кластеризованного изображения 3.3, блок выделения контуров на каждом из разделенных изображений 3.4, блок поиска точек контура 3.5, блок подбора функционального преобразования 3.6, блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7, блок применения функционального преобразования к исходным зарегистрированным изображениям 3.8, блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9, первый выход которого соединен со входом дисплея 4, а второй выход - со вторым входом блока кластеризации состыкованного изображения 3.2. Входы блока 3.7 соединены с блоком регистрации изображений 2. Их количество равно количеству элементов многопозиционной системы (1+N), которые обмениваются между собой зарегистрированными разноракурсными и разнородными изображениями, сформированными бортовой локационной аппаратурой, базирующейся на пространственно-распределенных летательных аппаратах.
На фиг. 3 изображен вариант геометрии расположения бортовой локационной аппаратуры элементов многопозиционной системы с частичным перекрытием совместной зоны обзора земной поверхности под разными ракурсами.
Источник локационной информации 1 выполнен в виде телевизионной 1.1, тепловизионной камер 1.2 и радара 1.3.
Блок регистрации изображений 2, выполненный по технологии программируемой логической схемы (ПЛИС), получает на вход по шине Ethernet исходные изображения от телевизионной 1.1, тепловизионной камер 1.2 и радара 1.3, выполняет их сохранение в памяти, после чего передает сохраненные изображения по беспроводному каналу связи, выполненному по технологии wi-fi на вход сторонних блоков регистрации изображений и по шине Ethernet на вход блока своего блока создание комплексного изображения 3.
Блок создания комплексного изображения 3 осуществляет формирование синтезированного комплексного изображения и содержит 9 блоков.
Блок состыковки серии изображений в одно 3.1, выполнен в виде ПЛИС, получает на вход разноракурсные изображения различной природы с выхода блока регистрация изображений 2 по шине Ethernet и состыкует изображения путем записи пиксельных значений матричных структур в одну матрицу. После состыкованные изображения шине Ethernet передаются в блок кластеризации состыкованного изображения 3.2.
Блок кластеризации состыкованного изображения 3.2, выполнен в виде ПЛИС, в котором реализован механизм трехэтапной кластеризации пикселей изображений с заданным числом суперпикселя Nsp. После чего кластеризованное изображение шине Ethernet передаются в блок разделения кластеризованного изображения 3.3.
Блок разделения кластеризованного изображения 3.3, выполнен в виде ПЛИС, реализует операцию разделения состыкованного изображения на два отдельных и их передачу по шине Ethernet в блок выделения контуров на каждом из разделенных изображений 3.4.
Блок выделения контуров на каждом из разделенных изображений 3.4, выполнен в виде ПЛИС, осуществляет выделение контуров характерных областей кластеризованных изображений и их передачу по шине Ethernet в блок поиска точек контура 3.5.
Блок поиска точек контура 3.5, выполнен в виде ПЛИС, который на выделенных контурах осуществляет поиск характерных точек, запоминает расположения этих точек на изображениях и информацию о точках и сами изображения передает по шине Ethernet в блок подбора функционального преобразования 3.6.
Блок подбора функционального преобразования 3.6, выполнен в виде ПЛИС, осуществляет поиск функционального преобразования, которое соответствует максимальному значению корреляционной функции при вариантах их совмещения. Вычисленное функциональное преобразование передается по шине Ethernet в блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7.
Блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7, выполнен в виде ПЛИС, на первый вход блока поступает найденное функциональное преобразование, на второй -исходные изображения блока регистрации изображений 2, к которым и применяется найденное функциональное преобразование, в результате чего и синтезируется объединенное комплексное изображение одной сцены. После чего это итоговое изображение по шине Ethernet передаются в блок оценки качества объединенного комплексного изображения 3.8.
Блок оценки качества объединенного комплексного изображения 3.8, выполненный в виде ПЛИС, осуществляет оценку синтеза разноракурсных и разнородных изображений и результат оценки вместе в итоговым изображением передает по шине Ethernet в блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9.
Блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9, выполнен в виде ПЛИС, оценивает результаты качества синтеза, и передает по шине Ethernet итоговое комплексное изображение по шине Ethernet на дисплей 4, либо в блок кластеризации состыкованного изображения 3.2.
Дисплей 4, представляющий собой жидкокристаллический экран 4K разрешения, на который выводится итоговое комплексное изображения для оператора.
Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности работает следующим образом.
Из центра управления и обработки информации бортовой аппаратуре, базирующейся на летательных аппаратах (ЛА), многопозиционной системы поступает управляющий сигнал для обеспечения взаимного обмена информацией между бортовыми аппаратами этой системы и задается зона мониторинга, а также полетное задание обеспечивающее наблюдение заданной зоны. По этим командам устройство управления формирует траекторию движения ЛА для достижения необходимого их расположения.
После чего осуществляется включение источников локационной информации 1, а именно телевизионной камеры 1.1, тепловизионной камеры 1.2 и радар 1.3, которые осуществляют синхронный мониторинг заданного участка земной поверхности с различных ракурсов бортовой локационной аппаратуры многопозиционной системы.
При этом сформированные источниками локационной информации 1 одноракурсные изображения различной природы снятые в один момент времени поступают в блок регистрации изображений 2 на каждую из позиций, где на своей позиции сохраняются, а на сторонние позиции передаются по высокоскоростному беспроводному каналу связи, между аналогичными пунктами многопозиционной системы. Далее, на каждом пункте многопозиционной системы разноракурсных изображений различной природы поступают в блок создания комплексного изображения 3, где в блоке состыковки серии изображений в одно 3.1 осуществляется состыковка серии этих локационных изображений, поступивших ранее, и передаются в блок кластеризации состыкованного изображения 3.2.
В блоке кластеризации состыкованного изображения 3.2 состыкованные изображения преобразуются в кластеризованный вид, то есть осуществляется кластеризация пикселей этого составного изображения с требуемым значением суперпикселя Nsp трехэтапной процедурой квазиоптимальной кластеризации пикселей изображения.
Затем кластеризованное изображение поступает в блок разделения кластеризованного изображения 3.3, где осуществляется разбиение серии кластеризованных изображений на отдельные изображения, после чего они поступают в блок выделения контуров на каждом из разделенных изображений 3.4, где происходит выделение контуров характерных кластеризованных областей, и далее в блоке поиска точек контура 3.5, на выделенных контурах происходит поиск характерных точек контура схожих по структуре областей. Расположение найденных точек и сами изображения передаются в блок подбора функционального преобразования 3.6. При этом рекомендуемое количество точек контура должно быть в пределах 15-25.
Далее в блоке подбора функционального преобразования 3.6 для определенных ранее точек контура вычисляется функциональное преобразование, при применении которого к текущим кластеризованным изображениям, значение двумерной функции корреляции принимает максимальное значении. Вычисленное функциональное преобразование поступает в блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7, которое применяется к исходным оригинальным разноракурсным и разнородным изображениям, поступающим в блок применения функционального преобразования к исходным зарегистрированным изображениям 3.7 с блоков регистрации изображений 2, в результате чего формируется объединенное синтезированное комплексное локационное изображение единой композиции земной поверхности. После чего это изображение по каналам связи между блоками передаются в блок оценки качества объединенного комплексного изображения 3.8.
В блоке оценки качества объединенного комплексного изображения 3.8 осуществляется оценка изображения на предмет качества объединения синтезированного комплексного изображения, результат оценки вместе с итоговым изображением поступает в блок принятия решения о приемлемости качества объединенного комплексного изображения 3.9.
В блоке принятия решения о приемлемости качества объединенного комплексного изображения 3.9, на основе оценки результатов работы блока оценки качества объединенного комплексного изображения 3.8, принимается решение о приемлемости качества объединенного комплексного изображения, и в случае удовлетворительной оценки, оператору на дисплей 4 выдается итоговое высокоинформативное изображение с повышенным качеством синтеза и точностью комплексирования, и на этом функционирование блока создания комплексного изображения земной поверхности завершается.
В случае неудовлетворительной оценки качества объединенного итогового изображения, решение о которой принимается в блоке принятия решения о приемлемости качества объединенного комплексного изображения 3.9, подается сигнал через обратную связь, осуществляющий переход к блоку кластеризации состыкованного изображения 3.2, где задаются новые начальные условия для значения суперпикселя Nsp и выбирается другая серия кластеризованных разнородных и разноракурсных изображений для их комплексирования и преобразования к одной сцене с большим количеством кластеров и, как следствие, с выделением большего количества ориентиров: контуров и точек контуров, реализуемых в блоках выделения контуров на каждом из разделенных изображений 3.4 и поиска точек контура 3.5. При этом на новой итерации диапазон поиска, как самих характерных точек контура, так и функционального преобразования в блоке подбора функционального преобразования 3.6 сужается и уточняется, поскольку количество опорных точек контура возрастает, вследствие увеличения детализации исходных изображений в блоке кластеризации состыкованного изображения 3.2 на текущей итерации. Также возрастает и точность определения их положения, за счет того, что положение точек контура на предыдущей итерации уточняется в блоке подбора функционального преобразования 3.6, а не ищется заново.
Таким образом, новые точки контура определяются на новых контурах, что влечет уточнение функционального преобразования, полученного корреляционно-экстремальным методом в блоке подбора функционального преобразования 3.6. После того, как положение точек контура уточнено, а также найдено новое уточненное функциональное преобразование исходных изображений, производится операция их объединения в блоке применения функционального преобразования к исходным зарегистрированным изображениям 3.7, после чего производится оценка качества в блоке оценки качества объединенного комплексного изображения, блока 3.8, а затем принимается решение о приемлемости качества итогового комплексного изображения в соответствующем блоке 3.9. Переход на новую итерацию в блок 3.2 осуществляется до тех пор, пока оценка качества комплексного изображения не станет удовлетворительной в блоке 3.9, что позволяет получить более точное итоговое комплексное синтезирование разнородных и разноракурсных локационных изображений.
На основании вышеизложенного следует, что заявляемое изобретение по сравнению с прототипом позволяет синтезировать комплексное изображение, на основе разноракурсных изображений различной природы, используя адаптивный (итерационный) механизм, позволяющий улучшить качество синтеза и увеличить точность комплексирования, а также информативность итогового комплексного изображения.
Предлагаемое устройство целесообразно использовать на борту малогабаритных воздушных летательных аппаратов, как самолетного типа, так и вертолетного, а также на борту беспилотных транспортных средств воздушного базирования, дирижаблей и т.д.
Изобретение было реализована на базе ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения» в рамках НИР «Разработка и исследование высокоточных способов многопозиционного радиооптического мониторинга для экологической разведки, прогнозирования и оперативного предупреждения чрезвычайных ситуаций природного и техногенного характера» (Соглашение о предоставлении гранта от 30.07.2019 №19-79-00303, заключенным между Российским научным фондом, ГУАП, В.А. Ненашевым)
Claims (1)
- Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности, содержащее бортовую аппаратуру, которая состоит из последовательно соединенных источника локационной информации, блока регистрации изображений, блока создания комплексного изображения и дисплея, причем источник локационной информации выполнен в виде телевизионной камеры, тепловизионной камеры и радара, выходы которых соединены с блоком регистрации изображений, отличающееся тем, что в устройство дополнительно введены 1+N позиций бортовой аппаратуры, в каждой из которых блок создания комплексного изображения выполнен в виде последовательно соединенных блока состыковки серии изображений в одно, блока кластеризации состыкованного изображения, блока разделения кластеризованного изображения, блока выделения контуров на каждом из разделенных изображений, блока поиска точек контура, блока подбора функционального преобразования, блока применения функционального преобразования к исходным зарегистрированным изображениям, блока оценки качества объединенного комплексного изображения, блока принятия решения о приемлемости качества объединенного комплексного изображения, первый выход которого соединен с входом дисплея, а второй выход соединен со вторым входом блока кластеризации состыкованного изображения, при этом первый, второй и N-й входы блока применения функционального преобразования к исходным зарегистрированным изображениям соединены с выходами блока регистрации изображений, а блоки регистрации изображений на каждой из бортовой аппаратуры соединены между собой высокоскоростным беспроводным каналом связи обмена зарегистрированных изображений.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2021107671A RU2756904C1 (ru) | 2020-08-24 | 2020-08-24 | Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2021107671A RU2756904C1 (ru) | 2020-08-24 | 2020-08-24 | Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2756904C1 true RU2756904C1 (ru) | 2021-10-06 |
Family
ID=78000308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2021107671A RU2756904C1 (ru) | 2020-08-24 | 2020-08-24 | Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2756904C1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2789857C1 (ru) * | 2022-06-03 | 2023-02-14 | Общество с ограниченной ответственностью "Системы технического зрения" | Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998058275A1 (en) * | 1997-06-18 | 1998-12-23 | Försvarets Forskningsanstalt | A method to generate a three-dimensional image of a ground area using a sar radar |
| US6091354A (en) * | 1998-04-23 | 2000-07-18 | Power Spectra, Inc. | Ground penetrating radar with synthesized end-fire array |
| RU2560082C2 (ru) * | 2014-01-09 | 2015-08-20 | Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" | Способ фронтального синтезирования апертуры антенны земной поверхности с исключением слепых зон в передней зоне с помощью многопозиционной радиолокационной системы |
| RU2572357C1 (ru) * | 2014-11-25 | 2016-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" | Способ формирования трехмерного изображения земной поверхности в бортовой четырехканальной доплеровской рлс |
| RU168333U1 (ru) * | 2016-11-03 | 2017-01-30 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Тверской государственный университет" | Устройство синтезированного видения |
-
2020
- 2020-08-24 RU RU2021107671A patent/RU2756904C1/ru active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998058275A1 (en) * | 1997-06-18 | 1998-12-23 | Försvarets Forskningsanstalt | A method to generate a three-dimensional image of a ground area using a sar radar |
| US6091354A (en) * | 1998-04-23 | 2000-07-18 | Power Spectra, Inc. | Ground penetrating radar with synthesized end-fire array |
| RU2560082C2 (ru) * | 2014-01-09 | 2015-08-20 | Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" | Способ фронтального синтезирования апертуры антенны земной поверхности с исключением слепых зон в передней зоне с помощью многопозиционной радиолокационной системы |
| RU2572357C1 (ru) * | 2014-11-25 | 2016-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" | Способ формирования трехмерного изображения земной поверхности в бортовой четырехканальной доплеровской рлс |
| RU168333U1 (ru) * | 2016-11-03 | 2017-01-30 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Тверской государственный университет" | Устройство синтезированного видения |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2789857C1 (ru) * | 2022-06-03 | 2023-02-14 | Общество с ограниченной ответственностью "Системы технического зрения" | Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3028653C (en) | Methods and systems for color point cloud generation | |
| US9798928B2 (en) | System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability | |
| Fazeli et al. | Evaluating the potential of RTK-UAV for automatic point cloud generation in 3D rapid mapping | |
| Huang et al. | Structure from motion technique for scene detection using autonomous drone navigation | |
| RU2550811C1 (ru) | Способ и устройство определения координат объектов | |
| CN104504748A (zh) | 一种无人机倾斜摄影红外三维成像系统及建模方法 | |
| CN108414454A (zh) | 一种植物三维结构及光谱信息的同步测量系统及测量方法 | |
| KR102557775B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| Gu et al. | UAV-based integrated multispectral-LiDAR imaging system and data processing | |
| Zietara | Creating Digital Elevation Model (DEM) based on ground points extracted from classified aerial images obtained from Unmanned Aerial Vehicle (UAV) | |
| Oliveira et al. | Real-time and post-processed georeferencing for hyperpspectral drone remote sensing | |
| Yang et al. | RCPNet: Deep-learning based relative camera pose estimation for UAVs | |
| Schleiss et al. | VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments | |
| CN112950671A (zh) | 一种无人机对运动目标实时高精度参数测量方法 | |
| RU2513900C1 (ru) | Способ и устройство определения координат объектов | |
| Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
| RU2756904C1 (ru) | Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности | |
| CN117636284A (zh) | 一种基于视觉图像导引的无人机自主着降方法及装置 | |
| CN117423077A (zh) | Bev感知模型、构建方法、装置、设备、车辆及存储介质 | |
| CN111950524A (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
| RU168333U1 (ru) | Устройство синтезированного видения | |
| Khanykov et al. | The Application of the High-Speed Pixel Clustering Method in Combining Multi-Angle Images Obtained from Airborne Optical-Location Systems | |
| RU2789857C1 (ru) | Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности | |
| CN114581346A (zh) | 一种面向城市低空遥感监测目标的多光谱影像融合方法 | |
| GB2582419A (en) | Improvements in and relating to range-finding |