RU168333U1 - Устройство синтезированного видения - Google Patents
Устройство синтезированного видения Download PDFInfo
- Publication number
- RU168333U1 RU168333U1 RU2016141640U RU2016141640U RU168333U1 RU 168333 U1 RU168333 U1 RU 168333U1 RU 2016141640 U RU2016141640 U RU 2016141640U RU 2016141640 U RU2016141640 U RU 2016141640U RU 168333 U1 RU168333 U1 RU 168333U1
- Authority
- RU
- Russia
- Prior art keywords
- module
- image
- block
- input
- classifier
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Полезная модель относится к области построения синтезированных изображений и может быть использована для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.В блоке регистрации изображений исходные изображения от телевизионной, тепловизионной камер и радара объединяются и передаются в блоки сегментатор и совмещение. В блоке сегментатор, выполненном по пирамидальной схеме, производится сегментация соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, а результат передается в блок классификатор. В блоке классификатор, состоящем из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети, производится классификация объектов изображения и результат передается в блок визуализации. В блоке совмещение производится совмещение трехмерной модели местности и комплексного изображения, полученного путем комплексирования различных спектральных каналов друг с другом, и результат - синтезированное изображение передается в блок визуализация. В блоке визуализация упорядочиваются результаты совмещения и классификации накладыванием их друг на друга и формированием улучшенного изображения передаваемого по шине Ethernet на дисплей системы улучшенного видения.Техническая задача предлагаемой полезной модели состоит в улучшении основных эксплуатационных параметров бортовых систем улучшенного видения. 1 ил.
Description
Устройство относится к области построения синтезированных изображений по результатам дешифрации кадров телевизионной (в видимых спектральных каналах), тепловизионной и радарной съемки в режиме реального времени на борту летательных аппаратов и может быть использовано для вывода вспомогательной информации на дисплее пилота, используемом для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.
Известны следующие системы синтезированного видения.
Компания Kollsman Inc. (США) предлагает два решения - Kollsman All Weather Window и Kollsman Night Window. Первая система предназначена для работы во всепогодных условиях. В состав системы входят: охлаждаемый инфракрасный (ИК) датчик, спецвычислитель, дисплей с подогревом, программное обеспечение обработки и визуализации изображений. Система Kollsman Night Window представляет собой более компактное и дешевое решение, предназначенное для работы в темное время суток, но при хороших погодных условиях. В состав системы входит неохлаждаемый микроболометр, работающий в диапазоне 88-1414 мкм.
Компания CMC Electronics (Канада) предлагает два вида систем: СМА-2600 I-Series и более компактный и дешевый вариант СМА-2610 M-Series. В I-Series используется охлаждаемый, двухдиапазонный (11-33 мкм и 33-55 мкм) ИК-датчик, в случае M-Series - неохлаждаемый, работающий в диапазоне 88-1414 мкм. В стадии разработки находится система на базе миллиметрового радара. Также может устанавливаться подсистема синтезированного зрения (EVS), предоставляющая данные о рельефе местности.
Компания Max-Viz Inc. (США) предлагает систему EVS 25002500 на базе двух ИК-датчиков: длинноволнового - для формирования изображений рельефа и потенциальных препятствий, и коротковолнового - для обнаружения ярких сигнальных огней взлетно-посадочной полосы. Информация с обоих датчиков поступает на спецвычислитель, где комплексируется и выдается на дисплей летчику. Благодаря использованию неохлаждаемых ИК-датчиков EVS 25002500 имеет компактные размеры, небольшой вес и достаточно проста в установке. Кроме того, отсутствие криогенной системы охлаждения значительно уменьшает ее стоимость. Компания также предлагает более дешевое решение на базе одного неохлаждаемого ИК-датчика EVS 10001000 для вертолетов и бизнес-самолетов.
Rockwell Collins EVS формирует ИК-изображения внешней среды, которую видит пилот, и выводит их на дисплей навигационной системы на лобовом стекле HGS-4000HGS-4000 разработки этой же компании. Интерфейс системы обеспечивает взаимодействие ИК-датчика и навигационной системы HGS с целью предоставления пилоту оптимального по качеству ИК-изображения.
Все перечисленные сертифицированные коммерческие системы представляют собой простые неинтеллектуальные системы «датчик-дисплей», обеспечивающие передачу изображения, полученного от датчиков, на индикатор в кабине пилота. Лишь некоторые системы предоставляют возможность визуализации синтезированных географических данных с использованием GPS. Лишь в одной из систем используется комплексирование изображений от различных датчиков, причем оба датчика ИК (различных диапазонов). Задача комплексирования и отображения одновременно поступающих данных не рассматривается и не решается ни в одной из этих систем. Также ни в одной из коммерческих систем не рассматриваются задачи автоматического выделения взлетно-посадочной полосы, препятствий и распознавания объектов из базы геопространственных данных. Тем более не рассматриваются задачи стыковки EVS с системой автоматического управления посадкой.
Цель заявляемой полезной модели - создание EVS следующего поколения, представляющих собой авиационные системы многоспектрального технического зрения и улучшенной компьютерной визуализации закабинной обстановки, существенно превосходящие ныне известные EVS гражданского назначения по набору функций комплексирования, и особенно - в части интеллектуальной обработки видеоданных.
Технический результат заявляемой полезной модели - улучшение точности совмещения реальных изображений с цифровой картой местности и построения по результатам совмещения синтезированных изображений в виде трехмерных моделей местности специализированной системой улучшенного видения на дисплее пилота, используемом для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.
Для решения задач дешифрации и совмещения аэрофотоснимков, полученных от бортовых камер летательного аппарата (ЛА), в заявляемой полезной модели выполняется ряд действий, среди которых можно выделить:
- совмещение реальных изображений с цифровой картой местности с применением специального коррелятора.
В заявляемом устройстве достигается улучшение:
- качества комплексирования цифровых карт и моделей местности с реальными изображениями, полученными в ходе съемки подстилающей поверхности в различных спектральных диапазонах и оцениваемое как процентное соотношение правильно совмещенных тестовых пар точек к неправильно совмещенным парам на наборе модельных изображений и цифровых карт местности, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного зрения при полетах над средней полосой России;
- качества обнаружения объектов на изображениях, оцениваемое как процентное соотношение правильно распознанных образов объектов к неправильно распознанным на наборе модельных изображений, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного зрения при полетах над средней полосой России;
- снижение времени обработки одного кадра.
Оценка качества работы заявляемой полезной модели производится путем:
- оценки точности совмещения путем оценки количества правильно совмещенных контрольных точек на реальных изображениях и на цифровых картах местности;
Оценка качества работы заявляемой полезной модели производится на тестовом наборе изображений, репрезентативно покрывающем множество возможных комбинаций погодных условий, времени съемок, времен года и прочих факторов, влияющих на качество выполнения съемки для конкретного климата, природных условий и тому подобных характеристик местности.
Одним из самых популярных подходов, применяемых при проектировании устройств синтезированного видения, относится подход, базирующийся на применении дерева принятия решений для сегментации и распознавания изображений. Дерево принятия решений может быть реализовано аппаратно. Обладая низкими временными затратами на дешифрацию изображений, данный подход имеет низкую точность распознавания (в лучшем случае - 50-60% образов) и узкий диапазон условий применения - аппаратный модуль, реализующий дерево принятий решений, требует перенастройки под различные погодные условия, различные времена года и т.п. даже для одной сцены.
Другим подходом является метод, основанный на применении эвристических систем дешифрации изображений, в состав которых входят различные концепции теории искусственного интеллекта и теории машинного обучения. Нередко в состав таких систем включаются искусственные нейронные сети, однако, учитывая общую концепцию данных систем, все вычисления выполняются, как правило, на специализированном вычислительном устройстве, состоящем из центрального процессора и одного или нескольких графических процессоров, с помощью которых достигается распараллеливание вычислений. Данный подход существенно проигрывает по времени выполнения подходам, реализованным полностью аппаратно, однако лучше подхода, основанного на дереве принятия решений, с точки зрения точности дешифрации и возможного диапазона, поскольку имеет больше возможностей по тонкой настройке.
Для достижения низких временных показателей, высокой показателей точности и широкой применимости процесса дешифрации в настоящей полезной модели используется подход, основанный на применении нейросетевых концепций, реализованных аппаратно.
На Фиг. 1 представлена блок-схема заявляемой полезной модели.
Заявляемое устройство состоит из нескольких блоков, реализующих алгоритм, позволяющий достичь заявляемого технического результата.
Блок «Регистрация изображения», выполненный по технологии программируемой логической схемы (ПЛИС), получает на вход по шине Ethernet исходные изображения от телевизионной, тепловизионной камер и радара, выполняет их объединение в одно изображение и расширяет цветовой диапазон изображения до 16 бит на спектральный канал, после чего передает результирующее изображение на входы блоков «Сегментатор» и «Совмещение».
Блок «Сегментатор» представляет собой модули «Построение дерева изображений» и «Простой сегментатор», последовательно связанных друг с другом шинами передачи данных, выполненных по технологии PCIe. Модуль «Построение дерева изображений» выполняет кратномасштабную обработку изображений (пять уровней), на каждом шаге уменьшая изображение в два раза путем усреднения его элементов. Модуль «Простой сегментатор» представляет собой выполненые по пирамидальной схеме 5 параллельных ячеек «Простой сегментатор 1», …, «Простой сегментатор 5», выполняющих сегментацию соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена и передавая результат обработки на вход блока «Классификатор».
Блок «Классификатор» выполняет классификацию образов на изображении и содержит несколько модулей, выполненных в виде ПЛИС. На вход модуля «Очередь» поступают сигналы с выходов 5 ячеек блока «Простой сегментатор» и в нем реализуется очередь изображений. С выхода модуля «Очередь» изображения поступают на вход модуля «Дерево классификаторов». Модуль «Дерево классификаторов» через двухстороннюю связь управляет деревом классификаторов - передает на вход модуля «Простой классификатор» вектор параметров классификатора, зависящий от уровня классификатора в дереве классификаторов: погодных условий съемки, времени года съемки и прочих факторов, и соответствующее изображение. Результат своей работы модуль «Простой классификатор» передает обратно модулю «Дерево классификаторов», который выполняет анализ результатов и принимает решение о дальнейшей необходимости классификации или выдачи результатов классификации образов, выделенных на обрабатываемом изображении, на вход блока «Визуализация».
Блок «Совмещение» осуществляет формирование синтезированного изображения и содержит несколько модулей. Модуль «Создание комплексного изображения» получает на вход результирующее изображение с выхода блока «Регистрация изображений» и создает комплексное изображение путем комплексирования различных спектральных каналов друг с другом, результат чего передается на вход модуля «Совмещение». На вход модуля «Совмещение» подается также сигнал с выхода модуля «Построение 3D-модели местности», выполняющего построение трехмерной модели местности путем совмещения двухмерной карты местности и матрицы высот, соответствующей данной карте. Двухмерная карта местности и матрица высот выбираются из соответствующих баз данных по данным датчика GPS для текущей местности. Модуль «Совмещение» выполняет совмещение трехмерной модели местности и комплексного изображения, результат чего - синтезированное изображение - передает на блок «Визуализация».
Блок «Визуализация», выполненный в виде ПЛИС, упорядочивает результаты совмещения и классификации, накладывая их друг на друга с формированием улучшенного изображения, и передает их по шине Ethernet на дисплей системы улучшенного видения.
Полезная модель была реализована на базе лабораторий ФГБОУ ВО «Тверской государственный университет» в рамках НИР «Разработка программно-аппаратного комплекса синтезированного видения в составе бортовых систем гражданской авиации для улучшения ситуационной осведомленности пилота в условиях затрудненной видимости и сложного рельефа» (ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса на 2014-2020 годы», соглашение о предоставлении субсидии от 08 июля 2014 г. №14.574.21.0084).
Отличительной особенностью реализованной полезной модели является:
- выполнение сегментатора по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений-представлений исходного изображения и дальнейшее объединение результатов сегментации с помощью соответствующей экспертной системы;
- выполнение классификатора, состоящим из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;
- использование в корреляторе алгоритма ограниченных стохастических машин Больцмана;
- введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов работы сегментатора и классификатора.
Заявляемое устройство по результатам дешифрации и совмещения с цифровой картой местности изображений, полученных путем аэрофотосъемки в видимом и ближнем инфракрасном спектральных диапазонах, реализует распознавание характерных площадных, объемных, протяженных и точечных подвижных и неподвижных объектов с точностью до 1-го метра по положению объекта и до 0,5 метра по размерам объекта по каждой из осей координат при любых погодных условиях съемки при скорости летательного аппарата не более 300 км/ч, основана на применении древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, и коррелятора, основанного на применении ограниченных стохастических машин Больцмана, представленных в виде программно-аппаратного модуля, реализующего в виде программного обеспечения и на ПЛИС алгоритмы регистрации и предобработки изображений, алгоритмы работы сегментатора, алгоритмы обучения и работы классификатора, алгоритмы расчета корреляции между реальными изображениями и ракурсами цифровой модели местности, алгоритмы построения цифровой модели местности на основе цифровой карты местности и матрицы высот, алгоритмы постобработки изображений, алгоритмы визуализации результирующих изображений.
В рамках выполнения данной НИР были проведены экспериментальные исследования устройства, которые выявили и подтвердили следующие достижимые характеристики.
- точность совмещения изображений и цифровых карт местности, равная 98,12% от общего количества пикселей на изображении и соответствующем рендере ракурса цифровой модели местности, построенной на основе цифровой карты местности;
- точность распознавания образов равна 98,23% от общего количества образов;
- время обработки кадра размером 2000 на 2000 пикселей, состоящем из пяти спектральных каналов видимого и ближнего инфракрасного диапазонов, равно 0,029 секунды, что равно примерно 34-м кадрам в секунду и удовлетворяет требованиям, предъявляемым к бортовой системе улучшенного видения, функционирующей в режиме реального времени.
Claims (1)
- Устройство синтезированного видения, включающее блок регистрация изображений, один выход которого соединен с входом модуля построение дерева изображений блока сегментатор, а второй соединен с входом модуля создание комплексного изображения блока совмещение, выход модуля построение дерева изображений соединен с пятью выполненными параллельными модулями простой сегментатор блока сегментатор, выходы модулей простой сегментатор соединены с входом модуля очередь блока классификатор, выход модуля очередь соединен с входом модуля дерево классификаторов блока классификатор, один из выходов модуля блок классификаторов соединен двухсторонней связью с входом модуля простой классификатор блока классификатор, а второй - с одним из входов блока визуализация, выход модуля создание комплексного изображения соединен с одним из входов модуля совмещение блока совмещение, другой вход модуля совмещение соединен с выходом модуля построение 3D модели местности блока совмещение, вход модуля построение 3D модели местности соединен с модулями баз данных цифровых карт местности и матриц высот, выход модуля совмещение соединен со вторым входом блока визуализация.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016141640U RU168333U1 (ru) | 2016-11-03 | 2016-11-03 | Устройство синтезированного видения |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016141640U RU168333U1 (ru) | 2016-11-03 | 2016-11-03 | Устройство синтезированного видения |
Publications (1)
Publication Number | Publication Date |
---|---|
RU168333U1 true RU168333U1 (ru) | 2017-01-30 |
Family
ID=58451070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016141640U RU168333U1 (ru) | 2016-11-03 | 2016-11-03 | Устройство синтезированного видения |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU168333U1 (ru) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2756904C1 (ru) * | 2020-08-24 | 2021-10-06 | Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" | Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности |
RU2769016C1 (ru) * | 2021-08-11 | 2022-03-28 | Федеральное государственное автономное образовательное учреждение высшего образования «Южно-Уральский государственный университет (национальный исследовательский университет)» ФГАОУ ВО «ЮУрГУ (НИУ)» | Система управления посадкой многоразовой ракеты с искусственным интеллектом |
RU2789857C1 (ru) * | 2022-06-03 | 2023-02-14 | Общество с ограниченной ответственностью "Системы технического зрения" | Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110187563A1 (en) * | 2005-06-02 | 2011-08-04 | The Boeing Company | Methods for remote display of an enhanced image |
RU2497175C1 (ru) * | 2012-05-11 | 2013-10-27 | Открытое акционерное общество "Научно-производственный комплекс "ЭЛАРА" имени Г.А. Ильенко" (ОАО "ЭЛАРА") | Система визуализации полета и когнитивный пилотажный индикатор одновинтового вертолета |
US9177204B1 (en) * | 2011-09-28 | 2015-11-03 | Rockwell Collins, Inc. | Spectrally enhanced vision system for low visibility operations |
-
2016
- 2016-11-03 RU RU2016141640U patent/RU168333U1/ru not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110187563A1 (en) * | 2005-06-02 | 2011-08-04 | The Boeing Company | Methods for remote display of an enhanced image |
US9177204B1 (en) * | 2011-09-28 | 2015-11-03 | Rockwell Collins, Inc. | Spectrally enhanced vision system for low visibility operations |
RU2497175C1 (ru) * | 2012-05-11 | 2013-10-27 | Открытое акционерное общество "Научно-производственный комплекс "ЭЛАРА" имени Г.А. Ильенко" (ОАО "ЭЛАРА") | Система визуализации полета и когнитивный пилотажный индикатор одновинтового вертолета |
Non-Patent Citations (1)
Title |
---|
HEAD-UP VISION SYSTEM, ROCKWELL COLLINS, 2015. * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2756904C1 (ru) * | 2020-08-24 | 2021-10-06 | Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" | Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности |
RU2769016C1 (ru) * | 2021-08-11 | 2022-03-28 | Федеральное государственное автономное образовательное учреждение высшего образования «Южно-Уральский государственный университет (национальный исследовательский университет)» ФГАОУ ВО «ЮУрГУ (НИУ)» | Система управления посадкой многоразовой ракеты с искусственным интеллектом |
RU2789857C1 (ru) * | 2022-06-03 | 2023-02-14 | Общество с ограниченной ответственностью "Системы технического зрения" | Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
CA3032487C (en) | Saliency-based method for extracting road target from night vision infrared image | |
CN107194989B (zh) | 基于无人机飞机航拍的交通事故现场三维重建系统及方法 | |
CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
CN102708370B (zh) | 一种多视角图像前景目标提取方法及装置 | |
CN105203084A (zh) | 一种无人机3d全景视觉装置 | |
US9165383B1 (en) | Point cloud visualization using bi-modal color schemes based on 4D lidar datasets | |
EP2430615A2 (en) | Method and system for visual collision detection and estimation | |
Nagarani et al. | Unmanned Aerial vehicle’s runway landing system with efficient target detection by using morphological fusion for military surveillance system | |
Zsedrovits et al. | Visual detection and implementation aspects of a UAV see and avoid system | |
EP4052223A1 (en) | Systems and methods for generating and/or using 3-dimensional information with camera arrays | |
RU168333U1 (ru) | Устройство синтезированного видения | |
CN114089786A (zh) | 一种基于无人机视觉的沿山区公路自主巡检系统 | |
CN117501311A (zh) | 利用一个或多个摄像机生成和/或使用三维信息的系统和方法 | |
Huang et al. | Image-based sense and avoid of small scale UAV using deep learning approach | |
RU2610283C1 (ru) | Способ дешифрации изображений | |
Zhao et al. | Image dehazing based on haze degree classification | |
Verbickas et al. | Sky and ground detection using convolutional neural networks | |
An et al. | A comprehensive survey on image dehazing for different atmospheric scattering models | |
CN117423077A (zh) | Bev感知模型、构建方法、装置、设备、车辆及存储介质 | |
Vygolov | Enhanced and synthetic vision systems development based on integrated modular avionics for civil aviation | |
CN117333807A (zh) | 空地一体化无人机群云边协同目标锁定系统 | |
CN116704309A (zh) | 基于改进生成对抗网络的图像去雾识别方法及系统 | |
Lin et al. | A multi-target detection framework for multirotor UAV | |
Khanykov et al. | The Application of the High-Speed Pixel Clustering Method in Combining Multi-Angle Images Obtained from Airborne Optical-Location Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM9K | Utility model has become invalid (non-payment of fees) |
Effective date: 20171104 |