RU168333U1

RU168333U1 - Устройство синтезированного видения

Info

Publication number: RU168333U1
Application number: RU2016141640U
Authority: RU
Inventors: Максим Викторович Акинин; Наталья Викторовна Акинина; Илья Сергеевич Солдатенко
Priority date: 2016-11-03
Filing date: 2016-11-03
Publication date: 2017-01-30

Abstract

Полезная модель относится к области построения синтезированных изображений и может быть использована для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.В блоке регистрации изображений исходные изображения от телевизионной, тепловизионной камер и радара объединяются и передаются в блоки сегментатор и совмещение. В блоке сегментатор, выполненном по пирамидальной схеме, производится сегментация соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, а результат передается в блок классификатор. В блоке классификатор, состоящем из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети, производится классификация объектов изображения и результат передается в блок визуализации. В блоке совмещение производится совмещение трехмерной модели местности и комплексного изображения, полученного путем комплексирования различных спектральных каналов друг с другом, и результат - синтезированное изображение передается в блок визуализация. В блоке визуализация упорядочиваются результаты совмещения и классификации накладыванием их друг на друга и формированием улучшенного изображения передаваемого по шине Ethernet на дисплей системы улучшенного видения.Техническая задача предлагаемой полезной модели состоит в улучшении основных эксплуатационных параметров бортовых систем улучшенного видения. 1 ил.

Description

Устройство относится к области построения синтезированных изображений по результатам дешифрации кадров телевизионной (в видимых спектральных каналах), тепловизионной и радарной съемки в режиме реального времени на борту летательных аппаратов и может быть использовано для вывода вспомогательной информации на дисплее пилота, используемом для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.

Известны следующие системы синтезированного видения.

Компания Kollsman Inc. (США) предлагает два решения - Kollsman All Weather Window и Kollsman Night Window. Первая система предназначена для работы во всепогодных условиях. В состав системы входят: охлаждаемый инфракрасный (ИК) датчик, спецвычислитель, дисплей с подогревом, программное обеспечение обработки и визуализации изображений. Система Kollsman Night Window представляет собой более компактное и дешевое решение, предназначенное для работы в темное время суток, но при хороших погодных условиях. В состав системы входит неохлаждаемый микроболометр, работающий в диапазоне 88-1414 мкм.

Компания CMC Electronics (Канада) предлагает два вида систем: СМА-2600 I-Series и более компактный и дешевый вариант СМА-2610 M-Series. В I-Series используется охлаждаемый, двухдиапазонный (11-33 мкм и 33-55 мкм) ИК-датчик, в случае M-Series - неохлаждаемый, работающий в диапазоне 88-1414 мкм. В стадии разработки находится система на базе миллиметрового радара. Также может устанавливаться подсистема синтезированного зрения (EVS), предоставляющая данные о рельефе местности.

Компания Max-Viz Inc. (США) предлагает систему EVS 25002500 на базе двух ИК-датчиков: длинноволнового - для формирования изображений рельефа и потенциальных препятствий, и коротковолнового - для обнаружения ярких сигнальных огней взлетно-посадочной полосы. Информация с обоих датчиков поступает на спецвычислитель, где комплексируется и выдается на дисплей летчику. Благодаря использованию неохлаждаемых ИК-датчиков EVS 25002500 имеет компактные размеры, небольшой вес и достаточно проста в установке. Кроме того, отсутствие криогенной системы охлаждения значительно уменьшает ее стоимость. Компания также предлагает более дешевое решение на базе одного неохлаждаемого ИК-датчика EVS 10001000 для вертолетов и бизнес-самолетов.

Rockwell Collins EVS формирует ИК-изображения внешней среды, которую видит пилот, и выводит их на дисплей навигационной системы на лобовом стекле HGS-4000HGS-4000 разработки этой же компании. Интерфейс системы обеспечивает взаимодействие ИК-датчика и навигационной системы HGS с целью предоставления пилоту оптимального по качеству ИК-изображения.

Все перечисленные сертифицированные коммерческие системы представляют собой простые неинтеллектуальные системы «датчик-дисплей», обеспечивающие передачу изображения, полученного от датчиков, на индикатор в кабине пилота. Лишь некоторые системы предоставляют возможность визуализации синтезированных географических данных с использованием GPS. Лишь в одной из систем используется комплексирование изображений от различных датчиков, причем оба датчика ИК (различных диапазонов). Задача комплексирования и отображения одновременно поступающих данных не рассматривается и не решается ни в одной из этих систем. Также ни в одной из коммерческих систем не рассматриваются задачи автоматического выделения взлетно-посадочной полосы, препятствий и распознавания объектов из базы геопространственных данных. Тем более не рассматриваются задачи стыковки EVS с системой автоматического управления посадкой.

Цель заявляемой полезной модели - создание EVS следующего поколения, представляющих собой авиационные системы многоспектрального технического зрения и улучшенной компьютерной визуализации закабинной обстановки, существенно превосходящие ныне известные EVS гражданского назначения по набору функций комплексирования, и особенно - в части интеллектуальной обработки видеоданных.

Технический результат заявляемой полезной модели - улучшение точности совмещения реальных изображений с цифровой картой местности и построения по результатам совмещения синтезированных изображений в виде трехмерных моделей местности специализированной системой улучшенного видения на дисплее пилота, используемом для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.

Для решения задач дешифрации и совмещения аэрофотоснимков, полученных от бортовых камер летательного аппарата (ЛА), в заявляемой полезной модели выполняется ряд действий, среди которых можно выделить:

- предварительная обработка изображений;

- сегментация изображений;

- классификация образов на изображении;

- визуализация результатов дешифрации изображений;

- построение виртуальной модели местности по цифровой карте местности;

- совмещение реальных изображений с цифровой картой местности с применением специального коррелятора.

В заявляемом устройстве достигается улучшение:

- качества комплексирования цифровых карт и моделей местности с реальными изображениями, полученными в ходе съемки подстилающей поверхности в различных спектральных диапазонах и оцениваемое как процентное соотношение правильно совмещенных тестовых пар точек к неправильно совмещенным парам на наборе модельных изображений и цифровых карт местности, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного зрения при полетах над средней полосой России;

- качества обнаружения объектов на изображениях, оцениваемое как процентное соотношение правильно распознанных образов объектов к неправильно распознанным на наборе модельных изображений, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного зрения при полетах над средней полосой России;

- снижение времени обработки одного кадра.

Оценка качества работы заявляемой полезной модели производится путем:

- оценки среднего и максимального времени выполнения дешифрации;

- оценки точности дешифрации путем оценки количества правильно распознанных образов на изображении;

- оценки диапазона условий применения дешифрации;

- оценки среднего и максимального времени выполнения совмещения;

- оценки точности совмещения путем оценки количества правильно совмещенных контрольных точек на реальных изображениях и на цифровых картах местности;

- оценки диапазона условий применения совмещения.

Оценка качества работы заявляемой полезной модели производится на тестовом наборе изображений, репрезентативно покрывающем множество возможных комбинаций погодных условий, времени съемок, времен года и прочих факторов, влияющих на качество выполнения съемки для конкретного климата, природных условий и тому подобных характеристик местности.

Одним из самых популярных подходов, применяемых при проектировании устройств синтезированного видения, относится подход, базирующийся на применении дерева принятия решений для сегментации и распознавания изображений. Дерево принятия решений может быть реализовано аппаратно. Обладая низкими временными затратами на дешифрацию изображений, данный подход имеет низкую точность распознавания (в лучшем случае - 50-60% образов) и узкий диапазон условий применения - аппаратный модуль, реализующий дерево принятий решений, требует перенастройки под различные погодные условия, различные времена года и т.п. даже для одной сцены.

Другим подходом является метод, основанный на применении эвристических систем дешифрации изображений, в состав которых входят различные концепции теории искусственного интеллекта и теории машинного обучения. Нередко в состав таких систем включаются искусственные нейронные сети, однако, учитывая общую концепцию данных систем, все вычисления выполняются, как правило, на специализированном вычислительном устройстве, состоящем из центрального процессора и одного или нескольких графических процессоров, с помощью которых достигается распараллеливание вычислений. Данный подход существенно проигрывает по времени выполнения подходам, реализованным полностью аппаратно, однако лучше подхода, основанного на дереве принятия решений, с точки зрения точности дешифрации и возможного диапазона, поскольку имеет больше возможностей по тонкой настройке.

Для достижения низких временных показателей, высокой показателей точности и широкой применимости процесса дешифрации в настоящей полезной модели используется подход, основанный на применении нейросетевых концепций, реализованных аппаратно.

На Фиг. 1 представлена блок-схема заявляемой полезной модели.

Заявляемое устройство состоит из нескольких блоков, реализующих алгоритм, позволяющий достичь заявляемого технического результата.

Блок «Регистрация изображения», выполненный по технологии программируемой логической схемы (ПЛИС), получает на вход по шине Ethernet исходные изображения от телевизионной, тепловизионной камер и радара, выполняет их объединение в одно изображение и расширяет цветовой диапазон изображения до 16 бит на спектральный канал, после чего передает результирующее изображение на входы блоков «Сегментатор» и «Совмещение».

Блок «Сегментатор» представляет собой модули «Построение дерева изображений» и «Простой сегментатор», последовательно связанных друг с другом шинами передачи данных, выполненных по технологии PCIe. Модуль «Построение дерева изображений» выполняет кратномасштабную обработку изображений (пять уровней), на каждом шаге уменьшая изображение в два раза путем усреднения его элементов. Модуль «Простой сегментатор» представляет собой выполненые по пирамидальной схеме 5 параллельных ячеек «Простой сегментатор 1», …, «Простой сегментатор 5», выполняющих сегментацию соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена и передавая результат обработки на вход блока «Классификатор».

Блок «Классификатор» выполняет классификацию образов на изображении и содержит несколько модулей, выполненных в виде ПЛИС. На вход модуля «Очередь» поступают сигналы с выходов 5 ячеек блока «Простой сегментатор» и в нем реализуется очередь изображений. С выхода модуля «Очередь» изображения поступают на вход модуля «Дерево классификаторов». Модуль «Дерево классификаторов» через двухстороннюю связь управляет деревом классификаторов - передает на вход модуля «Простой классификатор» вектор параметров классификатора, зависящий от уровня классификатора в дереве классификаторов: погодных условий съемки, времени года съемки и прочих факторов, и соответствующее изображение. Результат своей работы модуль «Простой классификатор» передает обратно модулю «Дерево классификаторов», который выполняет анализ результатов и принимает решение о дальнейшей необходимости классификации или выдачи результатов классификации образов, выделенных на обрабатываемом изображении, на вход блока «Визуализация».

Блок «Совмещение» осуществляет формирование синтезированного изображения и содержит несколько модулей. Модуль «Создание комплексного изображения» получает на вход результирующее изображение с выхода блока «Регистрация изображений» и создает комплексное изображение путем комплексирования различных спектральных каналов друг с другом, результат чего передается на вход модуля «Совмещение». На вход модуля «Совмещение» подается также сигнал с выхода модуля «Построение 3D-модели местности», выполняющего построение трехмерной модели местности путем совмещения двухмерной карты местности и матрицы высот, соответствующей данной карте. Двухмерная карта местности и матрица высот выбираются из соответствующих баз данных по данным датчика GPS для текущей местности. Модуль «Совмещение» выполняет совмещение трехмерной модели местности и комплексного изображения, результат чего - синтезированное изображение - передает на блок «Визуализация».

Блок «Визуализация», выполненный в виде ПЛИС, упорядочивает результаты совмещения и классификации, накладывая их друг на друга с формированием улучшенного изображения, и передает их по шине Ethernet на дисплей системы улучшенного видения.

Полезная модель была реализована на базе лабораторий ФГБОУ ВО «Тверской государственный университет» в рамках НИР «Разработка программно-аппаратного комплекса синтезированного видения в составе бортовых систем гражданской авиации для улучшения ситуационной осведомленности пилота в условиях затрудненной видимости и сложного рельефа» (ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса на 2014-2020 годы», соглашение о предоставлении субсидии от 08 июля 2014 г. №14.574.21.0084).

Отличительной особенностью реализованной полезной модели является:

- выполнение сегментатора по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений-представлений исходного изображения и дальнейшее объединение результатов сегментации с помощью соответствующей экспертной системы;

- выполнение классификатора, состоящим из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

- использование в корреляторе алгоритма ограниченных стохастических машин Больцмана;

- введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов работы сегментатора и классификатора.

Заявляемое устройство по результатам дешифрации и совмещения с цифровой картой местности изображений, полученных путем аэрофотосъемки в видимом и ближнем инфракрасном спектральных диапазонах, реализует распознавание характерных площадных, объемных, протяженных и точечных подвижных и неподвижных объектов с точностью до 1-го метра по положению объекта и до 0,5 метра по размерам объекта по каждой из осей координат при любых погодных условиях съемки при скорости летательного аппарата не более 300 км/ч, основана на применении древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, и коррелятора, основанного на применении ограниченных стохастических машин Больцмана, представленных в виде программно-аппаратного модуля, реализующего в виде программного обеспечения и на ПЛИС алгоритмы регистрации и предобработки изображений, алгоритмы работы сегментатора, алгоритмы обучения и работы классификатора, алгоритмы расчета корреляции между реальными изображениями и ракурсами цифровой модели местности, алгоритмы построения цифровой модели местности на основе цифровой карты местности и матрицы высот, алгоритмы постобработки изображений, алгоритмы визуализации результирующих изображений.

В рамках выполнения данной НИР были проведены экспериментальные исследования устройства, которые выявили и подтвердили следующие достижимые характеристики.

- точность совмещения изображений и цифровых карт местности, равная 98,12% от общего количества пикселей на изображении и соответствующем рендере ракурса цифровой модели местности, построенной на основе цифровой карты местности;

- точность распознавания образов равна 98,23% от общего количества образов;

- время обработки кадра размером 2000 на 2000 пикселей, состоящем из пяти спектральных каналов видимого и ближнего инфракрасного диапазонов, равно 0,029 секунды, что равно примерно 34-м кадрам в секунду и удовлетворяет требованиям, предъявляемым к бортовой системе улучшенного видения, функционирующей в режиме реального времени.

Claims

Устройство синтезированного видения, включающее блок регистрация изображений, один выход которого соединен с входом модуля построение дерева изображений блока сегментатор, а второй соединен с входом модуля создание комплексного изображения блока совмещение, выход модуля построение дерева изображений соединен с пятью выполненными параллельными модулями простой сегментатор блока сегментатор, выходы модулей простой сегментатор соединены с входом модуля очередь блока классификатор, выход модуля очередь соединен с входом модуля дерево классификаторов блока классификатор, один из выходов модуля блок классификаторов соединен двухсторонней связью с входом модуля простой классификатор блока классификатор, а второй - с одним из входов блока визуализация, выход модуля создание комплексного изображения соединен с одним из входов модуля совмещение блока совмещение, другой вход модуля совмещение соединен с выходом модуля построение 3D модели местности блока совмещение, вход модуля построение 3D модели местности соединен с модулями баз данных цифровых карт местности и матриц высот, выход модуля совмещение соединен со вторым входом блока визуализация.