RU2668539C1 - Способ и видеосистема предупреждения столкновения летательного аппарата с препятствиями - Google Patents

Abstract

Группа изобретений относится к способу предупреждения столкновения летательного аппарата (ЛА) с препятствиями и видеосистеме. Видеосистема содержит видеоблок с объективом, сетевой коммутатор, блок обработки данных, группу аналоговых преобразователей и группу АЦП-преобразователей, спутниковый навигационный приемник, табло для отображения времени до столкновения ЛА с препятствием, динамик звукового предупреждения, группу средств подсветки препятствия. Для предупреждения столкновения отображают в видеоблоке в каждый момент времени изменяющееся изображение, преобразуют изображение в цифровые данные и регистрируют их в памяти, обрабатывают совокупность полученных кадров, результаты обработки используют для обнаружения препятствий определенным образом, выдают соответствующую команду для наиболее рационального маневра или звуковой сигнал на динамик пилотируемого ЛА и информацию о времени до столкновения. Обеспечивается повышение надежности обнаружения препятствий и выполнение маневра ЛА. 2 н. и 5 з.п. ф-лы, 1 ил.

Description

Изобретение относится к областям вычислительной техники, электроники, видеотехники и авиационной техники и может быть использовано в качестве бортовой системы предотвращения столкновения летательного аппарата (ЛА) с препятствиями, в том числе - малозаметными типа проводов линий электропередач.

Известны способ и устройство предотвращения столкновения ЛА с препятствиями (заявка на изобретение «Способ и устройство предупреждения ЛА о препятствиях в сложных метеоусловиях» №2004123079/11 по МПК G08G 1/00 от 28.07.2004 г.), характеризующиеся обнаружением препятствий с помощью бортового радиолокатора.

Недостатком известного изобретения, использующего радиолокатор, является его уязвимость от радиопомех, определенный уровень мощности и спектрального состава которых может полностью блокировать работу радиолокатора, который, кроме того, тяжел и объемен.

От этих недостатков свободны видеосистемы, которые при хорошей видимости и не большой дальности эффективнее радиолокаторов. В любом случае видеосистему целесообразно использовать как дополнительное средство, существенно повышающее безопасность полета и посадки ЛА.

Наиболее близким по технической сущности к заявляемому изобретению является «Способ оперативной идентификации людей и устройство для его осуществления» (патент №2598291 по МПК G08B 21/02 от 01.04.2015 г.), характеризующиеся видеонаблюдением представляющего интерес пространства с помощью видеоблока (в известном изобретении - с помощью видеокамеры), электрическим потенциальным отображением в видеоблоке в каждый момент времени соответствующего изменяющегося изображения, аналого-цифровым преобразованием (АЦП-преобразованием) изображения, упорядоченной регистрацией цифровых данных в виде соответствующих фиксированных кадров в памяти блока обработки данных (БОД) (в известном изобретении - в памяти автоматизированного рабочего места - АРМ) и совместной обработкой в БОД заданной совокупности кадров. Устройство известного изобретения, кроме того, как и заявляемая видеосистема использует сетевой коммутатор.

Недостатком данного известного изобретения является то, что оно предназначено для использования в виде стационарных неподвижных средств видеонаблюдения за относительно медленно перемещающимися объектами и не может быть использовано в качестве более надехного бортового средства на ЛА для предупреждения столкновения ЛА с препятствиями в условиях дефицита времени и плохой видимости, для чего требуется соответствующая обработка большого потока информации, причем не только видимого диапазона, но и инфракрасного и ультрафиолетового.

Техническим результатом заявленного изобретения является повышение надежности своевременного обнаружения с помощью соответствующего бортового оборудования на ЛА препятствий для выполнения маневра движущимся ЛА, причем в условиях хорошей и плохой видимости.

Указанный технический результат, в части способа, достигается тем, что способ предупреждения столкновения ЛА с препятствиями, характеризующийся видеонаблюдением представляющего интерес пространства с помощью видеоблока, электрическим потенциальным отображением в видеоблоке в каждый момент времени соответствующего изменяющегося изображения, аналого-цифровым преобразованием (АЦП-преобразованием) изображения, упорядоченной регистрацией цифровых данных в виде соответствующих фиксированных кадров в памяти блока обработки данных (БОД) и совместной обработкой в БОД заданной совокупности кадров, характеризуется также тем, что дополнительно осуществляют наблюдения в инфракрасном, ультрафиолетовом и видимом диапазоне, преобразуя изображения с помощью соответствующих аналоговых преобразователей в электрические потенциалы, а затем оцифрованные кадры изображения после АЦП-преобразования образуют вместе с видеонаблюдением группу независимых каналов наблюдения, которые далее в БОД обрабатывают по одним и тем же правилам, а результаты обработки используют совместно или раздельно, для обнаружения препятствия, распознавания его типа и определения его местоположения относительно ЛА осуществляют поэтапный динамический анализ разностных данных совокупности зарегистрированных кадров изображения, на первом этапе осуществляют анализ временных колебаний яркости указанных изображений, для чего в изображениях поступившей совокупности кадров попиксельно вычитают предшествующие изображения и определяют область возможных препятствий по гистограмме распределения изменения яркости в анализируемой совокупности кадров, на которой, в случае наличия близких препятствий, положение или размер которых меняется в поле зрения ЛА, будут формироваться экстремумы, которые определяются и апроксимируются гауссианами, в результате чего вычисляют наиболее частое значение изменения яркости с диапазоном, соответствующим ширине на полувысоте гаусиана, после чего на разностных изображениях выделяются области, изменения яркости которых находится в найденном диапазоне, и определяются связные области, которые рассматриваются как области, содержащие препятствие, на втором этапе осуществляют контурный анализ найденных областей на данной совокупности изображений путем нахождения градиента по яркости во всех направлениях, после чего к возможным контурам относят все скачки яркости, найденные на изображениях, затем определяют связность найденных скачков путем сравнения яркости в соседних пикселях, в результате контуром считается связная область, содержащая скачки яркости, на третьем этапе определяется время до возможного столкновения ЛА с препятствием, которое вычисляют в БОД при условии прямолинейного равномерного приближения ЛА к препятствию в соответствии с пропорциональной зависимостью геометрического увеличения изображения в кадре и затрачиваемого на это времени, для чего берут две характерные точки на изображении в кадре по горизонтали и две по вертикали для момента времени t₁,a затем для момента времени t₂ определяют значения увеличения изображения в кадре в пикселях по горизонтали (П_г) и по вертикали (П_в), откуда определяют скорость приближения ЛА к препятствию по горизонтали П_г:(t₂-t₁) и по вертикали П_в:(t₂-t₁), а затем определяют ожидаемое время столкновения ЛА с препятствием по горизонтали (t_с,г) и вертикали (t_с,в) для ситуаций, когда выбранные характерные точки изображения достигают, пройдя оставшиеся пиксели П_о,г и П_о,в, границ кадра t_с,г=П_о,г:[П_г:(t₂-t₁)] и t_с,в=П_о,в:[П_в:(t₂-t₁)], по полученным данным оперативно для беспилотного ЛА из БОД через сетевой коммутатор выдают соответствующую команду на блок управления ЛА для осуществления наиболее рационального маневра по горизонтали или по вертикали или и того и другого одновременно, а для пилотируемого ЛА через сетевой коммутатор выдаются звуковой сигнал на динамик и информация о убывающем времени до ожидаемого столкновения ЛА с препятствием по горизонтали и вертикали.

Технический результат в части устройства видеосистемы достигается также тем, что видеосистема предупреждения столкновения ЛА с препятствиями, содержащая видеоблок с последовательно связанными объективом и АЦП-преобразователем, сетевой коммутатор и БОД, причем выход видеоблока соединен с первым входом сетевого коммутатора, первый выход которого соединен со входом БОД, выход которого является выходом видеосистемы для подключения блока управления ЛА, дополнительно содержит группу аналоговых преобразователей и группу АЦП-преобразователей сигналов наблюдения в инфракрасном и ультрафиолетовом диапазонах, образуя вместе с видеонаблюдением группу независимых каналов наблюдения, спутниковый навигационный приемник, табло для отображения времени до столкновения ЛА с препятствием, динамик звукового предупреждения столкновения и группу средств подсветки препятствия, при этом выход спутникового навигационного приемника соединен со вторым входом сетевого коммутатора, второй, третий и четвертый выходы которого соединены соответственно с входом табло, входом динамика и входом группы средств подсветки препятствия.

Причем БОД представляет собой программируемую логическую интегральную схему (ПЛИС), реализующую обработку изображений в цифровом сигнальном процессоре посредством использования соответствующего программного обеспечения, хранящегося в ПЗУ, а в качестве преобразователя изображения используют детектор на основе комплементарной структуры металл-оксид-полупроводник (КМОП - детектор), включающий в себя АЦП-преобразователь, конструктивно видеосистема выполнена в компактном металлическом корпусе с возможностью его крепления снаружи на ЛА. В качестве видеоблока используют приемник инфракрасного излучения или/и приемник ультрафиолетового излучения или/и приемник излучения в видимом диапазоне. Видеосистема содержит ультрафиолетовый излучатель или/и инфракрасный излучатель или/и прожектор.

На чертеже представлена структурная схема одной из реализаций видеосистемы.

Видеосистема содержит:

1 - видеоблок с группой 1.1 аналоговых преобразователей (приемников): 1.1.1 - видимого диапазона, 1.1.2 - инфракрасного диапазона и 1.1.3 - ультрафиолетового диапазона и группой 1.2 АЦП-преобразователей 1.2.1, 1.2.2,1.2.3 для указанных выше диапазонов;

2 - сетевой коммутатор;

3 - блок обработки данных (бОД);

4 - спутниковый навигационный приемник;

5 - группу средств подсветки препятствия в составе прожектора 5.1, инфракрасного излучателя 5.2 и ультрафиолетового излучателя 5.3;

6 - табло для отображения времени до столкновения с препятствием;

7 - динамик звукового предупреждения о возможном столкновении ЛА с препятствием.

Препятствие 8 и блок 9 управления ЛА не входят в видеосистему и показаны для лучшей наглядности.

Используемые в видеосистеме элементы и материалы широко применяются в промышленности РФ. Причем БОД 3 представляет собой программируемую логическую интегральную схему (ПЛИС), реализующую обработку изображений в цифровом сигнальном процессоре посредством использования соответствующего программного обеспечения, хранящегося в ПЗУ, а в качестве преобразователя изображения используют детектор на основе комплементарной структуры металл-оксид-полупроводник (КМОП - детектор), включающий в себя АЦП-преобразователь.

Видеосистема предупреждения столкновения ЛА с препятствиями, содержащая видеоблок 1 с последовательно связанными объективом (приемник видимого диапазона) 1.1.1 и соответствующим АЦП-преобразователем 1.2, сетевой коммутатор 2 и БОД 3, причем выход видеоблока 1 соединен с первым входом сетевого коммутатора 2, первый выход которого соединен со входом БОД 3, выход которого является выходом видеосистемы для подключения блока 9 управления ЛА, дополнительно содержит группу 1.1 аналоговых преобразователей и группу 1.2 АЦП-преобразователей сигналов наблюдения в инфракрасном и ультрафиолетовом диапазонах, образуя вместе с видеонаблюдением группу независимых каналов наблюдения, спутниковый навигационный приемник 4, табло 6 для отображения времени до столкновения ЛА с препятствием, динамик 7 звукового предупреждения столкновения и группу 5 средств подсветки препятствия 8, при этом выход спутникового навигационного приемника 4 соединен со вторым входом сетевого коммутатора 2, второй, третий и четвертый выходы которого соединены соответственно с входом табло 6, входом динамика 7 и входом группы 5 средств подсветки препятствия.

Способ осуществляется следующим образом.

Предупреждение столкновения ЛА с препятствиями по курсу его полета в зависимости от внешних условий (погодных, времени суток, года, географических и т.п.) осуществляют путем наблюдения за соответствующим курсу пространством с помощью видеоблока 1, принимающего сигналы оптического и/или инфракрасного и/или ультрафиолетового диапазонов. При хорошей дневной видимости и ночью с применением прожектора 5.1 наилучшие результаты дает видеонаблюдение, которым можно ограничиться. В более сложных ситуациях для прохождения сигналов видимого спектра используют в соответствии с инструкцией отдельно или совместно с сигналами видимого диапазона сигналы инфракрасного и/или ультрафиолетового диапазонов. В соответствии с физической природой используемого диапазона осуществляют аналоговое преобразование соответствующих сигналов с помощью группы 1.1 аналоговых преобразователей (фотоэлементы - для видимого диапазона и т.п.) в электрические потенциалы, отображающие в видеоблоке 1 в каждый момент времени соответствующего изменяющегося изображения наблюдаемого пространства. Далее с помощью группы 1.2 осуществляют аналого-цифровое преобразование (АЦП-преобразование) изображения с упорядоченной регистрацией цифровых данных в виде соответствующих фиксированных кадров в памяти блока обработки данных (БОД) 3. Затем оцифрованные кадры изображения после АЦП-преобразования образуют группу независимых каналов наблюдения, которые далее в БОД 3 обрабатывают по одним и тем же правилам, а результаты обработки используют совместно или раздельно, для обнаружения препятствия, распознавания его типа и определения его местоположения относительно ЛА. При этом осуществляют поэтапный динамический анализ разностных данных совокупности зарегистрированных кадров изображения. На первом этапе осуществляют анализ временных колебаний яркости указанных изображений, для чего в изображениях поступившей совокупности кадров попиксельно вычитают предшествующие изображения и определяют область возможных препятствий по гистограмме распределения изменения яркости в анализируемой совокупности кадров, на которой, в случае наличия близких препятствий, положение или размер которых меняется в поле зрения ЛА, будут формироваться экстремумы, которые определяются и апроксимируются гауссианами, в результате чего вычисляют наиболее частое значение изменения яркости с диапазоном, соответствующим ширине на полувысоте гаусиана, после чего на разностных изображениях выделяются области, изменения яркости которых находится в найденном диапазоне, и определяются связные области, которые рассматриваются как области, содержащие препятствие. На втором этапе осуществляют контурный анализ найденных областей на данной совокупности изображений путем нахождения градиента по яркости во всех направлениях, после чего к возможным контурам относят все скачки яркости, найденные на изображениях, затем определяют связность найденных скачков путем сравнения яркости в соседних пикселях, в результате контуром считается связная область, содержащая скачки яркости. На третьем этапе определяется время до возможного столкновения ЛА с препятствием, которое вычисляют в БОД при условии прямолинейного равномерного приближения ЛА к препятствию в соответствии с пропорциональной зависимостью геометрического увеличения изображения в кадре и затрачиваемого на это времени, для чего берут две характерные точки на изображении в кадре по горизонтали и две по вертикали для момента времени t₁, а затем для момента времени t₂ определяют значения увеличения изображения в кадре в пикселях по горизонтали (П_г) и по вертикали (П_в), откуда определяют скорость приближения ЛА к препятствию по горизонтали П_г:(t₂-t₁) и по вертикали П_в:(t₂-t₁), а затем определяют ожидаемое время столкновения ЛА с препятствием по горизонтали (t_с,г) и вертикали (t_с,в) для ситуаций, когда выбранные характерные точки изображения достигают, пройдя оставшиеся пиксели П_о,г и П_о,в, границ кадра t_с,г=П_о,г:[П_г:(t₂-t₁)] и t_с,в=П_о,в:[П_в:(t₂-t₁], по полученным данным оперативно для беспилотного ЛА из БОД через сетевой коммутатор выдают соответствующую команду на блок управления ЛА для осуществления наиболее рационального маневра по горизонтали или по вертикали или и того и другого одновременно, а для пилотируемого ЛА через сетевой коммутатор 2 выдаются звуковой сигнал на динамик 7 и информация о убывающем времени до ожидаемого столкновения ЛА с препятствием по горизонтали и вертикали на табло 5.

Видеосистема работает следующим образом.

Все сказанное выше при рассмотрении осуществления способа полностью распространяется на работу видеосистемы. Поэтому здесь без лишних повторений рассматриваются те фрагменты, которые не имели значения раньше.

Цифровая информация с выхода видеоблока 1 через сетевой коммутатор 2 параллельным кодом (для наивысшей скорости передачи информации) поступает в БОД 3. При этом канал связывающий сетевой коммутатор 2 и БОД 3 является двунаправленным. В обратную сторону от БОД через сетевой коммутатор 2 передаются команды на динамик 7 звукового предупреждения о возможном столкновении ЛА с препятствием 8, на табло 6 убывающего времени до возможного столкновения ЛА с препятствием 8 и включения прожектора 5.1, инфракрасного излучателя 5.2 и ультрафиолетового излучателя 5.3. От спутникового навигационного приемника 4 через сетевой коммутатор 2 на БОД 3 передается точное текущее время системы единого времени, необходимое для расчета времени до возможного столкновения ЛА с препятствием 8. С выхода БОД 3 для беспилотного ЛА на его блок управления выдаются команды управления для совершения маневра, предотвращающего столкновение ЛА с препятствием 8.

Claims (7)

1. Способ предупреждения столкновения летательного аппарата (ЛА) с препятствиями, характеризующийся видеонаблюдением представляющего интерес пространства с помощью видеоблока, электрическим потенциальным отображением в видеоблоке в каждый момент времени соответствующего изменяющегося изображения, аналого-цифровым преобразованием (АЦП-преобразованием) изображения, упорядоченной регистрацией цифровых данных в виде соответствующих фиксированных кадров в памяти блока обработки данных (БОД) и совместной обработкой в БОД заданной совокупности кадров, отличающийся тем, что дополнительно осуществляют наблюдения в инфракрасном, ультрафиолетовом и видимом диапазоне, преобразуя изображения с помощью соответствующих аналоговых преобразователей в электрические потенциалы, а затем оцифрованные кадры изображения после АЦП-преобразования образуют вместе с видеонаблюдением группу независимых каналов наблюдения, которые далее в БОД обрабатывают по одним и тем же правилам, а результаты обработки используют совместно или раздельно, для обнаружения препятствия, распознавания его типа и определения его местоположения относительно ЛА осуществляют поэтапный динамический анализ разностных данных совокупности зарегистрированных кадров изображения, на первом этапе осуществляют анализ временных колебаний яркости указанных изображений, для чего в изображениях поступившей совокупности кадров попиксельно вычитают предшествующие изображения и определяют область возможных препятствий по гистограмме распределения изменения яркости в анализируемой совокупности кадров, на которой в случае наличия близких препятствий, положение или размер которых меняется в поле зрения ЛА, будут формироваться экстремумы, которые определяются и апроксимируются гауссианами, в результате чего вычисляют наиболее частое значение изменения яркости с диапазоном, соответствующим ширине на полувысоте гауссианы, после чего на разностных изображениях выделяются области, изменения яркости которых находятся в найденном диапазоне, и определяются связные области, которые рассматриваются как области, содержащие препятствие, на втором этапе осуществляют контурный анализ найденных областей на данной совокупности изображений путем нахождения градиента по яркости во всех направлениях, после чего к возможным контурам относят все скачки яркости, найденные на изображениях, затем определяют связность найденных скачков путем сравнения яркости в соседних пикселях, в результате контуром считается связная область, содержащая скачки яркости, на третьем этапе определяется время до возможного столкновения ЛА с препятствием, которое вычисляют в БОД при условии прямолинейного равномерного приближения ЛА к препятствию в соответствии с пропорциональной зависимостью геометрического увеличения изображения в кадре и затрачиваемого на это времени, для чего берут две характерные точки на изображении в кадре по горизонтали и две по вертикали для момента времени t₁, а затем для момента времени t₂ определяют значения увеличения изображения в кадре в пикселях по горизонтали (П_г) и по вертикали (П_в), откуда определяют скорость приближения ЛА к препятствию по горизонтали П_г:(t₂-t₁) и по вертикали П_в:(t₂-t₁), а затем определяют ожидаемое время столкновения ЛА с препятствием по горизонтали (t_с,г) и вертикали (t_с,в) для ситуаций, когда выбранные характерные точки изображения достигают, пройдя оставшиеся пиксели П_о,г и П_о,в, границ кадра t_с,г=П_о,г:[П_г:(t₂-t₁)] и t_с,в=П_о,в:[П_в:(t₂-t₁)], по полученным данным оперативно для беспилотного ЛА из БОД через сетевой коммутатор выдают соответствующую команду на блок управления ЛА для осуществления наиболее рационального маневра по горизонтали, или по вертикали, или и того и другого одновременно, а для пилотируемого ЛА через сетевой коммутатор выдаются звуковой сигнал на динамик и информация о убывающем времени до ожидаемого столкновения ЛА с препятствием по горизонтали и вертикали на соответствующее табло.

2. Видеосистема предупреждения столкновения летательного аппарата с препятствиями, содержащая видеоблок с последовательно связанными объективом и АЦП-преобразователем, сетевой коммутатор и блок обработки данных (БОД), причем выход видеоблока соединен с первым входом сетевого коммутатора, первый выход которого соединен со входом БОД, выход которого является выходом видеосистемы для подключения блока управления ЛА, отличающаяся тем, что она дополнительно содержит группу аналоговых преобразователей и группу АЦП-преобразователей сигналов наблюдения в инфракрасном и ультрафиолетовом диапазонах, образуя вместе с видеонаблюдением группу независимых каналов наблюдения, спутниковый навигационный приемник, табло для отображения времени до столкновения ЛА с препятствием, динамик звукового предупреждения столкновения и группу средств подсветки препятствия, при этом выход спутникового навигационного приемника соединен со вторым входом сетевого коммутатора, второй, третий и четвертый выходы которого соединены соответственно с входом табло, входом динамика и входом группы средств подсветки препятствия.

3. Видеосистема по п. 2, отличающаяся тем, что БОД представляет собой программируемую логическую интегральную схему (ПЛИС), реализующую обработку изображений в цифровом сигнальном процессоре посредством использования соответствующего программного обеспечения, хранящегося в постоянном запоминающем устройстве (ПЗУ), а в качестве преобразователя изображения используют детектор на основе комплементарной структуры металл-оксид-полупроводник (КМОП - детектор), включающий в себя АЦП-преобразователь, конструктивно видеосистема выполнена в компактном металлическом корпусе с возможностью его крепления снаружи на ЛА.

4. Видеосистема по п. 2, отличающаяся тем, что в качестве видеоблока используют приемник инфракрасного излучения, или/и приемник ультрафиолетового излучения, или/и приемник излучения в видимом диапазоне.

5. Видеосистема по п. 2, отличающаяся тем, что она содержит ультрафиолетовый излучатель.

6. Видеосистема по п. 2, отличающаяся тем, что она содержит инфракрасный излучатель.

7. Видеосистема по п. 2, отличающаяся тем, что она содержит прожектор.

Images