RU2816392C1 - Комплекс оптического видеонаблюдения, обнаружения и идентификации объектов на основе машинного зрения для морских и речных судов - Google Patents

Abstract

Изобретение относится к области оптических систем технического зрения для систем управления движением морских судов и предназначено для оснащения систем управления судов, а также морских автономных надводных судов с целью повышения уровня безопасности. Предложен комплекс оптического видеонаблюдения, обнаружения и идентификации объектов, содержащий по меньшей мере одну стационарную оптическую систему и поворотную оптическую систему, в котором поворотная оптическая система представляет собой сканирующую систему с постоянным фокусным расстоянием, выполненную с возможностью поворота на 360 градусов для обеспечения полного обзора с частотой не менее 1 Гц. По меньшей мере одна стационарная оптическая система включает в себя по меньшей мере одну телевизионную камеру с постоянным фокусным расстоянием и по меньшей мере одну тепловизионную камеру. Стационарная оптическая система и сканирующая система снабжены каждая мини-компьютером с техническим зрением с установленным в нем ПО. Увеличивается угол обзора, повышается вероятность обнаружения, распознавания и идентификации объектов одновременно. 1 з.п. ф-лы, 1 ил.

Description

Область техники, к которой относится изобретение

Изобретение относится к области оптических систем технического зрения для систем управления движением морских судов и предназначено для оснащения систем управления судов (СУДС), а также морских автономных надводных судов (МАНС) с целью повышения уровня безопасности в контролируемых районах акватории и при движении автономных судов. В частности, такие системы предназначены:

- для осуществления видеонаблюдения в акватории СУДС, в том числе повышения ситуационной осведомленности операторов СУДС о судах, маломерных судах (моторных, парусных, весельных), дрейфующих объектах и других видах навигационных опасностей, находящихся в зоне действия СУДС;

- для получения дополнительной информации об окружающей МАНС навигационной обстановкой в контролируемом районе акватории, как в режиме полностью автоматического управления, так и в режиме автоматизированного дистанционного управления судном оператором с центра дистанционного управления (ЦДУ) для обеспечения безопасности выполнения маневров автономного судна и исключения ситуации опасного сближения.

Уровень техники

Известна система управления ранним предупреждением для обеспечения безопасности при пересечении транспортных средств, US20080169939A1, 17.07.2008, включающая в свой состав видеонаблюдение и возможность передачи одного или нескольких видеопотоков по широкополосной связи непосредственно операторам коммерческого транспорта.

Недостатки: система не позволяет классифицировать суда и не позволяет получить круговой панорамы как в видимом, так и в ИК-диапазонах.

Известна оптоэлектронная система анализа внешней обстановки на основе машинного зрения, RU2735559 С1, 03.11.2020, включающая в себя бортовую систему стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, бортовую поворотную оптико-электронной систему на гиростабилизированной платформе, содержащую видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, бортовые видеосерверы, предназначенные для предварительной обработки и сшивки видео со стационарных видеокамер, управления упомянутой поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных о их движении. Оптоэлектронная система снабжена бортовым моноблоком, бортовым видеорегистратором, бортовым маршрутизатором. Обеспечивается повышение эффективности обнаружения и распознавания объектов для анализа внешней навигационной обстановки с борта судна с информированием экипажа или оператора пульта дистанционного управления об обнаруженных навигационных опасностях. Данное техническое решение принято за прототип.

Известное техническое решение обладает следующими недостатками. Используемый в прототипе лазерный дальномер позволяет получить расстояние лишь для одного судна в один момент времени, и не позволяет получить круговой панорамы видеоизображения как в видимом, так и в инфракрасном диапазонах с высоким разрешением.

Технической проблемой, решаемой настоящим изобретением, является обеспечение возможности кругового обзора с одновременным обнаружением, распознаванием и идентификацией, а также сопровождением объектов в кадре.

Техническим результатом заявленного изобретения является увеличение угла обзора и повышение вероятности правильного обнаружения, распознавания и идентификации не менее чем двадцати объектов одновременно и определение дистанции до них, а также направления и скорости их движения, при хорошей видимости с целью повышения ситуационной осведомленности по видеопотоку с высоким разрешением.

Раскрытие изобретения

Техническая проблема решена в заявляемом комплексе оптического видеонаблюдения, обнаружения и идентификации объектов для морских и речных судов, содержащий по меньшей мере одну стационарную оптическую систему и поворотную оптическую систему, включающую в себя по меньшей мере одну телевизионную камеру и по меньшей мере одну тепловизионную камеру, модуль ориентации и механической стабилизации угла вращения поворотной оптической системы, модуль вращения поворотной оптической системы, модуль навигации, блок управления и обработки данных, размещенный на дистанционно расположенном центре управления. Заявленный комплекс отличается тем, что поворотная оптическая система представляет собой сканирующую систему с постоянным фокусным расстоянием, выполненную с возможностью поворота на 360 градусов для обеспечения полного обзора с частотой не менее 1 Гц. По меньшей мере одна стационарная оптическая система включает в себя по меньшей мере одну телевизионную камеру с постоянным фокусным расстоянием, позволяющим обеспечить поле зрения 3-5 градусов, и по меньшей мере одну тепловизионную камеру. Стационарная оптическая система и сканирующая система снабжены каждая миникомпьютером с техническим зрением с установленным в нем программным обеспечением, обеспечивающим синхронизацию кадров, коррекцию дисторсии и сшивку кадров в круговую панораму 360 градусов. При этом сканирующая система размещена в защитном корпусе.

Технический результат достигается тем, что в отличие от прототипа вместо лазера в заявленном комплексе использована сканирующая система с хорошим разрешением (1400х88000 пкс), которая обеспечивает панораму 360 градусов в обычном и в инфракрасном диапазоне, а блок управления и обработки позволяет сохранять видео длительностью 240 ч с возможностью увеличения длительности. Сканирующая система, имея минимальный угол обзора, за 1 с (с частотой 1 Гц) формирует панораму 360 градусов из отдельных кадров. В отличие от традиционных систем, обрабатывающих видеопотоки с камер и передающих их на нейросети, формирующие информацию об объектах и изображение в кадре, заявляемый комплекс позволяет получать изображение большого разрешения без обработки видеопотоков, последовательно связанных друг с другом, особенностью обработки которых является то, что каждый следующий зависит от предыдущего (так называемый прогрессивный кодак). Заявленный комплекс работает с независящими друг от друга отдельными круговыми панорамами.

В сканирующей системе в отличие от прототипа, в котором используются видеокамеры с трансфокаторами, используются телевизионные камеры с постоянным фокусным расстоянием, что позволяет скорректировать дисторсию, а также получить изображение наивысшего качества: в матрицу видеоизображения (в конкретном примере ее размер 4096х4096 пкс) помещается кадр одного шага сканирующей системы и на матрицу большого размера накладывается этот сектор одного шага. В итоге получается круговая панорама, собранная из маленьких фрагментов хорошего качества. В случае с переменным фокусным расстоянием качество изображения варьируется, так как размер матрицы постоянный, а сектор обзора - переменный.

Кроме того, в отличие от прототипа в заявленном комплексе реализована программная стабилизация видеоизображений против исполнения камер на гиростабилизированной платформе в прототипе. Определение дистанции до объектов в заявленном комплексе выполняется программными методами в отличие от использования лазерного дальномера в прототипе, что позволяет осуществлять наблюдение одновременно за не менее чем двадцатью объектами в режиме реального времени.

Краткое описание чертежей

На фигуре приведена схема комплекса оптического видеонаблюдения, обнаружения и идентификации объектов для морских и речных судов.

Осуществление изобретения

Комплекс оптического видеонаблюдения, схематически показанный на фигуре, имеет судовую (КОВ-С) и береговую (КОВ-Б) модификацию. В судовой модификации комплекс состоит из видеосистемы, включающей сканирующую систему 1 и стационарную систему 2, системы 3 питания, блока 4 управления и обработки, принимающего команды управления от устройства 6 обработки информации и управления в составе центра 5 дистанционного управления и обеспечивает как автономное, так и дистанционное управление безэкипажными судами.

Сканирующая система 1 состоит из телевизионного канала 7 и тепловизионного канала 8 и обеспечивает круговой обзор в дальней зоне в видимом, и инфракрасном диапазоне - до линии горизонта при хорошей видимости, - оборачиваясь вокруг своей оси в горизонтальной плоскости с компенсацией по углу места с помощью модуля 15 автоматизированной системы управления (АСУ) сканирующей системы, получающего данные по ориентации от модуля 9 GNSS/Compass и модуля 12 ориентации, соединенных последовательно и обеспечивающих получение стабилизированного видеоизображения. Четыре двигателя 10 обеспечивают наклоны и повороты сканирующей системы по командам блока 4 управления. Также по командам модуля 15 АСУ выполняется очистка объективов системой 11 очистки и омывания. Коммутатор 14 служит для распределения сигналов между элементами сканирующей системы 1. Видеоизображение от сканирующей системы 1 поступает в мини-компьютер 13, где обеспечивается коррекция дисторсии и сшивка в панораму сектора обзора 360 градусов, а затем - в блок 4 управления и обработки, обеспечивающий получение и сохранение видеоинформации. Модуль 16 питания обеспечивает питание сканирующей системы 1 от системы 3 питания. В судовой модификации сканирующая система 1 размещается на топ-мачте.

В предпочтительном варианте выполнения комплекса в состав стационарной системы 2 входят три стационарные камеры, расположенные соответственно по левому борту, в носу и по правому борту судна и соединенные последовательно с мини-компьютером 25. На схеме, приведенной на фигуре, с целью упрощения показана одна такая камера. Каждая стационарная камера в предпочтительном варианте состоит из двух телевизионных 17 и двух тепловизионных 18 каналов, модуля 22 контроллера, управляющего системой 20 очистки и омывания объективов, коммутатора 23, обеспечивающего последовательное соединение и получение данных от всех стационарных камер на мини-компьютер 25 для коррекции дисторсии и сшивки видеоизображения, а также соединение с мини-компьютером 13 сканирующей системы 1, а также модуля 24 питания. Сканирующая система 1 взаимодействует со стационарной системой 2 через коммутатор 23 и мини-компьютер 25.

В состав береговой модификации в состав комплекса дополнительно входит система связи (на фигуре не показана), обеспечивающая обмен данными элементов КОВ-Б с необходимой пропускной способностью в зоне действия СУДС и автоматизированное рабочее место оператора, включающее в себя устройство 6 отображения информации и управления, в составе центра 5 дистанционного управления.

Видеосистема КОВ обеспечивает обзор окружающей обстановки в видимом и инфракрасном диапазонах. Видеоизображение от видеосистемы обрабатывается программным обеспечением, включая автоматическое обнаружение, распознавание и идентификацию надводных объектов с использованием методов компьютерного зрения. Блок 4 управления и обработки принимает команды управления от устройства 6 отображения информации и управления, анализирует и выдает данные в видеосистему, а также принимает видеоданные от видеосистемы с сохранением полученной видеоинформации.

Мини-компьютеры 13 и 25 являются специализированными платформами для работы с техническим зрением, включающими ускоритель глубокого обучения и ускоритель компьютерного зрения, которые позволяют обрабатывать качественные видеоизображения большого размера, включая коррекцию дисторсии и сшивку панорамного изображения.

Достижение дальности обнаружения, классификации и сопровождения объектов в дневное и ночное время обеспечивается за счет использования двухканальной (в видимом и инфракрасном диапазоне) сканирующей системы с фокусным расстоянием, соответствующим углу поля зрения 3-5 градусов, мини-компьютером и модулем автоматизированной системы управления (АСУ), выполняющим коррекцию дисторсии, стабилизацию и сшивку изображений большого размера в круговую панораму 360 градусов.

Обеспечивающей высокую скорость обзора (1 секунда на панораму 360 градусов) в секторе 360 градусов вокруг объекта при обеспечении дистанции обзора до 21 КМ с сохранением разрешающей способности в 1 м/пиксель на максимальной дистанции, выполняя функции сбора панорамного изображения разрешением не менее 1400х88000 пкс.

Таким образом, в блок 4 управления и обработки поступает четыре панорамы- две со сканирующей системы 1 и две со стационарной системы 2. Далее полученные видеоизображения подвергаются обработке программным обеспечением: объекты с вероятностью 99% обнаруживаются, классифицируются и сопровождаются с определением их курса и скорости.

Список позиций чертежа

1 - сканирующая система КОВ;

2 - стационарная система КОВ;

3 - система питания;

4 - блок управления и обработки;

5 - центр дистанционного управления ЦДЦ (либо АНС МАНС для КОВ-С; АРМ оператора СУДС для КОВ-Б);

6 - устройства отображения информации и управления;

7 - телевизионный канал сканирующей системы;

8 - тепловизионный канал сканирующей системы;

9 - модуль GPS/GLONASS/компас стационарной системы;

10 - двигатели;

11 - система очистки и омывания объективов сканирующей системы;

12 - модуль ориентации сканирующей системы;

13 - мини-компьютер сканирующей системы;

14 - коммутатор сканирующей системы;

15- модуль АСУ сканирующей системы;

16 - модуль питания сканирующей системы;

17 - телевизионные каналы стационарной системы;

18 - тепловизионные каналы стационарной системы;

19 - модуль GPS/GLONASS/компас стационарной системы;

20 - система очистки и омывания объективов стационарной системы;

21 - модуль ориентации стационарной системы;

22. - модуль контроллера стационарной системы;

23 - коммутатор стационарной системы;

24 - модуль питания стационарной системы;

25 - мини-компьютер стационарной системы.

Claims (3)

1. Комплекс оптического видеонаблюдения, обнаружения и идентификации объектов для морских и речных судов, содержащий по меньшей мере одну стационарную оптическую систему и поворотную оптическую систему, включающую в себя по меньшей мере одну телевизионную камеру и по меньшей мере одну тепловизионную камеру, модуль ориентации и механической стабилизации угла вращения поворотной оптической системы, модуль вращения поворотной оптической системы, модуль навигации, блок управления и обработки данных, размещенный на дистанционно расположенном центре управления,

отличающийся тем, что поворотная оптическая система представляет собой сканирующую систему с постоянным фокусным расстоянием, выполненную с возможностью поворота на 360 градусов для обеспечения полного обзора с частотой не менее 1 Гц, по меньшей мере одна стационарная оптическая система включает в себя по меньшей мере одну телевизионную камеру с постоянным фокусным расстоянием, позволяющим обеспечить поле зрения 3-5 градусов, и по меньшей мере одну тепловизионную камеру, при этом стационарная оптическая система и сканирующая система снабжены каждая мини-компьютером с техническим зрением с установленным в нем программным обеспечением, обеспечивающим синхронизацию кадров, коррекцию дисторсии и сшивку кадров в круговую панораму 360 градусов.

2. Комплекс оптического видеонаблюдения по п. 1, отличающийся тем, что сканирующая система размещена в защитном корпусе.

Images