RU2735559C1 - Оптоэлектронная система анализа внешней обстановки на основе машинного зрения - Google Patents
Оптоэлектронная система анализа внешней обстановки на основе машинного зрения Download PDFInfo
- Publication number
- RU2735559C1 RU2735559C1 RU2019135971A RU2019135971A RU2735559C1 RU 2735559 C1 RU2735559 C1 RU 2735559C1 RU 2019135971 A RU2019135971 A RU 2019135971A RU 2019135971 A RU2019135971 A RU 2019135971A RU 2735559 C1 RU2735559 C1 RU 2735559C1
- Authority
- RU
- Russia
- Prior art keywords
- video
- board
- optoelectronic system
- onboard
- rotary
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
- B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
Landscapes
- Ocean & Marine Engineering (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Public Health (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Изобретение относится к области создания систем технического зрения для морских и речных судов, а также к области малоэкипажного и безэкипажного судовождения. ОПС характеризуется наличием бортовой системы стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, бортовой поворотной оптико-электронной системы на гиростабилизированной платформе, содержащей видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, бортовых видеосерверов, предназначенных для предварительной обработки и сшивки видео со стационарных видеокамер, управления упомянутой поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных о их движении. ОПС снабжена бортовым моноблоком, бортовым видеорегистратором, бортовым маршрутизатором. Обеспечивается повышение эффективности обнаружения и распознавания объектов для анализа внешней навигационной обстановки с борта судна с информированием экипажа или оператора пульта дистанционного управления об обнаруженных навигационных опасностях. 2 ил.
Description
Оптоэлектронная система анализа внешней обстановки относится к области систем технического зрения морских и речных судов, а также к области малоэкипажного и безэкипажного судовождения.
Оптоэлектронная система анализа внешней обстановки (ОПС) состоит из бортового и берегового сегментов. Бортовой сегмент ОПС предназначен для автоматизации процесса наблюдения за навигационной обстановкой и повышения качества наблюдения (в режиме экипажного судовождения), а также для формирования данных о навигационной обстановке для автоматической навигационной системы судна (в режиме безэкипажного судовождения). Береговой сегмент ОПС предназначен для обеспечения оператора пульта дистанционного управления судном информацией о навигационной обстановке (в режиме дистанционного управления судном). ОПС предназначена для обнаружения объектов, представляющих навигационную опасность, их распознавания, а также определения расстояния до данных объектов и их скорости. Определение расстояния производится при помощи лазерного дальномера. Определение координат производится на основе измеренной дальности, известных координат судна, получаемого видеокамерами изображения и известных характеристик видеокамер (положение на судне, фокусное расстояние, размеры матрицы). Определение скорости производится на основе известных координат объектов по нескольким кадрам из видеопотока камеры. Береговой сегмент может быть представлен в бортовом исполнении для дистанционного управления судном с борта другого судна.
Известна система охраны водного района по патенту РФ 2659314 от 29.06.2018, включающая пункт управления, располагаемый на надводном корабле и/или береговом посту, космический или летательный аппарат, оборудованный телевизионными, оптоэлектронными и радиотехническими средствами поиска морских надводных и подводных объектов, имеющий линию связи с пунктом управления. В ее состав включается самоходный автономный необитаемый подводный аппарат (АНПА), оснащенный гидроакустическими и телевизионными средствами поиска морских объектов, средствами звукоподводной связи.
Данная система является сложной и включает большое количество разноплановых объектов.
Известна система обеспечения безаварийного движения надводного или подводного судна при наличии подводных или надводных потенциально опасных объектов по патенту РФ 2513198 от 20.04.2014 Для достижения этой цели на судне устанавливается, кроме эхолота, определяющего только расстояние от киля до дна моря, гидролокаторы кругового обзора. А если судно имеет большие размеры, то устанавливают гидролокаторы в задней и передней полусфере, а также по левому и правому бортам. Это позволит получать точную, подробную и оперативную трехмерную информацию впереди, сзади, слева и справа от движущегося судна.
Данная система является недостаточно эффективной для анализа внешней навигационной обстановки и не дает точные сведения об опасных объектах.
Технической проблемой, на решение которой направлено создание данного изобретения является:
- автоматизация процесса наблюдения за навигационной обстановкой с борта судна с информированием экипажа об обнаруженных навигационных опасностях;
- обеспечение безопасности судовождения, в т.ч., в темное время суток и в условиях недостаточной видимости;
- видеорегистрация навигационной обстановки, совмещенная с информацией об обнаруженных и распознанных ОПС объектах и их характеристиках;
- обеспечение возможности дистанционного управления судном, в том числе, при ограниченной пропускной способности двустороннего канала связи «судно-берег» (спутниковая связь, широкополосная УКВ-связь, сотовая связь).
Технический результат заключается в повышении эффективности обнаружения и вероятности правильного обнаружения и распознавания объектов для анализа внешней навигационной обстановки с борта судна с информированием экипажа или оператора пульта дистанционного управления об обнаруженных навигационных опасностях.
Поставленная проблема решается, а технический результат достигается за счет того, что оптоэлектронная система анализа внешней обстановки включает в себя следующие элементы, которые связаны между собой:
Бортовая система стационарных видеокамер и бортовая поворотная оптико-электронная система, подключенные по Ethernet к бортовому маршрутизатору, который связан с бортовыми видеосерверами. По данному каналу связи осуществляется получение видеоданных и управление поворотной видеокамерой.
Бортовые видеосерверы посредством беспроводной системы связи подключены к северу пульта дистанционного управления, снабженного органами управления для изменения угла зрения или масштабирования видео, а также для переключения между видео и ИК-режимом и их совместного использования.
Сервер пульта дистанционного управления подключен к мониторам пульта дистанционного управления и посредством беспроводной связи к бортовому маршрутизатору и бортовым видеосерверам.
Элементы оптоэлектронной системы анализа внешней обстановки включают:
- бортовую систему стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, обеспечивающую непрерывный обзор в 360 градусов вокруг судна; например, могут быть использованы такие модели: TKSCE-4-IR, ТKNCL-8210, производства ЗАО «ТРАНЗАС Консалтинг» (СПб).
- бортовую поворотную оптико-электронную систему на гиростабилизированной платформе, содержащую видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, обеспечивающую вариативный обзор в 360 градусов вокруг судна; например, может быть использована такая модель: TKPTZ-550T производства ЗАО «ТРАНЗАС Консалтинг» (СПб).
- бортовые видеосерверы с установленным общесистемным и специальным программным обеспечением, предназначенным для: предварительной обработки и сшивки видео со стационарных видеокамер, управления поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных об их движении, выработки предупреждающих сигналов для экипажа, компрессии видеопотоков; бортовые серверы представляют из себя мощные вычислители, поддерживающие массивное распараллеливание вычислений для обеспечения работы алгоритмов ОПС в режиме реального времени;
- бортовой моноблок, предназначенный для человеко-машинного интерфейса;
- бортовой видеорегистратор, представляющий собою многофункциональный сетевой сервер хранения для обмена файлами в сети с возможностью резервирования данных;
- бортовой маршрутизатор, представляющий собою специализированный компьютер, который пересылает пакеты между различными сегментами сети на основе правил и таблиц маршрутизации;
- береговой видеосервер с установленным общесистемным и специальным программным обеспечением, предназначенным для: декомпрессии (или реконструкции, при недостаточной пропускной способности канала связи «судно-берег») видео навигационной обстановки вокруг судна; возможности управления данным видео, включая поворот, масштабирование и передачу соответствующих управляющих сигналов на бортовую поворотную оптико-электронную систему.
Специальное программное обеспечение ОПС включает в себя:
- алгоритмы предварительной обработки и фильтрации видеоданных;
- алгоритмы сшивки видеоданных;
- алгоритмы обнаружения и распознавания объектов;
- алгоритмы компрессии, декомпрессии и реконструкции навигационной обстановки;
- алгоритмы управления поворотной камерой;
- алгоритмы совмещения потоков видео- и тепловизионных данных.
На рис. 1 представлена схематическое изображение разработанной ОПС, где 1.1, 1.2, ….1.n – бортовые стационарные видеокамеры объединенные в систему; 2 – бортовая поворотная оптико-электронная система; 3 – ботовой маршрутизатор; 4, 5 – бортовые видеосерверы, 6 – бортовой моноблок; 7 – бортовой видеорегистратор; 8 – система связи; 9, 10, 11 – мониторы пульта дистанционного управления; 12 – береговой видеосервер; 13 – органы управления пульта дистанционного управления.
« → » - Видеопотоки; «
» Управляющие команды.
Описание работы оптоэлектронной системы анализа внешней обстановки на основе машинного зрения (ОПС).
ОПС функционирует в следующих основных режимах:
- автоматический режим;
- ручной режим;
- режим совместно с судовой радиолокационной станцией (РЛС);
- режим дистанционного управления;
При работе ОПС в автоматическом режиме:
В данном режиме в зависимости от времени суток реализуется один из двух вариантов.
В светлое время суток анализируется видео, получаемое стационарными видеокамерами 1.1 и 1.2. При помощи автоматической программной обработки видеоизображений производится определение объектов, которые, потенциально, могут представлять навигационную опасность: суда, катера, моторные лодки, лед, плавающие предметы (бревна, контейнеры и др.).
После обнаружения каких-либо объектов выполняется их автоматическое программное распознавание. При этом, если качества изображения, получаемого при помощи стационарных видеокамер, оказывается недостаточным для распознавания (объект занимает малое количество пикселей на изображении), на объект автоматически наводится поворотная камера бортовой оптико-электронной системы 2 для получения более качественного изображения.
Поворотная камера бортовой оптико-электронной системы 2 периодически осуществляет сканирование зоны, не охватываемой стационарными видео камерами 1.1 и 1.2 для целей обнаружения и распознавания объектов, представляющих навигационную опасность.
За распознанным объектом автоматически начинается слежение. Вся информация выводится на мостик в виде, представленном на рис. 2. При необходимости, информация сопровождается звуковыми сигналами в случае появления объектов, представляющих навигационную опасность.
Полученная об объектах информация от ОПС передается в систему автоматического управления движением судна.
При снижении эффективности видеокамер (из-за слабого освещения или его отсутствия) происходит сканирование окружающего пространства при помощи тепловизора с функциональностью, аналогичной описанной выше. Возможно наложение видео и тепловизионных данных.
При работе ОПС в ручном режиме.
В ручном режиме оператор может самостоятельно навести поворотную видеокамеру или тепловизор бортовой поворотной оптико-электронной системы 2 для того, чтобы рассмотреть нужный объект на средстве отображения на мостике.
Режим работы с бортовой радиолокационной станции (БРЛС).
В ручном режиме работы ОПС с судовой РЛС поворотная видеокамера поворачивается на выбранный оператором объект, который обнаружила РЛС, с целью его просмотра оператором.
В автоматическом режиме работы ОПС с судовой РЛС поворотная видеокамера поворачивается поочередно на все объекты, обнаруженные РЛС, для их автоматического распознавания и передачи информации об объектах на средство отображения видеоинформации, в систему автоматического управления движением судна и в береговой центр управления.
Режим дистанционного управления.
В режиме дистанционного управления на трех горизонтально расположенных мониторах берегового центра отображается навигационная обстановка вокруг судна и результаты распознавания (обнаружения) объектов.
В режиме дистанционного управления джойстик используется для поворота (наклона) видео. Кнопки джойстика используются для:
- увеличения масштаба просмотра объекта, находящегося в центральной зоне центрального из трех монитора;
- переключения между каналами (видео, тепловизор) или совмещения информации по видео- и тепловизионному каналу.
Техническим результатом является высокоэффективное обнаружение и распознавание объектов, представляющих навигационную опасность, в режиме 24/7/346, осуществляемое при помощи предложенной аппаратной части ОПС в виде комбинированной системы стационарных и поворотной видеокамер с лазерным дальномером и ИК-камерой, а также интеллектуальных алгоритмов обнаружения и распознавания объектов на трехкомпонентных сценах (вода, воздух, береговая часть) в условиях разнообразных внешних помех и неблагоприятных условий наблюдения. При этом, в целях дистанционного управления судами, возможно использование канала связи с невысокой пропускной способностью за счет минимизации передаваемых данных с последующей реконструкцией 3D сцен в береговом сегменте обзорно-поисковой системы.
Claims (1)
- Оптоэлектронная система анализа внешней обстановки на основе машинного зрения для морских и речных судов, характеризующаяся наличием бортовой системы стационарных видеокамер с фиксированным фокусным расстоянием в морском исполнении, обеспечивающих непрерывный обзор в 360 градусов вокруг судна, бортовой поворотной оптико-электронной системы на гиростабилизированной платформе, содержащей видеокамеру, тепловизор с трансфокаторами и лазерный дальномер, обеспечивающей вариативный обзор в 360 градусов вокруг судна, бортовых видеосерверов, предназначенных для предварительной обработки и сшивки видео со стационарных видеокамер, управления упомянутой поворотной оптико-электронной системой, обнаружения и распознавания объектов и получения данных об их движении, выработки предупреждающих сигналов для экипажа, компрессии видеопотоков, характеризуется также наличием бортового моноблока, бортового видеорегистратора, представляющего собою многофункциональный сетевой сервер хранения для обмена файлами в сети с возможностью резервирования данных, бортового маршрутизатора, при этом бортовая система стационарных видеокамер и бортовая поворотная оптико-электронная система подключены по каналу Ethernet к бортовому маршрутизатору, который связан с бортовыми видеосерверами с возможностью по данному каналу связи осуществлять получение видеоданных и управление поворотной видеокамерой, бортовые видеосерверы посредством беспроводной системы связи подключены к серверу пульта дистанционного управления, снабженного органами управления для изменения угла зрения или масштабирования видео, а также для переключения между видео и ИК-режимом и их совместного использования, видеосервер пульта берегового дистанционного управления подключен к мониторам пульта дистанционного управления и посредством беспроводной связи к бортовому маршрутизатору и бортовым видеосерверам.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019135971A RU2735559C1 (ru) | 2019-11-08 | 2019-11-08 | Оптоэлектронная система анализа внешней обстановки на основе машинного зрения |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019135971A RU2735559C1 (ru) | 2019-11-08 | 2019-11-08 | Оптоэлектронная система анализа внешней обстановки на основе машинного зрения |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2735559C1 true RU2735559C1 (ru) | 2020-11-03 |
Family
ID=73398515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019135971A RU2735559C1 (ru) | 2019-11-08 | 2019-11-08 | Оптоэлектронная система анализа внешней обстановки на основе машинного зрения |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2735559C1 (ru) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU210565U1 (ru) * | 2021-12-27 | 2022-04-21 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Многофункциональное оптико-электронное устройство кругового обзора для управления движением беспилотного транспортного средства |
| CN115923993A (zh) * | 2023-01-16 | 2023-04-07 | 上海欧萨数据技术有限公司 | 一种无人船视频目标搜索与图像稳定装置 |
| RU2808873C1 (ru) * | 2023-02-16 | 2023-12-05 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Государственный морской университет имени адмирала Ф.Ф. Ушакова" | Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012162310A1 (en) * | 2011-05-23 | 2012-11-29 | Ion Geophysical Corporation | Marine threat monitoring and defense system |
| US20130013207A1 (en) * | 2011-07-08 | 2013-01-10 | Artic Ice Management Ab | Support system for use when managing ice |
| RU2678526C2 (ru) * | 2014-06-17 | 2019-01-29 | Ион Джиофизикал Корпорейшн | Сравнительный анализ на модели дрейфа и буксировки льда для целевого морского сооружения |
-
2019
- 2019-11-08 RU RU2019135971A patent/RU2735559C1/ru active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012162310A1 (en) * | 2011-05-23 | 2012-11-29 | Ion Geophysical Corporation | Marine threat monitoring and defense system |
| US20130013207A1 (en) * | 2011-07-08 | 2013-01-10 | Artic Ice Management Ab | Support system for use when managing ice |
| RU2678526C2 (ru) * | 2014-06-17 | 2019-01-29 | Ион Джиофизикал Корпорейшн | Сравнительный анализ на модели дрейфа и буксировки льда для целевого морского сооружения |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU210565U1 (ru) * | 2021-12-27 | 2022-04-21 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Многофункциональное оптико-электронное устройство кругового обзора для управления движением беспилотного транспортного средства |
| RU2809472C1 (ru) * | 2022-09-01 | 2023-12-12 | Общество с ограниченной ответственностью "МЕДИКАЛ ДЕВАЙС" | Мобильный тепловизионный комплекс |
| CN115923993A (zh) * | 2023-01-16 | 2023-04-07 | 上海欧萨数据技术有限公司 | 一种无人船视频目标搜索与图像稳定装置 |
| RU2808873C1 (ru) * | 2023-02-16 | 2023-12-05 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Государственный морской университет имени адмирала Ф.Ф. Ушакова" | Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна |
| RU2816392C1 (ru) * | 2023-07-20 | 2024-03-28 | Российская Федерация в лице Министерства промышленности и торговли Российской Федерации (Минпромторг России) | Комплекс оптического видеонаблюдения, обнаружения и идентификации объектов на основе машинного зрения для морских и речных судов |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10931934B2 (en) | Watercraft thermal monitoring systems and methods | |
| US9615006B2 (en) | Infrared camera systems and methods for facilitating target position acquisition | |
| KR100734814B1 (ko) | 자율운항무인선박 | |
| US11900668B2 (en) | System and method for identifying an object in water | |
| CN110580044A (zh) | 基于智能感知的无人船全自动航行异构系统 | |
| KR101695899B1 (ko) | 해양감시 시스템 | |
| KR20120038431A (ko) | 적외선 카메라 시스템 및 듀얼 센서 응용 방법 | |
| RU2735559C1 (ru) | Оптоэлектронная система анализа внешней обстановки на основе машинного зрения | |
| WO2021041629A1 (en) | Air and sea based fishing data collection and analysis systems and methods | |
| CN105959519A (zh) | 舰载声光电三合一执法取证系统 | |
| KR102001594B1 (ko) | 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법 | |
| JP6877815B2 (ja) | 画像生成装置 | |
| US20230023434A1 (en) | Deep learning-based marine object classification using 360-degree images | |
| Ferreira et al. | Forward looking sonar mosaicing for mine countermeasures | |
| KR100702448B1 (ko) | 무인표적예인선의 원격통제장치 및 통제방법 | |
| JP6482855B2 (ja) | 監視システム | |
| CA2282064A1 (en) | A system and method for use with a moveable platform | |
| Sorial et al. | Towards a real time obstacle detection system for unmanned surface vehicles | |
| JP3560040B2 (ja) | 監視用ｉｔｖカメラの制御方法 | |
| KR20240021670A (ko) | 미확인 객체들의 종류를 기초로 학습된 인공지능 모델을 사용한 미확인 객체 모니터링 방법 | |
| JP6738059B2 (ja) | 表示装置、探索システム、表示方法、およびプログラム | |
| RU2816392C1 (ru) | Комплекс оптического видеонаблюдения, обнаружения и идентификации объектов на основе машинного зрения для морских и речных судов | |
| KR102465190B1 (ko) | 야간항해용 어라운드뷰 장치 | |
| KR102465189B1 (ko) | 선박용 어라운드뷰 장치 | |
| KR102465191B1 (ko) | 선박의 입항 및 접안을 어시스트하는 어라운드뷰 시스템 |