UA138381U - Пристрій цифрового автоматичного супроводження цілей - Google Patents

Abstract

Пристрій цифрового автоматичного супроводження цілей, який є складовою частиною апаратури сигнальної обробки оптико-електронної системи та містить монохромну тепловізійну та кольорову телевізійну камери, які з'єднані з керуючою електронною обчислювальною машиною оптико-електронної системи, пристроєм керування електромеханічними приводами оптико-електронної системи для компенсації неузгодженості, блоком формування вихідних тепловізійного і телевізійного відеосигналів, пультом оператора та екраном відеомонітору за допомогою каналу RS-422; та джерелом живлення.

Description

Корисна модель належить до області систем виявлення та супроводження цілей.

Пристрій цифрового автоматичного супроводження цілей призначений для виявлення цілей у відеосигналі, електронного стеження за виявленими цілями, супроводження вибраної цілі.

Аналогами пристрою можуть служити цифрові авто відео трекери/процесори обробки відеосигналу зарубіжних виробників, наприклад, фірми СЕ Іпеїййдепі Ріацогпт5 (АОЕРТ 105,

АОЕРТ 74 та ін.), фірми ЕІесіго-Оріїса! Ітадіпд (Модеї! 6010 К1, Моавеї 7010) та інші.

Задачею корисної моделі є здійснення цифрового автоматичного супроводження цілей за допомогою технології, яка дозволяє виявляти об'єкти на зображенні з високою точністю (використовуючи сегментатор та детектор одночасно) в реальному часі (завдяки зменшенню топології нейронної мережі та додаванням агрегованих шарів).

Поставлена задача вирішується у пристрої цифрового автоматичного супроводження цілей, який є складовою частиною апаратури сигнальної обробки оптико-електронної системи та містить монохромну тепловізійну та кольорову телевізійну камери, які з'єднані з керуючою електронною обчислювальною машиною оптико-електронної системи, пристроєм керування електромеханічними приводами оптико-електронної системи для компенсації неузгодженості, блоком формування вихідних тепловізійного і телевізійного відеосигналів, пультом оператора та екраном відеомонітору за допомогою каналу К5-422; та джерелом живлення.

Суть корисної моделі пояснюється структурною схемою пристрою, яка представлена на Фіг. 1 та в якому реалізована технологія, яка дозволяє виявляти об'єкти на зображенні з високою точністю (використовуючи сегментатор та детектор одночасно) в реальному часі (завдяки зменшенню топології нейронної мережі та додаванням агрегованих шарів). Пристрій цифрового автоматичного супроводження (ЦАС) є складовою частиною апаратури сигнальної обробки оптико-електронної системи (ОЕС).

Пристрій цифрового автоматичного супроводження (ЦАС) складається з монохромної тепловізійної і кольорової телевізійної камери (6), керуючої електронної обчислювальної машини (ЕОМ) (1) ОЕС (2), каналу К5-422 (3), пристрою керування електромеханічними приводами ОБЕС (2) для компенсації неузгодженості (4), блока формування вихідних тепловізійного і телевізійного відеосигналів (7), пульта оператора (8), екрана відеомонітору (9) та джерела живлення (5).

Зо Вимоги до вихідних сигналів пристрою ЦАС

Пристрій ЦАС забезпечує видачу по каналу К5-422 (або іншому погодженому з замовником інтерфейсу) в ОЕС: кодів неузгодженості АХ (пікселі) ії ЛУ (рядки) між метою, взятою на супровід, і оптичною віссю камери, які розраховуються в прямокутній системі координат з центром, що збігається з віссю візування камери з урахуванням юстированих поправок; кодів стану, що включають в себе ознаку захоплення цілі на супровід, ознаку зриву супроводу, підтвердження поточного режиму роботи, а також результати контролю пристрою в режимі "Контроль".

Склад інформації та форма її видачі визначається узгодженим протоколом.

При використанні ІР камери керуюча інформація для камери приходить в пристрій ЦАС від

ЕОМ ОБЕС по каналу ЕШегпеї і видається в камеру з ЦАС по каналу ЕШегпеї, яким ЦАС пов'язаний з камерою, тобто по тому ж каналу, по якому ЦАС отримує відеоінформацію.

Пристрій ЦАС видає відеосигнали тепловізійний і телевізійний в аналоговому стандарті РАГ. або в цифровому ВТ-656 з інтерфейсом Сатега! іпкК з введеними в них сигналами маркера стробу супроводу та інших графічних символів, необхідних для відображення на екрані відеомонітора оператора системи. При використанні НО ІР-камери вихідний відеосигнал з пристрою ЦАС в ЕОМ ОЕС повинен видаватися по каналу Е(Пегпеї.

Маркер стробу супроводу при відсутності захоплення стає білого кольору, має вигляд квадрата, розміри якого залежать від вибраного типу мети (а відповідно від розміру вікна обробки) і накладеного на нього перехрестя з незаповненим центром, що збігається з віссю візування камери з урахуванням юстированих зсувів, а при захопленні і супроводі маркер стробу повинен бути чорного кольору з центром, накладеним на мету, і розмірами, відповідними змінюванню вікна обробки при зміні розмірів мети.

В відеосигнал також повинні бути введені сигнали візирної сітки, що має вигляд штрихового перехрестя з центром, що збігається з оптичною віссю камери з урахуванням даних юстування, і мати довжину штриха і проміжку, що залежить від поля зору камери і складову 2 тд (2х3,6).

Центр візирної сітки повинен бути незаповненим, тобто штрихова лінія від центру починається з проміжку.

Монохромна тепловізійна і кольорова телевізійна камери призначені для обробки бо відеосигналів з метою виявлення відміток цілей, захоплення вибраної цілі та вироблення сигналів неузгодженості між віссю візування камери та напрямком на вибрану ціль. Вони повинні забезпечувати одночасний прийом відеосигналів як в аналоговому в стандарті РАЇ,, так і в цифровому вигляді в стандарті ІТО-К ВТ.656 (або 5МРТЕ), як з паралельними інтерфейсами (ГМО5, СатегагГіпк) при передачі на короткі відстані, так і з послідовними (501) при передачі на великі відстані.

Керуюча електронна обчислювальна машина (ЕОМ) ОЕС призначена для керуванням роботою камер через канал ЕїШегпеї та обробкою відеоінформації, яка отримується ЦАС по тому же каналу Е(Пегпеї.

Канал К5-422 - це канал, по якому пристрій ЦАС отримує інформацію від керуючої електронної обчислювальної машини (ЕОМ) ОЕС.

Пристрій керування електромеханічними приводами ОЕС для компенсації неузгодженості призначений для забезпечення стеження і автоматичного супроводження вибраної цілі в режимі захоплення.

Блок формування вихідних тепловізійного і телевізійного відеосигналів призначений для формування вихідних тепловізійного і телевізійного відеосигналу з включеними в них сигналами стробу супроводу і спеціальних графічних символів (позначки виявлених цілей, візирна сітка).

Пульт оператора виконує функції керування пристроєм ЦАС, установкою його параметрів під час здійснення вибору оптимальних алгоритмів обробки інформації, також за допомогою якого може бути дозволений або заборонений електромеханічний супровід зниклої цілі за даними інерційного супроводу.

Екран відеомонітору призначений для відображення вихідних тепловізійного і телевізійного відеосигналу з включеними в них сигналами стробу супроводу і спеціальних графічних символів (позначки виявлених цілей, візирна сітка).

Джерело живлення, призначене для живлення пристрою цифрового автоматичного супроводження цілей.

Вибір інтерфейсів залежить від можливостей пристрою обробки відеосигналів, вибраних камер і від передбачуваного місця розташування пристрою ЦАС в системі.

Пристрій ЦАС отримує інформацію від керуючої електронної обчислювальної машини (ЕОМ)

ОЕС по каналу К5-422.

Зо Склад інформації, її вид і характеристики каналу передачі визначаються відповідними узгодженими протоколами, які видаються в пристрій керування електромеханічними приводами

ОЕС для компенсації неузгодженості

Пристрій працює у такий спосіб.

У пристрої цифрового автоматичного супроводження цілей вирішуються три завдання: виявлення цілей в відеосигналі; електронне стеження за виявленими цілями; супровід вибраної цілі ОЕС.

Пристрій цифрового автоматичного супроводження цілей забезпечує виявлення в відеосигналі цілей, що розрізняються: за розміром: малорозмірні, протяжні і надпротяжні; за контрастом: яскраві і малоконтрастні; по динаміці: нерухомі і рухомі.

Малорозмірними вважаються об'єкти (цілі) з розмірами « 10х10 елемента здатності камери (ЕЗК), протяжними - цілі з розмірами » 10х10 ЕЗК, а над протяжними - цілі, що виходять за межі екрана.

Алгоритми виявлення цілей базуються на різних характеристиках цілі і їх сукупності. Одна і та ж ціль на зображеннях від камери з роздільною здатністю 640х480 елементів і від камери 1920х1080 елементів буде виглядати по-різному: ціль на зображенні з високою роздільною здатністю може бути виявлена як малорозмірна, а на зображенні з низькою здатністю як точкова.

Пристрій цифрового автоматичного супроводження цілей забезпечує взяття виявлених цілей на електронний супровід. При цьому в пристрої обробки для кожної цілі формується адаптивне вікно обробки, розміри якого пропорційні розмірам цілі. При виході цілі з кадру стеження за цією ціллю припиняється. Вихід цілі з кадру визначається відсутністю даної цілі в кадрі більше 5 секунд. До 5 секунд триває інерційний електронний супровід по швидкості і екстрапольовані координатами. При появі в поле зору камери нової цілі формується нове вікно обробки і стартує процес стеження за цією ціллю. Час прийняття рішення про наявність цілі залежить від алгоритму виявлення. Як правило, після між кадрової обробки трьох кадрів можна робити припущення про наявність цілі і робити зав'язку траєкторії її руху з визначенням бо швидкості. Подальша обробка уточнює результати виявлення. У процесі спостереження в кожному вікні обробки обчислюються коди неузгодженості, але не видаються в ОЕС. Видача проводиться тільки тоді, коли дана ціль вибирається для супроводу ОЕС.

Схема системи спостереження та захоплення складається з таких елементів (Фіг. 2): 1) Вхідний пристрій (Камера спостереження)

ПШ100 Гу для 720р та 60 Гц для 1080Ор

Для швидкої передачі даних використовується ЕПегпеї 2) Пристрій обробки відеоінформації деїзоп ТХ2

ПІВикористання плати розширення Айміаєа | 120

Камера отримує зображення та по ЕШегпеї каналу передає фрейми на ОУеїбзоп Тх2. На пристрої запускаються у два потоки алгоритми детекції та трекінгу. За допомогою ТепзогктТ оптимізованої нейронної мережі для детектування виконується локалізація об'єктів та їх підтвердження. Всі задетектовані об'єкти передаються на ТІ О-Тгаск-Меї та відбувається автоматичне супроводження об'єкта. Водночас частина ТІ О-Тгаск-Меї, що відповідає за тимчасову пам'ять, надається і оновлює основний трекер. По результатам трекера розраховуються параметри руху камери (РТ2). Оптимальні алгоритми обробки при виявленні і стеженні за елементами зображення та оптимізацією під СОЮ А та ТепзогкТ визначаються оператором.

Загалом алгоритм виявлення елементів складається з 4 етапів (Фіг. 3):

Попередня обробка.

Агрегація АСЕ.

Детекція Тгипсаїей Іпсеріїоп мЗ 550.

Фільтрація та адаптація КІКЕ.

Попередня обробка. На вхід подається КОВ зображення. Виконується зменшення шумів та формується відфільтроване зображення.

Агрегація. На основі вхідного зображення формуються додаткові ознаки. Дана процедура потрібна для оптимізації нейронної мережі, а саме збільшенню вхідних ознак. а. ВОВ р. НБУ с. Перетворення Соболя

Ко) а. ой

Детекція. На цьому кроці здійснюється виявлення об'єктів на зображенні. Для цього використовується підхід на основі нейронних мереж. На вхід нейронної мережі подається КОВ зображення з розширеними ознаками (НМ, ЗореІ, Боб). На виході одержуємо набір прямокутників, які відокремлюють цільові об'єкти.

Нейронна мережа базується на Іпсеріїоп УЗ детекторі ознак та 550 детекторі об'єктів (Фіг. 4). Для збільшення точності, також використовується блок сегментації для відокремлення заднього фону.

Для оптимізації нейронної мережі використовується підхід прунінгу, а також видалення нейронів, які рідко активізуються. Для цього проводиться статистичний аналіз активацій нейронів на кожному шарі, що дає змогу пришвидшити нейронну мережу в 20 разів, а її розмір зменшити від 15 мб до 1,6 мб.

Фільтрація й адаптація.

На цьому кроці відбувається фільтрація хибних детекцій та уточнюються їхні положення на зображенні. Для фільтрації використовується алгоритм Моп Махітит Зирргевзіоп. Уточнення відбувається за рахунок моделі регресора (КІКРЕ).

На відміну від існуючих підходів виявлення рухомих об'єктів на зображенні, ми пропонуємо технологію, яка дозволяє виявляти об'єкти на зображенні з високою точністю (використовуючи сегментатор та детектор одночасно) в реальному часі (завдяки зменшенню топології нейронної мережі та додаванням агрегованих шарів).

Після виявлення рухомих об'єктів виконуються алгоритми захоплення та супроводу елемента зображення.

Захоплення об'єкта на зображенні здійснюється ручним (Оператор виділяє прямокутну область) або автоматичним способом (використовується алгоритм виявлення об'єктів).

Автоматичного супровід об'єкта відбувається в декілька етапів: 1) Агрегація ознак шаблону 2) Знаходження подібних елементів

З) Фільтрація та уточнення

Агрегація ознак шаблону. На цьому етапі відбувається виділення додаткових ознак на зображенні: КОВ, НОМ, І 5К (Фіг. 5). На вході зображення з цільовою областю, на виході бо множина ознак, цільової області Для пришвидшення роботи алгоритму (якщо об'єкт має невеликий розмір - 195 зображення) розглядається тільки та частина зображення, де розташована цільова область.

Знаходження подібних елементів. Вхід - поточне зображення та попереднє зображення з цільовою областю. Використовуючи нейронну мережу СМ відбувається пошук областей, подібності з яких виділяються з областей з високою активацією (Фіг. б).

Виходом є множина областей.

Фільтрація та уточнення. На цьому етапі відбувається фільтрація хибних областей (за допомогою попередньої історії ознак та їхньої гістограми) й знаходження єдиної області).

При необхідності вибір алгоритму може здійснюватися оператором системи через інтерфейс оператора і видаватися в пристрій ЦАС в складі керуючої інформації.

Виявлені і взяті на електронне стеження цілі відзначаються в відеосигналі спеціальними позначками.

На автосупровід електромеханічним контуром ОБЕС вибирається одна (ціль, інші відслідковуються.

Цілевказівка здійснюється або ручним, або автоматичним способом.

При ручному способі взяття цілі на автосупровід центр маркера строба супроводу накладається оператором на вибрану ціль за допомогою відхилення рукоятки управління на пульті оператора, взяття цілі на супровід - натисканням кнопки "Захоплення" на рукоятці, а тип цілі - вибором типу цілі з меню на моніторі оператора. Коди положення центру строба, команда "Захоплення" і тип цілі приходять в ЦАС по каналу управління К5-422 (або іншому узгодженим інтерфейсу) від ЕОМ пульта. При цьому в ЦАС формується окреме вікно обробки вибраної цілі, що працює на кожному рядку, що належить даному вікна в напівкадрі (якщо відеосигнал РАЇ), або в кадрі (при прогресивній розгортці) за алгоритмами, що залежать від типу цілі (наприклад контрастний, крайової, центроїдного, кореляційний, комбінований і ін). При цьому повинні визначатися коди сигналів неузгодженості (АХ, ДУ) положення цілі щодо центру координат в прямокутної екранної системі, що збігається з віссю візування камери. Коди неузгодженості повинні видаватися в кожному напівкадрі (для РАЇГ) з частотою 50 Гц або в кожному кадрі при використанні камери з прогресивною розгорткою з затримкою не більше 2 сек. після визначення координат цілі в вікні обробки для забезпечення успішного замикання електромеханічного

Зо контуру супроводу мети ОЕС.

При автоматичному способі взяття цілі на супровід ОЕС пристрій ЦАС вибирає мету за критеріями, закладеними в алгоритм обробки. ЦАС формує вікно обробки даної цілі, визначає координати цілі в екранній системі координат. При цьому зображення маркера строба супроводу має автоматично накладатися на вибрану мету, повинна автоматично формуватися команда "Захоплення", зображення маркера строба стає чорним і по каналу зв'язку з ОЕС з пристрою ЦАС в ОЕС повинні видаватися ознака захоплення і сигнали розгалуження для замикання електромеханічного контуру супроводу так само, як і при ручному способі взяття цілі на супровід.

Також автоматично визначається зрив супроводу та повторне відновлення супроводу протягом 5 сек. При зриві супроводу по каналу зв'язку з ОЕС ЦАС видається ознака "Зрив супроводу" і зображення маркера строба супроводу стає білим. При цьому електронне інерційний супровід (без супроводу ОЕС) протягом 5 секунд триває.

За командою з пульта оператора може бути дозволений або заборонений електромеханічний супровід зниклої цілі за даними інерційного супроводу.

При автоматичному виділенні цілей з відеосигналу пристрою ЦАС потрібен час, необхідний для накопичення інформації і міжкадрової обробки. Отже, результат виявлення з'явиться з деякою затримкою, що очікувано і допустимо.

При супроводі цілі електромеханічним контуром обробка відеосигналу ведеться в вікні обробки вибраної цілі в реальному часі і результат видається з мінімальними затримками для забезпечення успішного замикання контуру супроводу цілі ОЕС. При цьому паралельно виконуються процеси між кадрової обробки, щоб процес виявлення цілей і електронного стеження не переривати.

Claims (1)

1. ФОРМУЛА КОРИСНОЇ МОДЕЛІ Пристрій цифрового автоматичного супроводження цілей, який є складовою частиною апаратури сигнальної обробки оптико-електронної системи та містить монохромну тепловізійну та кольорову телевізійну камери, які з'єднані з керуючою електронною обчислювальною машиною оптико-електронної системи, пристроєм керування електромеханічними приводами оптико-електронної системи для компенсації неузгодженості, блоком формування вихідних тепловізійного і телевізійного відеосигналів, пультом оператора та екраном відеомонітору за допомогою каналу Н5-422; та джерелом живлення. МнлееюнннннннннанннннванняяанниХ : пе зу жучитжувуєтюяя ї Що : щі ння т й : Шк Поп Я поманннння : : : Утаутнненннннну 7 і ТК ! : Я ! Я 1 шк Е Шк : : ше шк Ве :

   Фіг. 1 : КУ Хе ЕЕ х у : ОКА |! : . З: о. : ще а ння ще З З х ч - МОМ

   Фіг. 2

   Не ЗОН Фіг З ЩЕ ї ОО . : Я ОХ щш,, що о» о

   Фіг. 4 ріг. 5

   Фіг. 6