RU2550811C1 - Способ и устройство определения координат объектов - Google Patents

Способ и устройство определения координат объектов Download PDF

Info

Publication number
RU2550811C1
RU2550811C1 RU2014115175/07A RU2014115175A RU2550811C1 RU 2550811 C1 RU2550811 C1 RU 2550811C1 RU 2014115175/07 A RU2014115175/07 A RU 2014115175/07A RU 2014115175 A RU2014115175 A RU 2014115175A RU 2550811 C1 RU2550811 C1 RU 2550811C1
Authority
RU
Russia
Prior art keywords
group
lps
information
coordinates
block
Prior art date
Application number
RU2014115175/07A
Other languages
English (en)
Inventor
Сергей Михайлович Вишняков
Павел Леонидович Смирнов
Андрей Викторович Терентьев
Николай Владимирович Фильченко
Олег Владимирович Царик
Александр Михайлович Шепилов
Вячеслав Александрович Шишков
Original Assignee
Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации
Общество с ограниченной ответственностью "Специальный Технологический Центр"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации, Общество с ограниченной ответственностью "Специальный Технологический Центр" filed Critical Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации
Priority to RU2014115175/07A priority Critical patent/RU2550811C1/ru
Application granted granted Critical
Publication of RU2550811C1 publication Critical patent/RU2550811C1/ru

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

Группа изобретений относится к области радиотехники и может быть использована для определения местоположения объектов угломерно-дальномерным способом группой беспилотных летательных аппаратов (БПЛА). Достигаемый технический результат - обеспечение одновременного эффективного обнаружения и распознавания заданных объектов на основе видеоизображений, поступающих с борта нескольких БПЛА. Технический результат достигается благодаря формированию эталонных вектор-контуров заданных объектов в совокупности с их первыми n членами свертки автокорреляционных функций (АКФ) с последующим распознаванием обнаруженных объектов на основе выборочного (двухэтапного) анализа АКФ и взаимнокорреляционной функции. Устройство определения координат объектов, реализующее способ, содержит M идентичных БПЛА, в составе двигательной установки, автопилота, блока видеонаблюдения, запоминающего устройства, блока навигации БПЛА, контроллера, рулевого привода, первого приемо-передающего модуля, аэродинамических рулей и передающего модуля и наземного пункта управления в составе первого и второго блоков управления, а также выполненных M-канальными первого и второго устройств обработки и отображения информации, второго приемо-передающего модуля, приемного модуля, второго запоминающего устройства и устройства распознавания. Перечисленные средства определенным образом соединены между собой. 2 н.п. ф-лы, 21 ил.

Description

Заявляемые объекты объединены единым изобретательским замыслом, относятся к области радиотехники, а именно к пассивной локации и могут быть использованы в навигационных, пеленгационных, и др. средствах для визуального обнаружения и определения координат объектов с летно-подъемных средств (ЛПС).
Известен способ по пат. РФ №2458407, МПК G08B 25/10, обеспечивающий наведение видеокамеры на объект, положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени, определяют ориентацию видеокамеры в системе координат видеокамеры, на основе определенной ориентации видеокамеры и положения объекта рассчитывают поворот системы координат видеокамеры в абсолютной системе координат. Полученные результаты используются для пересчета координат наблюдаемого объекта. Однако названный способ реализуется на земной поверхности и обладает малым радиусом действия. Кроме того, низкая точность аналога также ограничивает его применение. Последнее связано с тем, что в кадре видеокамеры наблюдаются не только заданный объект, но и смежные с ним предметы, что затрудняет точное визирование видеокамеры. Аналогичными недостатками обладают и способы по пат. РФ №2251712 и пат. РФ №2154284.
Известен способ по пат. РФ 2323851, МПК B64C 31/06. Аналог предполагает использование беспилотного летательного аппарата (БПЛА) в совокупности с видеокамерой. Аналог обеспечивает фотографирование земной поверхности под управлением наземного поста.
Основные недостатки данного аналога состоят в том, что он не обеспечивает измерение координат объектов, а для принятия решения о фотографировании необходим оператор поста управления.
Известен способ по пат. РФ №2465613, МПК G01S 3/14. Он предполагает установку под фюзеляжем ЛПС видеокамеры, определение ориентации видеокамеры и антенной системы (АС) пеленгатора относительно борта ЛПС, а в процессе полета постоянное через заданный интервал времени определение местоположения ЛПС и его ориентации, а при обнаружении заданного источника радиоизлучения (ИРИ) определение его пространственно-информационных параметров с учетом пространственной ориентации видеокамеры, АС и собственно ЛПС путем последовательного перехода из одной системы координат в другую.
Способ-аналог позволяет с помощью видеокамеры и радиопеленгатора повысить точность определения местоположения ИРИ.
Способу также присущ недостаток, связанный с относительно низкой точностью определения координат объектов. Практический интерес, как правило, представляет не сам ИРИ, а объект, на котором (или в котором) он размещается. В ситуации, когда ИРИ на объекте находится в выключенном состоянии, прототип теряет свою работоспособность. Кроме того, ИРИ часто выносят за пределы объекта, что также усугубляет ситуацию. Низкая точность определения координат объясняется тем, что в кадре видеокамеры одновременно наблюдается большая площадь земной поверхности, много превышающая площадь объекта, что и влечет за собой ошибки измерений.
Наиболее близким по технической сущности является способ определения координат объектов по пат. №2513900, МПК G01S 13/46, B64C 31/06.
Способ-прототип заключается в том, что на подготовительном этапе на борту летно-подъемного средства (ЛПС) под фюзеляжем устанавливают и фиксируют видеокамеру, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (kk, lk, ζk), где kk, lk, ζk - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (Blps, Llps, Hlps), где B l p s i
Figure 00000001
, L l p s i
Figure 00000002
, H l p s i
Figure 00000003
- соответственно широта, долгота и высота ЛПС в ti-й момент времени, i=1, 2, …, I, и его пространственную ориентацию (klps, llps, ζlps), где k l p s i
Figure 00000004
, l l p s i
Figure 00000005
, ζ l p s i
Figure 00000006
- соответственно углы крена, тангажа и склонения ЛПС в ti-й момент времени, совместно запоминают навигационные и временные параметры ЛПС, а при обнаружении j-го заданного объекта в момент времени ti определяют местоположение объекта на кадре видеокамеры, преобразуют координаты j-го объекта в кадре на вектор направления на него в системе координат видеокамеры V П i j
Figure 00000007
с учетом влияния на результаты измерений дисторсии объектива, переводят координаты ЛПС в геоцентрическую систему координат V l p s Г
Figure 00000008
, корректируют вектор направления на j-й объект V i j ' = ( X j ' , Y j ' , Z j ' ) i
Figure 00000009
с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (kk, lk, ζk) путем последовательного умножения значений V П i j
Figure 00000007
на соответствующие углам Эйлера матрицы поворота, после чего в нормальной системе координат вычисляют уточненное значение вектора направления V i j +
Figure 00000010
на j-й объект с учетом измеренных в момент времени ti пространственных углов ЛПС: крена klps, тангажа llps и склонения ζlps, определяют уточненные значения азимута θ i j +
Figure 00000011
, угла места β i j +
Figure 00000012
и удаление ЛПС, находящегося в момент времени ti на высоте Hlps, от j-го объекта d(H0)ij, расположенного на поверхности "круглой" Земли, в геоцентрической системе координат определяют значение истинного вектора направления на j-й объект V j ' '
Figure 00000013
, которое зависит от широты Blps и долготы Llps местоположения ЛПС, определяют координаты точки пересечения вектора V j ' '
Figure 00000014
с "круглой" Землей V ф j
Figure 00000015
, преобразуют геоцентрические координаты j-го объекта V ф j
Figure 00000016
в географические V j = ( B j , L j )
Figure 00000017
где Bj и Lj соответственно широта и долгота местоположения j-го объекта, при наличии k последовательных кадров, k=1, 2, …, K, с изображением j-го объекта выполняют k циклов измерений географических координат V j
Figure 00000018
, а результаты измерений усредняют, а при наличии цифровой карты местности района измерений, представляющей собой матрицу с дискретностью по координатам района измерений с соответствующими значениями высот рельефа, дополнительно уточняют географические координаты обнаруженного j-го объекта V j δ = ( B j , L j , H j )
Figure 00000019
.
Благодаря учету местоположения объекта в кадре видеокамеры в прототипе достигается более точное измерение вектора направления на объект. Возможность последующего усреднения результатов оценивания по кадрам и учет особенности рельефа местности способствуют дальнейшему повышению точностных характеристик способа.
Однако прототипу присущ недостаток, связанный с необходимостью участия оператора наземного поста управления в своевременном принятии решения о необходимости измерения координат конкретного объекта из их совокупности на кадре. Данная ситуация еще более усугубляется при необходимости одновременного управления несколькими БПЛА, например четырьмя (см. "Орлан-10". http://bla-orlan.ru/default/catalog/bla/irlan-10.html), что влечет за собой пропуски и ошибочные решения.
Известны устройства по Пат. РФ №2251712, МПК G01S 5/02; Пат. РФ №2359288, МПК G01S 5/02. Аналоги обеспечивают определение координат объектов с помощью оптико-электронных средств. Однако им присущ недостаток: они размещаются на земной поверхности, в следствии чего обладают маленьким радиусом действия.
Известна система наблюдения за земной поверхностью с беспилотным летательным аппаратом по Пат. РФ №2323851, МПК B64C 31/06.
Прототип содержит затягивающую лебедку, БПЛА и наземный пункт управления (НПУ), причем БПЛА состоит из контроллера, рулевого привода, аэродинамических рулей, автопилота, двигательной установки, блока видеонаблюдения и первого приемо-передающего модуля с соответствующими связями, а наземный пункт управления выполнен содержащим блок управления, второй приемо-передающий модуль и устройство обработки и отображения информации с соответствующими связями.
Аналог предназначен для получения фотоснимков земной поверхности с высоты порядка 100 метров. Однако устройство не обеспечивает измерение координат видимых объектов из-за отсутствия высокоточной системы навигации БПЛА и высокоточной системы определения направления на него.
Наиболее близким по своей технической сущности к заявляемому устройству определения координат объектов является устройство по пат. РФ №2513900, МПК B64C 31/6.
Устройство-прототип состоит из беспилотного летательного аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательная установка, группа информационных входов которого соединена с третьей группой информационных выходов контроллера, первый приемо-передающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для формирования команд управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления.
Устройство-прототип обеспечивает высокую точность измерения координат объекта благодаря учету местоположения объекта в кадре видеокамеры, возможностью усреднения результатов оценивания по совокупности кадров и учету особенностей рельефа местности.
Однако прототипу присущ недостаток, связанной с недостаточной пропускной способностью, что негативно сказывается на эффективности принимаемых решений по распознаванию обнаруженных объектов, что еще более усугубляется при одновременной работе с несколькими БПЛА.
Целью заявляемых технических решений является разработка способа и устройства определения координат объектов, обеспечивающих повышение пропускной способности за счет более эффективного обнаружения и распознавания заданных объектов на основе видеоизображений, поступающих с борта нескольких БПЛА, путем реализации процедур "компьютерного зрения".
Поставленная цель достигается тем, что в известном способе определения координат объектов, заключающемся в том, что на подготовительном этапе на борт ЛПС устанавливают и фиксируют видеокамеру для обзора нижней полусферы, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (kk, lk, ζk), где kk, lk, ζk - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (Blps, Llps, Hlps), где B l p s i
Figure 00000001
, L l p s i
Figure 00000020
, H l p s i
Figure 00000021
- соответственно широта, долгота и высота ЛПС в ti-й момент времени, i=1, 2, …, I, и его пространственную ориентацию (klps, llps, ζlps)i, где k l p s i
Figure 00000004
, l l p s i
Figure 00000022
, ζ l p s i
Figure 00000023
- соответственно углы крена, тангажа и склонения ЛПС в ti-й момент времени, совместно запоминают навигационные и временные параметры ЛПС, а при обнаружении j-го заданного объекта в момент времени ti определяют местоположение объекта на кадре видеокамеры, преобразуют координаты j-го объекта в кадре на вектор направления на него в системе координат видеокамеры V П i j
Figure 00000007
с учетом влияния на результаты измерений дисторсии объектива, переводят координаты ЛПС в геоцентрическую систему координат V l p s Г
Figure 00000008
, корректируют вектор направления на j-й объект
Figure 00000024
с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (kk, lk, ζk) путем последовательного умножения значений V П i j
Figure 00000007
на соответствующие углам Эйлера матрицы поворота, после чего в нормальной системе координат вычисляют уточненное значение вектора направления V i j +
Figure 00000010
на j-й объект с учетом измеренных в момент времени ti пространственных углов ЛПС: крена k l p s i
Figure 00000004
, тангажа l l p s i
Figure 00000022
и склонения ζ l p s i
Figure 00000023
, определяют уточненные значения азимута θ i j +
Figure 00000025
, угла места β i j +
Figure 00000012
и удаление ЛПС, находящегося в момент времени ti на высоте H l p s i
Figure 00000021
, от j-го объекта d(H0)ij, расположенного на поверхности "круглой" Земли, в геоцентрической системе координат определяют значение истинного вектора направления на j-й объект V j ' '
Figure 00000013
, зависящее от широты Blps и долготы Llps, местоположения ЛПС, определяют координаты точки пересечения вектора V j ' '
Figure 00000013
с "круглой" Землей V ф j
Figure 00000026
, преобразуют геоцентрические координаты j-го объекта V ф j
Figure 00000027
в географические V j = ( B j , L j )
Figure 00000028
, где Bj и Lj соответственно широта и долгота местоположения j-го объекта, при наличии k последовательных кадров, k=1, 2, …, K, с изображением j-го объекта выполняют к циклов измерений географических координат V j
Figure 00000029
, результаты измерений усредняют, а при наличии цифровой карты местности района измерений, представляющей собой матрицу с дискретностью по координатам района измерений с соответствующими значениями высот рельефа, уточняют географические координаты обнаруженного j-го объекта V j δ = ( B j , L j , H j )
Figure 00000019
, формируют и запоминают набор эталонных вектор-контуров в совокупности с n первыми членами свертки ее автокорреляционной функции (АКФ), а в процессе полета ЛПС для распознавания обнаруженных объектов и принятия решения на их местоопределение находят вектор-контур обнаруженного объекта и первые n элементов вейвлетной свертки АКФ, сравнивают n первых элементов свертки АКФ вектор-контура обнаруженного объекта с n первыми элементами сверток АКФ эталонных вектор-контуров, определяют и выделяют эталонные вектор-контура с минимальными отличиями от обнаруженного вектор-контура, определяют значения взаимнокорреляционных функций (ВКФ) для выделенных эталонных вектор-контуров и обнаруженного вектор-контура, сравнивают полученные значения ВКФ с заданным порогом и при выполнении пороговых условий определяют эталонный вектор-контур с наибольшим значением ВКФ, принимают решение об обнаружении и идентификации объекта, соответствующего эталону с наибольшим значением ВКФ, определяют координаты центра обнаруженного и идентифицированного объекта на кадре и формируют команду на его местоопределение, а в качестве выходных формируют данные о типе объекта, его географических координат и времени измерения.
Благодаря новой совокупности признаков в заявляемом способе обеспечивается одновременное эффективное распознавание заданных объектов на основе видеоизображений от нескольких БПЛА без участия оператора наземного пункта управления благодаря формированию эталонных вектор-контуров объектов в совокупности с их первыми n членами свертки АКФ с последующим распознаванием обнаруженных объектов на основе выборочного двухэтапного (грубого и точного) анализа их АКФ и ВКФ, что позволяет существенно повысить пропускную способность.
Поставленная цель в заявляемом устройстве достигается тем, что в известном устройстве, состоящем из первого беспилотного летающего аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательная установка, группа информационных входов которой соединена с третьей группой информационных выходов контроллера, первый приемо-передающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для формирования команд управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления, дополнительно используют M-1 идентичных с первым БПЛА, M=2, 3 …, , а в НПУ дополнительно введены второе запоминающее устройство и устройство распознавания, выполненные M-канальными, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления, первая группа информационных входов соединена с группой информационных выходов второго запоминающего устройства, вторая группа информационных входов соединена с группой информационных выходов приемного модуля, выполненного M-канальным, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства, группа информационных входов которого является входной шиной НПУ, вторая группа информационных выходов устройства распознавания является второй выходной шиной наземного пункта управления, группа информационных выходов второго устройства обработки и отображения информации - первой выходной шиной НПУ, при этом первое и второе устройства обработки и отображения информации и второй приемопередающий модуль выполняют M-канальными.
Перечисленная новая совокупность существенных признаков за счет того, что вводятся новые элементы и связи позволяет достичь цели изобретения: обеспечить одновременное эффективное обнаружение и распознавание заданных объектов на основе видеоизображений без участия оператора наземного поста управления.
Заявляемые объекты поясняются чертежами, на которых показаны:
на фиг. 1 обобщенный алгоритм определения координат объекта;
на фиг. 2 обобщенная структурная схема устройства определения координат объекта;
на фиг. 3 вариант формирования библиотеки эталонных описаний объектов;
на фиг. 4 инвариантность относительного сдвига начала отсчета при использовании комплексного вектор-контура для эталонного описания объекта;
на фиг. 5 обобщенный алгоритм распознавания объекта;
на фиг. 6 алгоритм выделения вектор-контуров объектов;
на фиг. 7 алгоритм сравнения обнаруженных вектор-контуров с эталонными описаниями;
на фиг. 8 алгоритм нахождения координат объекта (B, L, H)j в географической системе координат по одному кадру;
на фиг. 9 алгоритм нахождения координат объекта (B, L, H)j в географической системе координат по серии кадров;
на фиг. 10 алгоритм работы второго блока управления;
на фиг. 11 структурная схема второго устройства обработки и отображения информации;
на фиг. 12 структурная схема седьмого вычислителя;
на фиг. 13 алгоритм работы седьмого вычислителя по определению вектора направления на объект в системе координат видеокамеры;
на фиг. 14 алгоритм работы восьмого вычислителя;
на фиг. 15 структурная схема блока обработки видеоизображения;
на фиг. 16 алгоритм работы блока обработки видеоизображения;
на фиг. 17 алгоритм работы шестого вычислителя;
на фиг. 18 алгоритм работы девятого вычислителя;
на фиг. 19 алгоритм работы третьего блока управления;
на фиг. 20 структурная схема устройства распознавания;
на фиг. 21 алгоритм работы блока определения координат центра вектор-контура.
Невозможность выполнения оператором функции своевременного распознавания объектов на видеоизображениях, одновременно поступающих от нескольких БПЛА предопределило необходимость автоматизации данного процесса. Анализ своевременного уровня развития теории и практики решения подобных проблем свидетельствует о необходимости существенных материальных и временных затрат, что во многих случаях ограничивает распознавание видеообразов (см. Компьютерное зрение. Современный подход. Девид Формайт, Жан Понс. - М.:"Вильямс", 2004. - 928 с.). Основной акцент в предлагаемом техническом решении сделан на сокращении временных затрат на поиск и классификацию заданных объектов.
Реализация заявляемого способа поясняется следующим образом. На подготовительном этапе под фюзеляжем ЛПС устанавливают видеокамеру и фиксируют ее ориентацию. Измеряют ориентацию видеокамеры в трех плоскостях принятых в авиации как крена kk, тангажа lk и склонения ζk. Измеряют и запоминают коэффициенты дисторсии B1, B2, B3 объектива видеокамеры.
Формируют и запоминают библиотеку эталонных описаний заданных объектов (см. фиг. 3). Последние должны отвечать следующим требованиям:
обеспечивать точное сравнение обнаруженного контура с эталонным описанием объектов;
предоставлять возможность быстрого получения эталонных описаний контуров, близких к обнаруженному;
обеспечивать быструю дискриминацию контуров, точно не принадлежащих к заданным объектам.
Этим требованиям отвечает комплексный контур-вектор Г={γ0, γ1, …, γk-1} где γi=xi-xi-1+i(yi-yi-1). Такое представление объекта Oi инвариантно относительно сдвига начала координат, а преобразование поворота и масштаба изображения Oi эквивалентны операции умножения и повороту каждого элементарного вектора из состава комплексного вектора-контура (см. фиг. 4). Каждый класс объектов Oi предлагается задавать набором эталонных контуров G i j
Figure 00000030
, состоящих из комплексных вектор-контуров Г i j
Figure 00000031
и первых n членов вейвлет-свертки автокорреляционной функции (АКФ) D i j
Figure 00000032
, где n и k - параметры базы эталонов (см. фиг. 3).
В процессе одновременного полета нескольких ЛПС по определенным маршрутам с помощью видеокамер осуществляют поиск заданных объектов. Получаемая видеоинформация от всех БПЛА совместно с навигационными параметрами одновременно передается на пункт управления. Изображения, получаемые на видеокамерах содержат как правило много высокочастотных шумов из-за высоких значений коэффициента усиления ISO, нагрева матрицы, артефактов сжатия JPEG и др., наличие которых негативно сказывается на выделение контуров объектов. Для борьбы с шумами (см. фиг. 6) используют размытие с применением функции Гаусса в качестве весовой функции (см. Fisher, Perkins Walker end Wolfart Spatial Filters-Laplacian of Gaussian, 2003)
Figure 00000033
где x(m, n) - входное изображение, y(m, n) - выходное изображение, а r - радиус размытия. Чем больше шума на изображении в силу разных причин, тем больше радиус r следует выбирать.
Большая глубина цвета изображения позволяет различать незначительные цветовые переходы, но также сильно увеличивает пространство для алгоритмов классификации. Для увеличения скорости работы алгоритма распознавания глубину цвета изображения уменьшают без потери информации о контурах и переходах. Это достигается с помощью самоорганизующейся карты Кохонена (см. Т. Kohonen. Self-Organizing Maps. - 3. ed. - New York: Springer, 2001. - 502 p.). Нейронные сети Кохонена SOM позволяют подстраиваться под различные условия съемки без участия оператора и обеспечивают кластеризацию многомерных вектор-контуров.
Для поиска границ (выделения контуров объекта) используют оператор Собеля (см. Харкевич А.А. Спектральный анализ. - М.: Физматгиз, 1963 - 432 с.), представляющий собой дискретный дифференциальный оператор, вычисляющий приблизительное значение градиента в каждой точке. Используемая при этом маска применения имеет вид
Figure 00000034
Figure 00000035
С помощью последней сворачивают исходное изображение для вычисления приближенных значений производных по горизонтали Gx и вертикали Gy
Figure 00000036
где Y - исходное изображение, * - обозначает двумерную операцию свертки. В каждой точке изображения приблизительное значение величины градиента можно вычислить используя выражение
Figure 00000037
В результате применения оператора Собеля выделяют элементы контуров (отрезки). С этой целью используют все особые точки (точки перегиба) и каждая пара соседних точек образует отрезок. При этом отрезки слишком малой и слишком большой длины исключают из рассмотрения.
После выделения множества отрезков находят все замкнутые контура. В начале строится граф, причем вершины, находящихся на расстоянии меньше заданного значения ∈ отожествляется. Далее полученный граф упрощается:
удаляются кратные ребра;
удаляются вершины степени один и инцидентные им ребра (процесс повторяется пока существуют вершины степени один), так как они не могут быть частью замкнутого контура.
Для выполнения операции сравнения найденный контур должен иметь размерность, соответствующую используемой в базе эталонов. Реализацию этого требования осуществляют следующим образом. Исходный контур Гизм={γ0, γ1, …, γk′-1} размерностью k′≠k преобразуется в вектор-контур Nизм={n0, n1, …, nk-1} размерности k. При этом возможны две ситуации, когда k′>k и k′<k. В первой из них (k′>k) используется преобразование
Figure 00000038
В ситуации, когда k′<k, выполняется интерполяция в соответствии с выражением
nij·(1-Q)+γj+1·Q,
где I=i·k/k′; j=I, Q=I-j.
Непосредственно сравнение контуров Гэт и Nизм осуществляют при помощи взаимнокорреляционной функции (см. Введение в контурный анализ и его приложения к обработке изображений и сигналов. Под. ред. Фурман Я.А. - М.: Физматлит, 2003 - 592 с.).
Figure 00000039
где N и з м ( n )
Figure 00000040
- вектор-контур, полученный из Nизм путем циклического сдвига элементарных векторов на n позиций, n=0, 1, …, k-1. Значения взаимно-корреляционной функции (ВКФ) отражает степень сходства контуров Гэт и Nизм при сдвиге Nизм на n позиций. Максимум ВКФ τmax определяют из выражения
Figure 00000041
Вычисление ВКФ является трудоемкой операцией (f(k2·m), где m - количество эталонов), k - количество элементарных векторов в составе вектор-контура, поэтому требуется некоторый дескриптор контура, который позволяет быстро (k2·D, D∈[4, 5]) выбрать достаточно близкие эталоны и вычислить ВКФ только для них. В качестве такого дескриптора используют вейвлетную свертку Уолша автокорреляционной функции D m n
Figure 00000042
(см. Введение в контурный анализ; приложения к обработке изображений и сигналов / Я.А. Фурман, А.В. Кревецкий, А.К. Передреев и др. Под ред. Я.А. Фурмана. - 2-е изд., испр. - М.: Физматлит, 2003. - 592 с.). Близость первых четырех-пяти компонент сверток обнаруженного и контуров-эталонов является основанием нахождения для них ВКФ.
После выбора наиболее близких пяти-шести эталонов осуществляют точный анализ путем нахождения ВКФ в соответствии с (6) и поиск τmax в соответствии с (7). В случае, если τmax превышает заданное (пороговое) значение, принимается решение об обнаружении j-го объекта, с последующим определением координат центра объекта на кадре в пикселях ( x r , y r ) j T
Figure 00000043
. Последнее отсчитывают от верхнего левого угла кадра.
Все последующие этапы предлагаемого способа аналогичны соответствующим этапам способа-прототипа. Полученные координаты ( x r , y r ) j T
Figure 00000044
j-го объекта в кадре преобразуют в направление на объект в системе координат видеокамеры V П i j
Figure 00000007
. Данная операция выполняется в соответствии с выражением
Figure 00000045
где
Figure 00000046
,
Figure 00000047
,
F - фокусное расстояние объектива видеокамеры, пересчитанное в пиксели матрицы (кадра), (cx, cy)T - координаты центра матрицы в пикселях, B1, B2, B3 - измеренные коэффициенты дисторсии объектива (см. Szeliski, Richard. Computer: Algorithms and Applications. -Sprintger, 2010). Произведя переобозначение ( x , y ) T = x ˜
Figure 00000048
выражение (8) принимает вид
Figure 00000049
где
Figure 00000050
. Вектор x ˜ ' '
Figure 00000051
определяется на основе известных параметров видеокамеры и координат j-го объекта на кадре
Figure 00000052
Таким образом, обозначив
Figure 00000053
получаем уравнение, решением которого является искомый вектор V n i j
Figure 00000054
Figure 00000055
Численное значение вектора V П i j
Figure 00000007
находится методом простых итераций.
Направление на j-й объект V П i j
Figure 00000007
определено без учета ориентации видеокамеры относительно корпуса ЛПС и собственно ориентации ЛПС в пространстве. В силу названных причин в предлагаемом способе по аналогии с прототипом на первом этапе учитывают ориентацию видеокамеры относительно ЛПС и положение ЛПС в пространстве. Это достигается путем последовательного перехода из одной системы координат в другую, что удобнее и быстрее выполнять в декартовой системе координат. На втором этапе определения координат объектов учитывают особенности рельефа местности района измерений. Данные этапы достаточно полно освещены в пат. РФ №2419106, МПК G01S 13/46, опубл. 2.8.05.2011 г. и пат. РФ №2458360 МПК G01S 13/46, 5/02, 3/14, опубл. 1.08.2012 г.
Координаты ЛПС
Figure 00000056
, измеренные в момент времени ti, преобразуют в геоцентрическую систему координат:
Figure 00000057
В первом преобразовании вектора направления на j-й объект V П i j
Figure 00000007
учитывают априорно известную ориентацию видеокамеры относительно ЛПС на основе данных, полученных на подготовительном этапе. Коррекцию V П i j
Figure 00000007
осуществляют в плоскости трех углов Эйлера: крена kk, тангажа lk и склонения ζk. Исходный вектор V П i j
Figure 00000007
последовательно перемножают на три соответствующие углам Эйлера матрицы поворота (см. фиг.8)
Figure 00000058
где
Figure 00000059
,
Figure 00000060
,
Figure 00000061
.
На следующем этапе в нормальной системе координат осуществляют преобразование скорректированного вектора направления на j-й объект
Figure 00000062
с целью учета ориентации ЛПС относительно земной поверхности и положения ЛПС в пространстве, что позволяет получить уточненное значение вектора направления на j-й объект
Figure 00000063
. Переход через эту систему координат продиктован тем, что в ней измеряются углы ориентации ЛПС. Получение вектора направления на источник V i j +
Figure 00000010
в нормальной системе координат также предпочтительно. Полученный на предыдущем этапе вектор V i j '
Figure 00000064
последовательно перемножают на три соответствующие матрицы поворота (относительно каждой из названных осей)
Figure 00000065
где
Figure 00000066
,
Figure 00000067
,
Figure 00000068
.
Уточненные значения азимута θ i j +
Figure 00000069
и угла места β i j +
Figure 00000070
определяют из выражения (14) следующим образом:
Figure 00000071
Figure 00000072
Здесь вектор V i j +
Figure 00000010
находится в нормальной системе координат: OX+ -направление на север, OY+ - на восток, OZ+ - к центру Земли.
Для нахождения расстояния между ЛПС и j-м объектом d(H0)ij необходимо учесть шарообразный характер поверхности Земли. Иначе, данная задача может быть интерпретирована как нахождение расстояния d(H0)ij, на котором V i j +
Figure 00000010
вектор пересечется с "круглой" Землей на высоте d(H0)ij метров:
Figure 00000073
где D - дискриминант квадратного уравнения: D = ( H 0 + R ) 2 ( H l p s i + R ) 2 cos 2 β i j +
Figure 00000074
, R - радиус Земли, R=6370000 м. Следует отметить, что расстояние d(H0)ij возможно определить при условии D≥0. В противном случае начинают новый цикл измерений пространственных параметров j-го объекта θ i + 1, j +
Figure 00000075
и β i + 1, j +
Figure 00000076
.
Нормальная система координат, в которой на данном этапе находится уточненный вектор V i j +
Figure 00000010
, расположена с некоторым поворотом, который зависит от широты и долготы местоположения ЛПС. Для окончательного перехода в геоцентрическую систему координат необходимо довернуть вектор V i j +
Figure 00000010
на широту ЛПС и π/2 минус долготу ЛПС L l p s i
Figure 00000077
используя матрицы поворота, а затем перенести центр системы координат в центр Земли используя геоцентрические координаты ЛПС. В результате имеем истинный вектор V i j ' '
Figure 00000078
направления на j-й объект
Figure 00000079
где
Figure 00000080
,
Figure 00000081
.
На этом завершается первый этап измерений.
На следующем этапе результаты вычислений угла места β i j +
Figure 00000082
сравнивают с пороговым значением Δβ, определяющим заданную потенциальную точность измерения местоположения объектов. Следует отметить, что угол места на источник β i j + = 0
Figure 00000083
соответствует горизонту, β i j + = 90
Figure 00000084
соответствует зениту.
Координаты объекта на "круглой" Земле в геоцентрической системе координат по направлению и расстоянию на высоте H0 по аналогии с прототипом находят с помощью выражения:
Figure 00000085
Переход от (19) к более удобной географической системе координат V j = ( B j , L j )
Figure 00000086
осуществляют следующим образом:
широта
Figure 00000087
,
где
Figure 00000088
;
долгота
Figure 00000089
При малых значениях β i j +
Figure 00000082
(обеспечивается низкая точность измерения координат объекта), а также при выполнении пороговых условий и отсутствии цифровой карты рельефа местности района измерений, определяют координаты точки пересечения истинного вектора направления на j-й объект V i j ' '
Figure 00000078
с "круглой" Землей, которые далее поступают на выход и используются в качестве искомой величины.
При выполнении пороговых условий β i j + > Δ β
Figure 00000090
и наличия цифровой карты рельефа района измерений становится возможным более точное измерение координат. Порядок выполняемых при этом операций подробно рассмотрен в способе-прототипе.
Результаты вычислений координат V ф j , m , δ
Figure 00000091
преобразуют в удобную географическую систему координат V j δ = ( B j , L j , H j )
Figure 00000092
в соответствии с выражением (20). Соответствующее значение H берется из массива цифровой карты рельефа местности.
Повышение точности определения координат объектов V j = ( B j , L j )
Figure 00000086
достигается при работе с последовательностью видеокадров и привязанными к ним данными телеметрии (см. фиг.9).
В этом случае для каждого кадра серии вычисляют координаты объекта интереса V j
Figure 00000029
. При этом обеспечивается высокая точность, поскольку используют результаты измерений координат и ориентации БПЛА, сделанные на всей серии кадров.
Запишем координаты j-го объекта в пикселях на l-м кадре ( x r , y r ) l j T
Figure 00000093
. Тогда координаты j-го объекта в l+1-м кадре примут вид ( x r , y r ) l + 1, j T
Figure 00000094
. Известно (см. Szeliski, Richard. Computer: Algorithms and Applications. - Sprintger, 2010), что при съемке плоской поверхности (в данном случае земной поверхности) одной и той же видеокамерой с двух позиций справедливо выражение, связывающее координаты одного и того же объекта на l-м и l+1-м кадрах:
Figure 00000095
где µl+1 - матрица проективного преобразования из l-го кадра в l+1-й.
Определяется взаимным расположением видеокамер в l-й и l+1-й позициях и имеет вид:
Figure 00000096
.
Определение значения матрицы µl+1 выполняют следующим образом. При помощи алгоритма SURF (см. Herbert Bay, Andreas Ess, Tinne Tnytelaars, Luc Van Gool. SURF: Speeded Up Robust Features. - Computer Vision and Image Understanding (CVIU), Vol. 110, №3, 2008, p. 346-359) осуществляют поиск наборов контрастных точек на двух изображениях { x } l
Figure 00000097
и { x } l + 1
Figure 00000098
. Для каждой точки из набора контрастных точек реализуют вычисление ее характеристики при помощи алгоритма BRIEF (см. М. Colonder, V. Lepetit, С. Strecha, P. Fua. BRIEF: Bonary Robust Independent Elementary Features. ECCV, 2010). Далее путем попарного сравнения вычисленных характеристик точек находят множество пар точек { ( x l , x l + 1 ) }
Figure 00000099
, где x l
Figure 00000100
- контрастная точка в l-м изображении (кадре), а x l + 1
Figure 00000101
- найденная как соответствующая ей контрастная точка в l+1-м изображении.
При обнаружении P пар соответствующих друг другу точек ( x l , x l + 1 ) p
Figure 00000102
, p=1, 2, …, P, то согласно (5) имеют место 2P линейных уравнений относительно восьми неизвестных коэффициентов матрицы µ:
Figure 00000103
На практике число P достаточно велико по сравнению с минимально необходимым для решения данной системы. Однако среди найденных соответствий контрастных точек могут быть ошибочные совпадения. Данная проблема устраняется при помощи алгоритма RANSAC (см. Martin A. Fischler and Robert С.Bolles (June 1981). Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM24 (6):381-395. doi: 10.1145/358669.358692). Алгоритм запускается на фиксированное число итераций, на каждой из которых из n найденных соответствий выбирается s случайных пар. Из выбранных пар получают систему из 2s линейных уравнений, которая решается методом наименьших квадратов. Для полученного решения считается невязка на всем наборе из 2n уравнений. После выполнения фиксированного числа итераций в качестве µ выбирается наилучшее решение.
Таким образом, найдя матрицу проективного преобразования между соседними кадрами становится возможным нахождение координат объекта V j = ( B j , L j ) l + 1
Figure 00000104
а последующем l+1-м кадре последовательности. С каждым последующим кадром местоположение j-го объекта уточняется, что и приводит к повышению точности измерений. Переход от координат ( x r , y r ) j T
Figure 00000105
к вектору направления V n i j
Figure 00000106
в координатах видеокамеры на каждом очередном кадре осуществляют в соответствии с выражениями (8)-(11).
Таким образом, в предлагаемом способе определения координат одновременно в M каналах обработки (по числу БПЛА) осуществляют прием видеоизображений контролируемой зоны совместно с информацией о телеметрии БПЛА, обнаружение и распознавание заданных объектов и определение их координат без участия оператора наземного пункта управления, что существенно увеличивает пропускную способность способа и его эффективность. Следует отметить, что полностью не исключается участие оператора НПУ в процессе функционирования системы. Последний в состоянии контролировать качество выполняемой задачи. В отдельных случаях при управлении одним-двумя БПЛА он может взять на себя управление процессами обнаружения и распознавания объектов в соответствии с алгоритмами в способе-прототипе.
Устройство определения координат объектов, содержащее M идентичных БПЛА 11-1M и наземный пункт управления 2, причем каждый БПЛА 11-1M выполнен содержащим последовательно соединенные контроллер 1.6, рулевой привод 1.7 и аэродинамические рули 1.9, автопилот 1.2, группа информационных входов которого соединена с второй группой информационных выходов контроллера 1.6, первая группа информационных входов которого соединена с группой информационных выходов автопилота 1.2, двигательная установка 1.1, группа информационных входов которой соединена с третьей группой информационных выходов контроллера 1.6, первый приемо-передающий модуль 1.8, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера 1.6, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля 1.8, последовательно соединенные блок видеонаблюдения 1.3, первое запоминающее устройство 1.4 и передающий модуль 1.10, блок навигации БПЛА 1.5, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства 1.4, а НПУ 2 выполнен содержащим последовательно соединенные первый блок управления 2.1, второй M-канальный приемо-передающий модуль 2.2 и первое M-канальное устройство обработки и отображения информации 2.6, последовательно соединенные M-канальный приемный модуль 2.3, второй блок управления 2.9 и второе M-канальное устройство обработки и отображения информации 2.4, группа информационных выходов которого является первой выходной шиной 2.5 наземного пункта управления 2, последовательно соединенные второе запоминающее устройство 2.7 и M-канальное устройство распознавания 2.8, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления 2.9, вторая группа информационных выходов является второй выходной шиной 2.11 наземного пункта управления 2, вторая группа информационных входов соединена с группой информационных выходов приемного модуля 2.3, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства 2.7, группа информационных входов которого является входной шиной НПУ 2.
Заявляемое устройство определения координат объектов работает следующим образом (см. фиг. 2). На подготовительном этапе на БПЛА 11-1M под фюзеляжем устанавливают блоки видеонаблюдения 1.31-1.3M соответственно. В качестве последних может быть использована видеокамера EVS (см. Мегапиксельные сетевые камеры EVS. http://www.evs.ru/prod.php?gr=313). С помощью второго блока управления 2.9 (в качестве последнего может быть использован ноутбук, работающий в соответствии с алгоритмом, представленном на фиг. 10) задают исходные данные:
ориентацию видеокамеры относительно борта (kk, lk, ζk);
измеренные коэффициенты дисторсии объектива видеокамеры B1, B2, B3;
пороговые значения Δβ, Δd и Δδ;
количество итераций при решении уравнения перехода от координат объекта в кадре (xr, yr)T к вектору направления на него V П i j
Figure 00000007
;
число итераций расчета в алгоритме RANSAC;
цифровая карта района измерений с граничными характеристиками рельефа местности.
Кроме того, определяют классы объектов, подлежащих распознаванию. Например, к их числу могут относиться легковые автомобили, грузовые автомобили, самолеты и т.д. При необходимости возможна более глубокая детализация: марка автомобиля, самолета и т.д.
Описание классов объектов осуществляют с помощью комплексных вектор-контуров (ВК). Г={γ0, γ1, …, γk-1}, где γi=xi-xi-1+i(γii-1). Такое представление инвариантно относительно сдвига, а преобразования поворота и масштаба изображения эквивалентны умножению и повороту каждого элементарного вектора ВК (см. фиг. 4). Получение эталонных ВК Г m э т n
Figure 00000107
осуществляют в благоприятных условиях на однородном фоне. В качестве последнего может выступать ровное поле, взлетная полоса аэродрома и т.д. В качестве дескриптора D m n
Figure 00000108
используют первые n элементов вейвлетных сверток АКФ контуров. Для этого применяют вейвлеты Уолша из-за высоких дискриминирующих свойств. Последние совместно с соответствующими значениями Г m э т n
Figure 00000109
используют в качестве эталонного описания объекта. Вариант представления эталонов объектов приведен на фиг. 3. Полученные эталонные описания объектов по входной шине 2.10 НПУ 2 записывают во второе запоминающее устройство 2.7. Последний содержит М идентичных блоков памяти 2.71-2.7M, в которых дублируется одна и та же информация.
Управление взлетом, полетом и посадкой БПЛА 11-1M осуществляют с первого автоматизированного рабочего места (АРМ) наземного пункта управления 2, состоящего из первого блока управления 2.1, второго приемопередающего модуля 2.2 и первого устройства обработки и отображения информации 2.6. По аналогии с прототипом данную операцию осуществляют по первому радиоканалу на частотах 0,9-0,92 МГц с использованием модулей 1.8m и 2.2. Сигналы управления блока 2.1 через модули 2.2 и 1.8m поступают на вход контроллера 1.6m. Далее с выхода блока 1.6m они следуют на группу входов двигательной установки 1.1m и через рулевой привод 1.7m на аэродинамические рули 1.9m.
Сигнал управления, поступающий на вход блока 1.1m, обеспечивает включение/выключение двигателя, изменение скорости вращения винта и др. С помощью команд, подаваемых на аэродинамические рули 1.9m через блок 1.7m, изменяют углы наклона крыльев, конфигурацию их поверхности и другие параметры управления движением БПЛА 11-1M.
Автопилот 1.2m обеспечивает необходимую стабилизацию положения БПЛА 11-1M в пространстве на заданной блоком 2.1 высоте, парирование ветровых возмущений, движение по заданному маршруту и т.д. Воздействие автопилота 1.2 на двигательную установку 1.1m и через рулевой привод 1.7m - на аэродинамические рули 1.9m осуществляется через контроллер 1.6m. Последний формирует по исходным данным блока 1.2m необходимые команды управления функциональным узлам БПЛА 11-1M.
Непосредственное участие в измерении координат объектов на борту БПЛА 11-1M принимают блок видеонаблюдения 1.3m, первое запоминающее устройство 1.4m, блок навигации БПЛА 1.5m и передающий модуль 1.10m, а в наземном пункте управления 2 - второе автоматизированное рабочее место в составе приемного модуля 2.3, второго устройства обработки и отображения информации 2.4, второго блока управления 2.9, второго запоминающего устройства 2.7 и устройства распознавания 2.8. Следует отметить, что блоки 2.3, 2.4, 2.7 и 2.8 выполняют M канальными.
При наличии данных о положении и ориентации БПЛА 1m существует возможность в оперативном режиме обнаруживать, распознавать и принимать решение на определение координат объектов (см. фиг. 1). Изображение, полученное блоком видеонаблюдения 1.3m (IP камерой EVS), в цифровом формате передают на НПУ 2 с помощью блоков 1.10m и 2.3m в диапазоне 2,4 ГГц на соответствующей БПЛА 1m частоте. Скорость передачи информации составляет 4 Мбит/с.При пересылке данных в формате JPEG возможна передача двух-четырех кадров высокого разрешения в секунду или десяти-двенадцати кадров низкого разрешения в секунду при поддерживаемом разрешении 1600×1200 или 640×480 (для камеры EVS) соответственно. Одновременно видеоинформация со всех находящихся в воздухе БПЛА передается на НПУ2. Обнаружение, распознавание и определение координат объектов осуществляют на втором автоматизированном рабочем месте (блоки 2.3, 2.4, 2.7, 2.8 и 2.9) в соответствующих m-ных каналах обработки, на которые и подают видеопоток с блоков 1.3m в реальном масштабе времени (см. фиг. 1 и 5). Получаемое БПЛА 1m изображение позволяет с помощью блоков 2.7m и 2.8m обнаружить заданные объекты и выполнить операцию по их распознаванию в соответствии с выражениями (1)-(7), ас помощью блока 2.9 с формировать команду на местоопределение обнаруженного объекта соответствующему m-му каналу обработки 2.4m блока 2.4m. Благодаря данным телеметрии БПЛА 1m и положению объекта на текущем кадре m-й канал блока 2.4m в состоянии с некоторой погрешностью рассчитать географические координаты интересующего объекта. Распараллеливание выполнения операций обнаружения, распознавания и определения координат объектов по источникам видеосигналов (в качестве последних выступают БПЛА) обеспечивает сокращение временных затрат на их выполнение.
В функции блока 1.4m входит совместная запись кадров видеоизображения с блока 1.3m и соответствующих им навигационных данных БПЛА 1m с выхода блока 1.5m.
Все функциональные элементы и блоки предлагаемого устройства, широко освещены в литературе и серийно выпускаются.
В качестве БПЛА 11-1M целесообразно использовать серийно выпускаемый ООО "Специальный Технологический Центр" город Санкт-Петербург БПЛА "Орлан 10" (см. http://bla-orlan.ru/default/catalog/ orlan10.html).
Масса полезной нагрузки БПЛА составляет 5 кг, способ старта - с разборной катапульты, приземление - на парашюте. Воздушная скорость БПЛА 90-150 км/ч, максимальная продолжительность полета - 16 часов, максимальная дальность - 600 км, максимальная высота - 5 км.
Блок видеонаблюдения 1.3 может быть реализован с помощью цифровой IP видеокамеры EVS. Блок навигации 1.5 может быть реализован в соответствии с пат. РФ №2371733 или пат. РФ №2374659.
Одновременное управление БПЛА 11-1M "Орлан-10" реализуют с первого АРМ по низкоскоростным дуплексным каналам связи на частотах 900-920 МГц в режиме псевдослучайной перестройки рабочей частоты. По этим каналам (тракты 1.81-1.8M и блок 2.2 соответствующих БПЛА) осуществляют задание маршрута полета, высоту полета и порядок облета: проход на высоте или барражирование и т.д. Управляющая информация формируется с помощью блока 2.1 для всех БПЛА 11-1M. В качестве блока 2.1 может использоваться ноутбук.
Видеоизображения объектов на НПУ 2 с борта БПЛА 11-1M одновременно поступают по высокоскоростным симплексным каналам на частотах 2000-2500 МГц на второе АРМ. Скорость передачи информации в каждом канале составляет 4 Мбит/с. Дальность связи зависит от высоты полета и местных условий и в среднем составляет 100-130 км. С помощью второго АРМ осуществляют обнаружение, распознавание и определение координат заданных объектов без участия оператора. В ситуациях, когда функционирование заявляемого устройства затруднено (заданные объекты трудно различимы с фоном, например находятся в лесу и т.п.) предусмотрено управление системой оператором с помощью блока 2.9 по описанному в прототипе алгоритму.
Второе устройство обработки и отображения информации 2.4 (см. фиг.11) содержащее M идентичных каналов 2.41-2.4M, предназначено для определения координат объектов (решение о измерении принимает устройство распознавания 2.8, а формирование команды осуществляет второй блок управления 2.9), реализации операций в соответствии с выражениями (8)-(22), представления результатов измерений в заданной форме. Каждый канал 2.4m выполнен аналогично соответствующему блоку устройства-прототипа и содержит первый вычислитель 1.m, второй вычислитель 2.m, третий вычислитель 3.m, четвертый вычислитель 4.m, пятый вычислитель 5.m, шестой вычислитель 6.m, седьмой вычислитель 7.m, первый блок памяти 8.m, генератор синхроимпульсов 9.m, восьмой вычислитель 10.m, девятый вычислитель 11.m, блок коммутации 12.m, блок обработки изображения 13.m, третий блок управления 14.m, второй блок памяти 15.m, блок усреднения координат 16.m, блок сравнения 17.m и блок индикации 18.m.
Работу второго устройства обработки и отображения информации 2.4 рассмотрим на примере одного из каналов 2.4m.
На подготовительном этапе с помощью блока управления 2.9 (в качестве последнего может быть использован ноутбук, работающий в соответствии с алгоритмом, представленном на фиг.10) задаются исходные данные:
ориентация видеокамеры относительно борта (kk, lk, ζk);
измеренные коэффициенты дисторсии объектива видеокамеры B1, B2, B3;
пороговые значения Δβ, Δd и Δδ;
количество итераций при решении уравнения перехода от координат объекта в кадре (xr, yr)T к вектору направления на него V П i j
Figure 00000007
;
число итераций расчета в алгоритме RANSAC;
цифровая карта района измерений с граничными характеристиками рельефа местности.
В процессе работы видеоизображение считывается блоками 2.8m, 2.9 и 12.m. При обнаружении m-ным каналом распознавания блока 2.8 за данного объекта информация о нем с выхода блока 2.8m и преобразованная в блоке 2.9 поступает на первую группу информационных входов m-ного канала седьмого вычислителя 7.m в виде координат ( x r , y r ) j T
Figure 00000105
. В функции блока 7.m (см. фиг. 12 и 13) входит преобразование координат объекта в пикселях ( x r , y r ) j T
Figure 00000105
в вектор направления на него в системе координат видеокамеры 1.3 V П i j
Figure 00000007
в соответствии с выражениями (8)-(11).
Одновременно информация о пространственном положении БПЛА (Blps, Llps, Hlps)i, а также θ l p s i
Figure 00000110
и β l p s i
Figure 00000111
поступает на группу информационных входов первого вычислителя 1.m. В его функции входит преобразование пространственных параметров БПЛА V l p s i
Figure 00000112
в геоцентрическую систему координат V l p s i Г = ( X l p s , Y l p s , Z l p s ) i
Figure 00000113
в соответствии с выражением (12).
Результаты вычислений V l p s i Г
Figure 00000114
следуют на первую группу информационных входов второго вычислителя 2.m, а на вторую группу его информационных входов - значение V П i j
Figure 00000007
с группы информационных выходов блока 7.m. В функции вычислителя 2.m входит коррекция вектора направления на j-й объект V П i j
Figure 00000007
на основе априорно известной ориентации видеокамеры 1.3m относительно борта БПЛА 1m. Последняя поступает с первой группы информационных входов устройства 2.4 на входы первого блока памяти 8.m, представляющего собой буферное запоминающее устройство. С информационных выходов блока 8.m значения (kk, lk, ζk) следуют на третью группу информационных входов второго вычислителя 2.m. Скорректированный вектор V i j '
Figure 00000115
находят путем последовательного умножения вектора V П i j
Figure 00000007
на три соответствующие углам Эйлера матрицы поворота в соответствии с (13).
Значения скорректированного вектора V i j '
Figure 00000116
с выходов блока 2.m поступают на первую группу информационных входов третьего вычислителя 3.m. В его функции входит определение уточненного вектора направления на j-й объект V i j + = ( X j + , Y j + , Z j + ) i
Figure 00000117
с учетом измеренных в момент времени ti пространственных углов БПЛА: крена k l p s i
Figure 00000004
, тангажа l l p s i
Figure 00000118
, курсового угла α l p s i
Figure 00000119
, и склонения ζ l p s i
Figure 00000120
. Для этого используют нормальную систему координат. С учетом вышесказанного на вторую группу информационных входов блока 3.m подают значения ( k l p s i , l l p s i , ζ l p s i )
Figure 00000121
, характеризующие ориентацию БПЛА 1m в пространстве в момент получения кадра видеоизображения с j-м объектом. Определение уточненного вектора направления V i j +
Figure 00000122
в блоке 3.m выполняют в соответствии с выражением (14).
Уточненное значение вектора направления на j-й объект V i j +
Figure 00000123
с информационных выходов блока 3.m далее следует на первую группу информационных входов четвертого вычислителя 4.m. В функции последнего входит определение уточненных значений азимутального угла θ i j +
Figure 00000011
, угла места β i j +
Figure 00000124
и удаления j-го объекта от БПЛА 1md(H0)ij. Пространственные углы θ i j +
Figure 00000011
и β i j +
Figure 00000125
находят в соответствии с выражениями (15) и (16) соответственно. Расстояние d(H0)ij между БПЛА 1m и j-м объектом определяют в соответствии с (17). Для обеспечения вычислений на вторую группу информационных входов блока 4.m поступает значение H l p s i
Figure 00000126
, с первой группы информационных входов устройства 2.4. Радиус Земли известен, а его значение содержится в блоке 4.m. В случае невозможности определить расстояния d(H0)ij на выходе обнуления четвертого вычислителя 4.m формируется сигнал, который поступает на входы обнуления первого 1.m, второго 2.m и третьего 3.m вычислителей. В результате значения векторов V П i j
Figure 00000007
, V i j '
Figure 00000116
и V i j +
Figure 00000123
в этих блоках обнуляются, а заявляемое устройство начинает новый цикл работы.
Для измерения d(H0)ij значение V i j +
Figure 00000123
с группы информационных выходов блока 3.m через блок 4.m поступает на группу информационных входов пятого вычислителя 5.m. В его функции входит преобразование уточненного вектора направления на j-й объект, находящегося в нормальной системе координат, в истинный вектор направления V i j ' '
Figure 00000127
в геоцентрической системе координат. Данную операцию в блоке 5.m осуществляют в соответствии с выражением (18). Для этого на вторую группу информационных входов пятого вычислителя 5.m подают значения B l p s i
Figure 00000001
и L l p s i
Figure 00000128
с первой группы информационных входов блока 2.4.
На следующем этапе работы заявляемого устройства осуществляют преобразование вектора V i j ' '
Figure 00000127
. Последний поступает на вторую группу информационных входов шестого 6.m и пятую группу информационных входов восьмого 10.m вычислителей и вторую группу информационных входов третьего блока управления 14.m.
Назначение шестого вычислителя 6.m состоит в определении координат точки пересечения вектора V i j ' '
Figure 00000127
с "круглой" Землей V ф j
Figure 00000129
и преобразовании геоцентрических координат j-го объекта в географические V j
Figure 00000130
. Первую из названных функций в блоке 6.m выполняют в соответствии с выражением (19). Для этого значение V l p s i Г
Figure 00000131
, сформированное первым вычислителем 1.m, поступает на первую группу информационных входов шестого вычислителя б.га. Кроме того, значение d(H0)ij, найденное блоком 4.m, через блок 5.m поступает на вторую группу информационных входов блока 6.m. Далее осуществляют переход от геоцентрического вектора координат j-го объекта к его географическим координатам Bj и Lj. в соответствии с (20). Результаты вычислений V j = ( B j , L j )
Figure 00000017
с выходов блока б.га следуют на вторую группу информационных входов блока коммутации 12.m.
Одновременно (с блоком 4.m) в блоке 10.m в два этапа осуществляют определение координат j-го объекта с заданной точностью. Данную операцию выполняют совместно с блоком управления 14.m и блоком памяти 15.m. На подготовительном этапе в блок памяти 15.m записывают цифровую карту рельефа местности района измерений. Данная операция выполняется с помощью блока 2.9 по первой группе информационных входов блока 2.4. Одновременно по этой же шине в блок управления 14.m задают граничные значения матрицы высот (Ba, La) и (Bb, Lb) и количество точек разбиения J, а в блок 10.m - количество шагов сканирования по вектору V i j ' '
Figure 00000127
на предварительном Δd и конечном Δδ этапах. В блоке 15.m осуществляют упорядоченную (по заданным адресам) запись цифровой карты рельефа местности. Матрица охватывает участок земной поверхности, ограниченный координатами (Ba, La) и (Bb, Lb). Назначение блока управления 14.m состоит в преобразовании части вектора V i j ' '
Figure 00000127
, ограниченного точками ( B l p s i , L l p s i )
Figure 00000132
и (Bj, Lj) в линейку адресов {Ai,j,δ}, соответствующих равномерно распределенным по его длине высотам {Hi,j,δ} рельефа местности. С этой целью на первую группу информационных входов блока 14.m поступают координаты БПЛА 1m ( B l p s i , L l p s i )
Figure 00000132
. На вторую группу информационных входов блока управления 14.m подают значение вектора направления на j-й объект V i j ' '
Figure 00000127
с выходов блока 5.m. На третьей группе информационных входов блока управления 14.m присутствует значение координат V j = ( B j , L j )
Figure 00000017
, поступившее с выхода шестого вычислителя 6.m. В блоке 14.m названный отрезок вектора V i j ' '
Figure 00000127
преобразуют в последовательность адресов {Ai,j,δ}, которые поступают на адресные входы второго блока памяти 15.m. Последние используются для формирования на его входе адресной линейки Ai,j,δ. В результате на третью группу информационных входов восьмого вычислителя 10.m поступает последовательность высот {Hi,j,δ} рельефа местности, соответствующая заданному отрезку истинного вектора направления V i j ' '
Figure 00000127
. Емкость последовательности высот {Hi,j,δ} определяется значением A=max{J,δ), где J=d(H0)ij/Δd, δ=Δd/Δδ. На фиг.14 приведен алгоритм работы блока 10.m по поиску предварительного и точного (с заданной точностью) определения координат объектов V ф j δ
Figure 00000133
.
Геоцентрические координаты j-го объекта далее поступают на информационные входы девятого вычислителя 11.m. В блоке 11.m выполняют преобразование геоцентрических координат в географические V j δ = ( B j , L j , H j )
Figure 00000134
в соответствии с выражением (21).
Результаты вычислений с выхода блока 11.m поступают на первую группу информационных входов коммутатора 12.m.
Решение о том, какие координаты пойдут на вход блока 16.m (приблизительные V j = ( B j , L j )
Figure 00000017
, полученные на "круглой" Земле или точные V j δ = ( B j , L j , H j )
Figure 00000135
с учетом рельефа местности) принимает блок сравнения 17.m. На подготовительном этапе (с использованием блока 2.9) в блок сравнения 17.m записывают значение Δβ, определяющее заданную потенциальную точность определения координат объектов. В процессе работы заявляемого устройства в блоке 17.m выполняют сравнение очередного измеренного значения β i j +
Figure 00000012
с пороговым значением Δβ. Если текущее значение β i j +
Figure 00000012
оказалось меньше порогового уровня Δβ, блок 17.m формирует управляющий сигнал, поступающий на вход управления блока коммутации 12.m. В результате значение координат V j = ( B j , L j )
Figure 00000017
с выхода блока 6.m через блок 12.m поступает на группу информационных входов блока усреднения координат 16.m. В противном случае ( β i j + > Δ β )
Figure 00000136
на вход блока 16.m поступает значение V j δ = ( B j , L j , H j )
Figure 00000135
с выхода блока 11.m.
При возникновении ситуации, при которой отсутствует информация о рельефе местности и β i j + > Δ β
Figure 00000137
блок 10.m работает по алгоритму (см. фиг.14) в соответствии с выражением (20), а на вход блока 16.m поступают приблизительные координаты j-го объекта V j = ( B j , L j )
Figure 00000017
с выхода блока 6.m. Синхронность выполнения всех операций обеспечивает генератор синхроимпульсов 9.m.
При оценке координат по одному или по первому кадру видеоизображения объекта на выходе блока 13.m отсутствует управляющий сигнал. В блоке 16.m операция усреднения не выполняется, а значения координат j-го объекта поступают на вход блока индикации 18.m и далее на первую выходную шину 2.5 совместно со временем ti обнаружения объекта. Кроме того, результаты измерений сохраняются в его буферной памяти. На этом заканчивается этап работы устройства по одному кадру видеоизображения.
На следующем этапе (на очередном кадре) с помощью блока анализа видеоизображения 13.m выполняют анализ поступившего кадра на предмет наличия в нем изображения заданного j-го объекта. Алгоритм работы устройства меняется при обнаружении в последующем кадре наблюдаемого ранее j-го объекта. В этом случае осуществляют многократное (по числу кадров с изображением объекта) измерение его координат с последующим их усреднение в блоке 16.m, что позволяет существенно повысить точность измерений. Основным элементом, реализующим эти измерения, является блок обработки изображения 13.m. Если блоком 13.m на очередном кадре j-й объект не обнаружен, результаты измерений его усредненных координат остаются неизменными, поступают на информационные входы блока индикации 18.m и далее на первую выходную шину 2.5.
При обнаружении j+1-го объекта все вышеназванные операции повторяются.
Блок 13.m предназначен для решения следующих задач (см. фиг. 15 и 16):
поиска контрастных точек на изображении методом SURF;
вычисления характеристик контрастных точек методом BRIEF;
сравнения с контрастными точками предыдущего кадра и принятие решения о присутствии заданного объекта в текущем кадре;
при повторном обнаружении заданного объекта - для формирования управляющего сигнала блоку 16.m о необходимости усреднения результатов измерений;
формирования матрицы проективного преобразования методом RANSAC с последующим уточнением координат ( x r , y r ) j T
Figure 00000043
j-го объекта на l+1-м кадре.
Данные функции блок 13.m выполняет в соответствии с выражениями (22) и (23). В случае принятия решения блоком 13.m о том, что в очередном l+1-м кадре присутствует изображение j-го объекта, ранее присутствовавшее на l-м кадре, последний формирует управляющий сигнал блоку 16.m. В результате координаты объекта, полученные на l+1-м кадре запоминаются совместно с результатами, полученными на 1-м кадре. Далее в блоке выполняется операция усреднения координат по двум кадрам, а результаты высвечиваются в блоке индикации 18.m. Наличие j-го объекта во всех последующих кадрах приводит к очередному измерению его координат V j
Figure 00000018
или V j δ
Figure 00000138
с последующим усреднением результатов. При первом пропадании изображения объекта в кадре результаты усреднения его координат фиксируется (предыдущие измерения стираются), а в блоке индикации 18.m высвечиваются усредненные координаты j-го объекта, которые также поступают на выходную шину 2.5.
Первый 1.m, второй 2.m, третий 3.m, четвертый 4.m, пятый 5.m и седьмой 7.m вычислители предназначены для определения истинного вектора направления на j-й объект V i j ' '
Figure 00000127
в геоцентрической системе координат, а также θ i j +
Figure 00000011
и β i j +
Figure 00000139
и удаление объекта от БПЛА d(H0)ij (см. фиг.11). Это достигается благодаря учету ориентации видеокамеры относительно борта БПЛА 11-1M и определению места объекта в кадре видеокамеры 1.3m и собственно угловой ориентации БПЛА 11-1M в пространстве. Каждый из вычислителей выполняет строго определенные в выражениях (8-18) операции, реализация которых сложностей не вызывает. Реализация этих блоков известна (см. пат. РФ №2458360, опубл. 10.08.2012 г.), выполняются на постоянных запоминающих устройствах К541 и К500 сериях микросхем. Алгоритмы работы вычислителей 1.m, 2.m, 3.m, 4.m и 5.m приведены в описании соответствующих блоков устройства-прототипа. На фиг. 12-13 приведен вариант реализации блока 7 на дискретных элементах в соответствии с выражениями (8)-(11). Для уменьшения массогабаритных характеристик, потребляемого тока блоки с 1.m по 5.m и 7.m целесообразно реализовать на специализированном процессоре TMS320c6416 (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html).
Шестой 6.m, восьмой 8.m и девятый 11.m вы числители реализуются аналогично соответствующим блокам в пат. РФ №2458360, опубл. 10.08.2012 г. Шестой вычислитель 6.m предназначен для определения координат точки пересечения вектора V i j ' '
Figure 00000127
с "круглой" Землей V ф j
Figure 00000140
и преобразования геоцентрических координат V ф j
Figure 00000141
в географические V j = ( B j , L j )
Figure 00000017
в соответствии с (19) и (20).
Реализация блока 6.m трудностей не вызывает. Может быть реализован на постоянных запоминающих устройствах К541 и К500 сериях микросхем. Алгоритм работы приведены на фиг.17.
Восьмой вычислитель 10.m предназначен для определения местоположения объекта с заданной точностью в геоцентрической системе координат V ф j δ
Figure 00000142
.Данную функцию блок 10.m выполняет в два этапа в соответствии с алгоритмом, приведенном на фиг.14 и выражением (21). Может быть реализован по аналогии с соответствующим блоком (см. пат. РФ №2458360, опубл. 10.08.2012 г.) на базе 16-ти разрядного микропроцессора К1810 ВМ86.
Девятый вычислитель 11.m предназначен для преобразования геоцентрических координат объекта V ф j δ
Figure 00000143
в географические V j δ
Figure 00000144
в соответствии с алгоритмом на фиг. 18 и выражением (20). Реализация блока 11.m известна и трудностей не вызывает. Блок 11.m может быть реализован на дискретных элементах на базе ТТЛ-уровней сигналов, например 555, 1533 сериях микросхем и др.
Третий блок управления 14.m предназначен для преобразования части вектора V i j ' '
Figure 00000127
, ограниченной точками ( B l p s i , L l p s i )
Figure 00000132
и (Bj, Lj) в линейку адресов {Ai,j,δ}, соответствующих равномерно распределенным высотам {Hi,j,δ} рельефа местности. Реализация блока 14.m известна и трудностей не вызывает. Может быть реализован на микропроцессорной сборке с достаточным быстродействием (см. Шевкоплес Б.В. Микропроцессорные структуры. Инженерные решения: Справочник.- 2-е изд., перераб. и доп. - М.: Радио и связь, 1990. - 512 с.), в которой реализован алгоритм, приведенный на фиг. 19. Последний определяет порядок выполнения операций по предварительному определению координат объектов. В режиме измерения координат с заданной точностью порядок работы блока 14.m сохраняется (алгоритм имеет аналогичный вид).
Блок обработки изображения 13.m (см. фиг. 14 и 15) свои функции выполняет в соответствии с выражениями (22) и (23). Блок 13.m содержит последовательно соединенные блок поиска контрастных точек 23.m, блок вычисления характеристик контрастных точек 24.m, блок памяти 27.m, блок анализа 25.m, формирователь исходных данных 26.m, блок статистической обработки 29.m, умножитель 30.m и делитель 31.m, группа информационных выходов которого является первой группой информационных выходов блока обработки изображения 13.m, первая группа информационных входов которого соединена с группой информационных входов блока поиска контрастных точек 23.m, а вторая группа информационных входов соединена со второй группой информационных входов умножителя 30.m, вторая группа информационных выходов блока вычисления характеристик контрастных точек 24.m соединена со второй группой информационных входов блока анализа 25.m, и датчик случайных чисел 28.m, группа информационных выходов которого соединена со второй группой информационных входов блока статистический обработки 29.m, а синхровходы всех блоков с 23.m по 31.m объединены и соединены с входом синхронизации блока обработки изображения 13.m.
Видеоизображение с соответствующей m-ной группы информационных выходов блока 2.3m поступает на группу информационных входов блока поиска контрастных точек 23.m. В функцию блока 23.m входит реализация известного алгоритма SURF. Обнаруженные контрастные точки на l+1-м кадре с описанием их взаимного местоположения поступают на группу входов блока вычисления характеристик контрастных точек 24.m, которые находят в соответствии с алгоритмом BRIEF. В задачу последнего входит вычисление битовых векторов (наборов бит), описывающих распределение яркости изображения в окрестности данной контрастной точки (xr, yr)T.
Характеристики контрастных точек с описанием их взаимного местоположения одновременно поступают на группы входов блока памяти 27.m (для использования в следующем кадре) и блока анализа 25.m. В функции блока 25.m входит сравнение изображений на предыдущем 1-м (поступившем с выходов блока 27.m) с текущем l+1-м кадрах. Данную операцию выполняют по контрастным точкам: их взаимному местоположению на кадрах и характеристикам. Описание совпадающих пар контрастных точек из l-го и l+1-го кадров поступают на группу информационных выходов формирователя исходных данных 26.m. Блок 26.m обеспечивает преобразование полученных блоком 25.m данных к виду, необходимому для нормальной работы блока 29.m.
Блок статистической обработки 29.m предназначен для решения системы уравнений (16). Данную функцию блок 29.m выполняет на основе известного алгоритма RANSAC и данных, поступающих на его первую группу информационных входов с группы выходов блока 26.m. В процессе работы используют последовательность случайных чисел, формируемых блоком 28.m. Решение названной системы уравнений позволяет определять коэффициенты искомой матрицы проективного преобразования.
В блоке 30.m осуществляют умножение найденной блоком 29.m матрицы проективного преобразования на вектор координат объекта на l-м кадре ( x r , y r ,1 ) l T
Figure 00000145
, что позволяет получить его координаты на l+1-м кадре (см. выражение (15)). Значение вектора ( x r , y r ,1 ) l T
Figure 00000146
поступает со второй группы информационных выходов блока 9.m. Блок 31.m предназначен для деления полученного вектора координат на константу K (его третий элемент z).
Блок 13.m может быть реализован на микропроцессорной сборке с достаточным быстродействием (см. Шевкоплес Б.В. Микропроцессорные структуры. Инженерные решения: Справочник. - 2-е изд., перераб. и доп. - М.: Радио и связь, 1990. - 512 с.), в которой реализован алгоритм, приведенный на фиг. 16.
Реализацию функций блоков 6.m - 17.m целесообразно осуществить с помощью второго сигнального процессора (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html).
Кроме того, второе устройство обработки и отображения информации 2.4 может быть реализован на многоядерном персональном компьютере. В качестве минимальных требований каждому из каналов обработки можно определить следующее: процессор Core i5 2000 МГц, 1 ГБ оперативной памяти, 200 МБ свободного пространства на жестком диске. Программная составляющая: операционная система Windows ХР SP2 и выше, библиотека .NetFrameWork 4.0, цифровая карта местности с информацией о рельефе и формате, совместимом с картами "Группы "Панорама".
Многоканальное (M-канальное) устройство распознавания реализуется в соответствии со структурной схемой, приведенной на фиг. 20. Оно предназначено для обнаружения и распознавания в видеопотоке заданных объектов и определение их координат в системе координат видеокамеры. Устройство распознавания содержит генератор синхроимпульсов 32, мультиплексер 48 и M идентичных каналов распознавания 2.81-2.8M, группы информационных входов которых являются второй группой информационных входов устройства распознавания 2.8, первые группы информационных выходов соединены с соответствующими группами информационных входов мультиплексера 48, группа информационных выходов которого является первой группой информационных выходов устройства распознавания 2.8, вторые группы информационных выходов каналов распознавания 2.81-2.8M являются второй группой информационных выходов устройства распознавания и второй выходной шиной 2.11 наземного пункта управления, вторые группы информационных входов каналов распознавания 2.81-2.8M являются первой группой информационных входов устройства распознавания 2.8, входы синхронизации каналов распознавания 2.81-2.8M объединены и соединены с тактовым входом мультиплексера 48 и с выходом генератора синхроимпульсов 32, группы адресных выходов каналов распознавания 2.81-2.8M являются группами адресных выходов устройства распознавания 2.8, а каждый канал распознавания 2.81-2.8M содержит последовательно соединенные шумоподовитель 35, блок поиска границ контуров 36, блок нормирования 37, вычислитель автокорреляционной функции 38, вычислитель свертки 39, коррелятор 40, первый блок памяти 41, первый блок поиска максимума 42, второй блок памяти 43, и коммутатор 34, вторая группа информационных входов которого соединена с группой информационных выходов счетчики импульсов 56, счетный вход которого является входом синхронизации канала распознавания 2.81-2.8M, выход обнуления соединен со входом управления коммутатора 34, группы информационных выходов которого является группой адресных выходов канала распознавания 2.81-2.8M, последовательно соединенный вычислитель взаимнокорреляционной функции 44, второй блок поиска максимума 45, блок сравнения 46 и блок определения координат центра вектор-контура 47, причем группа информационных выходов блока нормирования 37 соединена со второй группой информационных входов вычислителя ВКФ 44, первая группы информационных входов которого соединена со второй группой информационных входов коррелятора 40 и является второй группой информационных входов канала распознавания 2.81-2.8M, первая группа информационных входов блока определения координат центра вектор-контура 47 соединена с группой информационных выходов блока поиска границ контуров 37, а вторая группа информационных входов блока 47 соединена с группой информационных выходов шумоподавителя 35, вторая группы информационных выходов блока сравнения 46 является второй группой информационных выходов канала распознавания 2.81-2.8M, а входы синхронизации шумоподавителя 35, блока поиска границ контуров 36, блока нормирования 37, вычислителя автокорреляционной функции 38, вычислителя свертки 39, коррелятора 40, первого и второго блоков памяти 41 и 43 соответственно, первого 42 и второго 45 блоков поиска максимума, вычислителя ВКФ 44, блока сравнения 46 и блока определения координат центра вектора-контура 47 объединены и соединены с счетным входов счетчика импульсов 33.
Работу устройства распознавания 2.8 рассмотрим на примере работы одного из каналов 2.81. Видеопоток от первого БПЛА 11 по каналу связи через блоки 1.101 и 2.31 поступает на вход первого 2.81 канала распознавания (на вход шумоподавителя 35.1). В функции блока 35.1 входит подавление высокочастотного шума путем размытия по Гауссу (см. выражение (1)) в качестве весовой функции и уменьшение глубины цвета. Полноцветные изображения для увеличения эффективности обработки переводят из цветового пространства RGB в HSV. Далее в обработке изображения применяют самоорганизующиеся карты Кохонена (нейтронные сети Кохонена).
Преобразованный видеопоток с выхода блока 35.1 поступает на группу информационных входов блока поиска границ контуров 36.1. В последнем, для поиска границ объекта на изображении используют оператор Собеля (см. Харкевич А.А. Спектры и анализ. - М.: Физматгиз, 1963. - 432 с.). Представляет собой дискретный дифференциальный оператор, вычисляющий приближенное значение градиента цвета в каждой точке (см. выражения (2)-(4)). После применения оператора Собеля выделяют элементарные составляющие (отрезки) контуров с последующим поиском замкнутых контуров.
Найденное в блоке 36.1 описание комплексного вектор-контура Гизм={γ0, …, γk-1] поступает на информационные входы блока нормирования 37.1. Блок 37.1 предназначен для приведения вектор-контура Гизм к размерности, соответствующей используемой в базе эталонов в устройстве 2.71. Данную операцию в блоке 37.1 выполняют в соответствии с выражением (5).
На следующем этапе работы устройства 2.8 значение отнормированного вектор-контура Nизм поступает на группу информационных входов вычислителя автокорреляционной функции 38.1 и далее на вычислитель свертки 39.1. С помощью блока 38.1 находят АКФ вектор-контура Nизм в соответствии с выражением v ( n ) = ( N и з м , N и з м ( n ) )
Figure 00000147
. Основной задачей блока 39.1 является на основе полученного значения АКФ найти вейвлетную свертку Уолша (см. Залмазон Л.А. Преобразование Фурье, Уолша, Харра и их применение в управлении, связи и других областях. - М.: Наука, 1989. - 496 с.). В результате с помощью блоков 38.1 и 39.1 находят дескриптор D m и з м n
Figure 00000148
, с помощью которого обеспечивают быстрый подбор близких к Nизм эталонов вектор-контуров Гэт.
Найденное в блоке 39.1 значение свертки D m и з м n
Figure 00000149
АКФ обнаруженного вектор-контура Nизм поступает на первую группу информационных входов коррелятора 40.1. На вторую группу его информационных входов поочередно поступают значения D m э т n
Figure 00000150
эталонных описаний вектор-контуров заданных объектов. Результаты выполнения операции комплексного умножения в блоке 40.1 поступают на группу информационных входов первого блока памяти 41.1 по адресу, определяемому счетчиком импульсов 33.1.
Порядок определения адреса записи в блок 41.1 следующий. С приходом импульса генератора 32.1 на счетный вход счетчика импульсов 33.1 содержимое последнего увеличивается на единицу. На выходе блока 33.1 формируется кодовая комбинация, соответствующая его содержимому, которая через коммутатор 34.1 поступает на адресный вход соответствующего блока памяти 2.71 устройства 2.7. Эталонное описание вектор-контура Г m n
Figure 00000151
и дескриптор D m n
Figure 00000152
из соответствующего элемента памяти поступают на информационные входы блоков 44.1 и 40.1.
В результате в блоке 40.1 выполняется операция в соответствие с выражением: η i = D m э т n D m и з м n
Figure 00000153
, полученное значение записывают по соответствующему адресу в блок 41.1, определяемому содержимым счетчика 33.1. С приходом очередного импульса генератора 32 содержимое счетчика 33.1 увеличивается на единицу, из следующей ячейки памяти блока 2.71 изымается очередное значение эталонного описания вектор-контура, которое поступает на информационные входы блоков 40.1 и 44.1. Определяют очередное значение ηi+1, которое записывают по следующему i+1-му адресу блока 41.1. Данный процесс продолжается до тех пор, пока содержимое счетчика 33.1 не достигнет максимального значения. На его выходе обнуления формируется управляющий сигнал, который обнуляет содержимое счетчика и одновременно поступает на вход управления коммутатора 34.1, переключая его. В результате содержимое счетчика 33.1 через блок 34.1 далее не проходит. Емкость счетчика 33.1 выбирается равным количеству эталонов, хранящихся в блоках памяти 2.71-2.7M устройства 2.7.
С поступлением очередного синхроимпульса блока 32 на управляющий вход первого блока памяти 41.1 с его информационных выходов снимается информация о значении ηi+1 и адресе ячейки памяти, в которую это значение было записано. Названные величины поступают на группу информационных входов первого блока поиска максимума 42.1. В его функцию входит выбор заданного числа эталонных описаний, например четырех или пяти, с наибольшими значениями η. Соответствующие им адреса ячеек памяти блока 41.1 с приходом очередного импульса блока 32 записываются в блок 43.1.
После обнуления счетчика 33.1 и переключения коммутатора 34.1 адреса ячеек памяти с максимальными значениями η с группы выходов блока 43.1 через блок 34.1 последовательно поступают на адресные входы блока 2.71. В результате наиболее близкие эталонные значения вектор-контуров Г m э т n
Figure 00000154
последовательно поступают на вторую группу информационных входов вычислителя ВКФ 44.1. На первой группе блока 44.1 присутствует значение вектор-контура Nизм обнаруженного объекта, поступающее с группы информационных выходов блока нормирования 37.1.
В функции блока 44.1 входит нахождение значения ВКФ τ(n) двух вектор-контуров Г m э т n
Figure 00000155
и Nизм в соответствии с выражением (6).
С приходом очередного импульса блока 32 значение τ(n) поступает на группу информационных входов второго блока поиска максимума 45.1. В его функцию входит определение эталонного вектор-контура, которому соответствует максимальное значение ВКФ τmax в соответствии с выражением (7). Найденное в блоке 45.1 τmax следует на группу информационных входов блока сравнения 46.1. На подготовительном этапе задается пороговый уровень τmax в соответствии с критерием Неймана-Пирсона (см. А.А. Горелик Методы распознавания: Учебн. Пособие для ВУЗов по специальности «Автоматизированные системы обработки информации и управления», 2004 г.). При выполнении пороговых условий τmax≥τпор принимается решение об обнаружении заданного объекта, соответствующего эталонному описанию с максимальным значением ВКФ τmax. Со второй группы информационных выходов блока 46.1 на вторую выходную шину 2.11 НПУ поступает информация о номере эталонного описания обнаруженного объекта. При необходимости, данные о номере эталонного описания объекта преобразуют в непосредственную информацию об объекте.
Кроме того, на первом выходе блока 46.1 формируется сигнал (импульс), свидетельствующий об обнаружении заданного объекта. Последний поступает на вход управления блока определения координат 47.1. На первую группу его информационных входов поступают данные о найденных границах вектор-контура с группы информационных выходов блока 36.1, а на вторую группу информационных входов - обработанный в блоке 35.1 видеокадр. В функцию блока 47.1 входит на основе полученного видеокадра и данных о границах вектор-контура обнаруженного объекта определить его координаты центра в координатах (пикселях) видеокамеры.
При повторном заполнении счетчика 33.1 импульсами генератора 32 на выходе обнуления последнего формируется импульс, который обнуляет счетчик 33.1 и переводит коммуникатор 34.1 в исходное состояние. В результате канал распознавания 2.81 готов к новому циклу работы. Аналогичные процессы протекают во всех M каналах устройства распознавания 2.8.
Координаты обнаруженного объекта поступают на соответствующую группу информационных входов мультиплексора 48. В функции последнего входит объединение информационных потоков от всех каналов распознавания 2.81-2.8M с сохранением их идентификационных признаков. С группы информационных выходов блока 48 результаты обнаружения и идентификации объектов с координатами их центров (в системе координат видеокамеры)поступают на группу информационных входов второго блока управления 2.9. Синхронизацию работы всех элементов устройства 2.8 обеспечивают импульсы генератора 32.
Реализация элементов устройства 2.8 известна и трудностей не вызывает. Помехоподавитель 35 предназначен для подготовки входного видеоизображения для автоматической обработки. В первую очередь в его задачу входит минимизировать влияние шума в соответствии с выражением (1) и сложного фона. Полноцветные изображения с помощью блока 35 переводят в цветовое пространство HSV. Блок 35 может быть реализован с помощью микропроцессора IDT-C6 класса Pentium компании Integrated Device Technology Inc.
В функции блока 36 входит выделение границ контуров (см. выражение (2)-(4)) на основе оператора Собеля. Может быть реализован на микропроцессоре Intel 80×86 (см. Ватутин Э.И., Мирошниченко С.Ю., Титов B.C. Программная оптимизация оператора Собеля с использованием SIMD-расширителей процессоров х86 // Телекоммуникации, 2006 г. - №6 с. 12-16).
Блок нормирования 37 предназначен для приведения обнаруженного вектор-контура Nизм к заданной размерности (см. выражение (5)). Может быть реализован совместно с блоком 36 на микропроцессоре Intel 80×86, (см. Леусенко А.Е., Шемаров А.И. Устройство адаптивного масштабирования процессора быстрого преобразования Фурье // Автоматика вычисл. техн. - Минск, вып. 14. - с. 90-92)).
Реализацию функций блоков 35, 36 и 37 целесообразно осуществить с помощью сигнального процессора TMS320c6416 (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html). Алгоритм работы TMS320c6416 приведен на фиг.6.
Вычислитель АКФ 38, корректор 40 и вычислитель ВКФ 44 имеют сходное функциональное назначение и предполагают близкую техническую реализацию. Могут быть реализованы на базе универсальных микропроцессоров К1810 (см. Залмансон Л.А. Преобразование Фурье, Хаара и их применение в управлении, связи и других областях, - М.: Наука. Гл. ред. физ.-мат.лит., 1989 г. - 496 с.; Пискаревский Н.Н. Анализатор взаимно-корреляционной функции // Метрология. - 1974 г. - №4, с. 37-43).
Вычислитель свертки 39 предназначен для получение вейвлеты Уолша АКФ вектор-контуров D m и з м n
Figure 00000148
. Для его реализации используют конвольер, реализация которых известна и широко освещена в литературе (см. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. М.: Мир, 1978 г. - 848 с.; Титов А.А. Использование базиса Уолша для решения задачи распознавания ортогональных сигналов // Изв. ВУЗов. Радиоэлектроника. - 1985 г. - Т. 28 №5, с. 51-55). Может быть реализован на микропроцессоре К1804.
Первый 41, второй 43 блоки памяти представляют собой буферные запоминающие устройства, реализация которых известна (см. Большие интегральные схемы запоминающих устройств: Справочник / А.Ю. Горденов и др. - М.: Радио и связь, 1990 г. - 512 с.).
Реализация блока определения координат центра вектор-контура 47 известна и трудностей не вызывает. На группы его информационных входов поступают предварительно подготовленное видеоизображение с группы информационных выходов блока 35 и вектор-контур Nизм обнаруженного объекта с группы выходов блока 36. Определение координат центра вектор-контура Nизм осуществляют в случае прихода на управляющий вход блока 47 сигнала о том, что обнаруженный объект относится к классу заданных объектов. Последний поступает с выхода блока 46. С его поступлением на первом этапе определяют центр вектор-контура как геометрической фигуры на основе поиска ее центра тяжести. Для этого используется видеоинформация, поступаемая с выхода блока 36. На следующем этапе осуществляют привязку найденного вектор-контура Nизм с обработанным видеоизображением кадра, поступающим с выхода блока 35. Далее определяют координаты центра вектора-контура в пикселях. Отсчет осуществляют от верхнего левого угла кадра. Блок 47 может быть реализован на универсальном микропроцессоре КР580, алгоритм работы которого приведен на фиг. 21.
Мультиплексер 48 предназначен для поочередного подключения групп информационных выходов каналов распознавания 2.81-2.8M к первой группе информационных выходов устройства распознавания 2.8. Реализация мультиплексеров известна и широко освещена в литературе. Особенностью блока 48 является то, что он по входу управления дополнен счетчиком импульсов, обеспечивающим его управление. Может быть реализована на микросхемах КМОП серий, например К561КП1. Аналогично может быть реализован коммутатор 34. Отличие состоит в том, что на входе управления микросхемы К561КП1 дополнительно ставится триггер. В качестве блока 32 может быть использован генератор прямоугольных импульсов РН-&72 или SG633 (см. www, digit-el.сот).
Второе запоминающее устройство 2.7 выполняется M-канальным по числу БПЛА 11-1M для обеспечения независимой работы каналов распознавания 2.81-2.8M. На подготовительном этапе в каждый блок памяти 2.71-2.7M записывают одну и ту же библиотеку эталонных описаний заданных объектов.
Приемный модуль 2.3 содержит M идентичных приемных трактов, аналогичных приемному тракту 2.3 в устройстве-прототипе. Выходы блоков 2.31-2.3M подключают к соответствующим каналам устройств 2.41-2.4M, 2.81-2.8M и 2.9.
Второй блок управления 2.9 обеспечивает прием данных о координатах объектов в системе координат видеокамеры с группы информационных выходов устройства 2.8 одновременно от всех БПЛА 11-1M преобразование полученной информации к виду, необходимому для нормальной работы устройств 2.4 (формирование команд на определение координат), распределение сформированных команд по соответствующим каналам устройства 2.4. Кроме того, оператор НПУ 2 в состоянии визуально контролировать порядок прохождения команд на местоопределение объектов и в необходимых случаях вмешиваться в этот процесс. Данная ситуация возникает в тех случаях, когда заданные объекты едва различимы на общем фоне кадра (например объекты находятся в лесу под деревьями). В этом случае блок 2.9 работает по алгоритму, предложенному в устройстве - прототипе. Для обеспечения ввода видеоинформации от блока 2.3 на входе устройства управления 2.9 дополнительно используется мультиплексер, аналогичный блоку 48. Для обеспечения управления М каналами устройства 2.4 на выходе бока 2.9 используется демультиплексер. Реализация последнего аналогична блоку 48 (см. www.plam.ru/radioel/lekcii_po_shemotehnike/p5.php).

Claims (2)

1. Способ определения координат объектов, заключающийся в том, что на подготовительном этапе на борт летно-подъемного средства (ЛПС) устанавливают и фиксируют видеокамеру для обзора нижней полусферы, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (kk, lk, ζk), где kk, lk, ζk - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (Blps, Llps, Hlps)i, где B l p s i
Figure 00000001
, L l p s i
Figure 00000002
, H l p s i
Figure 00000003
- соответственно широта, долгота и высота ЛПС в ti-й момент времени, t=1, 2, …, I, и его пространственную ориентацию (klps, llps, ζlps)i, где k l p s i
Figure 00000004
, l l p s i
Figure 00000005
, ζ l p s i
Figure 00000006
- соответственно углы крена, тангажа и склонения ЛПС в ti-й момент времени, совместно запоминают навигационные и временные параметры ЛПС, а при обнаружении j-го заданного объекта в момент времени ti определяют местоположение объекта на кадре видеокамеры, преобразуют координаты j-го объекта в кадре на вектор направления на него в системе координат видеокамеры V П i j
Figure 00000007
с учетом влияния на результаты измерений дисторсии объектива, переводят координаты ЛПС в геоцентрическую систему координат V l p s Г
Figure 00000008
, корректируют вектор направления на j-й объект
Figure 00000156
с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (kk, lk, ζk) путем последовательного умножения значений V П i j
Figure 00000007
на соответствующие углам Эйлера матрицы поворота, после чего в нормальной системе координат вычисляют уточненное значение вектора направления V i j +
Figure 00000010
на j-й объект с учетом измеренных в момент времени ti пространственных углов ЛПС: крена k l p s i
Figure 00000004
, тангажа l l p s i
Figure 00000005
и склонения ζ l p s i
Figure 00000006
, определяют уточненные значения азимута θ i j +
Figure 00000011
, угла места β i j +
Figure 00000012
и удаление ЛПС, находящегося в момент времени ti на высоте Hlpsi, от j-го объекта d(H0)ij, расположенного на поверхности "круглой" Земли, в геоцентрической системе координат определяют значение истинного вектора направления на j-й объект V j ' '
Figure 00000013
, зависящее от широты Blps и долготы Llps местоположения ЛПС, определяют координаты точки пересечения вектора V j ' '
Figure 00000013
с "круглой" Землей V ф j
Figure 00000157
, преобразуют геоцентрические координаты j-го объекта V ф j
Figure 00000157
в географические V j = ( B j , L j )
Figure 00000017
, где Bj и Lj - соответственно широта и долгота местоположения j-го объекта, при наличии k последовательных кадров, k=1, 2, …, K, с изображением j-го объекта выполняют n циклов измерений географических координат V j
Figure 00000018
, результаты измерений усредняют, а при наличии цифровой карты местности района измерений, представляющей собой матрицу с дискретностью по координатам района измерений с соответствующими значениями высот рельефа, уточняют географические координаты обнаруженного j-го объекта V j δ = ( B j , L j , H j )
Figure 00000019
, отличающийся тем, что на подготовительном этапе дополнительно для каждого класса объектов формируют и запоминают набор эталонных вектор-контуров в совокупности с n первыми членами свертки ее автокорреляционной функции (АКФ), а в процессе полета ЛПС для распознавания обнаруженных объектов и принятия решения на их местоопределение находят вектор-контур обнаруженного объекта и первые n элементов вейвлетной свертки АКФ, сравнивают с n первыми элементами сверток АКФ эталонных вектор-контуров, определяют и выделяют эталонные вектор-контуры с минимальными отличиями от обнаруженного вектор-контура, определяют значения взаимнокорреляционных функций (ВКФ) для выделенных эталонных вектор-контуров и обнаруженного вектор-контура, сравнивают полученные значения ВКФ с заданным порогом, а при выполнении пороговых условий определяют эталонный вектор-контур с наибольшим значением ВКФ, принимают решение об обнаружении и идентификации объекта, соответствующего эталону с максимальным значением ВКФ, определяют координаты центра обнаруженного и идентифицированного объекта на кадре и формируют команду на его местоопределение, а в качестве выходных формируют данные о типе объекта, его географических координат и времени измерения.
2. Устройство определения координат объектов, состоящее из первого беспилотного летательного аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательную установку, группа информационных входов которой соединена с третьей группой информационных выходов контроллера, первый приемопередающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления, отличающееся тем, что дополнительно используют M-1 идентичных с первым БПЛА, M=2, 3, …, , а в НПУ дополнительно введены второе запоминающее устройство и устройство распознавания, выполненные M-канальными, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления, первая группа информационных входов соединена с группой информационных выходов второго запоминающего устройства, вторая группа информационных входов соединена с группой информационных выходов приемного модуля, выполненного M-канальным, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства, группа информационных входов которого является входной шиной НПУ, вторая группа информационных выходов устройства распознавания является второй выходной шиной наземного пункта управления, группа информационных выходов второго устройства обработки и отображения информации - первой выходной шиной НПУ, при этом первое и второе устройство обработки и отображения информации и второй приемо-передающий модуль выполняют M-канальными.
RU2014115175/07A 2014-04-15 2014-04-15 Способ и устройство определения координат объектов RU2550811C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2014115175/07A RU2550811C1 (ru) 2014-04-15 2014-04-15 Способ и устройство определения координат объектов

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014115175/07A RU2550811C1 (ru) 2014-04-15 2014-04-15 Способ и устройство определения координат объектов

Publications (1)

Publication Number Publication Date
RU2550811C1 true RU2550811C1 (ru) 2015-05-20

Family

ID=53294142

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014115175/07A RU2550811C1 (ru) 2014-04-15 2014-04-15 Способ и устройство определения координат объектов

Country Status (1)

Country Link
RU (1) RU2550811C1 (ru)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2594759C1 (ru) * 2015-10-28 2016-08-20 Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ и устройство определения координат источника радиоизлучения
RU2643168C2 (ru) * 2016-07-04 2018-01-31 Акционерное общество "Уральское проектно-конструкторское бюро "Деталь" Способ измерения высоты, истинной скорости летательного аппарата и наклона вектора скорости летательного аппарата относительно горизонта, устройство бортовой радиолокационной станции, использующее способ
RU2664411C2 (ru) * 2016-12-01 2018-08-17 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" Способ обработки последовательности изображений для распознавания воздушных объектов
RU2666932C1 (ru) * 2017-08-14 2018-09-13 Федеральное государственное унитарное предприятие "Горно-химический комбинат" (ФГУП "ГХК") Способ оценки эффективности системы физической защиты важного государственного объекта при рассмотрении угроз, реализуемых с помощью малоразмерных беспилотных летательных аппаратов
RU2681667C1 (ru) * 2018-03-06 2019-03-12 федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ прокладывания маршрута движения подвижных объектов по пересеченной местности
RU2691902C1 (ru) * 2018-10-19 2019-06-18 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способ наведения беспилотного летательного аппарата
RU196078U1 (ru) * 2019-11-16 2020-02-14 Михаил Андреевич Ищенко Устройство определения областей полета беспилотного летательного аппарата на цифровом образе
RU2739060C1 (ru) * 2020-03-11 2020-12-21 Открытое акционерное общество "Радиоавионика" Способ определения местоположения наземного радиоизлучающего объекта
RU2749194C1 (ru) * 2020-12-15 2021-06-07 Общество с ограниченной ответственностью "Опытно-конструкторское бюро УЗГА" (ООО "ОКБ УЗГА") Способ дистанционного определения координат местоположения наземного (надводного) объекта
RU2758285C1 (ru) * 2021-01-11 2021-10-28 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ групповой видеонавигации летательных аппаратов
RU2787946C1 (ru) * 2022-01-12 2023-01-13 федеральное государственное казенное военное образовательное учреждение высшего образования "Военная орденов Жукова и Ленина Краснознаменная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ определения координат объектов и их распознавания

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548822A (en) * 1993-06-15 1996-08-20 Aisin Seiki Kabushiki Kaisha Mobile station monitoring system
US6005609A (en) * 1996-11-15 1999-12-21 Daewoo Electronics Co., Ltd. Method and apparatus for digital correlation object tracker using a shape extraction focalization technique
WO2005045459A3 (en) * 2003-09-22 2005-07-07 Northrop Grumman Corp Direction finding method and system using digital directional correlators
JP2011242182A (ja) * 2010-05-17 2011-12-01 Mitsubishi Electric Corp パッシブレーダシステムおよびパッシブレーダ方法
RU2459218C1 (ru) * 2011-06-17 2012-08-20 Общество с ограниченной ответственностью "Специальный Технологический Центр" Контрольно-измерительная система радиомониторинга
RU2465613C1 (ru) * 2011-07-28 2012-10-27 Государственное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ и устройство определения местоположения источника радиоизлучения
RU2469408C1 (ru) * 2011-11-23 2012-12-10 Общество с ограниченной ответственностью "Специальный Технологический Центр" Способ и устройство контроля состояния охраняемого объекта
RU2471231C1 (ru) * 2011-09-30 2012-12-27 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548822A (en) * 1993-06-15 1996-08-20 Aisin Seiki Kabushiki Kaisha Mobile station monitoring system
US6005609A (en) * 1996-11-15 1999-12-21 Daewoo Electronics Co., Ltd. Method and apparatus for digital correlation object tracker using a shape extraction focalization technique
WO2005045459A3 (en) * 2003-09-22 2005-07-07 Northrop Grumman Corp Direction finding method and system using digital directional correlators
JP2011242182A (ja) * 2010-05-17 2011-12-01 Mitsubishi Electric Corp パッシブレーダシステムおよびパッシブレーダ方法
RU2459218C1 (ru) * 2011-06-17 2012-08-20 Общество с ограниченной ответственностью "Специальный Технологический Центр" Контрольно-измерительная система радиомониторинга
RU2465613C1 (ru) * 2011-07-28 2012-10-27 Государственное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ и устройство определения местоположения источника радиоизлучения
RU2471231C1 (ru) * 2011-09-30 2012-12-27 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры
RU2469408C1 (ru) * 2011-11-23 2012-12-10 Общество с ограниченной ответственностью "Специальный Технологический Центр" Способ и устройство контроля состояния охраняемого объекта

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2594759C1 (ru) * 2015-10-28 2016-08-20 Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ и устройство определения координат источника радиоизлучения
RU2643168C2 (ru) * 2016-07-04 2018-01-31 Акционерное общество "Уральское проектно-конструкторское бюро "Деталь" Способ измерения высоты, истинной скорости летательного аппарата и наклона вектора скорости летательного аппарата относительно горизонта, устройство бортовой радиолокационной станции, использующее способ
RU2664411C2 (ru) * 2016-12-01 2018-08-17 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" Способ обработки последовательности изображений для распознавания воздушных объектов
RU2666932C1 (ru) * 2017-08-14 2018-09-13 Федеральное государственное унитарное предприятие "Горно-химический комбинат" (ФГУП "ГХК") Способ оценки эффективности системы физической защиты важного государственного объекта при рассмотрении угроз, реализуемых с помощью малоразмерных беспилотных летательных аппаратов
RU2681667C1 (ru) * 2018-03-06 2019-03-12 федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ прокладывания маршрута движения подвижных объектов по пересеченной местности
RU2691902C1 (ru) * 2018-10-19 2019-06-18 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способ наведения беспилотного летательного аппарата
RU196078U1 (ru) * 2019-11-16 2020-02-14 Михаил Андреевич Ищенко Устройство определения областей полета беспилотного летательного аппарата на цифровом образе
RU2739060C1 (ru) * 2020-03-11 2020-12-21 Открытое акционерное общество "Радиоавионика" Способ определения местоположения наземного радиоизлучающего объекта
RU2749194C1 (ru) * 2020-12-15 2021-06-07 Общество с ограниченной ответственностью "Опытно-конструкторское бюро УЗГА" (ООО "ОКБ УЗГА") Способ дистанционного определения координат местоположения наземного (надводного) объекта
RU2758285C1 (ru) * 2021-01-11 2021-10-28 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ групповой видеонавигации летательных аппаратов
RU2787946C1 (ru) * 2022-01-12 2023-01-13 федеральное государственное казенное военное образовательное учреждение высшего образования "Военная орденов Жукова и Ленина Краснознаменная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ определения координат объектов и их распознавания
RU2809177C1 (ru) * 2023-05-29 2023-12-07 Федеральное Государственное Бюджетное Учреждение "Научно-Исследовательский Испытательный Центр Железнодорожных Войск" Министерства Обороны Российской Федерации Способ применения роботизированного тахеометра и беспилотного летательного аппарата для определения координат наземного объекта

Similar Documents

Publication Publication Date Title
RU2550811C1 (ru) Способ и устройство определения координат объектов
US10885328B2 (en) Determination of position from images and associated camera positions
EP2917874B1 (en) Cloud feature detection
CN106529538A (zh) 一种飞行器的定位方法和装置
Hosseinpoor et al. Pricise target geolocation and tracking based on UAV video imagery
EP3447729B1 (en) 2d vehicle localizing using geoarcs
EP3291178B1 (en) 3d vehicle localizing using geoarcs
Zarándy et al. A real-time multi-camera vision system for UAV collision warning and navigation
Vetrella et al. RGB-D camera-based quadrotor navigation in GPS-denied and low light environments using known 3D markers
EP3340174B1 (en) Method and apparatus for multiple raw sensor image enhancement through georegistration
RU2513900C1 (ru) Способ и устройство определения координат объектов
EP3340175A1 (en) Method and apparatus for raw sensor image enhancement through georegistration
Matthies et al. Landing hazard detection with stereo vision and shadow analysis
Hosseinpoor et al. Pricise target geolocation based on integeration of thermal video imagery and rtk GPS in UAVS
Quist et al. Radar odometry on small unmanned aircraft
CN112950671A (zh) 一种无人机对运动目标实时高精度参数测量方法
WO2020243256A1 (en) System and method for navigation and geolocation in gps-denied environments
CN109146936B (zh) 一种图像匹配方法、装置、定位方法及系统
CN110906922A (zh) 无人机位姿信息的确定方法及装置、存储介质、终端
US11922660B2 (en) Method for determining the positioning of a following aircraft with respect to a leading aircraft flying in front of the following aircraft
Šuľaj et al. Examples of real-time UAV data processing with cloud computing
Opromolla et al. Airborne Visual Tracking for Cooperative UAV Swarms
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
RU2787946C1 (ru) Способ определения координат объектов и их распознавания
RU2756904C1 (ru) Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20160416