RU2794046C1 - Способ позиционирования объекта - Google Patents

Abstract

Изобретение относится вычислительной технике, а именно к способу позиционирования объекта. Техническим результатом является повышение точности и дальности обнаружения устройства поддержки позиционирования при сложных условиях окружающей среды. Способ содержит этапы, на которых: захватывают изображение приблизительной области, в которой размещено устройство для поддержки позиционирования объекта, содержащее по меньшей мере одну группу источников света, причем в каждой группе источников света главный источник света излучает в цвете, отличном от вспомогательного источника света, причем точное расположение источников света в устройстве для поддержки позиционирования объекта и их цвета известны позиционируемому объекту; преобразуют цветовое пространство изображения в цветовое пространство HSV; выполняют попытку обнаружения отдельных источников света и определяют местоположение и/или ориентацию области, в которой размещено устройство для поддержки позиционирования объекта, относительно позиционируемого объекта на основании результата обнаружения и/или идентифицируют объект, на котором или вблизи которого размещено устройство для поддержки позиционирования объекта на основании результата обнаружения. 11 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к области управления движением, и, более конкретно, к способу позиционирования объекта.

Уровень техники

Беспилотные летательные аппараты (БПЛА, UAV) постепенно становятся частью повседневной жизни – они выполняют доставку грузов, различные исследования, анализ окружающего пространства, контроль объектов, фото- и видеосъемку, используются в спасательных операциях и находят множество других применений. Как и в случае с другими видами транспорта, по всему миру ведутся разработки, направленные на полную автоматизацию работы БПЛА.

Одной из задач автоматизации БПЛА является его автономная посадка. Из уровня техники известно множество различных способов, которые можно условно разделить на 2 группы: посадка на подготовленную поверхность – например, на посадочную площадку, и на неподготовленную поверхность – например, на поверхность земли.

Традиционно для посадки БПЛА применяется навигация на основе глобальной навигационной спутниковой системы (ГНСС, GNSS), однако если стоит задача высокоточной посадки в заданном местоположении и с заданной ориентацией, то навигации непосредственно и только на основе ГНСС недостаточно, так как она обеспечивает точность лишь в пределах 5-8 метров. Одним из решений этой проблемы может быть применение систем дифференциальной коррекции, однако во многих сценариях работы БПЛА такие системы могут быть недоступны.

С целью увеличения точности во многих известных решениях используются способы дополнительной навигации. Некоторые такие способы применяют навигацию на основе связи между посадочной платформой и БПЛА, однако они требуют наличия дополнительного коммуникационного оборудования как на посадочной платформе, так и на борту БПЛА, что усложняет систему и возможности ее широкого применения.

Известны также способы дополнительной навигации, основанные на использовании установленной на БПЛА камеры. Камера в типичном случае является штатным бортовым средством, поэтому такие способы не требуют установки на БПЛА дополнительного оборудования. Существует множество способов, в которых в месте посадки размещается черно-белый маркер квадратной или иной формы, камера захватывает изображение, выполняется распознавание маркера, и тем самым определяется точное место посадки и/или положение камеры относительно маркера, что позволяет выполнять достаточно точную посадку. Тем не менее, такие способы имеют ряд недостатков: требуется высокое разрешение камеры, маркер должен полностью захватываться камерой, его не видно издалека и его не видно в сложных условиях окружающей среды (ночь, туман, осадки). Для решения этой проблемы в некоторых решениях используются источники света.

Например, в документе CN 111506091 A раскрывается система управления посадкой, в которой на поверхности посадочной платформы размещен LED-экран (экран из светодиодов) высокого разрешения, который показывает один паттерн на всю площадь, когда БПЛА находится на большой высоте над платформой, а затем показывает 5 маленьких двумерных паттернов, когда БПЛА приблизился к платформе. В качестве паттернов используются AprilTag. Однако такое решение является весьма дорогим и сложным конструктивно и алгоритмически, требует согласования между платформой и БПЛА относительно того, какие паттерны показывать в данный момент в соответствии с текущей высотой БПЛА, а также требует высокого разрешения экрана, что делает невозможным использование источников света большой мощности, что существенно ухудшает возможность использования на большой дальности и в сложных условиях окружающей среды. Для корректного распознавания подобного паттерна он должен быть виден целиком. В поисках компромисса между размером и яркостью отдельных светодиодов и общим разрешением экрана экран может быть увеличен, но тогда он будет занимать много места и загромождать платформу, из-за чего сложно реализовать его на платформе малого размера с неплоской геометрией и сложно размещать на ней иное оборудование. Все эти недостатки существенно ограничивают возможность широкого применения такого решения.

Известно также решение, раскрытое в документе KR 10-1524936 B1, где описывается устройство хранения и зарядки БПЛА, содержащее множество посадочных платформ. По углам каждой платформы расположены матрицы n*n из светодиодных и ИК-ламп. Светодиодные лампы работают днем, а ИК-лампы работают ночью. Матрицы в совокупности формируют уникальный паттерн. Когда БПЛА подлетает достаточно близко к платформе, он обнаруживает и распознает этот паттерн, определяет свое местоположение, сообщает его платформе, получает от нее оптимальную траекторию посадки и разрешение на посадку и выполняет посадку. Необходимость использования в каждой ячейке матрицы светодиодной и ИК-ламп увеличивает сложность и снижает надежность конструкции, а также снижает максимально возможную яркость лампы. Кроме того, такое решение, как и предыдущее, требует согласования посадки между платформой и БПЛА. Конкретные типы паттернов и методы их распознавания в этом документе не раскрыты. Для корректного распознавания известных паттернов они должны быть видны целиком, то есть камера должна захватывать все углы платформы. Если в поле обзора камеры попадет только одна или две матрицы или если распознались не все лампы в матрице, то может возникнуть неопределенность. Если же попытаться в каждой матрице отображать известные паттерны наподобие применяемого в предыдущем решении, то это приведет к необходимости увеличения разрешения матриц, что либо снижает максимально возможную яркость ламп, либо делает каждую матрицу излишне громоздкой. Это ухудшает возможность использования на большой дальности в сложных условиях окружающей среды.

Таким образом, в уровне техники существует потребность в создании способа, который обеспечивал бы возможность позиционирования объекта в широком диапазоне условий окружающей среды и работал бы при этом на большой дальности от области размещения паттерна.

Сущность изобретения

С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники настоящее изобретение направлено на создание способа позиционирования объекта.

Согласно настоящему изобретению, предложен способ позиционирования объекта, в котором позиционируемым объектом является мобильное или носимое устройство, содержащее камеру, процессор и память, при этом способ содержит этапы, на которых:

захватывают, посредством камеры позиционируемого объекта, изображение приблизительной области, в которой размещено устройство для поддержки позиционирования объекта, содержащее по меньшей мере одну группу источников света, причем каждая группа источников света содержит по меньшей мере один главный источник света и по меньшей мере два вспомогательных источника света, причем в каждой группе источников света главный источник света излучает в цвете, отличном от вспомогательного источника света, причем точное расположение источников света в устройстве для поддержки позиционирования объекта и их цвета известны позиционируемому объекту;

преобразуют, посредством процессора позиционируемого объекта, цветовое пространство изображения в цветовое пространство HSV;

выполняют, посредством процессора позиционируемого объекта, попытку обнаружения отдельных источников света, расположенных в области, в которой размещено устройство для поддержки позиционирования объекта, и/или по меньшей мере одного результирующего светового пятна, образованного группой или множеством групп источников света, расположенных в области, в которой размещено устройство для поддержки позиционирования объекта, с помощью цветовой сегментации в цветовом пространстве HSV; и

определяют, посредством процессора позиционируемого объекта, местоположение и/или ориентацию области, в которой размещено устройство для поддержки позиционирования объекта, относительно позиционируемого объекта на основании результата обнаружения и/или идентифицируют объект, на котором или вблизи которого размещено устройство для поддержки позиционирования объекта на основании результата обнаружения.

Технический результат

Настоящее изобретение позволяет повысить эффективность устройств, систем и способов для позиционирования объекта. При этом обеспечивается:

- упрощение конструкции устройства для поддержки позиционирования объекта по сравнению с устройствами, содержащими экраны высокого разрешения или сложные матрицы из множества источников света;

- упрощение конструкции позиционируемого объекта за счет отсутствия необходимости установки на него дополнительного оборудования помимо камеры и блока обработки;

- снижение требований к характеристикам камеры позиционируемого объекта, таким как разрешение и угол обзора, по сравнению с решениями, использующими устройства для поддержки позиционирования объекта с экранами высокого разрешения или сложными матрицами из множества источников света;

- упрощенная интеграция с местами размещения устройств для поддержки позиционирования объекта, имеющими неплоскую геометрию;

- повышение точности при сложных условиях окружающей среды;

- уменьшение шума в радиоэфире за счет отсутствия необходимости осуществления связи между БПЛА и устройством для поддержки позиционирования объекта;

- возможность уменьшения размеров мест размещения устройств для поддержки позиционирования объекта;

- повышенная точность под большими углами к устройству для поддержки позиционирования объекта;

- повышенная точность при попадании лишь части устройства для поддержки позиционирования объекта в поле обзора камеры;

- достаточная точность при успешном распознавании не всех источников света в группе (при увеличении количества распознанных источников света точность увеличивается);

- увеличение дальности распознавания устройства для поддержки позиционирования объекта.

Следует понимать, что не каждый из вариантов осуществления может обеспечивать одновременно все указанные преимущества по сравнению со всеми известными решениями из уровня техники. Соответственно, некоторые варианты осуществления могут обладать лишь некоторыми из указанных преимуществ или иными преимуществами относительно некоторых известных решений.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

На Фиг. 1 показана система автономной посадки БПЛА согласно настоящему изобретению

Фиг. 2 показывает эквивалентную схему типового примера расположения источников света на посадочной платформе.

Фиг. 3 иллюстрирует блок-схему способа автономной посадки.

На Фиг. 4 проиллюстрирован пример результата цветовой сегментации изображения.

На Фиг. 5 проиллюстрирован пример группировки вспомогательных источников света.

На Фиг. 6 проиллюстрирован пример соотнесения главного источника света с группой вспомогательных источников света.

На Фиг. 7-9 представлены примеры обнаружения посадочной платформы в условиях плохого освещения на разном расстоянии между БПЛА и посадочной платформой.

На Фиг. 10 показано устройство для поддержки позиционирования объекта.

На Фиг. 11 показан пример практической реализации устройства для поддержки позиционирования объекта.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Общий обзор системы посадки

Далее со ссылкой на Фиг. 1 будет описан пример системы для автономной посадки БПЛА согласно настоящему изобретению. Следует отметить, что данный пример не является ограничивающим и предназначен лишь для того, чтобы предоставить общее понимание предложенных принципов посадки и позиционирования БПЛА. Ниже в данном описании будут также приведены и другие примеры, отличающиеся от представленного на Фиг. 1, но также входящие в объем изобретения.

Беспилотный летательный аппарат (БПЛА, UAV) 110 осуществляет посадку на посадочную платформу 120 с использованием устройства 130 для поддержки позиционирования объекта. Устройство 130 для поддержки позиционирования объекта содержит 5 групп светодиодов (LED), каждая группа светодиодов содержит 4 светодиода, расположенных друг относительно друга в форме квадрата. 4 группы (131, 132, 133, 134) расположены по углам платформы и формируют квадрат, а 5-я группа (135) расположена в центре квадрата. Пунктирные линии на Фиг. 1 от обозначения 130 к группам 131, 132, 133, 134, 135 указывают их иллюстративные линии связи с общим блоком управления (не показан) устройства 130 для поддержки позиционирования объекта.

Один из светодиодов в группе является главным, остальные светодиоды в группе являются вспомогательными. Каждая группа светодиодов позволяет однозначно идентифицировать направление к центру платформы. Для этого цвет главного светодиода в каждой группе отличается от цвета дополнительных светодиодов в этой группе. Цвет главного светодиода в центральной группе 135 отличается от цвета всех остальных светодиодов всех групп. Например, как изображено на Фиг. 1, главный светодиод в центральной 5-й группе 135 имеет красный цвет, главные светодиоды в остальных 4 угловых группах 131, 132, 133, 134 имеют зеленый цвет, и вспомогательные светодиоды во всех 5 группах 131, 132, 133, 134, 135 имеют синий цвет. Схема местоположений светодиодов относительно посадочной платформы 120 и их цветов (или иными словами, паттерн) заранее известны БПЛА 110.

Пользуясь средствами навигации (например, GPS), БПЛА 110 на некоторой высоте подлетает к области посадки, где приблизительно должна быть расположена посадочная платформа 120. БПЛА 110 выполняет поиск устройства 130 для поддержки позиционирования объекта, используя бортовую камеру, которая захватывает изображение приблизительной области посадки, и бортовой блок управления автономной посадкой. Когда работает камера, все светодиоды устройства 130 для поддержки позиционирования объекта включены. В процессе обработки захваченных камерой изображений блок управления автономной посадкой БПЛА 110 обнаруживает по меньшей мере часть по меньшей мере одной группы светодиодов устройства 130 для поддержки позиционирования объекта и с использованием сохраненной в памяти информации о паттерне определяет местоположение и ориентацию посадочной платформы 120 относительно БПЛА 110. Чем больше групп светодиодов обнаруживаются БПЛА 110, тем выше точность позиционирования. Затем БПЛА 110 приближается к посадочной платформе 120 на основании полученных данных, по возможности обнаруживает как можно большее число групп светодиодов устройства 130 для поддержки позиционирования объекта, уточняет местоположение и ориентацию посадочной платформы 120 относительно БПЛА 110 и в конечном счете совершает автономную посадку.

В примере, приведенном на Фиг. 1, используются светодиоды, однако в общем случае могут использоваться любые другие подходящие источники света / оптического (видимого) излучения.

Соответственно, камера БПЛА 110 должна быть способна регистрировать свет / оптическое излучение. Камера БПЛА 110 может быть фото- и/или видеокамерой. Для целей настоящего изобретения достаточно использования монокулярной камеры, однако при необходимости может также использоваться стереокамера.

В примере, приведенном на Фиг. 1, используется 4 группы светодиодов, расположенных по углам квадрата, и 1 группа светодиодов в центре квадрата, однако в общем случае могут использоваться иные паттерны. источники света, находящиеся в одной группе, далее в данном документе будет называться соседними источниками света. Группа источников света, расположенная наиболее близко к центру посадочной платформы и/или к центру паттерна, далее в данном документе будет называться центральной группой источников света, а остальные группы будут называться периферийными группами источников света (или угловыми, если они расположены по углам условного многоугольника). При этом необходимо отметить, что наличие центральной группы источников света не является обязательным для реализации базовых принципов настоящего изобретения. Кроме того, количество источников света в группе может отличаться как в рамках одного устройства 130 для поддержки позиционирования объекта, так и между разными устройствами для поддержки позиционирования объекта.

Эквивалентная схема типового примера 4х4 (то есть расположенные в виде квадрата 4 группы по 4 светодиода в каждой) показана на Фиг. 2. Вспомогательные светодиоды 201, 202 и 203 (показаны синим цветом) расположены по внешним относительно центра посадочной платформы краям (углам) группы, а главный светодиод 204 (показан зеленым цветом) расположен с внутреннего края (угла) группы, то есть относительно своей группы он направлен к центру посадочной платформы. Группа светодиодов 201, 202, 203 и 204 вместе образует квадрат со стороной d _in . Более конкретно, под d _in на Фиг. 2 подразумевается расстояние между центрами светодиодов, образующих сторону квадрата. Центр посадочной платформы условно обозначен в виде квадрата 205 (показан красным цветом). Для упрощения остальные 3 группы не показаны на Фиг. 2. Для каждой группы светодиодов известен относительный вектор R _c , имеющий начало в центре группы и конец в центре посадочной платформы. Пунктирными линиями на Фиг. 2 показаны положения еще одной, центральной группы светодиодов, которая могла бы использоваться для указания или уточнения ориентации посадочной платформы. В общем случае может использоваться любая конфигурация источников света внутри групп и любая конфигурация групп относительно центра посадочной платформы. Некоторые конкретные примеры с другими конфигурациями будут описаны позднее в данном документе.

В примере, приведенном на Фиг. 1, устройство 130 для поддержки позиционирования объекта является частью посадочной платформы 120, однако в других вариантах осуществления устройство 130 может быть отдельным устройством, которое может быть установлено на поверхности посадочной платформы 120 или на любой иной поверхности, на которую должен произвести посадку БПЛА 110. Далее в настоящем документе для удобства описания может упоминаться именно вариант осуществления с посадкой на посадочную платформу, но следует учитывать, что возможны и иные варианты осуществления.

В качестве БПЛА 110 для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлены или могут быть установлены камера и блок управления автономной посадкой, с тем чтобы он был способен выполнять автономную посадку.

Посадочная платформа также может взаимозаменяемо называться посадочной площадкой или просто платформой или площадкой.

Способ автономной посадки

Обработка, выполняемая в БПЛА, будет описана далее со ссылкой на Фиг. 3, которая иллюстрирует блок-схему способа автономной посадки.

Координаты области посадки заранее известны БПЛА, и на этапе S310 БПЛА может использовать типовые средства позиционирования (например, глобальную навигационную спутниковую систему (ГНСС, GNSS) или инерциальную навигационную систему) для предварительного перемещения к координатам области посадки. Точность типовых средств позиционирования может быть недостаточной для совершения высокоточной посадки в заданную точку с заданной ориентацией, поэтому в общем случае то местоположение, куда фактически переместился БПЛА на этапе S310, является точкой лишь над приблизительной областью посадки. Для дальнейшего уточнения местоположения и ориентации БПЛА использует обнаружение предложенного в настоящем изобретении устройства для поддержки позиционирования объекта.

На этапе S320 камера, установленная на БПЛА, захватывает изображение, попадающее в ее поле обзора. Чтобы в поле обзора попадала хотя бы одна группа источников света устройства для поддержки позиционирования объекта, камера должна захватывать приблизительную область посадки, где оно расположено. Чем больше угол обзора камеры, тем больше вероятность попадания источников света в поле обзора. Если камера БПЛА является зафиксированной (стационарной), то для повышения вероятности попадания источников света в поле обзора БПЛА может начинать съемку с относительно большой высоты. Если камера БПЛА является подвижной (поворотной), то она может быть направлена на приблизительную область посадки.

В поле обзора камеры (то есть на изображение) могут попадать источники света или свечения, отличные от источников света устройства для поддержки позиционирования объекта. Чтобы уменьшить число таких посторонних источников света и воздействие окружающего света, в качестве источников света устройства для поддержки позиционирования объекта могут использоваться источники, имеющие большую интенсивность излучения, а камера может снимать в режиме малой выдержки – например, 1/500, 1/1000. Такой вариант осуществления меньше зависит от времени суток и от погодных условий. Кроме того, в одном из вариантов осуществления изобретения выдержка камеры может изменяться в зависимости от времени суток и от погодных условий. Такая зависимость может быть предварительно заданной или адаптивной, например на основании количества распознаваемых на дальнейших этапах источников света в кадре и их качества.

На этапе S330 блок управления автономной посадкой, получив изображение от камеры, выполняет преобразование цветовой модели изображения в HSV (Тон-Насыщенность-Значение, Hue-Saturation-Value, или HSB (Тон-Насыщенность-Яркость, Hue-Saturation-Brightness)), если исходная цветовая модель (цветовое пространство, палитра), используемая камерой, отличается от HSV. В частности, существует множество палитр, в которых камера может снимать изначально: RGB, BGR, YUYV, YUY, CMYK и т.д.

Палитра HSV используется для того, чтобы выполнять сегментацию изображения по цветам, так как выполнять такую операцию в других палитрах с высокой точностью сложнее.

На этапе S340 блок управления автономной посадкой выполняет обнаружение вспомогательных источников света. Для этого, зная цвет вспомогательных источников света, блок управления автономной посадкой выполняет поиск контуров вспомогательных источников света в цветовом пространстве HSV с помощью цветовой сегментации. В частности, выполняется поиск участков изображения, цвет которых попадает в предварительно заданный интервал спектра в палитре HSV, приблизительно соответствующий заранее известному спектру излучения вспомогательных источников света. Такого подхода может быть вполне достаточно для многих применений.

В другом варианте осуществления может дополнительно выполняться фильтрация найденных источников света по интенсивности излучения - например, может выполняться определение, попадает ли интенсивность излучения данного источника света в предварительно заданный интервал интенсивности. Такой подход может быть полезен, когда окружающее пространство является относительно зашумленным с точки зрения попадания в кадр множества посторонних источников света, похожих по цвету на искомые источники света. Предварительно заданный интервал интенсивности может ограничиваться только нижним значением интенсивности - в таком случае отбрасываться будут лишь наименее яркие источники, которые наиболее вероятно не являются требуемыми источниками света. Предварительно заданный интервал интенсивности может ограничиваться также и верхним значением интенсивности - в таком случае отбрасываться будут также и чересчур яркие источники, которые с высокой долей вероятности не являются требуемыми источниками света.

Еще в одном варианте осуществления требуемый интервал интенсивности может быть не предварительно заданным, а может определяться блоком управления автономной посадкой. Например, может определяться плотность распределения интенсивности всех найденных источников света. Далее в качестве требуемого может выбираться интервал интенсивности, в котором плотность распределения наиболее высокая. В другом варианте осуществления может приниматься во внимание ожидаемое количество источников света, и в качестве требуемого может выбираться интервал интенсивности, в котором плотность распределения наиболее близка к ожидаемой. Например, посадочная платформа содержит 12 вспомогательных источников света, на изображении найдено 30 контуров источников света с подобным цветом, но с разной интенсивностью; диапазон интенсивностей делится на 5 равных интервалов, и 12 контуров попадают в 4-й интервал, 13 контуров попадают в 1-й интервал, а остальные 5 контуров распределены по остальным трем интервалам. Поскольку ожидается найти 12 как можно более ярких источников света, в качестве требуемого выбирается 4-й интервал, а остальные отбрасываются. Тем самым, может быть повышена точность.

Для каждого найденного контура (или иными словами, для каждого найденного вспомогательного источника света) блок управления автономной посадкой находит центр (например, методом k-средних - по ближайшему расстоянию).

На этапе S350 блок управления автономной посадкой выполняет обнаружение главных источников света. Для этого, зная цвет главных источников света, блок управления автономной посадкой выполняет поиск контуров главных источников света в цветовом пространстве HSV. В частности, выполняется поиск участков изображения, цвет которых попадает в предварительно заданный интервал спектра в палитре HSV, приблизительно соответствующий заранее известному спектру излучения главных источников света.

Для каждого найденного контура (или иными словами, для каждого найденного главного источника света) блок управления автономной посадкой находит центр (например, методом k-средних - по ближайшему расстоянию). При этом, если в устройстве для поддержки позиционирования объекта используются только периферийные группы источников света, то выполняется поиск контуров и центров только для главных источников света периферийных групп. Если же используются и периферийные, и центральная группы источников света, то выполняется поиск контуров и центра также для главного источника центральной группы.

В одном из вариантов осуществления, если ни один источник света не найден на этапе S340 или на этапе S350, то такой кадр будет пропущен, не учтен. Способ переходит к этапу S320 для получения нового изображения области посадки.

На Фиг. 4 проиллюстрирован пример визуализации результата выполнения этапов S340-S350. В частности, показано, что найдено множество синих контуров/точек, предположительно соответствующих вспомогательным источникам света (этап S340), множество красных контуров/точек, предположительно соответствующих главным периферийным источникам света (этап S350), и один зеленый контур/точка, предположительно соответствующий главному центральному источнику света (этап S350). При этом полупрозрачные красные точки на самом деле являются шумами.

После того, как найдены по отдельности вспомогательные источники света и/или главные источники света, необходимо определить, как они между собой соотносятся.

Для этого сначала на этапе S360 блок управления автономной посадкой выполняет кластеризацию вспомогательных источников света (если таковые были найдены на этапе S340), то есть определяет принадлежность каждого вспомогательного источника света к той или иной группе. В частности, используется метод k-средних. При этом, как известно, для метода k-средних требуется заранее задать требуемое число кластеров, на которые должно быть произведено разбиение найденного множества точек. В настоящем изобретении предлагается использовать следующий подход:

где N – это округленное вверх целое число групп (кластеров),

M _al – это общее число вспомогательных источников света, найденных в кадре,

a – это число вспомогательных источников света в каждой группе.

Например, если на этапе S340 найдено 10 вспомогательных источников света, а в каждой группе используется по 3 вспомогательных источника света, то число групп составит N=10/3≈4 группы. В другом примере, если бы в каждой группе использовалось по 5 вспомогательных источников света, то число групп при этом составило бы N=10/5=2 группы.

Следует отметить, что принцип определения числа N групп по формуле (1) на самом деле является первым приближением, гипотезой, которая часто оказывается верной в силу особенностей предложенного способа. В качестве проверки гипотезы может выполняться определение расстояния между соседними источниками света в группе и сравнение его с предварительно заданным интервалом от минимального расстояния до максимального расстояния между источниками света в группе. Например, если изначально по формуле (1) определено, что обнаруженные 4 источника света должны быть поделены на N=2 группы, а при проверке выяснилось, что во 2-й группе расстояние между соседними источниками света не попадает в предварительно заданный интервал от 5 до 15 см, то способ может переходить к гипотезе N=3 группы (получается приращением к ранее вычисленному значению N=2). В другом варианте осуществления те источники света, которые не попадают в предварительно заданный интервал, могут просто не учитываться (отбрасываться), а первоначально определенное число групп может сохраняться.

Соответственно, блок управления автономной посадкой выполняет кластеризацию вспомогательных источников света методом k-средних на определенное число групп.

На Фиг. 5 проиллюстрирован пример группировки вспомогательных источников света. В частности, показано, что с помощью метода k-средних выявлено, что найденные ранее (см. Фиг. 4) вспомогательные источники света принадлежат 4 разным группам.

Затем на этапе S370 блок управления автономной посадкой определяет расстояния между группами вспомогательных источников света и найденными главными источниками света (если таковые были найдены на этапе S350). В частности, вычисляются координаты центра каждой найденной группы и вычисляется матрица D расстояний между центрами всех найденных групп и центрами всех найденных главных источников света.

где C _i – это координаты центра i-й группы (кластера),

P _j – это координаты центра j-го главного источника света,

N – это число групп,

K – это число найденных главных источников света.

Далее на этапе S380 блок управления автономной посадкой определяет соответствия между группами вспомогательных источников света и главными источниками света. В частности, в матрице D расстояний, вычисленной на этапе S370, в каждой i-й строке определяется минимальный элемент min(D _i,j ), или иными словами, в каждой i-й группе определяется минимальное расстояние d _min =min(D _i,j ) до главного источника света. Индекс j у этого элемента D _i,j указывает на то, что j-й главный источник света из K найденных главных источников света соответствует i-й группе из N групп (находится в ней, принадлежит ей).

На Фиг. 6 проиллюстрирован пример соотнесения главного источника света с группой вспомогательных источников света. В частности, показано, что в результате выполнения этапов S370-S380 по принципу минимального расстояния d _min один из найденных на этапе S350 главных периферийных источников света (красного цвета) сопоставлен с одной из найденных на этапе S360 групп вспомогательных источников света. При этом вероятность наличия в кадре постороннего источника света, ложно распознанного как главный, еще ближе расположенного к вспомогательным источникам света одной группы, чем истинный главный источник света этой группы, крайне мала, так как это может произойти только в случае если посторонний источник света с интенсивностью свечения и с цветом (спектром), которые подобны искомому главному источнику света, находится либо на самой посадочной платформе внутри периметра группы (что практически исключено в силу того, что конфигурация посадочной платформы и устройства для поддержки позиционирования объекта контролируется лицом, использующим данное изобретение), либо в пространстве между посадочной платформой / устройством для поддержки позиционирования объекта (то есть является фиксированным подвесным источником света или находится на летательном аппарате - и то, и другое маловероятно). Таким образом, подход с поиском минимального расстояния d _min является относительно простым и вместе с тем высокоточным.

После этого на этапе S390 блок управления автономной посадкой определяет местоположение и ориентацию области посадки (например, посадочной платформы) относительно БПЛА.

В частности, для каждой i-й группы решается задача Perspective-n-Point (PnP), то есть задача определения ориентации и расположения камеры в пространстве по изображению, полученному с ее помощью, посредством получения перспективной проекции точек на изображении на плоскость сенсора камеры. Как известно, условием для решения такой задачи являются n соответствий между точками изображения и точками модели объекта, а также известное взаимное расположение точек модели объекта. В данном случае известной для БПЛА моделью объекта служит устройство для поддержки позиционирования объекта и расположение групп и источников света на нем.

А именно, вычисляется местоположение P _i центра области посадки и ориентация R _i центра области посадки (как указывалось выше, R _i – это относительный вектор, указывающий направление от i-й группы к центру области посадки). Конкретные методы решения задачи PnP известны специалистам в данной области техники и не раскрываются здесь более подробно. В качестве неограничивающего примера может применяться алгоритм, раскрытый в публикации Y. Wu and Z. Hu, “Pnp problem revisited,” Journal of Mathematical Imaging and Vision, vol. 24, no. 1, pp. 131–141, 2006.

Когда получены значения местоположения P _i и ориентации R _i для каждой i-й группы, с помощью вычисления медианы этих значений определяется уточненное местоположение P и ориентация R центра области посадки:

где N – это число групп.

Затем блок управления автономной посадкой оказывает управляющее воздействие на исполнительные механизмы БПЛА самостоятельно или отправляет определенные на этапе S390 данные о местоположении и ориентации области посадки на полетный контроллер БПЛА, с тем чтобы БПЛА приближался к области посадки на основании полученных данных. Тем самым, способ автономной посадки дополнительно содержит этап S395 (не показан на Фиг. 3), на котором БПЛА выполняет перемещение в направлении области посадки.

По мере приближения, когда БПЛА выполнил некоторое очередное перемещение в направлении области посадки, БПЛА может вновь повторять этапы S320-S395, выполняя съемку области посадки, обнаруживая как можно большее число источников света, уточняя местоположение и ориентацию области посадки относительно БПЛА и перемещаясь ближе к области посадки. В конечном счете, выполнив необходимое число итераций, БПЛА совершает автономную посадку с повышенной точностью в заданную точку и с заданной ориентацией даже в условиях плохой видимости.

Предложенный способ испытан на практике для посадки БПЛА в автономном режиме на посадочную платформу. Использованная в качестве образца посадочная платформа имеет квадратную форму размером 40х40 см, размах лучей БПЛА имеет сопоставимые размеры, группы светодиодов расположены по углам платформы на расстоянии 30 см друг от друга. В качестве источников света использованы адресные диоды WS2812B. Светодиоды в группе расположены так, что образуют квадрат, при этом расстояние между ними (сторона квадрата) составляет 5 см. БПЛА успешно приземляется в заданную точку с заданной ориентацией. Точность позиционирования составляет приблизительно 1-7 см в зависимости от расстояния между БПЛА и посадочной платформой - чем ближе БПЛА к посадочной платформе и чем больше обнаружено групп источников света, тем выше точность.

Примеры обнаружения посадочной платформы в условиях плохого освещения на разном расстоянии между БПЛА и посадочной платформой представлены на Фиг. 7-9. В частности, на Фиг. 7 показан случай на расстоянии 2 м, на Фиг. 8 – 5 м, на Фиг. 9 – 10 м.

Как видно на Фиг. 7-9, блок управления автономной посадкой успешно справляется с задачей обнаружения хотя бы некоторых групп светодиодов, несмотря на ночное время суток. При этом на Фиг. 7 видно, что посадочная платформа расположена под достаточно большим углом относительно камеры БПЛА, но это не воспрепятствовало обнаружению групп светодиодов. За счет особенностей предложенного способа, даже когда удалось обнаружить не все группы, центр посадочной платформы определяется успешно.

На испытательном БПЛА была использована стационарная типовая камера, и даже учитывая относительно небольшие габариты БПЛА и невыдающиеся характеристики самой камеры, предложенный способ позволил успешно детектировать посадочную платформу для выполнения автономной посадки уже на высоте 20 м в условиях плохой видимости. Использование камеры с более высоким разрешением позволило бы увеличить дальность/высоту, при которой предложенный способ мог бы эффективно выполняться.

Фактически, в предложенном способе, для того чтобы определить местоположение области посадки, достаточно обнаружить хотя бы одну группу источников света. Если в поле обзора камеры БПЛА обнаруживается больше одной группы источников света, точность позиционирования увеличивается. Также точность позиционирования увеличивается при увеличении числа групп источников света на посадочной платформе и при улучшении характеристик камеры (разрешение, светосила, тип матрицы, качество оптики, вычислительные возможности, используемые алгоритмы обработки данных и т.д.).

Кроме того, принимая во внимание габариты упомянутого выше испытательного образца, даже размера группы источников света в 5х5 см оказалось достаточно для автономной посадки БПЛА на посадочную платформу в условиях плохой видимости, то есть предложенный способ можно использовать, даже если имеется мало свободного пространства.

Более того, обеспечивается возможность использования посадочной платформы, имеющей сложную (неплоскую) геометрию, потому что монтаж на ней небольших отдельных независимых друг от друга групп источников света выполнить проще, чем монтаж единого относительно большого плоского паттерна / светодиодной матрицы.

Выше упоминалось, что для целей настоящего изобретения при необходимости может использоваться камера с двумя объективами вместо одного. Использование стереокамеры позволит повысить точность предложенного способа за счет наличия дополнительных данных, которые можно, например, усреднить, сопоставить, обработать независимо, выбрать лучшие и т.д.

Варианты конфигурации

Выше также упоминалось, что в общем случае может использоваться любая конфигурация источников света внутри групп и любая конфигурация групп относительно центра посадочной платформы.

В одном из вариантов осуществления конфигурация может представлять собой схему «3х3 треугольником». Источники света в каждой группе расположены друг относительно друга с образованием треугольника, одна из вершин которого направлена к центру посадочной платформы и заключает в себе главный источник света.

В другом варианте осуществления конфигурация может включать в себя одну или более групп источников света, расположенных друг относительно друга с образованием круга или дуги.

В других вариантах осуществления конфигурация может включать в себя группы источников света, образующие другие геометрические объекты (фигуры, ломаные, кривые, отрезки).

Основной принцип состоит в том, что в каждой группе имеются вспомогательные источники света, излучающие в одном цвете, и главный источник света, излучающий в другом цвете. Заранее известные для БПЛА взаимное расположение и цвета источников света позволяют определить местоположение и ориентацию области посадки.

Приведенный выше способ автономной посадки БПЛА предусматривает определение ориентации посадочной платформы. Следует отметить, что в некоторых применениях достаточно использовать конфигурации, которые позволяют определить только направления углов посадочной платформы без точного определения ориентации посадочной платформы в целом. Например, это применимо для случая, когда используется многолучевой БПЛА, и неважно, какой из лучей окажется в каком углу посадочной платформы при посадке.

Если же необходимо выполнять посадку с более точной ориентацией, то могут использоваться конфигурации источников света, позволяющие точно определить ориентацию посадочной платформы относительно БПЛА. Для этого, например, может использоваться центральная группа источников света, либо цвет главного источника света или вспомогательных источников света в одной периферийной группе может отличаться, соответственно, от цвета главных источников света или вспомогательных источников света в других периферийных группах, либо цвет одного или более вспомогательных источников света может отличаться от цвета других вспомогательных источников света в пределах одной и той же группы, либо взаимное расположение групп друг относительно друга может быть несимметричным относительно центра области посадки, либо расположение или цвета главных источников света или вспомогательных источников света могут быть несимметричными относительно центра области посадки и т.д.

Увеличение дальности

Выше указывалось, что в одном из вариантов осуществления, если ни один источник света не найден на этапе S340 или на этапе S350, то такой кадр будет пропущен, не учтен, и способ переходит к этапу S320 для получения нового изображения области посадки. В другом варианте осуществления в таком случае способ не сразу переходит к этапу S320, а сначала блок управления автономной посадкой выполняет попытку обнаружения групп источников света целиком (этап S355). Особенность такого подхода заключается в том, что на большом расстоянии от БПЛА (а в условиях плохой видимости иногда даже на относительно небольшом расстоянии) источники света в одной группе могут сливаться в единое световое пятно, которое тоже можно рассматривать как источник света. Важно учитывать, что цвет главного источника света в группе отличается от цвета вспомогательных источников света, поэтому результирующий цвет группы источников света отличается и от цвета главного источника света, и от цвета вспомогательных источников света, причем этот результирующий цвет прогнозируется заранее, поскольку цвета источников света в группе заранее известны БПЛА. Кроме того, этой особенностью можно выгодно пользоваться, подбирая результирующие цвета группы светодиодов таким образом, чтобы они были уникальными для окружающих условий светового фона или местности. Спектр возможных вариаций и сочетаний цветов чрезвычайно велик, и специалист в данной области техники сможет легко реализовать данное изобретение, применяя изложенные принципы, поэтому конкретные варианты описываться здесь не будут.

Обнаружив группу источников света целиком по ее предварительно известному результирующему цвету, БПЛА получает тем самым сведения о приблизительном положении области посадки и о приблизительном расстоянии от БПЛА до области посадки. Имея эти сведения, БПЛА выполняет некоторое очередное перемещение в направлении области посадки, повторяет этапы S320-S395, выполняя съемку области посадки и обнаруживая источники света, до тех пор пока не осуществит посадку.

Таким образом, обеспечивается повышение эффективности способа автономной посадки за счет увеличения дальности распознавания источников света даже в условиях плохой видимости.

Более того, принимая во внимание тот факт, что область посадки может содержать множество групп источников света, это множество на относительно большой дальности может формировать собой новый паттерн - сверхгруппу из результирующих цветов. Взаимное расположение групп заранее известно БПЛА, поэтому вышеизложенные принципы, связанные с обнаружением отдельных светодиодов в группе и определению их роли и расположения в группе, применимы также и к сверхгруппам. Аналогичным образом, результирующий цвет одной группы в сверхгруппе может отличаться от результирующего цвета других групп в сверхгруппе, за счет чего появляется возможность разделять группы на главную и вспомогательные путем предварительного подбора их результирующих цветов. Таким образом, даже на большой дальности обеспечивается возможность определения ориентации области посадки. Кроме того, это позволяет обнаруживать группы источников света с разными результирующими цветами, что увеличивает достоверность обнаружения именно области посадки, а не случайных помех.

В дальнейшем развитии данного подхода даже сверхгруппа может на большой дальности сливаться в единое световое пятно, которое можно рассматривать как еще один, глобальный источник света, которым в целом характеризуется область посадки, как если бы она обладала только одним источником света такого цвета. Аналогичным образом, результирующий цвет подобного глобального источника света может быть предварительно подобран. Соответственно, обеспечивается дополнительное увеличение дальности обнаружения области посадки.

Порядок обнаружения отдельных источников света, групп, сверхгрупп и глобального источника света может отличаться от описанного выше - например, на дальнем расстоянии от области посадки вероятность обнаружения отдельных источников света может быть ниже, чем более крупных световых пятен, поэтому в самом начале блок управления автономной посадкой может выполнять попытку обнаружения глобального источника света и по мере приближения менять масштаб, пытаясь найти все более мелкие структуры. Например, если уже удается уверенно находить сверхгруппу, то необходимость поиска глобального источника света отпадает, и блок управления автономной посадкой может выполнять попытку обнаружения отдельных источников света, уже зная приблизительное положение групп в сверхгруппе.

Кроме того, на дальнем расстоянии, когда показания GNSS еще относительно точны, может выполняться верификация положения найденных групп или глобального источника света, и если они расположены далеко от приблизительной области посадки, на которую указывает GNSS, такие результаты могут быть признаны недостоверными. Тем самым, может увеличиваться точность обнаружения области посадки на большой дальности и предотвращение ошибочных блужданий вокруг нее.

Устройство для автономной посадки

Далее будет описано устройство для автономной посадки согласно настоящему изобретению.

Следует понимать, что данное устройство в целом соответствует вышеописанному блоку управления автономной посадкой и выполняет его функции в способе 200, и если какая-либо информация не раскрывается применительно к устройству, но раскрывается применительно к способу, и наоборот, то это не подразумевает, что в устройстве или способе эта функция или этап не может выполняться, а сделано лишь для того, чтобы не загромождать описание повторением подробностей.

Устройство для автономной посадки содержит процессор и память, соединенную с процессором и содержащую инструкции, которые предписывают процессору выполнять следующие операции:

отправлять в камеру команду на захват изображения, когда БПЛА совершил перемещение к области посадки, как это описывалось применительно к этапам S310-S320;

получать от камеры изображение области посадки;

преобразовывать, как это описывалось применительно к этапу S330, цветовое пространство изображения в цветовое пространство HSV;

обнаруживать на изображении, как это описывалось применительно к этапу S340, по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

обнаруживать на изображении, как это описывалось применительно к этапу S350, по меньшей мере один главный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

формировать на изображении, как это описывалось применительно к этапу этапам S360-S380, группы из обнаруженных источников света;

определять, как это описывалось применительно к этапу S390, местоположение и ориентацию области посадки посредством решения задачи PnP; и

оказывать управляющее воздействие на исполнительные механизмы БПЛА, с тем чтобы БПЛА приближался к области посадки на основании определенного местоположения и ориентации области посадки.

Устройство для автономной посадки может располагаться на самом БПЛА - в таком случае обеспечивается полная автономность БПЛА за счет отсутствия необходимости осуществлять связь с посадочной платформой.

В другом варианте осуществления устройство для автономной посадки может быть внешним по отношению к БПЛА. В таком случае устройство для автономной посадки дополнительно содержит блок беспроводной связи для осуществления связи с БПЛА, чтобы получать от БПЛА сообщение о совершении перемещения к области посадки, отправлять в камеру команду на захват изображения, получать изображения с камеры, установленной на БПЛА, и отправлять на БПЛА команды для оказания управляющего воздействия на исполнительные механизмы БПЛА. При этом БПЛА освобождается от вычислительной нагрузки, связанной с определением местоположения и ориентации области посадки и формирования управляющих воздействий на исполнительные механизмы. В некоторых случаях это может снизить энергопотребление БПЛА и снизить требования к производительности вычислительных модулей БПЛА. Характеристики камеры БПЛА и ее точное расположение относительно БПЛА либо заранее известны устройству для автономной посадки, либо передаются на него от БПЛА в соответствующем сообщении.

Еще в одном варианте осуществления устройство для автономной посадки может само содержать камеру. Камера, процессор и память устройства для автономной посадки могут располагаться в едином корпусе. Это особенно полезно, если БПЛА не содержит камеру, но требуется выполнять автономную посадку согласно настоящему изобретению. В данном варианте устройство может целиком монтироваться на БПЛА и подключаться проводным или беспроводным образом, например, к его полетному контроллеру, чтобы получать от него сообщение о совершении перемещения к области посадки и отправлять на него управляющее воздействие на исполнительные механизмы БПЛА.

Устройство для поддержки позиционирования объекта

Далее со ссылкой на Фиг. 10 будет более подробно описано устройство для поддержки позиционирования объекта.

Устройство для поддержки позиционирования объекта содержит по меньшей мере один блок 1000 группы источников света.

Каждый блок 1000 группы источников света содержит блок 1010 главного источника света, блоки 1020, 1030, 1040 вспомогательных источников света, разъемы 1050 и 1060 и блок 1070 управления.

Блок 1010 главного источника света содержит по меньшей мере один главный источник света. В конкретном примере это может быть один светодиод или несколько близко расположенных друг к другу светодиодов, формирующих единый источник света (например, светодиодную матрицу или светодиодную линейку).

Каждый из блоков 1020, 1030, 1040 вспомогательных источников света содержит по меньшей мере один вспомогательный источник света. В конкретном примере это может быть один светодиод или несколько близко расположенных друг к другу светодиодов, формирующих единый источник света (например, светодиодную матрицу или светодиодную линейку). В общем случае количество блоков вспомогательных источников света равно двум или более.

Цвет излучения блока 1010 главного источника света отличается от цвета излучения блоков 1020, 1030, 1040 вспомогательных источников света.

Цвет излучения каждого из блоков 1020, 1030, 1040 вспомогательных источников света может при необходимости быть разным (например, для повышения вероятности определения направления к центру посадочной платформы даже в случае нахождения контуров малого количества источников света), однако в предпочтительном варианте является одинаковым, поскольку это упрощает конструкцию и может увеличить скорость распознавания.

Точное расположение источников света в области посадки и их цвета заранее известны устройству для автономной посадки, чтобы можно было успешно решать задачу PnP для камеры, расположенной на БПЛА.

В разных вариантах осуществления блоки 1010, 1020, 1030, 1040 источников света в каждом блоке 1000 группы источников света расположены друг относительно друга с образованием треугольника, квадрата, круга, дуги, других геометрических объектов (фигур, ломаных, кривых, отрезков) или их комбинации.

Также и устройство для поддержки позиционирования объекта в целом может содержать несколько блоков 1000 группы источников света – например, 3 блока 1000, расположенных треугольником, 4 блока 1000, расположенных квадратом, 5 блоков 1000, из которых 4 расположены квадратом, а 1 находится в центре, и т.д.

Блок 1000 группы источников света при необходимости может иметь собственный источник питания в целях обеспечения повышенной автономности и мобильности устройства для поддержки позиционирования объекта. В другом варианте осуществления питание блока 1000 группы источников света осуществляется от внешнего источника питания. При этом внешний по отношению к блоку 1000 группы источников света источник питания может по-прежнему быть частью устройства для поддержки позиционирования объекта, то есть оно может содержать один источник питания на все входящие в устройство отдельные блоки 1000. В другом варианте осуществления питание может быть внешним и по отношению к устройству для поддержки позиционирования объекта. Это может несколько повысить энергопотребление, но позволяет использовать более мощные источники света, что обеспечивает повышение вероятности распознавания, точности позиционирования и точности посадки.

Блок 1070 управления является опциональным. Если каждый блок 1000 группы источников света имеет собственный блок управления, то может не потребоваться внешний блок управления, повышается универсальность и компактность устройства для поддержки позиционирования объекта. В другом варианте осуществления устройство для поддержки позиционирования объекта может содержать один блок управления на все входящие в устройство отдельные блоки 1000.

Разъемы 1050 и 1060 являются опциональными, они могут быть необходимы для получения питания от внешнего блока питания, для получения внешнего управления и т.д. Точное количество и конфигурация разъемов зависит от требований конкретного применения.

Блок 1000 группы источников света также содержит различные схемные компоненты (не показаны на Фиг. 10), такие как резисторы, конденсаторы и т.д., для обеспечения необходимого режима работы источников света и других компонентов блока 1000.

Все компоненты одного блока 1000 группы источников света могут быть размещены на одной печатной плате, как показано в примере на Фиг. 11. Соединяя разные блоки 1000 группы источников света между собой с помощью разъемов, можно подключать их в последовательную цепь, что позволяет уменьшить количество проводов и упростить монтаж по сравнению с подключением звездой от источника питания и единого блока управления. При этом каждый отдельный блок 1000 группы источников света по-прежнему остается независимым и компактным, что позволяет использовать предложенное устройство для поддержки позиционирования объекта на посадочных платформах с различной поверхностью, в том числе неплоской.

В другом варианте осуществления все блоки 1000 группы источников света могут быть размещены на единой печатной плате. Такая конструкция является жесткой и не требует проведения замеров и калибровки по факту монтажа или соблюдения высокой точности при монтаже, так как все размеры и взаимное расположение источников света являются неизменными.

Способ позиционирования объекта

Выше описывались варианты реализации, в которых БПЛА использует предложенное устройство для поддержки позиционирования объекта для целей автономной посадки. Тем не менее, существуют значительно более широкие возможности применения такого устройства.

Так, устройство для поддержки позиционирования объекта можно размещать не только на посадочной платформе, а в любом другом местоположении, где требуется обеспечить позиционирование объектов – например, на фонарном столбе, на внешней или внутренней стене здания, на остановке, на дорожном знаке, на парковке, на ином промышленном или бытовом сооружении, на транспортном средстве (в том числе беспилотном), на роботе, на предметах мебели, одежде, изделиях и т.д.

Позиционируемым объектом может быть не только БПЛА, но также любое другое транспортное средство, робот, любое носимое устройство с камерой - мобильный телефон, планшет, очки, шлем и т.д., то есть любой способный перемещаться (мобильный или носимый) объект (устройство), содержащий камеру, блок обработки (например, процессор) и память.

Соответственно, пользуясь принципами настоящего изобретения, позиционируемый объект с помощью камеры может захватывать изображение, содержащее устройство для поддержки позиционирования объекта, и заранее зная точные параметры внутренней структуры этого объекта, может выполнять обнаружение источников света и/или результирующего светового пятна, образованного группой или множеством групп источников света, и на основании результата обнаружения определять свое местоположение и/или ориентацию относительно устройства для поддержки позиционирования объекта. Кроме того, заранее зная точные параметры местоположения и ориентации устройства для поддержки позиционирования объекта в пространстве, позиционируемый объект может определить и собственное местоположение и ориентацию.

Таким образом, позиционируемый объект может перемещаться (пролетать, проезжать, проходить, переноситься) в области, в которой расположено устройство для поддержки позиционирования объекта, и определять или уточнять свое местоположение и ориентацию или выполнять иные связанные действия даже в условиях плохой видимости (ночь, сумерки, снег, дождь, туман) и/или на относительно большом расстоянии от устройства для поддержки позиционирования объекта, когда стандартные паттерны типа QR-кода или фрактального маркера бесполезны.

В еще одном возможном варианте реализации устройство для поддержки позиционирования объекта может служить идентификатором (маркером, паттерном), позволяющим идентифицировать объект, на котором или вблизи которого оно расположено.

Например, автомобиль может парковаться в требуемом местоположении, подъезжать к месту заправки/зарядки, распознавать дорожные знаки (например, пешеходный переход) без использования нейросетей и не имея заранее размеченной карты местности. VR-устройства могут уточнять параметры наложения объектов для создания дополненной и смешанной реальности. БПЛА, находясь на пути к своей конечной точке, может определить, что движется правильным путем, или скорректировать свой маршрут. Робот, двигаясь по тротуару в условиях снегопада, может обнаружить на своем пути другого робота, на котором расположено устройство для поддержки позиционирования объекта, не осуществляя связь с ним и не нуждаясь в вычислительно затратных методах компьютерного зрения, которые могут не работать в таких условиях.

Применение

Устройства, системы и способы согласно настоящему изобретению можно использовать для позиционирования мобильных или носимых объектов – например, БПЛА, выполняющих доставку грузов, различные исследования, анализ окружающего пространства, контроль объектов, фото- и видеосъемку, спасательные операции, автономный мониторинг для задач охраны сельхозугодий, картографии, дистанционного химико-физического анализа, контроля всхожести и спелости урожая, химической обработки и т.д.

Дополнительные особенности реализации

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки или модули по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков или модулей в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного, если это применимо. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

В случае если объем данных велик, может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM) и т.п.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки графики, таким как графический процессор (GPU), визуальный процессор (VPU) и т.д.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном варианте осуществления элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Claims (5)

1. Способ позиционирования объекта, в котором позиционируемым объектом является мобильное или носимое устройство, содержащее камеру, процессор и память, при этом способ содержит этапы, на которых:
2. захватывают, посредством камеры позиционируемого объекта, изображение приблизительной области, в которой размещено устройство для поддержки позиционирования объекта, содержащее по меньшей мере одну группу источников света, причем каждая группа источников света содержит по меньшей мере один главный источник света и по меньшей мере два вспомогательных источника света, причем в каждой группе источников света главный источник света излучает в цвете, отличном от вспомогательного источника света, причем точное расположение источников света в устройстве для поддержки позиционирования объекта и их цвета известны позиционируемому объекту;
3. преобразуют, посредством процессора позиционируемого объекта, цветовое пространство изображения в цветовое пространство HSV;
4. выполняют, посредством процессора позиционируемого объекта, попытку обнаружения отдельных источников света, расположенных в области, в которой размещено устройство для поддержки позиционирования объекта, и/или по меньшей мере одного результирующего светового пятна, образованного группой или множеством групп источников света, расположенных в области, в которой размещено устройство для поддержки позиционирования объекта, с помощью цветовой сегментации в цветовом пространстве HSV; и
5. определяют, посредством процессора позиционируемого объекта, местоположение и/или ориентацию области, в которой размещено устройство для поддержки позиционирования объекта, относительно позиционируемого объекта на основании результата обнаружения и/или идентифицируют объект, на котором или вблизи которого размещено устройство для поддержки позиционирования объекта, на основании результата обнаружения.

Images