RU2803671C1 - Метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах - Google Patents

Abstract

Изобретение относится к технической области машинного зрения и автоматического вождения. Метод обнаружения проезжаемой зоны и самостоятельного объезда препятствий беспилотным транспортным средством в подземных замкнутых пространствах включает этапы: получение данных трехмерного облака точек выработки; расчет двумерного изображения выработки угольной шахты; получение трехмерного облака точек выработки угольной шахты; создание двумерной карты и выполнение планирования самостоятельного пути объезда препятствий. Затем получают оптимальную конечную точку для выбора пути движения с использованием стратегии жадности и предоставляют возможность двигаться беспилотному вспомогательному транспортному средству (ТС). Выработки угольной шахты активно получаются с помощью однокамерного сенсорного устройства. Трехмерная пространственная зона движения вспомогательного ТС рассчитывается в подземном замкнутом пространстве и в соответствии с обнаружением зоны движения и информацией оценки безопасности, автономное управление беспилотным вспомогательным ТС завершается. Повышается безопасность планирования пути ТС. 7 з.п. ф-лы, 10 ил.

Description

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

[001] Настоящее изобретение относится к технической области машинного зрения и автоматического вождения и, в частности, относится к методу обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземном замкнутом пространстве.

УРОВЕНЬ ТЕХНИКИ

[002] Вспомогательное транспортное средство для угольных шахт является важным составным устройством шахтной производственной системы и выполняет задачи по перевозке персонала, оборудования, материалов и т.п., при этом вспомогательным транспортным средствам для угольных шахт сложно работать в условиях подземного замкнутого пространства.

[003] Условия выработок угольной шахты характеризуются высокой сложностью восприятия, сложной обстановкой, большим количеством помех, персонала, и аварийных ситуаций, а также низкой освещенностью, и ограниченностью пространства. Таким образом, технические инновации в области определения пригодных и непригодных для движения участков выработки угольной шахты с помощью сенсорного оборудования и последующего локального планирования пути для самостоятельного объезда препятствий вспомогательным транспортным средством для угольных шахт с целью определения оптимального маршрута занимают важное место в технологии интеллектуального принятия решений для взрывозащищенных транспортных средств в подземном замкнутом пространстве.

[004] Система LIDAR напрямую получает данные трехмерного облака точек выработки угольной шахты, и из-за неупорядоченности этих данных, в традиционном алгоритме кластеризации и сегментации данных трехмерного облака точек на основе нейронной сети, требуется большое количество ресурсов процессора для арифметической обработки. В алгоритме сегментации трехмерного облака точек, реализованном путем объединения системы LIDAR и камеры, необходимо получить семантическую информацию сегментации двухмерного изображения и данных трехмерного облака точек, при этом для камеры и системы LIDAR необходимо провести калибровку пикселей и точек, поэтому процесс обработки является очень трудоемким.

[005] В публикации патента № CN110188817B описан высокопроизводительный метод семантической сегментации изображений улиц в реальном времени на основе глубокого обучения, в котором изображение улиц берется в качестве обучающего набора данных, упрощенная сеть используется в качестве сети извлечения признаков, а в качестве высокопроизводительной модели сети семантической сегментации изображений улиц в реальном времени используется пирамидальная структура с отверстием. В публикации патента № CN112927244A описан метод и устройство трехмерной сегментации сцены при обучении со слабой разметкой, в котором метки на уровне блоков получаются путем маркировки на уровне блоков, псевдометки немаркированных точек получаются на основе изображений избыточной сегментации, и полученные псевдометки могут быть использованы в качестве обучающих данных существующей сети сегментации облака точек при обучении с сильной разметкой. В публикации патента № CN112818999A описан метод семантической сегментации трехмерного облака точек сложной сцены на основе сверточной нейронной сети, в котором за счет суб-дискретизации исходного облака точек и использования механизма самовнимания, сетевая модель имеет более высокую эффективность практического применения.

[006] В вышеуказанных существующих патентах описаны методы выполнения семантической сегментации двумерных изображений и семантической сегментации трехмерных облаков точек с помощью сверточной нейронной сети. Однако вышеперечисленные методы имеют следующие недостатки: 1. метод семантической сегментации двухмерных облаков точек может получать только информацию о плоскости; 2. метод семантической сегментации трехмерных облаков точек требует обработки на основе существующих данных трехмерных облаков точек, а данные облаков точек, от которых он зависит, могут быть получены такими датчиками, как LIDAR, RGB-D камера и т.п., но LIDAR имеет высокую цену и плохую адаптивность, а измеряемое расстояние RGB-D камеры довольно ограничено; 3. метод семантической сегментации в реальном времени непосредственно на основе трехмерного облака точек имеет большую зависимость от оборудования, поэтому производительность в реальном времени ограничена; и 4. в вышеупомянутых методах не учитываются требования обеспечения простоты, точности и быстроты на практике, поэтому эти методы не соответствуют требованиям вспомогательных транспортных средств для угольных шахт в подземных пространствах по сегментации в реальном времени трехмерного облака точек зоны движения в выработках угольных шахт.

[007] Самостоятельный объезд препятствий является основной ключевой технологией для автономной работы вспомогательного транспортного средства. В настоящее время широко используемые методы самостоятельного объезда препятствий можно разделить на две категории: эвристические алгоритмы планирования и инкрементные алгоритмы планирования. Эвристический метод планирования имеет определенную направленность (например, влияние конечной точки и важных узлов), в то время как неэвристический метод планирования больше склоняется к случайному поиску при оптимизации. Метод инкрементного планирования использует информацию о предыдущем планировании для влияния на текущее планирование маршрута, и принцип этого метода наделяет алгоритм способностью "запоминания" для получения наиболее оптимального пути. Тем не менее, в подземной угольной шахте, поскольку пространство длинное, узкое и закрытое, имеется много поворотов и участков с переменным уклоном, поведение персонала - сложное, существует большое количество слепых зон и возникает много аварийных ситуаций, среда вождения сложная, что влияет на самостоятельный объезд препятствий транспортными средствами, и в результате, только эвристический алгоритм планирования и только инкрементный алгоритм планирования не могут хорошо выполнить самостоятельный объезд препятствий в подземном замкнутом пространстве. Поэтому необходимо объединить информацию о восприятии окружающей среды и оценке безопасности для изучения технологий самостоятельного объезда препятствий для вспомогательных транспортных средств. Среди них лучшим методом является эволюционный вычислительный метод, который обладает как эвристическими, так и инкрементальными характеристиками, и поэтому может применяться для самостоятельного объезда препятствий под землей.

[008] В патенте № CN201811385877.1 описан интеллектуальный метод планирования пути для роботов для двойной сварки на основе алгоритма муравьиной колонии, в котором сварочные швы нумеруются и сортируются с помощью алгоритма муравьиной колонии для получения наиболее эффективной комбинации сортировки сварочных швов. В публикации патента № CN109581987B описан метод и система планирования графика и пути движения автоматизированного управляемого транспортного средства (АУТС) на основе алгоритма роя частиц, причем в методе планирование пути движения транспортного средства достигается путем нумерации и сортировки запланированных грузов с использованием оригинального алгоритма оптимизации роя частиц. В публикации патента № CN111708369B описывает метод планирования пути для робота для осмотра подстанции, в котором создается топологическая карта подстанции, а узлы топологической карты сортируются и оптимизируются с помощью алгоритма муравьиной колонии для получения оптимального маршрута замкнутого цикла осмотра.

[009] В вышеуказанных существующих патентах описаны методы планирования пути с использованием эволюционных вычислительных методов (включая алгоритм муравьиной колонии, алгоритм оптимизации роя частиц и т.д.). Однако вышеперечисленные методы имеют следующие недостатки: 1. используемые карты в основном топологические, но такие карты не могут эффективно отображать информацию о препятствиях в рабочих зонах, поэтому методы больше применимы для глобального планирования пути, а не для самостоятельного объезда препятствий; 2. в эволюционных вычислительных методах планирования пути с использованием карт с навигационной сеткой не учитывается эффективное использование информации о восприятии среды, и отсутствует метод оценки состояния среды, поэтому методы не применимы для самостоятельного объезда препятствий в условиях подземных замкнутых пространств; 3. существуют две основные категории эволюционных вычислительных методов планирования пути: дискретные методы, в основном включающие алгоритм муравьиной колонии, генетический алгоритм и тому подобное; и непрерывные методы, в основном включающие алгоритм оптимизации роя частиц, акустический алгоритм и тому подобное. Когда используется дискретный метод планирования пути, на каждой итерации генерируется только следующая позиция транспортного средства, пока транспортное средство не прибудет в конечную точку, поэтому скорость вычислений низкая; а когда используется непрерывный метод, хотя на каждой итерации может быть сгенерирован набор осуществимых путей, обычно используется карта координат, поэтому метод не применим для условий в шахтах, а если используется карта с навигационной сеткой и т.п., на обрабатываемом пути будет создана точка останова, поскольку результат вычислений не является целым числом.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0010] В связи с недостатками предшествующего уровня техники, в настоящем изобретении представлен метод обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного средства в подземных замкнутых пространствах, в котором для таких условий в угольной шахте, как низкая освещенность, сближение и разрушение некоторых дорожных путей, а также с учетом сложной обстановку, включая лужи, протечки кровли и тому подобное, подземная выработка может быть подвергнута сегментации с помощью технологии обнаружения зоны движения в подземных замкнутых пространствах с использованием бинокулярной камеры, обеспечивается информационная поддержка среды выработки, создается общепринятая и технически стабильная карта с навигационной сетки, создается карта работы вспомогательного транспортного средства в зоне движения подземного замкнутого пространства, создается карта рисков с информацией об обнаружении участков, пригодных для движения, кроме того выполняются параллельные вычисления с использованием метода планирования пути на основе улучшенного алгоритма оптимизации методом роя частиц для реализации безопасного и самостоятельного объезда препятствий беспилотным вспомогательным транспортным средством. В настоящей публикации рассматриваются требования вспомогательного транспортного средства для угольных шахт к получению информации об участках, пригодных для движения и препятствиях в трехмерном облаке точек при оценке безопасной зоны движения угольной шахты, а также методы обеспечения автономной езды вспомогательного транспортного средства для объезда препятствий в зоне движения подземного замкнутого пространства.

[0011] Для достижения вышеуказанной цели настоящее изобретение предусматривает использование следующего технического решения:

[0012] Варианты осуществления настоящего изобретения обеспечивают способ обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах, который включает следующие этапы:

[0013] S1: выполнение восприятия окружающей среды с помощью бинокулярной системы технического зрения и обнаружение зоны движения беспилотного вспомогательного транспортного средства в выработке угольной шахты; конкретно включает:

[0014] S11: сбор с помощью бинокулярной камеры видеоизображения вспомогательного транспортного средства, движущегося по выработке угольной шахты, и предварительная обработка изображения выработки угольной шахты;

[0015] S12: для предварительно обработанного изображения выработки угольной шахты, полученного на этапе S11, разработка алгоритма стереосопоставления для решения задачи стереосопоставления выработки угольной шахты, для реализации создания карты глубины выработки угольной шахты и вычисления данных трехмерного облака точек; конкретно включает:

[0016] S121: построение окна полой свертки со спецификацией 5*5, и присвоение различных весов различным позициям окна согласно двумерной гауссовой функции распределения, где веса в последовательности слева направо и сверху вниз соответственно равны 3, 0, 21, 0, 3, 0, 0, 0, 0, 0, 0, 21, 0, 1, 0, 21, 0, 0, 0, 0, 0, 0, 3, 0, 21, 0, 3;

[0017] S122: покрытие вида слева изображения выработки угольной шахты окном свертки, построенным на этапе S121, и выбор точек пикселей во всех областях покрытия;

[0018] S123: покрытие вида справа изображения выработки угольной шахты окном свертки, построенным на этапе S121, и выбор точек пикселей во всех областях покрытия;

[0019] S124: нахождение абсолютного значения разницы уровня яркости всех соответствующих точек пикселей в областях покрытия окна свертки видов выработки угольных шахт справа и слева на шаге S122 и шаге S123, и в соответствии с весами различных положений окна на шаге S121, выполнение взвешенного суммирования по весам по следующей формуле:

[0020] где p - пиксель изображения выработки угольной шахты, d - несоответствие изображения выработки угольной шахты, I ^L (q) и I ^R (qd) - элементы окна, принимающие q и qd в качестве центров изображения на изображениях выработки угольной шахты слева и справа соответственно, w _q - вес различных положений окна свертки, а _np - это гауссово прямоугольное окно свертки 5*5;

[0021] S125: выполнение агрегирования затрат в соответствии со способом вычисления затрат на согласование на этапе S124, где размер шага d _{агрегирования затрат} адаптивно изменяется в соответствии с яркостью пикселя изображения выработки угольной шахты с использованием следующей формулы:

[0022] где D _max - максимальное несоответствие бинокулярного изображения выработки угольной шахты, G _max и G _min - максимальный и минимальный уровень яркости черно-белого изображения выработки угольной шахты соответственно, и g - уровень яркости черно-белого изображения выработки угольной шахты;

[0023] S126: на основе сопоставления затрат на этапе адаптивного сопоставления размера шага агрегирования затрат d _шаг , полученном на этапе S125, нахождение окна с минимальным значением сопоставимых затрат в качестве несоответствия с использованием алгоритма "победитель получает все", а также выполнение циклических вычислений для получения карт несоответствий выработки угольной шахты;

[0024] S127: на основе карт несоответствий выработки угольной шахты, полученных на этапе S126, выполнение оптимизации изображения в соответствии с критерием ограничения согласованности слева направо по следующей формуле:

[0025] где Dl - карта несоответствия слева, _D r - карта несоответствия справа, а D _invalid. - точка перекрытия, где несоответствия не существует; и

[0026] S128: на основе изображения выработки угольной шахты с оптимизацией несоответствий, полученного на этапе S127, выполнение вычисления сопоставления несоответствий с трехмерными данными в соответствии с принципом бинокулярного стереовидения и получение информации об трехмерном облаке точек (X _w , Y _w , Z _w ) выработки угольной шахты в направлении продвижения. беспилотного транспортного средства, по следующей формуле:

[0027] где b - расстояние между левым и правым оптическими центрами бинокулярной камеры, f - фокусное расстояние камеры, d - несоответствие изображения выработки угольной шахты, (x, y) - пиксельные координаты изображения выработки угольной шахты, (u, v) - координаты начала системы координат изображения в пиксельной системе координат, а α и β - фокусные расстояния пикселя в направлениях x и y плоскости изображения соответственно;

[0028] S13: для предварительно обработанного изображения выработки угольной шахты, полученного на этапе S11, разработка модели глубокого обучения для задачи семантической сегментации выработки угольной шахты для реализации семантической сегментации зоны движения на двумерном изображении выработки угольной шахты; конкретно включает:

[0029] S131: создание набора данных семантической сегментации выработки угольной шахты, в котором отмечена только пригодная для движения зона выработки, который конкретно включает:

[0030] S1311: выполнение маркировки с помощью программного обеспечения для маркировки изображений labelme и запуск программного обеспечения labelme;

[0031] S1312: открытие папки изображений выработки угольной шахты и выбор изображения;

[0032] S1313: выбор пригодной для движения области выработки угольной шахты, и присвоение имени пригодной для движения области drivable_area; и

[0033] S1314: повторение шагов S1312 и S1313, чтобы окончательно завершить создание набора данных семантической сегментации зоны движения двумерного изображения выработки угольной шахты;

[0034] S132: предварительное обучение модели семантической сегментации deepLabV3+ на основе набора данных PASCAL VOC;

[0035] S133: на основе предварительно обученной модели deeplabv3+, полученной на этапе S132, и набора данных семантической сегментации выработки угольной шахты, полученного на этапе S131, выполняется тонкая настройка предварительно обученной модели;

[0036] S134: выполнение семантической сегментации двумерного изображения выработки угольной шахты в реальном времени в соответствии с моделью глубокого обучения, настроенной на основе набора данных о выработке угольной шахты, полученных на этапе S133, для получения двумерного изображения зоны, пригодной для движения;

[0037] S14: в соответствии с данными трехмерного облака точек выработки угольной шахты, полученными на этапе S12, и двумерным изображением сегментации выработки угольной шахты, полученным на этапе S13, разработка метода сопоставления двумерного изображения с трехмерным облаком точек для реализации семантической сегментации зоны, пригодной для движения трехмерного облака точек выработки угольной шахты; конкретно включает:

[0038] S141: в соответствии с двухмерным изображением области, пригодной для движения, полученным на этапе S134, обработка изображения области, пригодной для движения на основе операции морфологического раскрытия; и

[0039] S142: в соответствии с видом слева выработки угольной шахты для беспилотного вспомогательного транспортного средства, выполнение сегментации для наложения двухмерного изображения области, пригодной для движения, полученного на этапе S134, на трехмерное облако точек, чтобы получить область, пригодную для движения в выработке угольной шахты на трехмерном облаке точек , используя следующую формулу:

[0040] где P (x, y, z) - данные трехмерного облака точек выработки угольной шахты, полученные на этапе S128, I (x, y) - изображение области угольной шахты, пригодной для движения, полученное после выполнения морфологической обработки на этапе S141, и (x, y) - пиксель координаты вида слева выработки угольной шахты, полученные бинокулярной камерой;

[0041] S2: определение пригодной для движения области подземной выработки в соответствии с информацией об обнаружении пригодной для движения области на этапе S1, и выполнение безопасного управления беспилотным вспомогательным транспортным средством в подземной выработке с помощью алгоритма самостоятельного объезда препятствий на основе улучшенного алгоритма оптимизации роя частиц, конкретно включает:

[0042] S21: создание двухмерной карты с навигационной сеткой рабочего пространства беспилотного вспомогательного транспортного средства на основе информации об обнаружении зоны движения на этапе S1, и перехват карты с навигационной сеткой выработки с соответствующей длиной, где карта с навигационной сеткой включает деформацию и утечку кровли и вспомогательных материалов в верхней части выработки, деформацию, разрушение, утечку и трещины с обеих сторон подземной выработки угольной шахты, а также лужи воды и другие препятствия на поверхности выработки;

[0043] S22: создание карты рисков с навигационной сеткой на основе проекции области, пригодной для движения на этапе S1, где карта рисков с навигационной сеткой содержит безопасную зону, частично безопасную зону и зону полного риска; безопасная зона - это часть зоны движения на этапе S1, на которой беспилотному вспомогательному транспортному средству разрешено прямое движение; зона полного риска - это область без движения, в которой беспилотному вспомогательному транспортному средству полностью запрещено движение; частично безопасная зона представляет собой область, пригодную для движения, полученную путем сегментации на этапе S1 между безопасной зоной и зоной, непригодной для движения, в которой существует риск при движении беспилотного вспомогательного транспортного средства; по возможности, при планировании самостоятельного объезда препятствий маршрут движения транспортного средства должен планироваться в безопасной зоне, и не может планироваться в зоне риска, а при соблюдении определенных условий маршрут движения транспортного средства может включать в себя зону частичной безопасности, но должен быть удален от зоны полного риска, насколько это возможно; при этом применяется следующее правило распределения между тремя видами зон:

[0044] S221: уровни риска зоны определяются в соответствии с зоной движения транспортного средства, полученной сегментированием на этапе S1: зона непригодная для движения находится на самом высоком уровне 5; восемь соседних клеток текущей сетки устанавливаются на уровень риска 4, принимая сетку, в которой находится зона, непригодная для движения, за точку отсчета; повторение выполняется аналогичным образом до достижения уровня риска 1; уровни риска других сеток, которые не находятся в зоне риска, остаются равными 0, то есть они полностью пригодны для движения;

[0045] S222: если есть конфликт в уровне риска сетки, сетка с конфликтом оценивается с самым высоким уровнем риска; и

[0046] S223: непригодная для движения зона является зоной абсолютного полного риска, в которой запрещено движение транспортных средств, а зона безопасности и зона частичной безопасности (уровни риска 1-4) являются зонами, пригодными для движения, где сетка с уровнем риска 0 является зоной безопасности;

[0047] S23: перехват карты соответствующей длины, выбор на карте сетки, разрешенной для использования в качестве конечной точки, принимая положение беспилотного вспомогательного транспортного средства за начальную точку текущей карты, и запись данных этой сетки в таблицу конечных точек, которые выбираются в соответствии со следующим правилом:

[0048] S231: конечная точка, которую необходимо выбрать, находится в последнем столбце карты локальной сетки;

[0049] S232: на сетке не указаны препятствия;

[0050] S233: соседние сетки конечной точки, которая должна быть выбрана, как минимум, включают одну проходимую сетку; и

[0051] S234: сетка не окружена препятствиями;

[0052] S24: выполнение планирования траектории самостоятельного объезда препятствий с использованием улучшенного метода планирования траектории роем частиц, разработанного для подземной выработки в замкнутом пространстве;

[0053] S25: получение оптимальной конечной точки для выбора пути движения с помощью стратегии жадности, и использование беспилотного вспомогательного транспортного средства для транспортировки в соответствии с оптимальной конечной точкой и оптимальным путем; и

[0054] S26: повторение шагов с S21 по S25 для самостоятельного объезда препятствий беспилотным вспомогательным транспортным средством в условиях подземной выработки в замкнутом пространстве, пока беспилотное вспомогательное транспортное средство не прибудет в пункт назначения.

[0055] Далее, на этапе S11, процесс сбора, с помощью бинокулярной камеры, видеоизображения вспомогательного транспортного средства, движущегося по выработке угольной шахты, и предварительной обработки изображения выработки угольной шахты включает следующие этапы:

[0056] S111: выполнение обработки коррекции изображения выработки угольной шахты с использованием алгоритма коррекции изображения Хартли;

[0057] S112: выполнение обработки улучшения изображения выработки угольной шахты на скорректированном изображении, полученном на этапе S111, с помощью алгоритма улучшения изображения, основанного на логарифмическом преобразовании; и

[0058] S113: выполнение обработки фильтрации изображения на улучшенном изображении, полученном на этапе S112, с помощью алгоритма фильтрации изображения, основанного на двусторонней фильтрации.

[0059] Далее, на этапе S111, процесс выполнения обработки коррекции изображения проезжей части угольной шахты с использованием алгоритма коррекции изображения Хартли включает следующие шаги:

[0060] S1111: получение отношения эпиполярных ограничений изображений выработки угольных шахт, полученных в соответствии с алгоритмом калибровки камеры, и нахождение эпиполярных точек p и p' на изображениях слева и справа выработки угольных шахт;

[0061] S1112: расчет матрицы преобразования H' отображение p' для точки бесконечности (1, 0, 0) ^T ;

[0062] S1113: расчет матрицы фотографического преобразования H, согласованной с матрицей преобразования H', и соответствующей ограничению по методу наименьших квадратов, чтобы минимизировать результат, полученный по следующей формуле:

[0063] где _m1i = (u1,v _1,1 ), _m2i = ( _u2 ,v 2,1), а J представляет ошибку функции затрат, а ( _u 1, _v1 ) и (u ₂ , v ₂ ) являются парой совпадающих точек на исходных левом и правом изображениях; и

[0064] S1114: позволяет матрице преобразования H' на этапе S1112 и матрице фотографического преобразования H на этапе S1113 соответственно воздействовать на изображения выработки слева и справа в угольной шахте для получения скорректированного изображения выработки в угольной шахте.

[0065] Далее, на этапе S112, процесс выполнения обработки улучшения изображения выработки угольной шахты на скорректированном изображении, полученном на этапе S111, с помощью алгоритма улучшения изображения, основанного на логарифмическом преобразовании Log, включает следующие шаги:

[0066] S1121: на основе формулы логарифмического преобразования изображения, преобразование скорректированного изображения выработки угольной шахты, полученного на этапе S111, с использованием следующей формулы:

[0067] где r - входные оттенки серой шкалы изображения, r ∈ [0, 1], s - выходные оттенки серого изображения, c - константа, а v - коэффициент регулировки интенсивности логарифмического преобразования;

[0068] S1122: нормализация логарифмически преобразованного изображения проезжей части угольной шахты, полученного на этапе S1121, до 0-255 для преобразования в соответствии со следующей формулой:

[0069] где s - ненормализованный входной оттенок серого, g - нормализованный выходной оттенок серого, s _max - максимальный оттенок серого изображения, а s _min - минимальный оттенок серого изображения.

[0070] Далее, на этапе S113, процесс выполнения фильтрации изображения на улучшенном изображении, полученном на этапе S112, с использованием алгоритма фильтрации изображения на основе двусторонней фильтрации включает следующие шаги:

[0071] S1131: для улучшенного изображения проезжей части угольной шахты, полученного на этапе S112, построение шаблона свертки n*n для выполнения операции свертки;

[0072] S1132: на основе пространственной области и области диапазона выполняется присвоение веса шаблону свертки на этапе S1131 в соответствии со следующей формулой:

[0073] где G _α - вес пространственной области, G _β - вес области диапазона, (x _i , y _i ), (x _j , y _j ) - соответственно центральные пиксельные координаты шаблона свертки и пиксельные координаты шаблона свертки на этапе S1131, σ - параметр сглаживания, gray () - значение уровня яркости пикселя изображения, i - центральный пиксель шаблона свертки, а j - пиксель шаблона свертки;

[0074] S1133: в соответствии с шаблоном свертки на этапе S1131 и весами на этапе S1132, выполнение расчета для левого и правого изображений выработки угольной шахты по следующей формуле для получения отфильтрованного изображения:

[0075] где S - шаблон свертки на этапе S1131, _ij - исходное входное изображение, I _i - отфильтрованное изображение, а w _i - коэффициент нормализации.

[0076] Далее, на этапе S24, указанное использование улучшенного метода планирования траектории роем частиц, разработанного для подземной выработки, включает следующие шаги:

[0077] S241: выполнение кодирования и декодирования сетки на карте с навигационной сеткой, созданной на основе обнаружения зоны движения на этапе S21, и карты риска, созданной на основе проекции зоны движения на этапе S1, на этап S22; где с учетом особенностей планирования пути в подземном замкнутом пространстве, в соответствии с особенностями карты с навигационной сеткой, выполняется метод кодирования локального оптимального пути без столкновений: X _i определяется как путь без препятствий от текущего местоположения робота до заданной целевой точки, которая может быть представлена всеми сетками, составляющими путь, т.е.,

[0078] где V1, V2,...,Vn представляют порядковые номера всех сеток, через которые проходит путь X _i , полной сетки рисков с уровнем риска 5 не существует, и порядковые номера не повторяются; при этом порядковые номера сеток расположены непрерывно. сверху вниз и слева направо, принимая первую ячейку в верхнем левом углу карты с сеткой за 1, пока не достигнет последней ячейки в правом нижнем углу, то есть,

[0079] где vn _,1 и vn _,2 представляют собой координату x и y текущей сетки, являющиеся координатами центральной точки сетки, но не координатами вершины сетки; d - длина стороны сетки; строка G - это количество ячеек в одном ряду на текущей карте с сеткой.

[0080] После вычисления точек пути при обратном решении используется следующая формула:

[0081] чтобы выполнить кодирование и декодирование сетки;

[0082] S242: обработка информации о препятствиях в соответствии с информацией об обнаружении зоны движения на этапе S1 и картой с сеткой, созданной на этапе S21, и инициализация популяции роя частиц; включает следующие шаги:

[0083] S2421: первоначально создание квадратной матрицы, в которой количество строк и столбцов равно общему количеству V _overall сетки, и создание матрицы соединений сетки M _link ;

[0084] S24211: определение того, является ли текущая сетка смежной со всеми другими сетками с помощью циклического обхода, и определение того, являются ли смежные сетки препятствиями;

[0085] S24212: если текущая сетка не является смежной со всеми другими сетками, или смежные сетки являются препятствиями, установка соответствующего элемента матрицы на 0; и если текущая сетка является смежной со всеми другими сетками, и смежные сетки не являются препятствиями, вычисление расстояния между смежными сетками по следующей формуле:

[0086] где Vd _n,i - расстояние по сетке между сеткой n и сеткой i, а v1 и v2 представляют собой координату x и y-координату текущей сетки;

[0087] S2422: определение начальной точки V _S для робота угольной шахты и его конечной целевой точки V _E и размещение их в головном и конечном узлах начального маршрута X ₀ с помощью метода кодирования на этапе S241;

[0088] S2423: случайный выбор из начального узла V _S следующей сетки, подключенной к начальной точке в соответствии с матрицей соединений M _link , установленной на шаге 1; и

[0089] S2424: повторение шага S2423 в соответствии с матрицей подключений M _link до завершения кодирования комбинации полного пути, соединяющего V _S с V _E , и вывод исходного пути;

[0090] S243: на основе методов декодирования/кодирования сетки на этапе S241 и инициализированной популяции на этапе S242, обновление скорости и местоположения частиц в рое частиц с помощью следующей формулы:

[0091] улучшенная скорость частиц зависит от трех факторов. В формуле Φ ₁ , φ ₂ и φ ₃ представляют собой три части скорости частицы: вектор собственной скорости, когнитивный вектор и социальный вектор, и последние два члена определяются когнитивным фактором c1, индивидуальным историческим оптимальным решением pbestt i, социальным вектором c ₂ , и глобальное оптимальное решение gbest ^t , которое, в частности, заключается в следующем:

[0092] где, вектор собственной скорости записывается с помощью случайного распределения для расчета координат сетки и с помощью метода кодирования на этапе S241 для расчета соответствующих сеток, ω - вес инерции скорости. G _col - номер одного столбца сеток на текущей карте с сеткой. Когнитивный вектор записывается с использованием порядковых номеров одинаковых позиций в наборе путей X _i , представленных текущей частицей i в индивидуальном историческом оптимальном решении pbestt i, а часть порядковых номеров устанавливается равной 0 в соответствии с определенной вероятностью. Социальный вектор обновляется с использованием той же стратегии для получения части порядковых номеров позиций в наборе путей X _i , представленных текущей частицей i, и в глобальном оптимальном решении gbest ^t . R _i представляет собой коэффициент замещения;

[0093] элемент обновления позиции - значение приспособленности набора путей X _i , представленное текущей частицей i. В пути Xi, представленном текущей частицей i, производится замена положения на основе трех наборов замен в отношении скорости частицы. f(·) - функция приспособленности, comb(·) - функция перестановки и комбинации, replace(·) - функция замены, указывающая замену, произведенную между текущим путем X _i и скоростью частицы vt+1 i; и

[0094] S244: определение, достигнуто ли максимальное число итераций, если да, вывод оптимального пути самостоятельного обхода препятствий, соответствующего текущей конечной точке, в противном случае возврат к S243 для продолжения итераций.

[0095] Далее, на этапе S243 ω представляет собой инерционный вес скорости:

[0096] чтобы сбалансировать возможности глобального и локального поиска и позволить алгоритму как можно чаще выходить из локального оптимума, в формулу обновления частиц вводится инерционный вес ω в векторе собственной скорости, значение которого находится в диапазоне от 0 до 1. Чем больше инерционный вес, тем сильнее возможности глобального поиска и тем слабее возможности локального поиска; в противном случае возможности глобального поиска ослабляются, а возможности локального поиска усиливаются. Инерционный вес рассчитывается по следующей формуле:

[0097] где ω _min и ω _max - минимальный инерционный вес и максимальный инерционный вес соответственно. t - текущее количество итераций; и T - максимальное количество итераций.

[0098] Далее, на этапе S243, f(·) является функцией приспособленности:

[0099] конвергенция алгоритма оптимизации роя частиц требует использования функции приспособленности в качестве критерия определения, большее значение приспособленности результата оптимизации указывает на то, что набор решений, представленных частицей, является более предпочтительным. Таким образом, для информации об обнаружении пригодной для движения зоны подземной выработки, полученной на этапе S1, определяется функция приспособленности решения, принимая в качестве целей оптимизации минимизацию общей длины линии и минимизацию значений риска. Реляционным выражением каждого решения в пространстве поиска и объективной функции является:

[011] где f представляет функцию приспособленности, представляет общую длину набора путей, представленных текущей частицей i, представляет степень риска пути, vj представляет собой j-ю композиционную сетку между начальной точкой _{V S} и конечной точкой V _E пути, Vr _j представляет степень риска j-й сетки, а W _R представляет собой фактор риска. Метод вычисления функции приспособленности f осуществляется путем взвешивания длины и величины риска каждой сетки в наборе решений пути X _i в соответствии с показателями степени риска, сложения полученных значений и взятия обратной величины полученной суммы.

[012] Настоящая публикация описывает способ обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземном замкнутом пространстве, который относится к области бинокулярного зрения и автоматического вождения, и характеризуется установкой бинокулярной камеры на передней части вспомогательного транспортного средства в подземном пространстве для получения видеоизображения выработки угольной шахты, передачей видеоизображения на компьютер, получением трехмерного облака точек выработки угольной шахты, предоставлением информации об условиях на дороге для локального планирования пути и безопасного объезда препятствий вспомогательного транспортного средства, созданием карты рисков в соответствии с вышеуказанной информацией об обнаружении и оценке зоны пригодной для движения, и осуществлением самостоятельного объезда препятствий беспилотным вспомогательным транспортным средством в замкнутом пространстве подземной выработки угольной шахты с помощью улучшенного алгоритма оптимизации роя частиц. Метод включает следующие конкретные шаги: во-первых, предварительную обработку изображения выработки угольной шахты в соответствии с алгоритмом коррекции изображения Хартли, алгоритмом улучшения изображения на основе логарифмического преобразования Log и алгоритмом фильтрации изображения на основе двусторонней фильтрации; во-вторых, вычисление карты глубины выработки угольной шахты с помощью алгоритма стереосопоставления SAD на основе свертки по Гауссу с адаптивным сопоставлением размера шага стоимости и получение данных трехмерного облака точек выработки; затем, на основе набора данных семантической сегментации выработки угольной шахты, выполнение тонкой настройки модели на модели семантической сегментации deeplabv3+, предварительно обученной на наборе данных PASCAL VOC, для получения модели семантической сегментации двумерного изображения выработки угольной шахты, и выполнение расчета двумерного изображения выработки; далее, выполнение преобразования двумерного изображения в трехмерное облако точек в соответствии с трехмерным облаком точек выработки угольной шахты и изображением сегментации выработки угольной шахты для получения трехмерного облака точек выработки угольной шахты; затем, создание двумерной карты с сеткой и карты риска в соответствии с проекцией вышеуказанной информации по обнаружению и оценке безопасности зоны пригодной для движения и перехват карты с соответствующей длиной для планирования самостоятельного объезда препятствий текущего вспомогательного транспортного средства; далее, принимая текущее положение беспилотного вспомогательного транспортного средства в качестве начальной точки, запись сетки, которая может быть использована в качестве локальной конечной точки, в таблицу конечных точек для выбора; затем, выполнение планирования пути самостоятельного объезда препятствий с использованием улучшенного метода планирования пути и применением роя частиц, разработанного для подземной выработки в замкнутом пространстве; затем, получение оптимальной конечной точки для выбора пути движения с использованием стратегии жадности и предоставление беспилотному вспомогательному транспортному средству возможности двигаться в соответствии с оптимальной конечной точкой и оптимальным путем; и, наконец, повторение шагов перехвата карты и планирования самостоятельного объезда препятствий, до тех пор, пока беспилотное вспомогательное транспортное средство не прибудет в пункт назначения. Настоящее изобретение характеризуется следующим: согласно настоящему изобретению, с помощью метода бинокулярного зрения для обнаружения зоны пригодной для движения в выработке подземной угольной шахты и метода самостоятельного объезда препятствий для беспилотного вспомогательного транспортного средства на основе улучшенного алгоритма оптимизации роя частиц, активное получение изображений выработки угольной шахты достигается с помощью сенсорного устройства с одной камерой, так что трехмерная пространственная зона пригодная для движения вспомогательного транспортного средства в подземном замкнутом пространстве может рассчитываться стабильно, точно и быстро; и автономное управление беспилотным вспомогательным транспортным средством для перевозки грузов в подземном замкнутом пространстве осуществляется в соответствии с обнаружением зоны движения и информацией об оценке безопасности, поэтому метод имеет важное значение для реализации технологии автоматического управления вспомогательным транспортным средством для перевозки грузов в угольных шахтах.

[013] Настоящее раскрытие имеет следующие преимущества:

[014] (1) настоящее изобретение предоставляет метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземном замкнутом пространстве, который может эффективно использовать информацию о выработке в подземном замкнутом пространстве, собранную с помощью бинокулярной камеры, а также зоне движения на основе оценки состояния безопасности для выполнения самостоятельного объезда препятствий в сочетании с улучшенным алгоритмом оптимизации роя частиц для планирования пути, чтобы реализовать беспилотное управление вспомогательным транспортным средством для угольных шахт в подземном замкнутом пространстве.

[015] (2) В настоящем изобретении предлагается алгоритм улучшения изображения на основе логарифмического преобразования Log и метод предварительной обработки изображения на основе алгоритма фильтрации изображения с использованием двусторонней фильтрации, который улучшает видимость выработки угольной шахты в глубоком подземном пространстве и позволяет избежать влияния пыли и шума "соль и перец".

[016] (3) В настоящем изобретении предложен алгоритм стереосопоставления SAD на основе свертки Гаусса с адаптивным размером шага агрегирования, который эффективно улучшает точность и эффективность стереосопоставления левого и правого изображений выработки угольной шахты и может точно и быстро получить изображение глубины выработки угольной шахты.

[017] (4) В настоящем изобретении предлагается метод наложения семантического сегментационного изображения двумерной проезжей части угольной шахты на трехмерное облако точек выработки угольной шахты, который может напрямую получать трехмерное облако точек выработки угольной шахты из бинокулярного изображения без использования дорогостоящих устройств, таких как радар и тому подобное, таким образом, можно избежать применения трудоемких процессов, таких как калибровка изображения и LIDAR и т.д., и повысить эффективность работы системы; при этом полученное облако точек будет иметь более богатую информацию о текстурах.

[018] (5) В настоящем изобретении предлагается метод самостоятельного объезда препятствий для беспилотного вспомогательного транспортного средства на основе усовершенствованного алгоритма оптимизации роя частиц, который может эффективно использовать информацию об обнаружении зоны движения, быстро и самостоятельно выполнять автономный объезд препятствий для беспилотного вспомогательного транспортного средства, тем самым повышая безопасность и интеллектуальность локального планирования пути транспортного средства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[019] ФИГ. 1 представляет собой схематическую диаграмму применения вспомогательного транспортного средства в методе обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах в соответствии с вариантом осуществления настоящего изобретения;

[0110] ФИГ. 2 представляет собой примерную схему процесса обнаружения зоны движения и самостоятельного объезда препятствий беспилотным транспортным средством в подземном замкнутом пространстве в соответствии с вариантом осуществления настоящего изобретения;

[0111] ФИГ. 3 представляет собой блок-схему метода обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного средства в глубоком замкнутом пространстве в соответствии с вариантом осуществления настоящего изобретения;

[0112] ФИГ. 4 представляет собой блок-схему метода обнаружения проезжей части угольной шахты на основе бинокулярного зрения в соответствии с вариантом осуществления настоящего изобретения;

[0113] ФИГ. 5 представляет собой сетевую схему модели глубокого обучения семантической сегментации deeplabv3+;

[0114] ФИГ. 6 представляет собой изображение выработки угольной шахты слева;

[0115] ФИГ. 7 представляет собой карту глубин выработки угольной шахты;

[0116] ФИГ. 8 представляет собой схему сегментации двухмерного изображения зоны выработки угольной шахты, пригодной для движения;

[0117] ФИГ. 9 представляет собой схему обнаружения трехмерного облака точек зоны выработки угольной шахты, пригодной для движения; и

[0118] ФИГ. 10 представляет собой карту риска для подземной выработки угольной шахты, созданную в соответствии с методом обнаружения зоны, пригодной для движения.

[0119] Справочная нумерация на ФИГ. 1: 1 - корпус вспомогательного транспортного средства для угольных шахт; 2 - стандартный контейнер вспомогательного транспортного средства для угольных шахт; 3 - взрывозащищенный фонарь вспомогательного транспортного средства для угольных шахт; 4 - гусеница вспомогательного транспортного средства для угольных шахт; и 5 - взрывозащищенная бинокулярная камера.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0120] Настоящее изобретение более подробно описывается ниже со ссылкой на сопроводительные чертежи.

[0121] Следует отметить, что такие термины, как "верхний", "нижний", "левый", "правый", "передний", "задний" и тому подобные, упомянутые в настоящей публикации, используются только для обеспечения понятности описания и не предназначены для ограничения объема настоящего изобретения, и любые изменения и корректировки их отношений также должны рассматриваться как входящие в реализуемый объем настоящего изобретения без существенного изменения технического содержания.

[0122] ФИГ. 1 представляет собой схематическую диаграмму применения вспомогательного транспортного средства в методе обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах в соответствии с настоящим изобретением; Гусеница 4 вспомогательного транспортного средства для угольных шахт расположена под корпусом 1 вспомогательного транспортного средства для угольных шахт и обеспечивает движение корпуса вспомогательного транспортного средства для угольных шахт. Взрывозащищенная бинокулярная камера 5 расположена на переднем конце корпуса 1 вспомогательного транспортного средства для перевозки угля в угольных шахтах и настроена для сбора видеоизображений выработки угольной шахты в реальном времени и выполнения фоновой обработки видеоизображений выработки угольной шахты для получения трехмерного облака точек зоны выработки угольной шахты, пригодной для движения, чтобы предоставить информацию об окружающей обстановке для планирования пути и безопасного объезда препятствий вспомогательным транспортным средством. Взрывозащищенная автомобильная лампа 3 вспомогательного транспортного средства для угольных шахт расположена на одной стороне взрывозащищенной бинокулярной камеры 5, которая может не только освещать окружающее пространство, но и улучшать качество съемки изображения.

[0123] Настоящее изобретение предоставляет метод обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного средства в подземном замкнутом пространстве, который, в соответствии с ФИГ. 2 и ФИГ. 3, содержит две части: обнаружение зоны движения в выработке угольной шахты на основе бинокулярного зрения и самостоятельный объезд препятствий на основе улучшенного алгоритма оптимизации роя частиц. Метод, в частности, включает в себя следующие этапы:

[0124] шаг 1: восприятие окружающей среды осуществляется с помощью бинокулярного зрения, и определяется зона движения беспилотного вспомогательного транспортного средства в выработке подземной угольной шахты.

[0125] Например, в соответствии с ФИГ. 4, во время этапа 1, четыре модуля предварительной обработки изображения выработки угольной шахты, выполнения стереосопоставления изображения для получения карты глубины, выполнения семантической сегментации двумерного изображения и наложения области движения на трехмерное облако точек включают следующие шаги:

[0126] шаг 1-1: бинокулярная камера собирает видеоизображение вспомогательного транспортного средства, движущегося по выработке угольной шахты, и изображение выработки угольной шахты проходит предварительную обработку.

[0127] Например, на этапе 1-1 процесс предварительной обработки изображения выработки угольной шахты включает следующие шаги:

[0128] шаг 1-1-1: обработка коррекции изображения выработки угольной шахты выполняется с помощью алгоритма коррекции изображения Хартли;

[0129] шаг 1-1-2: обработка улучшения изображения выполняется на скорректированном изображении, полученном на шаге 1-1-1, с помощью алгоритма улучшения изображения, основанного на логарифмическом преобразовании Log; и

[0130] шаг 1-1-3: обработка фильтрации изображения выполняется на улучшенном изображении, полученном на шаге 1-1-2, с помощью алгоритма фильтрации изображения, основанного на двусторонней фильтрации.

[0131] Каждый шаг этапа 1-1 описан ниже.

[0132] (I) Обработка скорректированных изображений выработки угольной шахты

[0133] Алгоритм коррекции изображения Хартли, используемый на шаге 1-1-1, конкретно включает:

[0134] шаг 1-1-1-1: получение отношения эпиполярных ограничений изображений выработки угольных шахт, полученных в соответствии с алгоритмом калибровки камеры, и нахождение эпиполярных точек p и p' на изображениях слева и справа выработки угольных шахт;

[0135] шаг 1-1-1-2: расчет наложения p'матрицы преобразования H' на точку бесконечности (1, 0, 0) ^T ;

[0136] шаг 1-1-1-3: расчет фотографичесчкой матрицы преобразования H, согласованная с матрицей преобразования H', и ограничение наименьших квадратов для минимизации следующей формулы:

[0137] где _m1i = (u1,v _1,1 ), _m2i = ( _u2 ,v 2,1), а J представляет ошибку функции затрат, а ( _u 1, _v1 ) и (u ₂ , v ₂ ) являются парой совпадающих точек на исходных левом и правом изображениях; и

[0138] шаг1-1-1-4: матрица преобразования H' на этапе 1-1-1-2 и матрица фотографического преобразования H на этапе 1-1-1-3 соответственно воздействуют на изображения выработки угольной шахты слева и справа для получения скорректированного изображения выработки угольной шахты.

[0139] (II) Обработка для улучшения изображений

[0140] Алгоритм улучшения изображения на шаге 1-1-2 включает:

[0141] шаг 1-1-2-1: на основе формулы логарифмического преобразования Log изображения, скорректированное изображение выработки угольной шахты, полученное на шаге 1-1-1, преобразуется с помощью следующей формулы:

[0142] где r - входные оттенки серой шкалы изображения, r ∈ [0, 1], s - выходные оттенки серого изображения, c - константа, а v - коэффициент регулировки интенсивности логарифмического преобразования; и

[0143] шаг 1-1-2-2: логарифмически преобразованное изображение выработки угольной шахты, полученное на шаге 1-1-2-1, нормализуется до 0-255 для преобразования по следующей формуле:

[0144] где s - ненормализованный входной оттенок серого, g - нормализованный выходной оттенок серого, s _max - максимальный оттенок серого изображения, а s _min - минимальный оттенок серого изображения.

[0145] (III) Обработка фильтрации изображений

[0146] Алгоритм фильтрации изображения на шаге 1-1-3 включает:

[0147] шаг 1-1-3-1: для улучшенного изображения выработки угольной шахты, полученного на шаге 1-1-2, строится шаблон свертки n*n для выполнения операции свертки;

[0148] шаг 1-1-3-2: на основе пространственной области и области диапазона выполняется присвоение веса шаблону свертки на шаге 1-1-3-1 по следующей формуле:

[0149] где G _α - вес пространственной области, G _β - вес области диапазона, (x _i , yi), (x _j , y _j ) - соответственно центральные пиксельные координаты шаблона свертки и пиксельные координаты шаблона свертки на шаге 1-1-3-1, σ - параметр сглаживания, gray () - значение уровня яркости пикселя изображения, i - центральный пиксель шаблона свертки, а j - пиксель шаблона свертки; и

[0150] шаг 1-1-3-3: в соответствии с шаблоном свертки на шаге 1-1-3-1 и весами на шаге 1-1-3-2, расчет изображений выработки угольной шахты справа и слева выполняется по следующей формуле для получения отфильтрованного изображения:

[0151] где S - шаблон свертки на шаге 1-1-3-1, _ij - исходное входное изображение, I _i - отфильтрованное изображение, а w _i - коэффициент нормализации.

[0152] Шаг 1-2: для предварительно обработанного изображения проезжей части угольной шахты, полученного на шаге 1, разрабатывается алгоритм стереосопоставления специально для задачи стереосопоставления выработки угольной шахты, для реализации генерации карты глубины выработки угольной шахты и вычисления данных трехмерного облака точек.

[0153] Процесс создания карты глубины выработки угольной шахты и вычисления данных трехмерного облака точек на шаге 1-2 конкретно включает следующие подшаги:

[0154] шаг 1-2-1: строится окно свертки со спецификацией 5*5, и различные веса присваиваются различным позициям окна согласно двумерной гауссовой функции распределения, где веса в последовательности слева направо и сверху вниз составляют соответственно 3, 0, 21, 0, 3, 0, 0, 0, 0, 0, 0, 21, 0, 1, 0, 21, 0, 0, 0, 0, 0, 0, 3, 0, 21, 0, 3;

[0155] шаг 1-2-2: вид слева изображения выработки угольной шахты покрывается окном свертки, построенным на шаге 1-2-1, и выбираются точки пикселей во всех областях покрытия;

[0156] шаг 1-2-3: вид справа изображения выработки угольной шахты покрывается окном свертки, построенным на шаге 1-2-1, и выбираются точки пикселей во всех областях покрытия;

[0157] шаг 1-2-4: нахождение абсолютного значения разницы уровня яркости всех соответствующих точек пикселей в областях покрытия окна свертки видов выработки угольных шахт справа и слева на шаге 1-2-2 и шаге 1-2-3, и в соответствии с весами различных положений окна на шаге 1-2-1, выполнение взвешенного суммирования по весам по следующей формуле:

[0158] где p - пиксель изображения выработки угольной шахты, d - несоответствие изображения выработки угольной шахты, I ^L (q) и I ^R (qd) - элементы окна, принимающие q и qd в качестве центров изображения на изображениях выработки угольной шахты слева и справа соответственно, w _q - вес различных положений окна свертки, а _np - это гауссово прямоугольное окно свертки 5*5;

[0159] шаг 1-2-5: выполнение агрегирования затрат в соответствии со способом вычисления затрат на согласование на шаге 1-2-4, где размер шага d _{агрегирования затрат} адаптивно изменяется в соответствии с яркостью пикселя изображения выработки угольной шахты с использованием следующей формулы:

[0160] где D _max - максимальное несоответствие бинокулярного изображения выработки угольной шахты, G _max и G _min - максимальный и минимальный уровень яркости черно-белого изображения выработки угольной шахты соответственно, и g - уровень яркости черно-белого изображения выработки угольной шахты;

[0161] шаг 1-2-6: на основе сопоставления затрат на этапе адаптивного сопоставления размера шага агрегирования затрат d _шаг , полученном на шаге 1-2-5, нахождение окна с минимальным значением сопоставимых затрат в качестве несоответствия с использованием алгоритма "победитель получает все", а также выполнение циклических вычислений для получения карт несоответствий выработки угольной шахты;

[0162] шаг 1-2-7: на основе карт несоответствий выработки угольной шахты, полученных на этапе 1-2-6, выполнение оптимизации изображения в соответствии с критерием ограничения согласованности слева направо по следующей формуле:

[0163] где Dl - карта несоответствия слева, _D r - карта несоответствия справа, а D _{недейств.} - точка перекрытия, где несоответствия не существует; и

[0164] Шаг 1-2-8: на основе изображения выработки угольной шахты с оптимизацией несоответствий, полученного на шаге 1-2-7, выполнение вычисления сопоставления несоответствий с трехмерными данными в соответствии с принципом бинокулярного стереовидения и получение информации об трехмерном облаке точек (X _w , Y _w , Z _w ) выработки угольной шахты в направлении продвижения. беспилотного транспортного средства, по следующей формуле:

[0165] где b - расстояние между левым и правым оптическими центрами бинокулярной камеры, f - фокусное расстояние камеры, d - несоответствие изображения выработки угольной шахты, (x, y) - пиксельные координаты изображения выработки угольной шахты, (u, v) - координаты начала системы координат изображения в пиксельной системе координат, а α и β - фокусные расстояния пикселя в направлениях x и y плоскости изображения соответственно. ФИГ. 6 представляет собой изображение выработки угольной шахты слева. ФИГ. 7 представляет собой карту глубин выработки угольной шахты.

[0166] Шаг1-3: для предварительно обработанного изображения выработки угольной шахты, полученного на шаге 1-1, разработка модели глубокого обучения для задачи семантической сегментации выработки угольной шахты для реализации семантической сегментации зоны движения на двумерном изображении выработки угольной шахты.

[0167] Процесс семантической сегментации зоны, пригодной для движения двумерного изображения выработки угольной шахты на шаге 1-3 включает:

[0168] шаг 1-3-1: составляется набор данных семантической сегментации выработки угольной шахты, который включает:

[0169] шаг 1-3-1-1: маркировка выполняется с помощью программы маркировки изображений labelme, запускается программа labelme;

[0170] шаг 1-3-1-2: открывается папка изображений выработки угольной шахты, выбирается изображение;

[0171] шаг 1-3-1-3: выбирается только зона выработки угольной шахты, пригодная для движения, и и такая зона получает имя drivable_area; и

[0172] шаг 1-3-1-4: шаги 1-3-1-2 и 1-3-1-3 повторяются, чтобы окончательно завершить создание набора данных семантической сегментации зоны, пригодной для движения двумерного изображения выработки угольной шахты.

[0173] Шаг 1-3-2: модель семантической сегментации deeplabv3+model предварительно обучена на основе набора данных PASCAL VOC. Набор данных PASCAL VOC, используемый в данном варианте, содержит в общей сложности 11 530 изображений 20 типов.

[0174] Шаг 1-3-3: обучение переносу и обучение тонкой настройке модели семантической сегментации deeplabv3+ выполняется в соответствии с предварительно обученной моделью семантической сегментации, полученной на шаге 1-3-2, и набором данных семантической сегментации выработки угольной шахты, полученным на шаге 1-3-1. ФИГ. 5 представляет собой сетевую схему модели глубокого обучения семантической сегментации deeplabv3+.

[0175] Шаг 1-3-4: выполнение семантической сегментации двумерного изображения выработки угольной шахты в реальном времени в соответствии с моделью глубокого обучения, настроенной на основе набора данных о выработке угольной шахты, полученных во время шага 1-3-3, для получения двумерного изображения зоны, пригодной для движения. ФИГ. 8 представляет собой схему сегментации двухмерного изображения зоны выработки угольной шахты, пригодной для движения.

[0176] Шаг 1-4: в соответствии с данными трехмерного облака точек выработки угольной шахты, полученными во время шага 1-2, и двумерным изображением сегментации выработки угольной шахты, полученным во время шага 1-3, разработка метода сопоставления двумерного изображения с трехмерным облаком точек для реализации семантической сегментации зоны, пригодной для движения трехмерного облака точек выработки угольной шахты.

[0177] Процесс семантической сегментации трехмерного облака точек выработки угольной шахты на шаге 1-4 включает:

[0178] шаг 1-4-1, в соответствии с двумерным изображением зоны, пригодной для движения, полученным во время шага 1-3-4, выполняется обработка изображения зоны движения на основе операции морфологического раскрытия, которая включает:

[0179] шаг 1-4-1-1: выполняется операция морфологической эрозии в соответствии с изображением зоны угольной шахты, пригодной для движения, полученным во время шага 1-3-4; и

[0180] шаг 1-4-1-2: выполняется операция морфологического расширения в соответствии с изображением морфологической эрозии, полученным во время шага 1-4-1-1.

[0181] Шаг 1-4-2: в соответствии с видом слева выработки угольной шахты для беспилотного вспомогательного транспортного средства, выполнение сегментации для наложения двухмерного изображения зоны, пригодной для движения, полученного во время шага 1-3-4, на трехмерное облако точек, чтобы получить область, пригодную для движения в выработке угольной шахты на трехмерном облаке точек используя следующую формулу:

[0182] где P (x, y, z) - данные трехмерного облака точек выработки угольной шахты, полученные во время шага 1-2-8, I (x, y) - изображение области угольной шахты, пригодной для движения, полученное после выполнения морфологической обработки на этапе S141, и (x, y) - пиксель координаты вида слева выработки угольной шахты, полученные бинокулярной камерой; ФИГ. 9 представляет собой схему обнаружения трехмерного облака точек зоны выработки угольной шахты, пригодной для движения.

[0183] Этап 2: определение пригодной для движения зоны подземной выработки в соответствии с информацией об обнаружении пригодной для движения области на этапе 1, и выполнение безопасного управления беспилотным вспомогательным транспортным средством в подземной выработке с помощью алгоритма самостоятельного объезда препятствий на основе улучшенного алгоритма оптимизации роя частиц.

[0184] Например, на этапе 2 включены четыре модуля создания карты окружения, инициализации основных данных, планирования самостоятельного объезда препятствий и вывода оптимального маршрута, которые включают следующие шаги:

[0185] Шаг 2-1, на основе информации об обнаружении зоны движения, полученной на шаге 1, создается двумерная карта с сеткой рабочего пространства беспилотного вспомогательного транспортного средства.

[0186] На подземную выработку в течение длительного времени воздействуют энергия деформации, кинетическая энергия и напряжение при добыче угля, поэтому часть выработки показывает общую тенденцию сближения и имеет ситуации протекания кровли в верхней части выработки, провисания сеток, повреждений, протечек и трещин с обеих сторон выработки, деформации опорных материалов, большего количества луж воды на поверхности земли и т.д. Двумерная карта с сеткой получается на основе проекции информации о реконструкции сцены на этапе 1, и включает в себя деформацию и протечку кровли и вспомогательных материалов в верхней части выработки, деформацию, разрушение, протечку и трещины по обеим сторонам подземной выработки, а также лужи воды и другие препятствия на поверхности земли выработки.

[0187] Шаг 2-2: создается карта с сеткой рисков в соответствии с проекцией зоны, пригодной для движения на этапе 1.

[0188] Карта, полученная в результате оценки безопасности в подземной выработке с ограниченным пространством с помощью технологии сегментации изображений на этапе 1, содержит безопасную зону, частично безопасную зону и зону полного риска; безопасная зона - это часть зоны движения на этапе 1, на которой беспилотному вспомогательному транспортному средству разрешено прямое движение; зона полного риска - это область без движения, в которой беспилотному вспомогательному транспортному средству полностью запрещено движение; частично безопасная зона представляет собой область, пригодную для движения, полученную путем сегментации на этапе 1 между безопасной зоной и зоной, непригодной для движения, в которой существует риск при движении беспилотного вспомогательного транспортного средства; по возможности, при планировании самостоятельного объезда препятствий маршрут движения транспортного средства должен планироваться в безопасной зоне, и не может планироваться в зоне риска, а при соблюдении определенных условий маршрут движения транспортного средства может включать в себя зону частичной безопасности, но должен быть удален от зоны полного риска, насколько это возможно; при этом применяется следующее правило распределения между тремя видами зон:

[0189] правило 2-2-1: уровни риска зоны определяются в соответствии с зоной движения транспортного средства, полученной сегментированием на этапе 1: зона непригодная для движения находится на самом высоком уровне 5; восемь соседних клеток текущей сетки устанавливаются на уровень риска 4, принимая сетку, в которой находится зона, непригодная для движения, за точку отсчета; повторение выполняется аналогичным образом до достижения уровня риска 1; уровни риска других сеток, которые не находятся в зоне риска, остаются равными 0, то есть они полностью пригодны для движения;

[0190] правило 2-2-2: если есть конфликт в уровне риска сетки, сетка с конфликтом оценивается с самым высоким уровнем риска; и

[0191] правило 2-2-3: сама непригодная для движения зона является абсолютно полной зоной риска, в которой запрещено движение транспортных средств, а безопасная зона и частично безопасная зона (уровни риска 1-4) являются зонами, пригодными для движения , где сетка с уровнем риска 0 является безопасной зоной ; ФИГ. 10 представляет собой карту рисков для подземной выработки угольной шахты в ограниченном пространстве, созданную в соответствии с методом обнаружения пригодных для движения зон.

[0192] Шаг 2-3: перехватываются карты соответствующей длины, и на основе карты, созданной на основе информации об обнаружении пригодных для движения зон, создается временная таблица конечных точек, которые необходимо выбрать.

[0193] Чтобы обеспечить эффективность самостоятельного обхода препятствий в режиме реального времени, необходимо постоянно перехватывать карты соответствующей длины для планирования, чтобы обновлять траекторию самостоятельного объезда препятствий во время движения транспортного средства. После перехвата на карте выбирается сетка, которая может служить в качестве локальной конечной точки, принимая беспилотное вспомогательное транспортное средство за начальную точку текущей карты, она записывается в таблицу конечных точек, которые выбираются в соответствии со следующим правилом:

[0194] Правило 2-3-1: конечная точка, которую необходимо выбрать, должна находиться в последнем столбце карты с локальной сеткой;

[0195] правило 2-3-2: на сетке не указаны препятствия;

[0196] Правило 2-3-3: соседние сетки конечной точки, которая должна быть выбрана, как минимум, включают одну проходимую сетку; и

[0197] правило 2-3-4: сетка не окружена препятствиями.

[0198] Шаг 2-4: выполнение планирования траектории самостоятельного объезда препятствий с использованием улучшенного метода планирования траектории роем частиц, разработанного для подземной выработки в замкнутом пространстве;

[0199] Улучшенный метод планирования траектории роем частиц, разработанный для подземной выработки в ограниченном пространстве на шаге 2-4, включает:

[01100] шаг 2-4-1: выполнение кодирования и декодирования сетки на карте с навигационной сеткой, созданной на основе обнаружения зоны движения на шаге 2-1, и карты риска, созданной на основе проекции зоны движения на этапе 1, на шаг 2-2; где с учетом особенностей планирования пути в подземном замкнутом пространстве, в соответствии с особенностями карты с навигационной сеткой, выполняется метод кодирования локального оптимального пути без столкновений: X _i определяется как путь без препятствий от текущего местоположения робота до заданной целевой точки, которая может быть представлена всеми сетками, составляющими путь, т.е.,

[01101] где V ₁ , V ₂ ,...vn представляют собой серийные номера всех сеток, через которые проходит путь X _i , полной сетки рисков с уровнем риска 5 не существует, и серийные номера не повторяются взаимно. Порядковые номера сеток расположены последовательно сверху вниз и слева направо, принимая первую ячейку сетки в левом верхнем углу карты за 1 до последней ячейки сетки в правом нижнем углу, то есть,

[01102] где v _n,1 и v _n,2 представляют собой координату x и y текущей сетки, являющиеся координатами центральной точки сетки, но не координатами вершины сетки; d - длина стороны сетки; строка G _- это количество ячеек в одном ряду на текущей карте с сеткой.

[01103] После вычисления точек пути при обратном решении используется следующая формула:

[01104] чтобы выполнить кодирование и декодирование сетки.

[01105] шаг 2-4-2: информация о препятствиях обрабатывается в соответствии с информацией об обнаружении зоны движения на шаге 1 и картой с сеткой, созданной на шаге 2-1, и инициализируется популяция роя частиц, этот процесс предусматривает следующие шаги:

[01106] шаг 2-4-2-1: первоначально устанавливается квадратная матрица, в которой числа строк и столбцов равны общему числу V _{в целом} по сетке, и устанавливается связь M матрицы подключения к сетке;

[01107] шаг 2-4-2-1-1: определение смежности текущей сетки со всеми другими сетками с помощью циклического обхода, и оценка наличия препятствий в смежных сетках;

[01108] шаг 2-4-2-1-2: если текущая сетка не является смежной со всеми другими сетками или смежные сетки являются препятствиями, соответствующий элемент матрицы устанавливается на 0; если же текущая сетка является смежной со всеми другими сетками и смежные сетки не являются препятствиями, расстояние между смежными сетками вычисляется по следующей формуле:

[01109] где Vd _n ,_i - расстояние по сетке между сеткой n и сеткой i, а v ₁ и v ₂ представляют собой координату x и y-координату текущей сетки;

[01110] шаг 2-4-2-2: определение начальной точки V _S для робота угольной шахты и его конечной целевой точки V _E и размещение их в головном и конечном узлах начального маршрута X ₀ с помощью метода кодирования на шаге 2-4-1;

[01111] шаг 2-4-2-3: следующая сетка, подключенная к начальной точке, выбирается случайным образом, начиная с начального узла V _S в соответствии с матрицей подключений M _link , установленной на шаге 1; и

[01112] шаг 2-4-2-4: шаг 2-4-2-3 повторяется в соответствии с матрицей подключения M _link до тех пор, пока не будет завершена кодирующая комбинация полной траектории, соединяющей V _S с V _E , и не будет определена начальная траектория.

[01113] шаг 2-4-3: на основе методов декодирования/кодирования сетки на шаге 2-4-1 и инициализированной популяции на шаге 2-4-2 скорость и местоположение частиц в рое частиц обновляются с использованием следующей формулы:

[01114] улучшенная скорость частиц зависит от трех факторов. В формуле Φ ₁ , φ ₂ и φ ₃ представляют собой три части скорости частицы: вектор собственной скорости, когнитивный вектор и социальный вектор, и последние два члена определяются когнитивным фактором c1, индивидуальным историческим оптимальным решением pbest ^t _i , социальным _{фактором} c ₂ , и глобальное оптимальное решение gbest ^t , которое, в частности, заключается в следующем:

[01115] где, вектор собственной скорости записывается с помощью случайного распределения для расчета координат сетки и с помощью метода кодирования на шаге 2-4-1 для расчета соответствующих сеток. G _col - номер одного столбца сеток на текущей карте с сеткой. Когнитивный вектор записывается с использованием порядковых номеров одинаковых позиций в наборе путей X _i , представленных текущей частицей i в индивидуальном историческом оптимальном решении pbest ^t _i , а часть порядковых номеров устанавливается равной 0 в соответствии с определенной вероятностью. Социальный вектор обновляется с использованием той же стратегии для получения части порядковых номеров позиций в наборе путей X _i , представленных текущей частицей i, и в глобальном оптимальном решении gbest ^t .

[01116] ω - вес инерции скорости. Чтобы сбалансировать возможности глобального и локального поиска и позволить алгоритму как можно чаще выходить из локального оптимума, в формулу обновления частиц вводится инерционный вес ω в векторе собственной скорости, значение которого находится в диапазоне от 0 до 1. Чем больше инерционный вес, тем сильнее возможности глобального поиска и тем слабее возможности локального поиска; в противном случае возможности глобального поиска ослабляются, а возможности локального поиска усиливаются. Инерционный вес рассчитывается по следующей формуле:

[01117] где ω _min и ω _max - минимальный инерционный вес и максимальный инерционный вес. t - текущее количество итераций. T - максимальное количество итераций.

[01118] R _i представляет собой коэффициент замещения;

[01119] элемент обновления позиции - значение приспособленности набора путей X _i , представленное текущей частицей i. Для пути Xi, представленном текущей частицей i, проводится замена позиции на основе трех наборов замен в скорости частицы. comb(·) - это функция перестановки и комбинирования. replace(·) - это функция замены, указывающая на замену, произведенную между текущим путем X _i и скоростью частицы vt+1 i. f(·) - функция приспособленности.

[01120] Конвергенция алгоритма оптимизации роя частиц требует использования функции приспособленности в качестве критерия определения, большее значение приспособленности результата оптимизации указывает на то, что набор решений, представленных частицей, является более предпочтительным. Таким образом, для информации об обнаружении пригодной для движения зоны подземной выработки, полученной на этапе S1, определяется функция приспособленности решения, принимая в качестве целей оптимизации минимизацию общей длины линии и минимизацию значений риска. Реляционным выражением каждого решения в пространстве поиска и объективной функции является:

[01121] где f представляет функцию приспособленности, представляет общую длину набора путей, представленных текущей частицей i, представляет степень риска пути, vj представляет собой j- _ю композиционную сетку между начальной точкой Vs и конечной точкой Ve пути, Vr _j представляет степень риска j-й сетки, и Wr представляет фактор риска; и способ вычисления функции приспособленности f производится путем взвешивания длины и значения риска каждой сетки в наборе решений пути X _i в соответствии с индексами степени риска, сложения полученных значений и принятия обратной величины полученной суммы.

[01122] шаг 2-4-4: определяется, достигнуто ли максимальное количество итераций, если да, выводится оптимальный путь самостоятельного объезда препятствий, соответствующий текущей конечной точке, в противном случае происходит возврат на шаг 2-4-3 для продолжения итерации.

[01123] Шаг 2-5: получение оптимальной конечной точки для выбора пути движения с помощью стратегии жадности, и использование беспилотного вспомогательного транспортного средства для транспортировки в соответствии с оптимальной конечной точкой и оптимальным путем; и

[01124] Шаг 2-6: шаги 2-1 - 2-5 повторяются для выполнения самостоятельного объезда препятствий беспилотным вспомогательным транспортным средством в подземной выработке в условиях замкнутого пространства, пока беспилотное вспомогательное транспортное средство не прибудет в пункт назначения.

[01125] В целом, настоящее изобретение предоставляет метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземном замкнутом пространстве, который может эффективно использовать информацию о подземной выработке в замкнутом пространстве, собранную бинокулярной камерой, и зоне движения на основе оценки состояния безопасности для выполнения самостоятельного объезда препятствий в сочетании с алгоритмом оптимизации роя частиц, улучшенным для планирования пути, чтобы реализовать беспилотное вождение вспомогательного транспортного средства для угольных шахт в подземном замкнутом пространстве; метод обнаружения зоны движения в подземном замкнутом пространстве на основе бинокулярного зрения выполняет предварительную обработку изображения выработки угольной шахты с помощью алгоритма коррекции изображения Хартли, алгоритма улучшения изображения на основе логарифмического преобразования Log и алгоритма фильтрации изображения на основе двусторонней фильтрации, что позволяет решить такие проблемы, как тусклое окружение и сильный шум "соли и перца" подземной выработки угольной шахты; используется алгоритм стереосовмещения SAD на основе свертки по Гауссу с адаптивным размером шага агрегирования, что повышает точность и эффективность совмещения левого и правого изображений выработки угольной шахты; для обучения семантической модели сегментации выработки угольной шахты используется метод переноса модели, который решает проблему отсутствия наборов данных о выработке угольной шахты, тем самым повышая надежность и обобщенность семантической модели сегментации; используется метод семантической сегментации облака точек проезжей части угольной шахты, основанный на преобразовании двумерного изображения в трехмерное облако точек, что решает проблему дороговизны, вызванную радиолокационным оборудованием, повышает точность и эффективность семантической сегментации трехмерного облака точек и позволяет получить богатую текстурную информацию о выработке угольной шахты; при этом метод самостоятельного объезда препятствий для беспилотного вспомогательного транспортного средства на основе улучшенного алгоритма оптимизации роя частиц может эффективно использовать информацию об обнаружении зоны движения, быстро и автономно выполнять самостоятельный объезд препятствий для беспилотного вспомогательного транспортного средства, тем самым повышая безопасность и интеллектуальность локального планирования пути транспортного средства.

[01126] Выше приведено только предпочтительное воплощение настоящего изобретения, объем защиты авторских прав на настоящее изобретение не ограничен вышеуказанным воплощением, и все технические решения настоящего изобретения, соответствующие его замыслу попадают в объем защиты прав на настоящее изобретение. Следует отметить, что для специалиста в данной области техники любые усовершенствования и модификации, выполненные без отступления от принципа настоящего изобретения, должны рассматриваться как входящие в объем защиты прав на настоящее изобретение.

Claims (103)

1. Метод обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного грузового оборудования в подземных замкнутых пространствах, включающий следующие этапы:

S1: выполнение восприятия окружающей среды с помощью бинокулярной системы технического зрения и обнаружение зоны движения беспилотного вспомогательного транспортного средства в выработке угольной шахты; включая следующее:

S11: сбор с помощью бинокулярной камеры видеоизображения вспомогательного транспортного средства, движущегося по выработке угольной шахты, и предварительная обработка изображения выработки угольной шахты;

S12: для предварительно обработанного изображения выработки угольной шахты, полученного на этапе S11, разработка алгоритма стереосопоставления для решения задачи стереосопоставления выработки угольной шахты, для реализации создания карты глубины выработки угольной шахты и вычисления данных трехмерного облака точек; включая следующее:

S121: построение окна полой свертки со спецификацией 5*5, и присвоение различных весов различным позициям окна согласно двумерной гауссовой функции распределения, где веса в последовательности слева направо и сверху вниз соответственно равны 3, 0, 21, 0, 3, 0, 0, 0, 0, 0, 0, 21, 0, 1, 0, 21, 0, 0, 0, 0, 0, 0, 3, 0, 21, 0, 3;

S122: покрытие вида слева изображения выработки угольной шахты окном свертки, построенным на этапе S121, и выбор точек пикселей во всех областях покрытия;

S123: покрытие вида справа изображения выработки угольной шахты окном свертки, построенным на этапе S121, и выбор точек пикселей во всех областях покрытия;

S124: нахождение абсолютного значения разницы уровня яркости всех соответствующих точек пикселей в областях покрытия окна свертки видов выработки угольных шахт справа и слева на шаге S122 и шаге S123, и в соответствии с весами различных положений окна на шаге S121, выполнение взвешенного суммирования по весам по следующей формуле:

где p - пиксель изображения выработки угольной шахты, d - несоответствие изображения выработки угольной шахты, I ^L (q) и I ^R (qd) - элементы окна, принимающие q и qd в качестве центров изображения на изображениях выработки угольной шахты слева и справа соответственно, w _q - вес различных положений окна свертки, а _np - это гауссово прямоугольное окно свертки 5*5;

S125: выполнение агрегирования затрат в соответствии со способом вычисления затрат на согласование на этапе S124, где размер шага d _{агрегирования затрат} адаптивно изменяется в соответствии с яркостью пикселя изображения выработки угольной шахты с использованием следующей формулы:

где D _max - максимальное несоответствие бинокулярного изображения выработки угольной шахты, G _max и G _min - максимальный и минимальный уровень яркости черно-белого изображения выработки угольной шахты соответственно, и g - уровень яркости черно-белого изображения выработки угольной шахты;

S126: на основе сопоставления затрат на этапе адаптивного сопоставления размера шага агрегирования затрат d _шаг , полученном на этапе S125, нахождение окна с минимальным значением сопоставимых затрат в качестве несоответствия с использованием алгоритма "победитель получает все", а также выполнение циклических вычислений для получения карт несоответствий выработки угольной шахты;

S127: на основе карт несоответствий выработки угольной шахты, полученных на этапе S126, выполнение оптимизации изображения в соответствии с критерием ограничения согласованности слева направо по следующей формуле:

где D _l - карта несоответствия слева, Dr - карта несоответствия справа, а D _{недейств.} - точка перекрытия, где несоответствия не существует; и

S128: на основе изображения выработки угольной шахты с оптимизацией несоответствий, полученного на этапе S127, выполнение вычисления сопоставления несоответствий с трехмерными данными в соответствии с принципом бинокулярного стереовидения и получение информации о трехмерном облаке точек (X _w , Y _w , Z _w ) выработки угольной шахты в направлении продвижения беспилотного транспортного средства, по следующей формуле:

где b - расстояние между левым и правым оптическими центрами бинокулярной камеры, f - фокусное расстояние камеры, d - несоответствие изображения выработки угольной шахты, (x, y) - пиксельные координаты изображения выработки угольной шахты, (u, ν) - координаты начала системы координат изображения в пиксельной системе координат, а α и β - фокусные расстояния пикселя в направлениях x и y плоскости изображения соответственно;

S13: для предварительно обработанного изображения выработки угольной шахты, полученного на этапе S11, разработка модели глубокого обучения для задачи семантической сегментации выработки угольной шахты для реализации семантической сегментации зоны движения на двумерном изображении выработки угольной шахты; включая следующее:

S131: создание набора данных семантической сегментации выработки угольной шахты, в котором отмечена только пригодная для движения зона выработки, который включает:

S1311: выполнение маркировки с помощью программного обеспечения для маркировки изображений labelme и запуск программного обеспечения labelme;

S1312: открытие папки изображений выработки угольной шахты и выбор изображения;

S1313: выбор пригодной для движения области выработки угольной шахты, и присвоение имени пригодной для движения области drivable_area; и

S1314: повторение шагов S1312 и S1313, чтобы окончательно завершить создание набора данных семантической сегментации зоны движения двумерного изображения выработки угольной шахты;

S132: предварительное обучение модели семантической сегментации deepLabV3+ на основе набора данных PASCAL VOC;

S133: на основе предварительно обученной модели deeplabv3+, полученной на этапе S132, и набора данных семантической сегментации выработки угольной шахты, полученного на этапе S131, выполняется тонкая настройка предварительно обученной модели;

S134: выполнение семантической сегментации двумерного изображения выработки угольной шахты в реальном времени в соответствии с моделью глубокого обучения, настроенной на основе набора данных о выработке угольной шахты, полученных на этапе S133, для получения двумерного изображения зоны, пригодной для движения;

S14: в соответствии с данными трехмерного облака точек выработки угольной шахты, полученными на этапе S12, и двумерным изображением сегментации выработки угольной шахты, полученным на этапе S13, разработка метода сопоставления двумерного изображения с трехмерным облаком точек для реализации семантической сегментации зоны, пригодной для движения трехмерного облака точек выработки угольной шахты; включает следующее:

S141: в соответствии с двухмерным изображением области, пригодной для движения, полученным на этапе S134, обработка изображения области, пригодной для движения на основе операции морфологического раскрытия; и

S142: в соответствии с видом слева выработки угольной шахты для беспилотного вспомогательного транспортного средства, выполнение сегментации для наложения двухмерного изображения области, пригодной для движения, полученного на этапе S134, на трехмерное облако точек, чтобы получить область, пригодную для движения в выработке угольной шахты на трехмерном облаке точек, используя следующую формулу:

где P (x, y, z) - данные трехмерного облака точек выработки угольной шахты, полученные на этапе S128, I (x, y) - изображение области угольной шахты, пригодной для движения, полученное после выполнения морфологической обработки на этапе S141, и (x, y) - пиксель координаты вида слева выработки угольной шахты, полученные бинокулярной камерой;

S2: определение пригодной для движения области подземной выработки в соответствии с информацией об обнаружении пригодной для движения области на этапе S1, и выполнение безопасного управления беспилотным вспомогательным транспортным средством в подземной выработке с помощью алгоритма самостоятельного объезда препятствий на основе улучшенного алгоритма оптимизации роя частиц, включает следующее:

S21: создание двухмерной карты с навигационной сеткой рабочего пространства беспилотного вспомогательного транспортного средства на основе информации об обнаружении зоны движения на этапе S1, и перехват карты с навигационной сеткой выработки с соответствующей длиной, где карта с навигационной сеткой включает деформацию и утечку кровли и вспомогательных материалов в верхней части выработки, деформацию, разрушение, утечку и трещины с обеих сторон подземной выработки угольной шахты, а также лужи воды и другие препятствия на поверхности выработки;

S22: создание карты рисков с навигационной сеткой на основе проекции области, пригодной для движения на этапе S1, где карта рисков с навигационной сеткой содержит безопасную зону, частично безопасную зону и зону полного риска; безопасная зона - это часть зоны движения на этапе S1, на которой беспилотному вспомогательному транспортному средству разрешено прямое движение; зона полного риска - это область без движения, в которой беспилотному вспомогательному транспортному средству полностью запрещено движение; частично безопасная зона представляет собой область, пригодную для движения, полученную путем сегментации на этапе S1 между безопасной зоной и зоной, непригодной для движения, в которой существует риск при движении беспилотного вспомогательного транспортного средства; по возможности, при планировании самостоятельного объезда препятствий маршрут движения транспортного средства должен планироваться в безопасной зоне, и не может планироваться в зоне риска, а при соблюдении определенных условий маршрут движения транспортного средства может включать в себя зону частичной безопасности, но должен быть удален от зоны полного риска, насколько это возможно; при этом применяется следующее правило распределения между тремя видами зон:

S221: уровни риска определяются в соответствии с зоной, пригодной для движения транспортного средства, полученной в результате сегментирования на этапе S1: зона непригодная для движения находится на самом высоком уровне 5; восемь соседних клеток текущей сетки устанавливаются на уровень риска 4, принимая сетку, в которой находится зона, непригодная для движения, за точку отсчета; повторение выполняется аналогичным образом до достижения уровня риска 1; уровни риска других сеток, которые не находятся в зоне риска, остаются равными 0, то есть они полностью пригодны для движения; если существует конфликт в уровне риска сетки, то сетка с конфликтом оценивается с самым высоким уровнем риска; и сама зона непригодности для движения является абсолютной полной зоной риска, в которой транспортным средствам запрещено движение, а зона безопасности и зона частичной безопасности являются зонами, пригодными для движения, где сетка с уровнем риска 0 является зоной безопасности;

S23: перехват карты соответствующей длины, выбор на карте сетки, которая может служить локальной конечной точкой, принимая беспилотное вспомогательное транспортное средство за начальную точку текущей карты, и запись этой сетки в таблицу конечных точек, которые должны быть выбраны в соответствии со следующим правилом: конечная точка, которую необходимо выбрать, должна находиться в последнем столбце карты с локальной сеткой; сетка не является сеткой препятствий; соседние сетки конечной точки, которая должна быть выбрана, как минимум, включают одну проходимую сетку; и сетка не окружена препятствиями;

S24: выполнение планирования траектории самостоятельного объезда препятствий с использованием улучшенного метода планирования траектории роем частиц, разработанного для подземной выработки в замкнутом пространстве;

S25: получение оптимальной конечной точки для выбора пути движения с помощью стратегии жадности, и использование беспилотного вспомогательного транспортного средства для транспортировки в соответствии с оптимальной конечной точкой и оптимальным путем; и

S26: повторение шагов с S21 по S25 для самостоятельного объезда препятствий беспилотным вспомогательным транспортным средством в условиях подземной выработки в замкнутом пространстве, пока беспилотное вспомогательное транспортное средство не прибудет в пункт назначения.

2. Метод обнаружения зоны движения и самостоятельного объезда препятствий беспилотного транспортного средства в подземных замкнутых пространствах согласно п. 1, где на этапе S11 процесс сбора бинокулярной камерой видеоизображения вспомогательного транспортного средства, движущегося по выработке угольной шахты, и предварительной обработки изображения выработки угольной шахты включает следующие шаги:

S111: выполнение обработки коррекции изображения выработки угольной шахты с использованием алгоритма коррекции изображения Хартли;

S112: выполнение обработки улучшения изображения выработки угольной шахты на скорректированном изображении, полученном на этапе S111, с помощью алгоритма улучшения изображения, основанного на логарифмическом преобразовании; и

S113: выполнение обработки фильтрации изображения на улучшенном изображении, полученном на этапе S112, с помощью алгоритма фильтрации изображения, основанного на двусторонней фильтрации.

3. Метод обнаружения зоны движения и автономного обхода препятствий беспилотным транспортным оборудованием в подземных замкнутых пространствах по п. 2, где на этапе S111 процесс выполнения обработки коррекции изображения выработки угольной шахты с помощью алгоритма коррекции изображения Хартли включает следующие шаги:

S1111: получение отношения эпиполярных ограничений изображений выработки угольных шахт, полученных в соответствии с алгоритмом калибровки камеры, и нахождение эпиполярных точек p и p' на изображениях слева и справа выработки угольных шахт;

S1112: расчет матрицы преобразования H' отображение p' для точки бесконечности (1, 0, 0) ^T ;

S1113: расчет матрицы фотографического преобразования H, согласованной с матрицей преобразования H', и соответствующей ограничению по методу наименьших квадратов, чтобы минимизировать результат, полученный по следующей формуле:

где m _1i = (u ₁ , v _1,1 ), _m2i = (u ₂ ,v _2,1 ), а J представляет ошибку функции затрат, а (u ₁ , v ₁ ) и (u ₂ , v ₂ ) являются парой совпадающих точек на исходных левом и правом изображениях; и

S1114: позволяет матрице преобразования H' на этапе S1112 и матрице фотографического преобразования H на этапе S1113 соответственно воздействовать на изображения выработки слева и справа в угольной шахте для получения скорректированного изображения выработки в угольной шахте.

4. Метод обнаружения зоны движения и независимого объезда препятствий беспилотным транспортным средством в подземных замкнутых пространствах по п. 2, где на этапе S112 процесс выполнения обработки улучшения изображения выработки угольной шахты на скорректированном изображении, полученном на этапе S111, с помощью алгоритма улучшения изображения на основе логарифмического преобразования Log включает следующие шаги:

S1121: на основе формулы логарифмического преобразования изображения, преобразование скорректированного изображения выработки угольной шахты, полученного на этапе S111, с использованием следующей формулы:

где r - входные оттенки серой шкалы изображения, r ∈ [0, 1], s - выходные оттенки серого изображения, c - константа, а v - коэффициент регулировки интенсивности логарифмического преобразования;

S1122: нормализация логарифмически преобразованного изображения проезжей части угольной шахты, полученного на этапе S1121, до 0-255 для преобразования в соответствии со следующей формулой:

где s - ненормализованный входной оттенок серого, g - нормализованный выходной оттенок серого, s _max - максимальный оттенок серого изображения, а s _min - минимальный оттенок серого изображения.

5. Метод обнаружения зоны движения и независимого объезда препятствий беспилотным транспортным средством в подземных замкнутых пространствах по п. 2, где на этапе S112 процесс выполнения обработки улучшения изображения выработки угольной шахты на скорректированном изображении, полученном на этапе S111, с помощью алгоритма улучшения изображения на основе логарифмического преобразования Log включает следующие шаги:

S1131: для улучшенного изображения проезжей части угольной шахты, полученного на этапе S112, построение шаблона свертки n*n для выполнения операции свертки;

S1132: на основе пространственной области и области диапазона выполняется присвоение веса шаблону свертки на этапе S1131 в соответствии со следующей формулой:

где G _α - вес пространственной области, G _β - вес области диапазона, (x _i , y _i ), (x _j , y _j ) - соответственно центральные пиксельные координаты шаблона свертки и пиксельные координаты шаблона свертки на этапе S1131, σ - параметр сглаживания, gray () - значение уровня яркости пикселя изображения, i - центральный пиксель шаблона свертки, а j - пиксель шаблона свертки;

S1133: в соответствии с шаблоном свертки на этапе S1131 и весами на этапе S1132, выполнение расчета для левого и правого изображений выработки угольной шахты по следующей формуле для получения отфильтрованного изображения:

где S - шаблон свертки на этапе S1131, _ij - исходное входное изображение, I _i - отфильтрованное изображение, а w _i - коэффициент нормализации.

6. Метод обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного средства в подземном ограниченном пространстве согласно п.у 1, где на этапе S24, упомянутое использование улучшенного метода планирования траектории роя частиц, разработанного для подземной выработки в замкнутом пространстве, включает следующие шаги:

S241: выполнение кодирования и декодирования сетки на карте с навигационной сеткой, созданной на основе обнаружения зоны движения на этапе S21, и карты риска, созданной на основе проекции зоны движения на этапе S1, на этап S22; где в соответствии с особенностями карты с навигационной сеткой, выполняется метод кодирования локального оптимального пути без столкновений: X _i определяется как путь без препятствий от текущего местоположения робота до заданной целевой точки, которая может быть представлена всеми сетками, составляющими путь, т.е.

где V1, V2,...,Vn представляют порядковые номера всех сеток, через которые проходит путь X _i , полной сетки рисков с уровнем риска 5 не существует, и порядковые номера не повторяются; при этом порядковые номера сеток расположены непрерывно, сверху вниз и слева направо, принимая первую ячейку в верхнем левом углу карты с сеткой за 1, пока не достигнет последней ячейки в правом нижнем углу, то есть

где vn _,1 и v _n,2 представляют собой координату x и y текущей сетки, являющиеся координатами центральной точки сетки, но не координатами вершины сетки; d - длина стороны сетки; G _row - это количество ячеек в одном ряду на текущей карте с сеткой.

после вычисления точек пути при обратном решении используется следующая формула:

чтобы выполнить кодирование и декодирование сетки;

S242: обработка информации о препятствиях в соответствии с информацией об обнаружении зоны движения на этапе S1 и картой с сеткой, созданной на этапе S21, и инициализация популяции роя частиц; включает следующие шаги:

S2421: первоначально создание квадратной матрицы, в которой количество строк и столбцов равно общему количеству V _overall сетки, и создание матрицы соединений сетки M _link ;

S24211: определение того, является ли текущая сетка смежной со всеми другими сетками с помощью циклического обхода, и определение того, являются ли смежные сетки препятствиями;

S24212: если текущая сетка не является смежной со всеми другими сетками, или смежные сетки являются препятствиями, установка соответствующего элемента матрицы на 0; и если текущая сетка является смежной со всеми другими сетками, и смежные сетки не являются препятствиями, вычисление расстояния между смежными сетками по следующей формуле:

где Vd _n,i - расстояние по сетке между сеткой n и сеткой i, а v1 и v2 представляют собой координату x и y - координату текущей сетки;

S2422: определение начальной точки V _S для робота угольной шахты и его конечной целевой точки V _E и размещение их в головном и конечном узлах начального маршрута X ₀ с помощью метода кодирования на этапе S241;

S2423: случайный выбор из начального узла V _S следующей сетки, подключенной к начальной точке в соответствии с матрицей соединений M _link , установленной на шаге 1; и

S2424: повторение шага S2423 в соответствии с матрицей подключений M _link до завершения кодирования комбинации полного пути, соединяющего V _S с V _E , и вывод исходного пути;

S243: на основе методов декодирования/кодирования сетки на этапе S241 и инициализированной популяции на этапе S242, обновление скорости и местоположения частиц в рое частиц с помощью следующей формулы:

улучшенная скорость частицы состоит из трех наборов замены; где φ ₁ , φ ₂ и φ ₃ представляют собой три части скорости частицы: вектор собственной скорости, когнитивный вектор и социальный вектор, и последние два члена определяются когнитивным фактором c ₁ , индивидуальным историческим оптимальным решением pbest ^t _i , социальным фактором c ₂ , и глобальное оптимальное решение gbest ^t , которое, в частности, заключается в следующем:

где вектор собственной скорости записывается с использованием случайного распределения для вычисления координат сетки и с использованием метода кодирования на этапе S241 для вычисления соответствующих сеток, ω - вес инерции скорости, а G _col - номер одного столбца сеток на текущей карте с сеткой; когнитивный вектор записывается с использованием порядковых номеров одинаковых позиций в наборе путей X _i , представленных текущей частицей i в индивидуальном историческом оптимальном решении pbest ^t _i , и часть порядковых номеров устанавливаются равными 0 в соответствии с определенной вероятностью; при этом социальный вектор обновляется с использованием той же стратегии для получения части порядковых номеров одинаковых позиций в наборе путей X _i , представленных текущей частицей i, и в глобальном оптимальном решении gbest ^t ; R _i представляет собой коэффициент замещения;

элемент обновления позиции представляет собой значение приспособленности набора путей x _{i ,} представленных текущей частицей i; для пути X _i , представленным текущей частицей i, проводится замена позиции на основе трех наборов замен в скорости частицы; f(·) - функция приспособленности, comb(·) является функцией перестановки и комбинации, а replace(·) является функцией замены, указывающей на замену, произведенную между текущим путем X _i и скоростью частицы vt+1 i; и

S244: определение, достигнуто ли максимальное число итераций, если да, вывод оптимального пути самостоятельного обхода препятствий, соответствующего текущей конечной точке, в противном случае возврат к S243 для продолжения итераций.

7. Метод обнаружения зоны движения и самостоятельного объезда препятствий беспилотного транспортного средства в подземных замкнутых пространствах согласно п. 6, где на этапе S243 инерционный вес скорости ω составляет:

где ω _min и ω _max - минимальный инерционный вес и максимальный инерционный вес соответственно; t - текущее количество итераций; и T - максимальное количество итераций.

8. Метод обнаружения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного средства в подземном ограниченном пространстве согласно п. 6, где на этапе S243 для информации об обнаружении зоны движения в подземной выработке в условиях замкнутого пространства, полученной на этапе S1, определяется функция приспособленности решения частицы, принимая минимизацию общей длины линии и минимизацию значений риска в качестве целей оптимизации, где реляционное выражение каждого решения в пространстве поиска и объективной функции является:

где f представляет функцию приспособленности, представляет общую длину набора путей, представленных текущей частицей i, представляет степень риска пути, vj представляет собой j-ю композиционную сетку между начальной точкой Vs и конечной точкой Ve пути, Vr _j представляет степень риска j-й сетки, и Wr представляет фактор риска; и способ вычисления функции приспособленности f производится путем взвешивания длины и значения риска каждой сетки в наборе решений пути X _i в соответствии с индексами степени риска, сложения полученных значений и принятия обратной величины полученной суммы.