RU2802411C1 - Способ подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела - Google Patents

Abstract

Изобретение относится к области техники распознавания изображений. Технический результат заключается в повышении точности интеллектуального видеоанализа подсчета бурильных штанг. Технический результат достигается за счет того, что при совпадении координат ключевых точек руки с координатами центральной точки рамки бурильной штанги по траектории движения ключевых точек всего тела определяют, есть ли действие по перемещению бурильной штанги, если по траектории движения узловых точек всего тела судят об отсутствии движения подвижных бурильных штанг, количество бурильных штанг остается неизменным, если установлено, что имеет место действие по транспортировке бурильных штанг по траектории движения ключевых точек всего тела, количество взятых бурильных штанг увеличивается на 1. 2 з.п. ф-лы, 5 ил.

Description

Область техники

Изобретение относится к области техники интеллектуального распознавания изображений, в частности к способу подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела.

Уровень техники

С популяризацией подземного видеонаблюдения интеллектуальное распознавание изображений стало все более широко использоваться в угольных шахтах. Интеллектуальная технология распознавания изображений заимствует цифровые изображения, собранные шахтной камерой, выполняет операции и анализ с помощью интеллектуального алгоритма, встроенного в камеру, или алгоритма внутреннего сервера, реализует восприятие видеоконтента, а затем оценивает и идентифицирует соответствующие цель в соответствии с установленными правилами. Поскольку интеллектуальное распознавание видео использует бесконтактное обнаружение, интеллектуальное распознавание видео имеет преимущества широкого диапазона обнаружения и низкой стоимости обнаружения и может работать 24 часа в сутки, что значительно повышает эффективность работы.

Тем не менее, большинство угольных шахт по-прежнему полагаются на землю для ручного просмотра видео для подсчета извлечения штанг, метод ручного подсчета бурильных штанг с кнопкой, подготовленный для рабочих на подземном буровом забое угольной шахты, является громоздким и неэффективным, так что это не может быть эффективно подсчитано; в то же время каждая видеозапись часто длится от 1 до 2 часов, кроме того, подземные рабочие условия суровые, а свет тусклый, поэтому персонал должен постоянно концентрироваться на просмотре видео, после длительной непрерывной работы персонал склонен к пропускам обнаружения и ложным обнаружениям, вызванным усталостью.

Хотя есть интеллектуальный анализ видео для автоматического подсчета бурильных штанг, эффект не очень удовлетворительный, основная причина в том, что эти методы часто снимают несколько кадров до и после того, как рабочий берет бурильную штангу, и а особенность момента, когда рабочий берет бурильную штангу, извлекается через нейросеть, как только на видео зафиксировано, что рука рабочего касается конца бурильной штанги, будет произведен отсчет +1. Однако в реальной работе часто возникают такие явления, как ручная бурильная шахта, смещение и перекрытие и т. д., которые на самом деле не удаляются, в это время, если это все еще учитывается, это приведет к ложному обнаружению.

Краткое описание изобретения

Техническая проблема, решаемая настоящим изобретением, заключается в следующем: для преодоления недостатков предшествующего уровня техники предлагается способ подсчета извлечения буровых штанг, основанный на распознавании жестов человеческого тела, и непрерывное действие рабочего, снимающего бурильную штангу, определяется распознаванием жестов человеческого тела, и количество бурильных штанг, вынутых рабочим, автоматически рассчитывается, тем самым повышая точность интеллектуального видеоанализа подсчета бурильных штанг.

Техническое решение, принятое настоящим изобретением для решения технической проблемы, представляет собой: способ извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела, и конкретные этапы заключаются в следующем:

Шаг 1. Сбор данных: используйте переднюю искробезопасную камеру шахты, чтобы получить видео при извлечении штанги из бурового забоя, а затем соберите видеоданные;

Шаг 2. предварительная обработка данных и изготовление этикеток: видеоданные передаются на наземный сервер через кольцевую сеть, а наземный сервер анализирует и обрабатывает видеоданные;

Шаг 3. Обучить модель AlphaPose с помощью функции обнаружения ключевых точек человеческого тела и модели распознавания бурильной штанги, буровой машины и человеческого тела;

Шаг 4. Обнаружение бурильной штанги, выбор рамки на обнаруженной бурильной штанге и запись соответствующих параметров целевого рамки, одновременно обнаружение человека, определение ключевых точек человеческого скелета для обнаруженного человека и запись координат ключевых точек человеческого тела;

Шаг 5. Алгоритм внутреннего сервера совместно оценивает фактическую полученную бурильную штангу, определяя, захватывает ли рабочий бурильную штангу и есть ли какие-либо действия по обработке: определить, перекрываются ли координаты ключевой точки руки и области выбора рамки бурильной штанги, если координаты ключевой точки руки и области выбора рамки бурильной штанги не перекрываются, повторить шаг 4; при совпадении координат ключевых точек руки с областью выбора рамки бурильной штанги по траектории движения ключевых точек всего тела определяют, есть ли действие по перемещению бурильной штанги; когда по траектории движения узловых точек всего тела судят об отсутствии движения подвижных бурильных штанг, количество бурильных штанг остается неизменным; когда установлено, что имеет место действие по транспортировке бурильных штанг по траектории движения ключевых точек всего тела, прибавьте 1 к количеству взятых бурильных штанг.

Более конкретно, конкретно ограничено, что в вышеупомянутом техническом решении на шаге 4 соответствующие параметры целевого рамки включают в себя положение центральной точки рамки, длину рамки и высоту рамки.

Более конкретно, конкретно ограничено, что в вышеупомянутом техническом решении на шаге 4 координаты ключевых точек человеческого тела включают в себя координаты головы человека, координаты плеча человека, координаты руки человека, координаты человеческого тела колено, и координаты стопы человека. .

Более конкретно, конкретно ограничено, что в вышеупомянутом техническом решении на шаге 2 инструмент labelImg используется для маркировки собранных данных изображения, и каждый тип одного и того же изображения помечен соответствующей меткой категории.

Положительные эффекты настоящего изобретения заключаются в следующем: способ извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела по настоящему изобретению имеет следующие преимущества:

I. Количество бурильных штанг можно подсчитать напрямую, анализируя видеозаписи, избегая длительного и интенсивного ручного подсчета;

II. Определяя, захватывает ли рабочий бурильную трубу, и анализируя, оказывает ли траектория движения человека манипуляционное воздействие, можно точно подсчитать извлечения штанг, что имеет очень высокую точность;

III. Он подходит для схемы реконструкции оригинальной камеры общего назначения на подземной буровой поверхности, ему нужно только интеллектуально проанализировать видео на внутреннем сервере, стоимость реконструкции низкая, а шаги строительства просты.

Краткое описание чертежей

Чтобы более четко проиллюстрировать варианты осуществления настоящего изобретения или технические решения предшествующего уровня техники, нижеследующее кратко представляет сопроводительные чертежи, которые необходимо использовать при описании вариантов осуществления или предшествующего уровня техники, очевидно, что чертежи в последующем описании являются лишь некоторыми вариантами осуществления, описанными в этой заявке, и для специалистов в данной области техники другие чертежи также могут быть получены из этих чертежей без творческих усилий.

Чертеж 1 представляет собой блок-схему алгоритма настоящего изобретения;

Чертеж 2 представляет собой принципиальную схему настоящего изобретения;

Чертеж 3 представляет собой схему эффекта I алгоритма согласно настоящему изобретению.

Чертеж 4 представляет собой схему эффекта II алгоритма согласно настоящему изобретению;

Чертеж 5 представляет собой схему эффекта III алгоритма согласно настоящему изобретению.

Вариант осуществления изобретения

Чтобы сделать цели, технические решения и преимущества вариантов осуществления настоящего изобретения более понятными, технические решения в вариантах осуществления настоящего изобретения будут ясно и полностью описаны ниже со ссылкой на прилагаемые чертежи в вариантах осуществления настоящего изобретения. очевидно, что описанные варианты осуществления являются некоторыми вариантами осуществления настоящего изобретения, но не всеми вариантами осуществления. Основываясь на вариантах осуществления настоящего изобретения, все другие варианты осуществления, полученные специалистами в данной области техники без творческих усилий, подпадают под объем охраны настоящего изобретения.

Ссылаясь на чертеж 1, чертеж 2, чертеж 3, чертеж 4 и чертеж 5, способ подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела по настоящему изобретению включает в себя искробезопасную видеокамеру для фронтального майнинга, кольцевая сеть и внутренний сервер, среди них искробезопасная видеокамера для фронтального майнинга имеет функции автофокуса, сильного подавления света и заполняющего света. Искробезопасная видеокамера для фронтального майнинга должна иметь разрешение не менее 2 млн пикселей, а уровень защиты должен быть не менее IP54. Алгоритм внутреннего сервера использует модель AlphaPose с функцией обнаружения ключевых точек человека и модель распознавания бурильной штанги, буровой машины и человеческого тела для одновременного обнаружения ключевых точек бурильной штанги и человеческих костей, а затем решить, следует ли перемещать бурильную трубу, анализируя траекторию движения человеческого тела для точного подсчета. На подземном забое установлена искробезопасная видеокамера для записи видео при бурении и извлечении штанги. Данные, собранные передней шахтной искробезопасной видеокамерой, передаются на землю по кольцевой сети, а данные анализируются алгоритмом на внутреннем сервере для определения количества бурильных штанг, полученных рабочими на видео, чтобы добиться функции автоматического подсчета.

См. чертеж 2, конкретный принцип метода подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела заключается в следующем: сначала скважинная камера получает видео извлечения штанг, затем промышленная кольцевая сеть передает данные, и наконец, завершение процессов алгоритма для завершения интеллектуального подсчета.

См. чертеж 1, метод подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела, конкретные шаги заключаются в следующем:

Шаг 1. Сбор данных: используйте переднюю искробезопасную камеру шахты, чтобы получить видео при извлечении штанги из бурового забоя, а затем соберите видеоданные;

Шаг 2, предварительная обработка данных и изготовление этикеток: видеоданные передаются на наземный сервер через кольцевую сеть, а наземный сервер анализирует и обрабатывает видеоданные. В эксперименте инструмент labelImg используется для маркировки собранных данных изображения, и каждый тип одного и того же изображения помечен соответствующей категорией. Например, оборудование в шахте помечается как «машина», человек помечается как «человек», целевая бурильная шахта помечается как «объект» и так далее. Метки ключевых точек человеческого тела используют оценку Keypoint в наборе данных MS COCO.

Шаг 3. Обучить модель AlphaPose с помощью функции обнаружения ключевых точек человеческого тела и модели распознавания бурильной штанги, буровой машины и человеческого тела;

Шаг 4. Обнаружение бурильной штанги, выбор рамки на обнаруженной бурильной штанге и запись соответствующих параметров целевого рамки, соответствующий параметр целевого рамки включает положение центральной точки рамки, длину рамки и высоту рамки; одновременно обнаружение человека, определение ключевых точек человеческого скелета для обнаруженного человека и запись координат ключевых точек человеческого тела, координаты ключевых точек человеческого тела включают в себя координаты головы человека, координаты плеча человека, координаты руки человека, координаты человеческого тела колено, и координаты стопы человека.

Шаг 5. Алгоритм внутреннего сервера совместно оценивает фактическую полученную бурильную штангу, определяя, захватывает ли рабочий бурильную штангу и есть ли какие-либо действия по обработке, чтобы избежать пропущенного обнаружения и ложного обнаружения: определить, перекрываются ли координаты ключевой точки руки и области выбора рамки бурильной штанги, если координаты ключевой точки руки и области выбора рамки бурильной штанги не перекрываются, повторить шаг 4; при совпадении координат ключевых точек руки с областью выбора рамки бурильной штанги по траектории движения ключевых точек всего тела определяют, есть ли действие по перемещению бурильной штанги; когда по траектории движения узловых точек всего тела судят об отсутствии движения подвижных бурильных штанг, количество бурильных штанг остается неизменным; когда установлено, что имеет место действие по транспортировке бурильных штанг по траектории движения ключевых точек всего тела, прибавьте 1 к количеству взятых бурильных штанг.

Например, после того, как алгоритм обнаружит бурильную трубу, координаты ограничивающей рамки выходной бурильной штанги будут (X1, Y1, X2, Y2), где X1, Y1 — координаты левого верхнего угла рамки объекта, а X2, Y2 — координаты правого нижнего угла рамки объекта. Можно рассчитать центральную точку рамки, а также длину и высоту рамки. Точно так же координаты ключевых точек человеческого тела также являются набором (x, y) координат положения, которые могут быть обнаружены позже посредством логического суждения между координатами. Является ли упомянутое в тексте перекрытие, то есть превышает ли IOU между координатами или ограничивающей рамкой пороговое значение.

Среди них детали алгоритма внутреннего сервера разделены на следующие части:

(1) STN (сеть пространственного преобразователя): Полное название STN — Spatial Transformer Network, что на китайском языке означает сеть пространственного преобразователя. Для нерегулярного ввода изображения человеческого тела точный человеческий кадр получается после операции STN. Введите регионы-кандидаты для получения высококачественных регионов-кандидатов. То есть кадр привязан к данным изображения человеческого тела в видеопотоке. Поскольку символы в видеопотоке все время движутся, данные изображения человеческого тела, полученные путем декодирования, имеют извилистость, то есть неправильную форму, в настоящем изобретении для обработки данных изображения используется STN, что позволяет нейронной сети обучаться как выполнить пространственное преобразование входного изображения, чтобы повысить геометрическую инвариантность модели.

STN — это 2D аффинное преобразование, определяемое следующим образом:

(1)

Среди них i представляет i-ю координатную точку в данных изображения; s представляет новое имя координаты; t представляет исходное имя координаты; представляет собой координату после преобразования, в частности, представляет собой абсциссу в преобразованных данных изображения человека и — ордината в преобразованных данных изображения человека; — координата до преобразования, в частности, — абсцисса пикселя в исходных данных изображения человека до преобразования, — ордината пикселя в исходных данных изображения человека до преобразования и 1 представляет значение по умолчанию вертикальной координаты точки пикселя в данных изображения персонажа до 2D аффинного преобразования; , и являются параметрами преобразования, в том числе .

(2) SPPE (Оценка жеста одного человека): Полное название SPPE — single person pose estimator, что означает оценку жеста одного человека на китайском языке.

(3) SDTN (сеть пространственного обратного преобразования): сопоставьте предполагаемую позу с исходными координатами изображения. Полное название STDN — Spatial Transformer Networks, что означает сеть пространственного обратного преобразования на китайском языке

SDTN определяется следующим образом:

(2)

Среди них , и являются параметрами трансформации, а связь между , и и , и следующая:

(3)

(4)

(4) Pose-NMS: устраните дополнительный предполагаемый жест. Полное название Pose-NMS — parametric pose nonmaximum suppression, что в переводе с китайского означает параметрический жест немаксимального подавления, которое здесь можно понимать как устранение дополнительных оценочных жестов.

Определение: Пусть i-й жест состоит из m точек соединения, где i и m — положительные целые числа, большие или равные 1, и множество i-ого жеста определяется как:

Где — это location, местоположение представляет собой общую точку привязки; — это socre, оценка представляет собой оценку позы текущей точки привязки.

Процесс исключения: жест с наивысшим баллом используется в качестве эталона, а жесты, близкие к эталонному жесту, многократно исключаются, пока не останется один жест. Критерий исключения: критерий исключения используется для многократного исключения оставшихся жестов, а критерий исключения:

f(Pi,Pj|Λ,η)=1[d(Pi,Pj|Λ,λ)≤η] (5)

Среди них f представляет собой критерий исключения, когда выход равен 1, текущий жест Pi удаляется и наоборот; Pi и Pj представляют разные жесты соответственно; Λ представляет собой набор параметров измерения пространственного расстояния; η представляет собой пороговое значение; d представляет собой меру расстояния жеста; λ представляет вес расстояния жеста баланса и пространственного расстояния; f(.) представляет критерий исключения точки пространственного положения в целом; d(.) представляет метрическую функцию пространственного расстояния в целом, а метрическая функция пространственного расстояния d(.) включает ориентационное расстояние и пространственное расстояние, если d(.) не больше η, то выход f(.) выше равен 1, что указывает на то, что Pi необходимо исключить, поскольку Pi слишком похоже на эталонный жест Pj. Он определяется следующим образом:

d(Pi,Pj|Λ)=K_Sim(Pi,Pj|σ1)+λH_sim(Pi,Pj|σ2) (6)

Среди них K_sim представляет функцию мягкого сопоставления, то есть сходство между различными признаками; σ1 и σ2 соответственно представляют собой правило обучения, то есть инициализацию градиента. Λ={σ1,σ2,λ}

Расстояние жеста используется для исключения жеста, которые слишком близки и похожи на другие жесты. Предполагается, что поле b для P_i равно B_i, а поле b представляет информацию о положении выбранного поля для жеста P_i. Он определяется как следующая формула мягкого сопоставления (сходство оценок между различными функциями):

(7)

Среди них i и j представляют собой разные точки жеста, c представляет набор, iswithin означает, что если центральная точка жеста находится в клетке с , она должна быть очищена, otherwise означает, что в противном случае он не будет очищен; — прямоугольник, в котором расположен центр , и каждая координата равна 1/10 исходной координаты ; box представляет собой прямоугольник, концентричный положению координаты , а его длина и ширина равны 1/10 координата рамки жеста .

После получения позиционирования конкретных ключевых точек человеческого тела затем определяется, есть ли манипуляционное действие в соответствии с его траекторией движения.

Целью настоящего изобретения является интеллектуальный анализ записанного видео бурения и извлечения штанги на заднем конце, обнаружение непрерывного действия рабочего, снимающего буровую штангу, посредством распознавания жеста человеческого тела и автоматический расчет количества бурильной штанги, вместо того, чтобы определять особенности 2-3 видеокадров, на которых рабочий берет бурильную штангу рукой, повышается точность подсчета бурильных штанг интеллектуальным видеоанализом. Преимущества настоящего изобретения заключаются в следующем: (1) Количество бурильных штанг можно подсчитать напрямую, анализируя видеозаписи, избегая длительного и интенсивного ручного подсчета; (2) Определяя, захватывает ли рабочий бурильную трубу, и анализируя, оказывает ли траектория движения человека манипуляционное воздействие, можно точно подсчитать извлечения штанг, что имеет очень высокую точность; (3) Он подходит для схемы реконструкции оригинальной камеры общего назначения на подземной буровой поверхности, ему нужно только интеллектуально проанализировать видео на внутреннем сервере, стоимость реконструкции низкая, а шаги строительства просты.

Приведенное выше описание представляет собой лишь предпочтительный вариант осуществления настоящего изобретения, но объем защиты настоящего изобретения не ограничивается этим, и любой специалист в данной области техники находится в рамках технического объема, раскрытого настоящим изобретением, эквивалентная замена или изменение в соответствии с техническим решением и изобретательской концепцией настоящего изобретения должны охватывать объем охраны настоящего изобретения

Claims (8)

1. Способ подсчета извлечения штанг на видеозаписях бурения на основе распознавания жестов человеческого тела, включающий следующие этапы:

этап 1. Производят сбор данных, используя переднюю искробезопасную камеру шахты, с помощью которой получают видео при извлечении штанги из бурового забоя, а затем собирают видеоданные;

этап 2. Осуществляют предварительную обработку данных, при которой видеоданные передают на наземный сервер через кольцевую сеть, а наземный сервер анализирует и обрабатывает видеоданные, и производит маркировку собранных данных, при которой каждый тип одного и того же изображения бурильной штанги, буровой машины и человеческого тела помечается соответствующей меткой категории;

этап 3. Обучают модель AlphaPose с помощью функции обнаружения ключевых точек человеческого тела и модели распознавания бурильной штанги, буровой машины и человеческого тела;

этап 4. Обнаруживают бурильную штангу на изображении, выбирают рамку с обнаруженной бурильной штангой и записывают координаты центральной точки рамки, длину и высоту рамки, одновременно обнаруживают человека на изображении, определяют ключевые точки человеческого скелета для обнаруженного человека и записывают координаты ключевых точек человеческого тела;

этап 5. С помощью внутреннего сервера оценивают на изображении фактически полученную бурильную штангу, определяя, захватывает ли рабочий бурильную штангу и есть ли какие-либо действия по совпадению: определяют, перекрываются ли координаты ключевой точки руки с координатами центральной точки рамки бурильной штанги, если координаты ключевой точки руки с координатами центральной точки рамки бурильной штанги не перекрываются, повторяют этап 4, при совпадении координат ключевых точек руки с координатами центральной точки рамки бурильной штанги; когда по траектории движения узловых точек всего тела судят об отсутствии движения подвижных бурильных штанг, количество бурильных штанг остается неизменным; когда установлено, что имеет место действие по транспортировке бурильных штанг по траектории движения ключевых точек всего тела, прибавляют единицу к количеству взятых бурильных штанг.

2. Способ по п.1, отличающийся тем, что на этапе 4 определяют ключевые точки человеческого скелета, которые включают координаты головы человека, координаты плеч человека, координаты человеческого тела, координаты руки, координаты колена человека и координаты стопы человека.

3. Способ по п.1, отличающийся тем, что используют инструмент для разметки изображений LabelImg для маркировки собранных данных изображений на этапе 2, и при этом каждый тип одного и того же изображения помечают соответствующей меткой категории.