RU2775348C1

RU2775348C1 - Method for visual and dimensional control of a steel cable

Info

Publication number: RU2775348C1
Application number: RU2021107842A
Authority: RU
Inventors: Анатолий Аркадьевич Короткий; Алексей Викторович Панфилов; Илья Алексеевич Панфилов; Александр Рашидович Юсупов; Владимир Иванович Марчук
Original assignee: Анатолий Аркадьевич Короткий
Filing date: 2021-03-23
Publication date: 2022-06-29

Abstract

FIELD: mechanical engineering.

SUBSTANCE: invention relates to transport engineering, namely, to machines using cable traction as the critical element in terms of safe operation. The invention is aimed at solving the task of increasing the safety of cable traction machines by means of the use of computer vision and artificial intelligence when performing visual and dimensional control for assessment of the technical condition of a steel cable.

EFFECT: creation of an IoT product for finding defects detected by means of computer vision and artificial intelligence based on photo and video model analytics by deep machine learning in neural networks, followed by an integral assessment of the technical condition of the cable by risk analysis methods in terms of suitability thereof for further safe operation, which is interpreted into a colour scale for mobile apparatus of users and maintenance personnel.

1 cl, 1 dwg

Description

Изобретение относится к транспортному машиностроению, а именно к машинам, использующим канатную тягу в качестве наиболее ответственного элемента с точки зрения безопасной эксплуатации. К машинам, использующим канатную тягу, относятся: пассажирские лифты в жилых домах, грузовые и больничные лифты, пассажирские и грузовые канатные дороги, шахтные подъемные установки, буровые установки для добычи нефти и газа, грузоподъемные краны шахтные установки, тали, скиповые подъемники, судовые подъемные устройства, канатные механизмы оффшорных платформ, морских трубоукладчиках и др.The invention relates to transport engineering, and in particular to machines using cable traction as the most critical element in terms of safe operation. Rope traction machines include: passenger elevators in residential buildings, cargo and hospital elevators, passenger and freight ropeways, mine hoists, oil and gas drilling rigs, mine cranes, mine rigs, hoists, skip hoists, ship hoists devices, rope mechanisms of offshore platforms, offshore pipelayers, etc.

Наиболее ответственным элементом данных машин с точки зрения безопасной эксплуатации являются стальные канаты, от технического состояния, которых зависит жизнь людей.The most important element of these machines from the point of view of safe operation are steel ropes, which depend on the technical condition of people's lives.

Техническими регламентами машин с канатной тягой предусмотрено проводить периодически, в отдельных случаях - ежедневно визуально-измерительный контроль (далее ВИК) и периодическую дефектоскопию стальных канатов инструментальными методами с выявлением наружных и внутренних дефектов с последующей записью результатов в журнал осмотров.The technical regulations of machines with rope traction provide for periodic, in some cases - daily visual-measuring control (hereinafter referred to as VIC) and periodic flaw detection of steel ropes by instrumental methods with the identification of external and internal defects, followed by recording the results in the inspection log.

Независимо от типов машин, где используются стальные канаты, они подвергаются ежесменным, периодическим и специальным осмотрам с использованием ВИК. Персонал, осуществляющий обслуживание машин с канатной тягой, проводит ВИК стальных канатов в соответствии с руководством по эксплуатации и техническими регламентами.Regardless of the types of machines where steel ropes are used, they are subject to daily, periodic and special inspections using VIC. The personnel performing the maintenance of wire rope machines conducts the testing of steel ropes in accordance with the operating manual and technical regulations.

Известен несуще-тягововый стальной канат кольцевой подвесной канатной дороги с промежуточными опорами и способ его дефектоскопии, Патент RU №2739815, МПК D07B 1/00, опубликован 28.12.2020 Бюл. №1.Known load-bearing steel rope of an annular suspended cable car with intermediate supports and a method for its flaw detection, Patent RU No. 2739815, IPC D07B 1/00, published on 12/28/2020 Bull. No. 1.

Изобретение направлено на повышение безопасной эксплуатации кольцевых подвесных канатных дорог, использующих несуще-тягововые стальные канаты, за счет исключения из части действий и операций по контролю браковочных показателей обслуживающего персонала, а также использования продукта интернета вещей при эксплуатации кольцевых подвесных канатных дорог, которые позволяют создавать вычислительную рекомендательную систему принятия решения обслуживающему персоналу по вопросам безопасности, устранив при этом субъективность человеческого мышления.The invention is aimed at improving the safe operation of annular aerial ropeways using load-bearing traction steel ropes, by excluding from the part of the actions and operations to control the rejection indicators of service personnel, as well as the use of the Internet of Things product in the operation of annular aerial ropeways, which allow you to create a computational recommendatory decision-making system for service personnel on safety issues, while eliminating the subjectivity of human thinking.

Для лучшего человеческого восприятия о наличии дефекта, интегральная оценка риска по браковочным показателям, интерпретируется в цветовую гамму, которая отображается на мобильные устройства обслуживающего персонала, учитывая уровень их доступности и конфиденциальности.For a better human perception of the presence of a defect, the integral risk assessment based on rejection indicators is interpreted into a color scheme that is displayed on mobile devices of service personnel, taking into account their level of accessibility and confidentiality.

Данное техническое решение с использованием продукта интернета вещей позволяет дистанционно оценивать техническое состояние каната путем непосредственного замера параметров кручения в онлайн режиме и дополнительно загруженных на сервер параметров по визуально-измерительному и дефектоскопическому контролю, которые получаются в результате внешнего осмотра человеческим зрением и расшифровкой магнитограммы человеческим разумом, что не устраняет ошибки, связанные с субъективизмом. Осмотр и фиксация внешних дефектов осуществляется визуально внешним осмотром человеческим глазом, который от напряжения «устает», что приводит к накоплению визуальных ошибок.This technical solution using the product of the Internet of things allows you to remotely assess the technical condition of the rope by directly measuring the torsion parameters in online mode and additionally uploaded to the server parameters for visual-measuring and flaw detection control, which are obtained as a result of external inspection by human vision and decoding of the magnetogram by the human mind, which does not eliminate the errors associated with subjectivism. Inspection and fixation of external defects is carried out visually by an external examination by the human eye, which “gets tired” from stress, which leads to the accumulation of visual errors.

Наиболее близким техническим решением, взятым авторами за прототип, является способ (метод) визуально-измерительного контроля (ВИК) обнаружения дефектов в стальных канатах, определяемых визуально внешним осмотром, с последующим замером метрических характеристик обнаруженных дефектов поверенным мерительным инструментом. Его применяют повсеместно при выполнении работ по диагностике машин с канатной тягой, их техническом обслуживании, осмотре, в контрольной и надзорной деятельности (Учебное пособие Хальфин, М.Н. Крановые канаты / М.Н. Хальфин, А.А. Короткий, Б.Ф. Иванов, В.П. Папирняк. - Новочеркасск: Южно-Российский государственный политехнический университет (НПИ) имени М.И.Платова, 2015.- 127 с.).The closest technical solution, taken by the authors as a prototype, is a method (method) of visual measurement control (VIC) for detecting defects in steel ropes, determined visually by an external inspection, followed by measuring the metric characteristics of the detected defects with a verified measuring tool. It is used everywhere in the performance of work on the diagnosis of machines with cable traction, their maintenance, inspection, in control and supervisory activities (Tutorial Khalfin, M.N. Crane ropes / M.N. Khalfin, A.A. Korotkiy, B. F. Ivanov, V. P. Papirnyak - Novocherkassk: South-Russian State Polytechnic University (NPI) named after M. I. Platov, 2015.- 127 p.).

Качество получаемых результатов зависит от квалификации аттестованного специалиста, количества применяемого поверенного инструмента и вспомогательного специализированного оборудования. При этом, качество выполнения ВИК стальных канатов оставляет желать лучшего, т.к. зависит не только от дисциплинированности и отношения к этой работе персонала, но и от физиологических способностей зрительного восприятия самого человека. Длительность ВИК стальных канатов на различных технических устройствах может продолжаться от 10 минут до 3-4 часов непрерывно, при этом необходимо осмотреть один или несколько стальных канатов (у лифтов - от 3 и более) со всех сторон (обзором 360 градусов) на общей длине, которая достигает 5-6 км. Для контроля стального каната со всех сторон (обзором 360 градусов) человеческим глазом применяют отражающие конструкции в виде зеркал. Человек должен контролировать поверхность стального каната по его длине с одной стороны и, одновременно, за отражением в зеркале его невидимой поверхности с другой стороны.The quality of the results obtained depends on the qualification of a certified specialist, the number of verified instruments and auxiliary specialized equipment used. At the same time, the quality of the VIC of steel ropes leaves much to be desired, because depends not only on the discipline and attitude of the staff to this work, but also on the physiological abilities of the visual perception of the person himself. The duration of the VIC of steel ropes on various technical devices can last from 10 minutes to 3-4 hours continuously, while it is necessary to inspect one or more steel ropes (for elevators - from 3 or more) from all sides (360 degree view) on the total length, which reaches 5-6 km. To control the steel rope from all sides (with a 360-degree view), reflective structures in the form of mirrors are used by the human eye. A person must control the surface of the steel rope along its length on one side and, at the same time, behind the reflection in the mirror of its invisible surface on the other side.

Способ (метод) ВИК стальных канатов состоит из двух последовательных операций:The method (method) of the VIC of steel ropes consists of two consecutive operations:

визуальный контроль - осмотр каната по его длине на предмет наличия видов дефектов, определяемых внешним осмотром глазом человека, в том числе с помощью оптических средств (специальных очков, лупы, эндоскопа и пр.);

visual control - inspection of the rope along its length for the presence of types of defects determined by external examination by the human eye, including with the help of optical means (special glasses, magnifying glass, endoscope, etc.);

инструментальный контроль - операция подсчета количества и видов дефектов на контролируемых участках равных 6d, 30d, где d - диаметр стального каната и по замеру метрических параметров стального каната (диаметра, износа наружных проволок, геометрических отклонений от прямолинейности и т.д.), как правило, тем же человеком. Для проведения ВИК в местах ограниченной доступности используются эндоскопы, расширяющие возможности человеческого глаза.

instrumental control - the operation of counting the number and types of defects in the controlled areas equal to 6d, 30d, where d is the diameter of the steel rope and by measuring the metric parameters of the steel rope (diameter, wear of the outer wires, geometric deviations from straightness, etc.), as a rule , by the same person. Endoscopes that expand the capabilities of the human eye are used to conduct IVI in places of limited accessibility.

Согласно рекомендациям, изложенным в нормах браковки для машин с канатной тягой, ВИК стальных канатов проводится на малых скоростях движения с использованием зеркал для детального осмотра объекта со всех сторон. Следует отметить, что у машин с канатной тягой, в зависимости от длины транспортирования, высоты подъема и грузоподъемности, используется от одного до N-го количества параллельно расположенных стальных канатов. Работы по оценке технического состояния стальных канатов ВИК связаны с работой на высоте, в сложных стесненных условиях и ограниченной освещенностью. Известно, что физиологические возможности человеческого глаза в значительной мере ограничены. Из практики работы по обслуживанию машин с канатной тягой установлено, что после наблюдения за движущимся стальным канатом более 15 минут человеческий глаз «устает», теряется его способность восприятия информации, и, как следствие, перестает качественно воспринемать дефекты, которые характеризуются более чем 10-ю браковочными показателями.According to the recommendations set out in the rejection standards for machines with rope traction, the VIC of steel ropes is carried out at low speeds using mirrors for a detailed inspection of the object from all sides. It should be noted that for machines with rope traction, depending on the length of transportation, lifting height and load capacity, from one to N-th number of parallel steel ropes is used. Work on the assessment of the technical condition of VIK steel ropes is associated with work at height, in difficult cramped conditions and limited illumination. It is known that the physiological capabilities of the human eye are largely limited. From the practice of working on the maintenance of machines with rope traction, it has been established that after observing a moving steel rope for more than 15 minutes, the human eye “gets tired”, its ability to perceive information is lost, and, as a result, it ceases to qualitatively perceive defects that are characterized by more than 10 marriage indicators.

Развитие современных IT-технологий, видео аналитики с алгоритмами глубокого обучения и распознавания образов, позволяет заменить визуальный внешний осмотр человеческим глазом на компьютерное зрение, а искусственный интеллект распознать в фото-/видео цифровом формате виды дефектов стального каната, в том числе измерить их метрические характеристики.The development of modern IT technologies, video analytics with deep learning algorithms and image recognition allows replacing visual external inspection with the human eye with computer vision, and artificial intelligence to recognize types of steel rope defects in photo / video digital format, including measuring their metric characteristics .

Задачей, на решение которой направлено данное изобретение состоит в повышения безопасности машин с канатной тягой, охраны жизни и здоровья людей в быту и производственной среде, снижения эксплуатационных затрат, повышения конкурентоспособности за счет использования компьютерного зрения и искусственного интеллекта на основе нейронных сетей при выполнении ВИК по оценке технического состояния стального каната.The task to be solved by this invention is to improve the safety of machines with cable traction, protect the life and health of people in the home and industrial environment, reduce operating costs, increase competitiveness through the use of computer vision and artificial intelligence based on neural networks when performing VIC for assessment of the technical condition of the steel rope.

Технический результат изобретения, в части способа ВИК стального каната, состоит в создании продукта интернета вещей для отыскания видов дефектов с помощью компьютерного зрения и искусственного интеллекта на базе аналитики фото- видео моделей с глубоким машинным обучением в нейронных сетях, с последующей интегральной оценкой технического состояния каната методами риск-анализа, в части пригодности его к дальнейшей безопасной эксплуатации, которая интерпретируется в цветовую гамму на мобильные устройства пользователей (обслуживающего персонала).The technical result of the invention, in terms of the VIC method of a steel rope, is to create an Internet of Things product for finding types of defects using computer vision and artificial intelligence based on the analytics of photo-video models with deep machine learning in neural networks, followed by an integral assessment of the technical condition of the rope risk analysis methods, in terms of its suitability for further safe operation, which is interpreted into a color scheme on mobile devices of users (service personnel).

Технический результат достигается тем, что способ визуально-измерительного контроля стального каната, заключается в обнаружении дефектов, определяемых визуально внешним осмотром, с последующим замером метрических характеристик обнаруженных дефектов поверенным мерительным инструментом, а именно видов дефектов на поверхности самого стального каната по длине, а также числа оборванных проволок и количества вышеперечисленных дефектов на контролируемых участках равных 6 и 30 его диаметра, причем визуальный внешний осмотр по обнаружению видов дефектов и замер их метрических характеристик проводят используя компьютерное зрение в виде фото- видео-фиксации, передают полученную цифровую информацию через роутер в базу данных на сервер, расположенный в облачном пространстве сети Интернет, с возможностью обработки цифровой информации методами искусственного интеллекта по распознаванию видов дефектов на базе аналитики фото- видео моделей с глубоким машинным обучением в нейронных сетях, последующей аналитики по определению количества дефектов, в том числе на контролируемых участках и их метрических характеристик, далее, обработанная на сервере цифровую информацию с помощью искусственного интеллекта о видах дефектов на контролируемых участках, их количестве с конкретными метрическими характеристиками, сравнивают к критическими значениями, и обрабатывают на основе экспертного метода риск-анализа с возможностью получения интегральной оценка технического состояния стального каната и возможностью интерпретировать оценку в цветовую гамму, при этом обеспечивается возможность через веб-приложения на мобильных устройствах связь администратора и пользователей с сервером, где размещены в базе данных множество цифровых файлов с дефектами по каждому виду дефектов для машинного обучения и обработки с возможностью идентификации фото- видео-аналитикой обнаруженного вида дефекта, одновременной возможностью отображения на мобильные устройства администратора и пользователей, учитывая уровень их доступности и конфиденциальности, а, в случае ошибки при опознании дефекта искусственным интеллектом с вероятности менее 95%, фото- видео изображение вида дефекта, направляют администратору с последующим перенаправлением через веб-приложение на мобильные устройства экспертов, которые, на основании имеющихся знаний, идентифицируют дефект к конкретному виду, сообщают об этом администратору для дальнейшего внесения им неопознанной фото- видео модели вида дефекта в существующую базу данных для последующего глубокого машинного обучения.The technical result is achieved by the fact that the method of visual-measuring control of a steel rope consists in detecting defects that are determined visually by external inspection, followed by measuring the metric characteristics of the detected defects with a verified measuring tool, namely, the types of defects on the surface of the steel rope itself along the length, as well as the number broken wires and the number of the above defects in the controlled areas equal to 6 and 30 of its diameter, moreover, a visual external inspection to detect types of defects and measure their metric characteristics is carried out using computer vision in the form of photo-video fixation, the received digital information is transmitted through the router to the database to a server located in the cloud space of the Internet, with the ability to process digital information using artificial intelligence methods to recognize types of defects based on the analytics of photo-video models with deep machine learning in neural networks, followed by an analysts to determine the number of defects, including in the controlled areas and their metric characteristics, then, digital information processed on the server using artificial intelligence about the types of defects in the controlled areas, their number with specific metric characteristics, compared to critical values, and processed on based on the expert method of risk analysis with the possibility of obtaining an integral assessment of the technical condition of the steel rope and the ability to interpret the assessment in color, while providing the ability through web applications on mobile devices to communicate with the administrator and users with the server, where a lot of digital files are placed in the database with defects for each type of defects for machine learning and processing with the ability to identify the detected type of defect by photo-video analytics, the simultaneous ability to display on mobile devices of the administrator and users, taking into account the level of their access integrity and confidentiality, and, in case of an error in identifying a defect by artificial intelligence with a probability of less than 95%, a photo-video image of the type of defect is sent to the administrator, followed by redirection through the web application to mobile devices of experts who, based on existing knowledge, identify the defect to a specific type, inform the administrator about it for further introduction of an unidentified photo-video model of the defect type into the existing database for subsequent deep machine learning.

На Фиг. 1 представлена функциональная схема способа визуально-измерительного контроля стального каната.On FIG. 1 shows a functional diagram of the method of visual-measuring control of a steel rope.

Способ визуально-измерительного контроля стального каната 1, заключающийся в обнаружении дефектов, определяемых глазом человека, с последующим замером метрических характеристик обнаруженных дефектов тем же человеком, использующим поверенный мерительный инструмент, а именно видов дефектов на поверхности самого стального каната по длине на наличие обрывов проволок, износа наружных проволок, поверхностной коррозии, обрыва прядей, местного уменьшения диаметра, местного увеличения диаметра, выдавливания сердечника, волнистости, корзинообразной деформации, выдавливание проволоки из пряди, раздавливание каната, перекручивание каната, температурного воздействия, а также числа оборванных проволок и количества вышеперечисленных видов дефектов на контролируемых участках равных 6 и 30 его диаметра при этом для визуального внешнего осмотра по обнаружению видов дефектов и замере их метрических характеристик используется компьютерное зрение в виде фото- видео-фиксации 2 с возможностью передачи цифровой информации через роутер 3 в базу данных 4 на сервер 5, расположенный в облачном пространстве сети Интернет, с возможностью обработки цифровой информации методами искусственного интеллекта по распознаванию вышеперечисленных видов дефектов на базе аналитики фото- видео моделей с глубоким машинным обучением в нейронных сетях, последующей аналитики по определению количества дефектов, в том числе на контролируемых участках и их метрических характеристик, далее, обработанная на сервере 5 информация с помощью искусственного интеллекта о видах дефектов на контролируемых участках, их количестве с конкретными метрическими характеристиками, сравнивают с критическими значениями и обрабатывают на основе экспертного метода риск-анализа для возможности получения интегральной оценка технического состояния стального каната и возможностью интерпретировать оценку в цветовую гамму, при этом имеется возможность через веб-приложения на мобильных устройствах обеспечивать связь администратора 6 и пользователей 7 с сервером 5, где размещаются в базе данных 4 множество цифровых файлов с дефектами по каждому виду дефектов для машинного обучения и обработки с возможностью идентификации фото- видео-аналитикой обнаруженного вида дефекта с одновременной возможностью отображения на мобильные устройства администратора 6 и пользователей 7, учитывая уровень доступности и конфиденциальности, а, в случае ошибки при опознании дефекта искусственным интеллектом с вероятности менее 95%, фото- видео изображение вида дефекта, направляется на мобильное устройство администратора 6 с последующим перенаправление через веб-приложение на мобильные устройства экспертов 8, которые, на основании имеющихся знаний, идентифицируют дефект к конкретному виду, сообщают об этом администратора 6 для дальнейшего внесения им неопознанной фото- видео модели вида дефекта в существующую базу 4 для последующего глубокого машинного обучения.The method of visual-measuring control of a steel rope 1, which consists in detecting defects determined by the human eye, followed by measuring the metric characteristics of the detected defects by the same person using a verified measuring tool, namely, types of defects on the surface of the steel rope itself along the length for the presence of wire breaks, wear of outer wires, surface corrosion, strand breakage, local decrease in diameter, local increase in diameter, core extrusion, waviness, basket deformation, wire extrusion from the strand, rope crushing, rope twisting, temperature effects, as well as the number of broken wires and the number of above-mentioned types of defects in controlled areas equal to 6 and 30 of its diameter, while for visual external inspection to detect types of defects and measure their metric characteristics, computer vision is used in the form of photo-video fixation 2 with the possibility of digital transmission th information through router 3 to database 4 to server 5 located in the cloud space of the Internet, with the possibility of processing digital information by artificial intelligence methods to recognize the above types of defects based on the analytics of photo-video models with deep machine learning in neural networks, subsequent analytics to determine the number of defects, including in the controlled areas and their metric characteristics, then, the information processed on the server 5 using artificial intelligence about the types of defects in the controlled areas, their number with specific metric characteristics, compared with critical values and processed on the basis of expert risk analysis method for the possibility of obtaining an integral assessment of the technical condition of the steel rope and the ability to interpret the assessment in color, while it is possible through web applications on mobile devices to provide communication between the administrator 6 and the user fields 7 with a server 5, where a database 4 contains a lot of digital files with defects for each type of defects for machine learning and processing with the ability to identify the detected type of defect by photo-video analytics with the simultaneous ability to display on mobile devices of the administrator 6 and users 7, taking into account the level of accessibility and confidentiality, and, in case of an error in identifying a defect by artificial intelligence with a probability of less than 95%, a photo-video image of the type of defect is sent to the mobile device of the administrator 6 with subsequent redirection through the web application to the mobile devices of experts 8, which, based on the available knowledge, a defect is identified to a specific type, the administrator 6 is informed about this for further introduction of an unidentified photo-video model of the defect type into the existing database 4 for subsequent deep machine learning.

Предложенный способ ВИК предоставляет возможность получения интегральной оценки технического состояния стального каната на основе экспертного метода риск-анализа, с последующей визуализацией полученных результатов в удобном формате веб-интерфейса для мобильного приложения.The proposed VIC method provides an opportunity to obtain an integral assessment of the technical condition of a steel rope based on an expert risk analysis method, followed by visualization of the results obtained in a convenient web interface format for a mobile application.

Входящие в состав способа программное обеспечение (ПО) обладает элементами искусственного интеллекта на основе нейронных сетей, позволяющего корректировать алгоритм оценки технического состояния в базе данных, в которой хранятся размеченные данные признаков типовых видов дефектов стального каната. При этом используемые для оценки методы логистической регрессии позволяют дать оценку, которую можно интерпретировать как вероятность отнесения к виду дефекта. В случае неопределенности (разность логистической метрики не превышает порога уверенности), происходит уточняющий запрос администратору при недостаточно уверенном опознании вида дефекта искусственным интеллектом в процессе эксплуатации.The software included in the method has elements of artificial intelligence based on neural networks, which makes it possible to correct the algorithm for assessing the technical condition in the database, which stores the marked data of signs of typical types of steel rope defects. At the same time, the methods of logistic regression used for evaluation make it possible to give an estimate that can be interpreted as the probability of classifying a defect as a type. In case of uncertainty (the difference of the logistic metric does not exceed the confidence threshold), a clarifying request is made to the administrator in case of insufficiently confident identification of the type of defect by artificial intelligence during operation.

В первую очередь для получения видов дефектов происходит преобразование изображения в n-мерный вектор, содержащий в себе сжатую информацию обо всем внесенных браковочных изображениях, и сохраняющихся при этом максимальную дисперсию данных. Длина вектора является гиперпараметром последующей модели и подлежит оптимизации. Практически подтвержденной оптимальной длиной вектора является значение ~1000 параметров. Эти вектора будем называть образами видов дефектов.First of all, to obtain the types of defects, the image is converted into an n-dimensional vector containing compressed information about all entered reject images, while maintaining the maximum dispersion of data. The length of the vector is a hyperparameter of the subsequent model and is subject to optimization. The practically confirmed optimal length of the vector is the value of ~1000 parameters. These vectors will be called images of types of defects.

Предлагаемый способ:Suggested way:

- относится к категории решений Интернета Вещей (Industrial Internet of Things, IIoT) для машин с канатной тягой;- belongs to the category of Internet of Things (Industrial Internet of Things, IIoT) solutions for machines with rope traction;

- является рекомендательной системой с возможностью автоматизированного удаленного контроля видов дефектов стального каната в процессе эксплуатации машин с канатной тягой через мобильное приложение на базе видео-аналитики, с интегральной оценкой его технического состояния, интерпретируемого в цветовую гамму для простоты и удобства использования.- is a recommender system with the possibility of automated remote control of types of defects in a steel rope during the operation of machines with rope traction through a mobile application based on video analytics, with an integral assessment of its technical condition, interpreted into a color scheme for simplicity and ease of use.

Исходя из изложенного, основными потребительскими свойствами предлагаемого способа является его возможность без участия человека контролировать и интегрально оценивать техническое состояние машины с канатной тягой, а именно по совокупности видов дефектов при объемном сканировании фото-/видео-изображения поверхности стального каната (с обзором 360°) на контролируемых участках равных 6 и 30 его диаметра в процессе эксплуатации с последующей передачей результатов в цветовой гамме на мобильное приложение пользователей (обслуживающего персонала).Based on the foregoing, the main consumer properties of the proposed method is its ability to control and integrally evaluate the technical condition of the machine with rope traction without human intervention, namely, by the totality of types of defects in the volumetric scanning of the photo / video image of the surface of the steel rope (with a 360 ° view) in controlled areas equal to 6 and 30 of its diameter during operation with subsequent transfer of the results in color to the mobile application of users (maintenance personnel).

Функциональное назначение создаваемого способа заключается в автоматизации процессов контроля и оценки безопасности эксплуатации стального каната на машинах с канатной тягой, который позволяет создавать в виде веб-приложения визуальную рекомендательную систему принятия решения пользователям (обслуживающему персоналу), устранив при этом человеческий фактор, что обеспечивает повышение уровня безопасности.The functional purpose of the created method is to automate the processes of monitoring and assessing the safety of the operation of a steel rope on machines with rope traction, which allows you to create a visual recommendation system for making decisions for users (maintenance personnel) in the form of a web application, while eliminating the human factor, which ensures an increase in the level security.

Создаваемый способ автоматизирует и интегрирует воедино два метода контроля: визуальный и инструментальный контроль.The created method automates and integrates two methods of control: visual and instrumental control.

Способ ВИК позволяет оценивать техническое состояние стального каната по видам дефектов, количество дефектов на контролируемых участках равных 6 и 30 диаметра каната и метрические параметры (размеров) каждого, а именно:The VIC method allows assessing the technical condition of a steel rope by types of defects, the number of defects in controlled areas equal to 6 and 30 of the rope diameter and the metric parameters (dimensions) of each, namely:

1. Обрыв наружных проволок и их количество;1. Breakage of outer wires and their number;

2. Износ наружных проволок;2. Wear of outer wires;

3. Поверхностная коррозии;3. Surface corrosion;

4. Обрыв прядей;4. Breakage of strands;

5. Местное уменьшение диаметра5. Local diameter reduction

6. Местное увеличение диаметра;6. Local increase in diameter;

7. Выдавливания сердечника;7. Extrusion core;

8. Волнистость;8. Waviness;

9. Корзинообразная деформация;9. Basket-shaped deformation;

10. Выдавливание проволоки из пряди;10. Extrusion of wire from a strand;

11. Раздавливание каната;11. Rope crushing;

12. Перекручивание каната;12. Rope twisting;

13. Температурное воздействие.13. Temperature effect.

Таким образом ПО способа содержит в базе данных множество фото-/видео-«образов» по каждому виду дефекта стального каната, которые приведены в таблице 2.Thus, the method software contains in the database a set of photo/video “images” for each type of steel rope defect, which are shown in Table 2.

Способ может быть реализован на созданном программно-аппаратном комплексе, содержащем аппаратную часть и программное обеспечение к нему.The method can be implemented on the created hardware-software complex containing hardware and software for it.

Аппаратная часть способа представляет собой корпус с вмонтированными в него оптическими цифровыми фото- видео-камерами 2 (могут быть с подсветкой) для фиксации фотоизображения движущегося стального каната 1 с углом охвата 360 градусов. В дальнейшем, фото-видеоцифровая информация передает через роутер 3 на сервер 5.The hardware part of the method is a housing with built-in optical digital photo-video cameras 2 (can be backlit) for capturing a photo image of a moving steel rope 1 with a coverage angle of 360 degrees. In the future, photo-video digital information is transmitted through router 3 to server 5.

На следующем этапе информация обрабатывается на сервере 5, по алгоритмам вычислительных процедур: распознавание видов дефектов; определение количества видов дефектов на контролируемых участках 6 и 30 диаметра стального каната; определение метрических характеристиках каждого из обнаруженных видов дефектов; интегральная оценка технического состояния стального каната, интерпретированная в цветовую гамму. Результатом вычислительных процедур является получение интегральной оценки технического состояния стальных канатов по браковочным нормам, интерпретированных в цветовую гамму с последующей передачей этой информации через веб-приложения на мобильные устройства администратора 6, пользователей 7, экспертов 8, учитывая их уровень доступности и конфиденциальности.At the next stage, the information is processed on the server 5, according to the algorithms of computational procedures: recognition of types of defects; determination of the number of types of defects in the controlled areas 6 and 30 of the diameter of the steel rope; determination of the metric characteristics of each of the detected types of defects; integral assessment of the technical condition of the steel rope, interpreted into colors. The result of the computational procedures is to obtain an integral assessment of the technical condition of steel ropes according to rejection standards, interpreted into a color scale, with the subsequent transfer of this information via web applications to mobile devices of the administrator 6, users 7, experts 8, taking into account their level of accessibility and confidentiality.

Для реализации ПО был создан сервер 5, расположенный в облачном пространстве сети Интернет для обработки запросов, формирования и хранения данных в базе 4, а для взаимодействия сервера 5 с внешней средой используются роутер 3 и веб-приложения, установленные на мобильные устройства администратора 6, пользователей 7, экспертов 8.To implement the software, server 5 was created, located in the cloud space of the Internet for processing requests, generating and storing data in the database 4, and server 5 interacts with the external environment using a router 3 and web applications installed on the mobile devices of the administrator 6, users 7, experts 8.

В базе данных 4 на сервере 5 хранятся статистические данные (data sets) классификаторов (видов типовых дефектов стального каната), которые уточняются (обучаются) через мобильное устройство администратором 6. От аппаратной части комплекса в базу данных 4 на сервер 5 через роутер 3 поступает набор динамических данных (data sets) по фото- видео-фиксации (кадрированию) 2 объемного изображения поверхности стального каната (обзором 360 градусов) на длине равной 6 и 30 диаметра каната, получаемые в процессе эксплуатации, которые на первом этапе вычислительных процедур идентифицируются (сравниваются) с «образами» по каждому виду типовых дефектов (классификаторами).Database 4 on server 5 stores statistical data (data sets) of classifiers (types of typical defects of a steel rope), which are refined (learned) via a mobile device by administrator 6. A set of dynamic data (data sets) for photo-video fixation (framing) 2 volumetric images of the steel rope surface (360 degree view) over a length equal to 6 and 30 of the rope diameter, obtained during operation, which are identified (compared) at the first stage of computational procedures with "images" for each type of typical defects (classifiers).

Фото- видео-изображения 2 (цифровая информация) о текущих браковочных показателях ВИК, находящиеся на сервере 5, обрабатываются методами искусственного интеллекта по распознаванию вышеперечисленных видов дефектов на базе аналитики фото- видео моделей с глубоким машинным обучением в нейронных сетях, последующей аналитики по определению количества дефектов по всей длине, в том числе на контролируемых участках, и их метрических характеристик. Далее, обработанная на сервере 5 информация с помощью искусственного интеллекта о видах дефектов на контролируемых участках, их количестве и конкретных метрических характеристиках, сравнивается к критическими значениями, и обрабатывается на основе экспертного метода риск-анализа и возможности получения интегральной оценка технического состояния стального каната 1 и возможностью интерпретировать оценку в цветовую гамму. При этом имеется возможность через веб-приложения обеспечивать связь через мобильные устройства администратора 6 и пользователей 7 с сервером 5, где размещаются в базе данных 4 множество цифровых файлов с дефектами по каждому виду дефектов для машинного обучения и обработки с возможностью идентификации фото- видео- аналитикой обнаруженного вида дефекта, возможностью отображения на мобильные устройства администратора 6 и пользователей 7, учитывая уровень их доступности и конфиденциальности. В случае ошибки при опознании дефекта искусственным интеллектом с вероятности менее 95%, фото- видео изображение вида дефекта, направляется на мобильное устройство администратора 6 с последующим перенаправление через веб-приложение на мобильные устройства экспертов 8, которые, на основании имеющихся знаний, идентифицируют дефект к конкретному виду, сообщают об этом на мобильные устройства администратора 6 для дальнейшего внесения им неопознанной фото- видео модели вида дефекта в существующую базу данных 4 для последующего глубокого машинного обучения.Photo-video images 2 (digital information) about the current rejection indicators of the VIC, located on the server 5, are processed by artificial intelligence methods to recognize the above types of defects based on the analytics of photo-video models with deep machine learning in neural networks, followed by analytics to determine the number defects along the entire length, including in controlled areas, and their metric characteristics. Further, the information processed on the server 5 with the help of artificial intelligence about the types of defects in the controlled areas, their number and specific metric characteristics, is compared to critical values, and is processed based on the expert method of risk analysis and the possibility of obtaining an integral assessment of the technical condition of the steel rope 1 and the ability to interpret the score in terms of color. At the same time, it is possible through web applications to provide communication through mobile devices of the administrator 6 and users 7 with the server 5, where a lot of digital files with defects for each type of defects for machine learning and processing with the possibility of identification by photo-video analytics are placed in the database 4 detected type of defect, the ability to display on mobile devices of the administrator 6 and users 7, taking into account the level of their accessibility and confidentiality. In case of an error in identifying a defect by artificial intelligence with a probability of less than 95%, a photo-video image of the type of defect is sent to the mobile device of the administrator 6, followed by redirection through the web application to the mobile devices of experts 8, who, based on existing knowledge, identify the defect to a specific type, report it to the mobile devices of the administrator 6 for further introduction of an unidentified photo-video model of the defect type into the existing database 4 for subsequent deep machine learning.

Основной функционал ПО способа реализован, применяя сервисы следующих методов и технологий:The main functionality of the method software is implemented using the services of the following methods and technologies:

1. метод автоматического обнаружения, запоминания и хранения видов дефектов стального каната с помощью специальных оптических средств 2 (фото- и видео-фиксации).1. A method for automatically detecting, storing and storing types of defects in a steel rope using special optical means 2 (photo and video recordings).

2. использование оптических средств для фото- видео-цифровой фиксации объемного изображения 2, ее передачи (Ethernet, Wi-Fi, Bluetooth) роутером 3 на сервер 5 с последующими замерами количественных и метрических характеристик по каждому из видов дефектов;2. the use of optical means for photo-video-digital recording of a three-dimensional image 2, its transmission (Ethernet, Wi-Fi, Bluetooth) by a router 3 to a server 5 with subsequent measurements of quantitative and metric characteristics for each type of defect;

3. алгоритм бесконтактного отсчета длины стального каната 1 от обнаружения первого вида дефекта (бегущая метрическая шкала);3. algorithm for non-contact reading of the length of the steel rope 1 from the detection of the first type of defect (traveling metric scale);

4. алгоритм глубокого обучения распознавания видов дефектов, являющимися браковочными показателями стального каната 1;4. deep learning algorithm for recognizing types of defects that are rejection indicators of steel rope 1;

5. алгоритм мультиномиальной логистической регрессии в качестве классификатора мультиклассов при идентификации видов дефектов стального каната 1;5. algorithm of multinomial logistic regression as a classifier of multiclasses in the identification of types of defects in steel rope 1;

6. вспомогательные алгоритмы как бинарной, так и много классовой классификации данных машинного обучения по видам дефектов стального каната 1;6. Auxiliary algorithms for both binary and multi-class classification of machine learning data by types of steel rope defects 1;

7. алгоритм интегральной оценки технического состояния стального каната 1 по совокупности обнаруженных видов дефектов на основе риск-анализа;7. algorithm for the integral assessment of the technical condition of the steel rope 1 based on the totality of detected types of defects based on risk analysis;

8. алгоритм интерпретации в цветовую гамму интегральной характеристики стального каната 1 методами риск-анализа и последующей ее передачи на мобильные устройства администратора 6. пользователей 7, экспертов 8.8. algorithm for interpreting the integral characteristic of steel rope 1 into a color scale using risk analysis methods and its subsequent transfer to mobile devices of the administrator 6. users 7, experts 8.

На контролируемых участках, с использованием искусственного интеллекта, происходит сравнение получаемых фото- видео изображение с «образами» видов дефектов. «Образы» типовых видов дефектов предварительно загружены в базу данных 4. При совпадении «образа» типа дефекта видео- файл подлежит последующей обработки, идентификации и анализа. Вся полученная информация по каждому стальному канату 1, с учетом идентификации обрабатывается методами риск-анализа, а результат интегральной оценки технического состояния интерпретируется в цветовую гамму (красный цвет - браковочный показатель выше допустимого значения; желтый - имеются дефекты, но браковочные показатели не вышли за допустимые пределы, зеленый - дефекты отсутствуют).In controlled areas, using artificial intelligence, the resulting photo-video image is compared with the “images” of types of defects. "Images" of typical types of defects are pre-loaded into the database 4. If the "image" of the defect type matches, the video file is subject to subsequent processing, identification and analysis. All information received for each steel rope 1, taking into account identification, is processed by risk analysis methods, and the result of the integral assessment of the technical condition is interpreted into a color scale (red color - the rejection indicator is higher than the permissible value; yellow - there are defects, but the rejection indicators did not go beyond the permissible limits, green - no defects).

Можно отметить конкурентные преимущества при использовании способа:Competitive advantages can be noted when using the method:

1. Для производителей повышается конкурентоспособность выпускаемой продукции (пассажирских лифтов, канатных дорог, скиповых подъемников и т.д.) за счет обеспечения требуемого уровня безопасности, снижения аварийности и травматизма при эксплуатации, а также исполнения гарантийных обязательств за счет возможности в онлайн режиме следить за техническим состоянием стального каната. Информационное пространство позволяет избежать некачественного технического обслуживания стального каната с одновременным повышением безопасности пассажиров и контролем за исполнителями этих работ.1. For manufacturers, the competitiveness of their products (passenger elevators, cable cars, skip hoists, etc.) increases by ensuring the required level of safety, reducing accidents and injuries during operation, as well as fulfilling warranty obligations due to the ability to monitor online technical condition of the steel rope. The information space makes it possible to avoid poor-quality maintenance of the steel rope, while at the same time increasing the safety of passengers and monitoring the performers of these works.

2. Для организаций, отвечающих за техническое состояние машин с канатной тягой и проводящей на них работы по техническому обслуживанию:2. For organizations responsible for the technical condition of machines with cable traction and carrying out maintenance work on them:

2.1. Повышается качество визуально-измерительного контроля стального каната 1, за счет технологии компьютерного зрения и искусственного интеллекта без привлечения квалифицированного обслуживающего персонала непосредственно на объект. Устраняется влияние человеческого фактора на результаты оценки технического состояния стального каната 1.2.1. The quality of the visual-measuring control of the steel rope 1 is improved due to the technology of computer vision and artificial intelligence without involving qualified service personnel directly to the object. The influence of the human factor on the results of assessing the technical condition of the steel rope 1 is eliminated.

2.2. Улучшаются условия труда обслуживающего персонала путем использования мобильных устройств пользователей 7 (работа на высоте, в стесненных условиях, с ограниченной освещенностью и пр.).2.2. The working conditions of service personnel are improved by using mobile devices of users 7 (work at height, in cramped conditions, with limited illumination, etc.).

2.3. Повышается качество получаемых результатов о техническом состоянии стального каната 1, с одновременным сокращением времени проведения контроля при техническом обслуживании (осмотре, диагностике).2.3. The quality of the obtained results on the technical condition of the steel rope 1 is improved, while reducing the time of monitoring during maintenance (inspection, diagnostics).

2.4. Повышается качество интегральной оценки технического состояния стального каната за счет возможности автоматизированного привлечения квалифицированных специалистов-экспертов через мобильное устройство экспертов 8 для актуализации и идентификации новых видов дефектов («образов»), в том числе при смене на объекте конструкции самого каната.2.4. The quality of the integral assessment of the technical condition of the steel rope is improved due to the possibility of automated involvement of qualified experts through the mobile device of experts 8 for updating and identifying new types of defects (“images”), including when changing the structure of the rope itself at the object.

2.5. Наличие веб-приложений на мобильных устройств пользователей 7 позволяет существенно сократить время оперативного контроля технического состояния стальных канатов 1, проводить его осмотр в режиме реального времени, а интерпретация оценки технического состояния в цветовой гамме упрощает процесс принятия управленческих решений.2.5. The presence of web applications on mobile devices of users 7 can significantly reduce the time of operational control of the technical condition of steel ropes 1, conduct its inspection in real time, and the interpretation of the assessment of the technical condition in colors simplifies the process of making managerial decisions.

2.6. Расходы предприятия на проведение контроля стальных канатов снижаются в несколько раз за счет сокращения количества обслуживающего персонала и времени проведения работ.2.6. The costs of the enterprise for the inspection of steel ropes are reduced by several times due to the reduction in the number of maintenance personnel and the time of work.

Предложенное техническое решение, а именно способа ВИК стального каната на основе технологий компьютерного зрения и искусственного интеллекта по оценке безопасности машин с канатной тягой, может быть использовано на: пассажирских лифтах, работающих в жилых домах, подвесных пассажирских (грузовых) канатных дорогах, кабель-кранах, шагающих экскаваторах, для глубокого бурения нефтяных и газовых скважин, грузоподъемных кранах, шахтных установках, талях, скиповых подъемниках, судовых подъемных устройствах, дает возможность значительно повысить безопасность при эксплуатации этих машин в быту и промышленной сфере.The proposed technical solution, namely the method of VIC of a steel rope based on computer vision and artificial intelligence technologies for assessing the safety of machines with rope traction, can be used on: passenger elevators operating in residential buildings, suspended passenger (freight) cable cars, cable cranes , walking excavators, for deep drilling of oil and gas wells, cranes, mine installations, hoists, skip hoists, ship lifting devices, makes it possible to significantly increase the safety during the operation of these machines in everyday life and in the industrial field.

Для проверки работоспособности способа ВИК был использован стальной канат двойной свивки типа ЛК-О с органическим сердечником, конструкции 6х19(1+9+9)+1 о.с, диаметром 10 мм, ГОСТ 3077-80.To test the performance of the VIC method, a double lay steel rope of the LK-O type with an organic core, design 6x19 (1 + 9 + 9) + 1 o.s, 10 mm in diameter, GOST 3077-80 was used.

Проведенные испытания показали реализуемость предлагаемого способа ВИК стального каната.The tests carried out showed the feasibility of the proposed method of VIC of a steel rope.

На основании вышеизложенного и с учетом проведенного патентно-информационного поиска считаем, что предлагаемый нами «Способ визуально-измерительного контроля стального каната» может быть признан изобретением и защищен патентом.Based on the foregoing and taking into account the conducted patent information search, we believe that the “Method for visual and measuring control of a steel rope” proposed by us can be recognized as an invention and protected by a patent.

Claims

A method for visual-measuring control of a steel rope, which consists in detecting defects that are determined visually by external inspection, followed by measuring the metric characteristics of the detected defects with a verified measuring tool, namely defects on the surface of the steel rope itself along the length, as well as the number of broken wires and the number of the above defects on controlled areas equal to 6 and 30 of its diameter, characterized in that a visual external inspection to detect types of defects and measurement of their metric characteristics is carried out using computer vision in the form of photo and video recording, the received digital information is transmitted through a router to a database on a server located in the cloud space of the Internet, with the possibility of processing digital information by artificial intelligence methods for detecting defects based on the analytics of photo and video models with deep machine learning in neural networks, followed by analytics to determine the number of of defects, including those in controlled areas, and their metric characteristics, then digital information processed on the server using artificial intelligence about the types of defects in controlled areas, their number and specific metric characteristics is compared to critical values and processed on the basis of an expert method of risk analysis with the possibility of obtaining an integral assessment of the technical condition of the steel rope, with the possibility of interpreting into colors, while providing the ability through web applications of mobile devices for communication between the administrator and users with the server, where a lot of digital files with defects for each type of rejection indicators are placed in the database for machine learning and processing with the ability to identify a detected defect by photo and video analytics, the simultaneous ability to display administrators and users on mobile devices, taking into account their level of accessibility and confidentiality, and in the service In the event of an error in identifying a defect by artificial intelligence with a probability of less than 95%, the photo and video image of the defect is sent to the administrator, followed by redirection through the web application to mobile devices of experts who, based on existing knowledge, identify the defect to a specific type, inform the administrator about this for further entering by him an unidentified photo and video model of the defect into a specific database for subsequent deep machine learning.