RU2798602C1

RU2798602C1 - Method for automated diagnosis of aircraft surface

Info

Publication number: RU2798602C1
Application number: RU2022131775A
Authority: RU
Inventors: Алексей Викторович Зырянов; Никита Денисович Цыпаев
Filing date: 2022-12-06
Publication date: 2023-06-23

Abstract

FIELD: aircraft.

SUBSTANCE: invention relates to a method for diagnosing the surface of an aircraft airframe using an unmanned aerial vehicle. To carry out diagnostics, an unmanned aerial vehicle is launched from an equipped place located in close proximity to the aircraft to be diagnosed. Using the operator's mobile device, which indicates the type of aircraft, registration number and aircraft parking location; the flight path of the unmanned aerial vehicle is built according to the procedure for inspecting the aircraft, prescribed in the technical documentation by the developer of the aircraft. During the flight, damage is recognized using a high-resolution camera with a polarizing light filter installed on it, and fixed on a three-stage suspension using a silicone anti-vibration shelf. Next, video fixation of the damage is carried out, information about which is transmitted to a single-board computer of an unmanned aerial vehicle, with the help of which defects are recognized. The received information is transferred to the operator's mobile device and entered into a single database.

EFFECT: improvement of the quality of diagnostics, reduction of time for its implementation.

1 cl, 2 dwg

Description

Изобретение относится к области авиационной техники, в частности к способам обслуживания авиационной техники с применением машинного зрения беспилотного летательного аппарата.The invention relates to the field of aviation technology, in particular to methods for servicing aviation equipment using machine vision of an unmanned aerial vehicle.

Известен способ диагностики поверхности планера самолета с использованием оптического неразрушающего контроля (ГОСТ Р58399-2019) (https://docs.cntd.ru/document/1200163947)), заключающийся в том, что осмотр осуществляется человеком при помощи органов зрения с применением средств доступа (стремянки, подъемника и др.) для обеспечения визуальных осмотров высокорасположенных поверхностей воздушного судна (далее-ВС). При этом основным инструментом диагностики является зрительный аппарат человека, который позволяет определять повреждения при качественном освещении.A known method for diagnosing the surface of an aircraft airframe using optical non-destructive testing (GOST R58399-2019) (https://docs.cntd.ru/document/1200163947)), which consists in the fact that the inspection is carried out by a person using the organs of vision using access tools (ladder, lift, etc.) to provide visual inspections of high-lying surfaces of the aircraft (hereinafter referred to as the aircraft). At the same time, the main diagnostic tool is the human visual apparatus, which allows you to determine damage in high-quality lighting.

Недостатками визуального осмотра являются большая трудоемкость проводимых работ по исследованию поверхности планера, обусловленная типом ВС, высокая продолжительность визуального осмотра и количество персонала, зависит от размера ВС, а также необходимо обеспечить качественное освещение в зоне проведения визуального осмотра, в связи с ограничениями разрешения человеческого зрения.The disadvantages of visual inspection are the high labor intensity of the work carried out to examine the surface of the airframe, due to the type of aircraft, the high duration of visual inspection and the number of personnel, depending on the size of the aircraft, and it is also necessary to provide high-quality lighting in the area of visual inspection, due to the limitations of the resolution of human vision.

Наиболее близким аналогом является способ исследования поверхности летательного аппарата при помощи беспилотного летательного аппарата (далее-БПЛА) [RU №2734363, МПК: B64F 5/40, опубл. 15.10.2020], заключающийся в том, что на БПЛА размещают камеру высокого разрешения и лазерного радара, закрепленные на трехстепенном подвесе с сервоприводами, который в свою очередь связан с полетным контроллером для определения пространственного положения БПЛА. В программу загружают 3D модель исследуемого ЛА, и оператор вручную задает координаты в виде промежуточных точек, по которым в последующем строится траектория, в процессе облета. Данные, полученные в процессе исследования поверхности ЛА, передаются по беспроводному каналу связи на устройство вычислительной техники и производят обработку и сопоставление полученных данных с предыдущим исследованием ЛА путем наложения полученной 3D модели самолета па модель предыдущего исследования, путем анализа фотоотчета с привязкой к конструкции ЛА для определения локализации отклонения от предыдущего.The closest analogue is a method of studying the surface of an aircraft using an unmanned aerial vehicle (hereinafter-UAV) [RU No. 2734363, IPC: B64F 5/40, publ. 10/15/2020], which consists in the fact that a high-resolution camera and a laser radar are placed on the UAV, mounted on a three-stage suspension with servo drives, which in turn is connected to the flight controller to determine the spatial position of the UAV. A 3D model of the investigated aircraft is loaded into the program, and the operator manually sets the coordinates in the form of intermediate points, according to which the trajectory is subsequently built during the flight. The data obtained during the study of the surface of the aircraft are transmitted via a wireless communication channel to a computer technology device and the data obtained are processed and compared with the previous study of the aircraft by superimposing the obtained 3D model of the aircraft on the model of the previous study, by analyzing the photo report with reference to the design of the aircraft to determine localization of deviation from the previous one.

Недостатком аналога является не высокая точность исследования поверхности воздушного судна, обусловленная сложностью точной постановки камеры, а также возникновением вибрации на трехстепенном подвесе во время полета БПЛА. Кроме того, данный способ является трудоемким, поскольку требует дорогостоящего оборудования для обработки информации с БПЛА и наличия соответственного специалиста.The disadvantage of the analog is not the high accuracy of studying the surface of the aircraft, due to the difficulty of accurately setting the camera, as well as the occurrence of vibration on the three-stage suspension during the flight of the UAV. In addition, this method is time-consuming, since it requires expensive equipment for processing information from the UAV and the availability of an appropriate specialist.

Техническим результатом изобретения является повышение качества диагностики поверхности планера самолета, сокращение стоимости и времени технического обслуживания, а также повышение безопасности персонала за счет применения компьютерного зрения.The technical result of the invention is to improve the quality of aircraft airframe surface diagnostics, reduce the cost and time of maintenance, as well as improve personnel safety through the use of computer vision.

Технический результат достигается способом диагностики поверхности планера самолета при помощи беспилотного летательного аппарата, заключающимся в том, что производят запуск беспилотного летательного аппарата с оборудованного места, находящегося в непосредственной близи от самолета, подлежащего диагностике, с помощью мобильного устройства оператора, который указывает тип воздушного судна, регистрационный номер и место стоянки самолета. Строят траекторию облета беспилотного летательного аппарат согласно процедуре осмотра воздушного судна, прописанной в технической документации разработчиком летательного аппарата. В процессе облета распознают повреждение при помощи исследовательской аппаратуры беспилотного летательного аппарата, выполненной в виде камеры высокого разрешения с установленным на ней поляризационным светофильтром, и закрепленной на трехстепенном подвесе с помощью силиконовой антивибрационной полки. Затем осуществляют видеофиксацию повреждения, информацию о которой передают на одноплатный компьютер беспилотного летательного аппарата, процессор которого содержит в себе программное обеспечение машинного зрения предварительно изученных дефектов поверхности планера самолета, при этом программное обеспечение самообучается в процессе диагностики, далее полученное изображение проходит через алгоритм распознавания дефектов, и, в случае обнаружения, место повреждения автоматически локализуется с привязкой к конструкции летательного аппарата. Причем информацию, полученную в процессе диагностики поверхности планера самолета, передают по каналу беспроводной связи на мобильное устройство оператора, где при помощи программного обеспечения формируют отчет в виде электронного документа, а полученный отчет заносят в единую базу данных с целью накопления информации по повреждениям с привязкой к конкретному воздушному судну.The technical result is achieved by a method for diagnosing the surface of an aircraft airframe using an unmanned aerial vehicle, which consists in launching an unmanned aerial vehicle from an equipped place located in the immediate vicinity of the aircraft to be diagnosed, using an operator's mobile device that indicates the type of aircraft, aircraft registration number and parking place. An unmanned aerial vehicle flight trajectory is built according to the aircraft inspection procedure prescribed in the technical documentation by the aircraft developer. During the flight, the damage is recognized using the research equipment of an unmanned aerial vehicle, made in the form of a high-resolution camera with a polarizing light filter installed on it, and fixed on a three-stage suspension using a silicone anti-vibration shelf. Then video recording of damage is carried out, information about which is transmitted to a single-board computer of an unmanned aerial vehicle, the processor of which contains machine vision software for previously studied defects in the surface of the airframe of the aircraft, while the software learns itself in the diagnostic process, then the resulting image passes through the defect recognition algorithm, and, in case of detection, the damage site is automatically localized with reference to the structure of the aircraft. Moreover, the information obtained in the process of diagnosing the aircraft airframe surface is transmitted via a wireless communication channel to the operator’s mobile device, where, using software, a report is generated in the form of an electronic document, and the resulting report is entered into a single database in order to accumulate information on damages with reference to specific aircraft.

Сущность изобретения поясняется чертежами.The essence of the invention is illustrated by drawings.

На чертеже фиг. 1 - изображен общий вид БПЛА, реализующего способ диагностики поверхности планера самолета, на фиг. 2 - представлена принципиальная схема диагностики поверхности планера самолета.In the drawing of FIG. 1 - shows a general view of the UAV that implements the method for diagnosing the surface of the airframe of the aircraft, in Fig. 2 - a schematic diagram of the airframe surface diagnostics is presented.

Беспилотный летательный аппарат (Фиг. 1), содержит: инфракрасный датчик приближения 1 передающий сигнал на бортовой контролер, информируя о возникшем препятствии на пути, который в свою очередь подает сигналы на управляющие органы 2 (электродвигатели) и БПЛА переходит в режим ожидания. Одновременно с этим, сигнал по каналу беспроводной связи передается на мобильное устройство (планшет) информируя оператора о возникшем препятствии на маршруте полета. После устранения препятствия, оператор через мобильное устройство продолжает полет в автоматическом режиме. Исследовательская аппаратура в виде камеры высокого разрешения 3 с поляризационным светофильтром 4, соединена с одноплатным компьютером, который в свою очередь имеет встроенный процессор, содержащий в себе программное обеспечение машинного зрения предварительно изученных дефектов поверхности планера самолета и осветительного устройства 5 закрепленных на трехстепенном демпфирующем подвесе 6. Стабилизация камеры в полете обеспечивается благодаря получаемым сигналам с гироскопа и акселерометра установленных на бортовом контроллере. Осветительное оборудование обеспечивает качественное освещение поверхности планера самолета. При этом БПЛА может быть снабжен аварийным парашютом 7 установленный в корпус конструкции.The unmanned aerial vehicle (Fig. 1) contains: an infrared proximity sensor 1 transmitting a signal to the on-board controller, informing about an obstacle that has arisen on the way, which in turn sends signals to the control bodies 2 (electric motors) and the UAV goes into standby mode. At the same time, a signal is transmitted via a wireless communication channel to a mobile device (tablet) informing the operator about an obstacle that has arisen on the flight route. After removing the obstacle, the operator continues the flight in automatic mode via a mobile device. Research equipment in the form of a high-resolution camera 3 with a polarizing light filter 4 is connected to a single-board computer, which in turn has a built-in processor containing software for machine vision of previously studied surface defects of the airframe and lighting device 5 mounted on a three-stage damping suspension 6. The stabilization of the camera in flight is ensured by the received signals from the gyroscope and accelerometer installed on the onboard controller. Lighting equipment provides high-quality illumination of the airframe surface. In this case, the UAV can be equipped with an emergency parachute 7 installed in the body of the structure.

Способ диагностики поверхности планера самолета реализуется следующем образом.The method for diagnosing the surface of an aircraft airframe is implemented as follows.

Запуск БПЛА (Фиг. 2) производится со специального оборудованного места 8, находящегося в непосредственной близи от самолета 9, с помощью мобильного устройства 10 оператора, который первым делом указывает тип воздушного судна, регистрационный номер и место стоянки самолета. После этого строится траектория облета 11 БПЛА согласно процедуре осмотра воздушного судна, прописанной в технической документации разработчиком летательного аппарата.The launch of the UAV (Fig. 2) is carried out from a specially equipped place 8, located in the immediate vicinity of the aircraft 9, using a mobile device 10 of the operator, who first of all indicates the type of aircraft, registration number and the parking lot of the aircraft. After that, the overflight trajectory of 11 UAVs is built according to the aircraft inspection procedure prescribed in the technical documentation by the aircraft developer.

В процессе облета БПЛА 12 распознает и фиксирует повреждение 13 при помощи исследовательской аппаратуры. Благодаря видео фиксации получаемая информация поступает на одноплатный компьютер БПЛА, процессор которого содержит в себе программное обеспечение машинного зрения предварительно изученных дефектов (трещин, следы молний и др.) поверхности планера самолета. При этом программное обеспечение самообучается в процессе диагностики. В момент съемки полученное изображение проходит через алгоритм распознавания дефектов и в случае обнаружения, место повреждения автоматически локализуется с привязкой к конструкции летательного аппарата. Информация, полученная в процессе диагностики поверхности планера самолета, передается по каналу беспроводной связи на мобильное устройство оператора, где при помощи программного обеспечения формируется отчет, в виде электронного документа. Полученный отчет заносится в единую базу данных с целью накопления информации по повреждениям с привязкой к конкретному воздушному судну.During the flight, the UAV 12 recognizes and fixes the damage 13 with the help of research equipment. Thanks to video recording, the information received is fed to the UAV single-board computer, the processor of which contains the machine vision software for previously studied defects (cracks, lightning traces, etc.) of the aircraft airframe surface. At the same time, the software learns itself during the diagnostic process. At the time of shooting, the resulting image passes through the defect recognition algorithm and, if detected, the damage site is automatically localized with reference to the aircraft structure. The information obtained in the process of diagnosing the aircraft airframe surface is transmitted via a wireless communication channel to the operator's mobile device, where a report is generated using software in the form of an electronic document. The resulting report is entered into a single database in order to accumulate information on damages with reference to a specific aircraft.

Таким образом изобретение позволяет повысить качество диагностики поверхности планера самолета, сократить стоимость и время технического обслуживания, а также повысить безопасность персонала и полеты воздушного судна.Thus, the invention improves the quality of aircraft airframe surface diagnostics, reduces the cost and time of maintenance, and also improves the safety of personnel and aircraft flights.

Claims

A method for diagnosing the surface of an aircraft airframe using an unmanned aerial vehicle, which consists in launching the unmanned aerial vehicle from an equipped place located in the immediate vicinity of the aircraft to be diagnosed, using an operator's mobile device that indicates the type of aircraft, registration number and aircraft parking area; build the flight path of the unmanned aerial vehicle in accordance with the procedure for inspecting the aircraft, prescribed in the technical documentation by the developer of the aircraft; during the flight, damage is recognized using the research equipment of an unmanned aerial vehicle, made in the form of a high-resolution camera with a polarizing light filter installed on it, and fixed on a three-stage suspension using a silicone anti-vibration shelf; then video fixation of the damage is carried out, information about which is transmitted to the single-board computer of the unmanned aerial vehicle, the processor of which contains the software for machine vision of previously studied defects in the surface of the airframe of the aircraft, while the software learns itself in the diagnostic process, then the resulting image passes through the defect recognition algorithm, and, in case of detection, the damage site is automatically localized with reference to the structure of the aircraft; moreover, the information obtained in the process of diagnosing the surface of the airframe of the aircraft is transmitted via a wireless communication channel to the operator's mobile device, where, using the software, a report is generated in the form of an electronic document; and the resulting report is entered into a single database in order to accumulate information on damages with reference to a specific aircraft.