WO2022104489A1 - Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia). - Google Patents

Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia). Download PDF

Info

Publication number
WO2022104489A1
WO2022104489A1 PCT/CL2020/050160 CL2020050160W WO2022104489A1 WO 2022104489 A1 WO2022104489 A1 WO 2022104489A1 CL 2020050160 W CL2020050160 W CL 2020050160W WO 2022104489 A1 WO2022104489 A1 WO 2022104489A1
Authority
WO
WIPO (PCT)
Prior art keywords
receivers
event
drones
administrator
platform
Prior art date
Application number
PCT/CL2020/050160
Other languages
English (en)
French (fr)
Inventor
Cristian Rodrigo LEÓN IBARRA
Original Assignee
Drovid Technologies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Drovid Technologies filed Critical Drovid Technologies
Priority to PCT/CL2020/050160 priority Critical patent/WO2022104489A1/es
Priority to US18/253,742 priority patent/US20240004381A1/en
Priority to EP20961782.8A priority patent/EP4250265A1/en
Publication of WO2022104489A1 publication Critical patent/WO2022104489A1/es

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target

Definitions

  • RPAs 1 Currently, for public security, surveillance solutions are implemented through RPAs 1 whose main objective is oriented to the investigation to gather information on criminal acts and their resolution.
  • the system has software for managing and taking pictures or remotely controlled recording. The operation of the system requires a minimum of two operators: while one pilots the drone, the other controls the cameras to capture images of aerial shots from a distance.
  • solutions through drones mainly support the management and control of these, with the use of on-board cameras, which are controlled with software packages that provide details such as the assignment of isotherms (detailed temperature per object), and areas can also be selected on the control panel (touch screen) delivering the exact temperature irradiation data.
  • This is used to determine the epicenters in the control of active fires, and create action plans to mitigate their spread; This technique is mainly in most developed countries.
  • CONAF National Forestry Corporation
  • CONAF National Forestry Corporation
  • RPAs National Forestry Corporation
  • Drone technology is advancing rapidly, with sophistication at the hardware level and improved flight autonomy. This has allowed this technology to be used today in several countries around the world for border control, forest fire fighting and prevention, public safety, emergency situations, information work, agricultural cultivation, inspection and predictive maintenance. productive and industrial sectors, and in construction.
  • the importance of software lies in the fact that it is the fundamental element for drones to fly, but it also defines the additional capabilities that they may have.
  • Drone manufacturing companies sell their equipment with the company's own software.
  • SaaS mode Software as a Service
  • DJI Parrot
  • Syma Open Source systems
  • Open Source systems a system that works with open source software, allowing companies to opt for customized solutions.
  • external developers and technology companies have the possibility of accessing the equipment, that is, the memory and internal hardware can be formatted and the integration of externally developed software can be carried out. These can be from mobile applications to advanced software platforms designed by specialized companies.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • Drones offer the possibility of obtaining computer vision and artificial intelligence, reducing costs and time. They are also used in the inspection of insulation in high tension towers and the counting of vehicles. In Africa (the leading continent in drone traffic regulations) they have been used for the distribution of vaccines and the response to disaster situations and the mapping of cyclones, in Ghana, Africa and Philippine company Zipline. In Africa, the first airport for unmanned aircraft in the world has also been built and there are also local initiatives, such as the Charis UAS company.
  • Private cloud processing technology is the most recent way for secure storage and it is rapidly advancing in new functionalities, it has been fundamental in the scaling of technology companies in the world, and in different areas, since it allows working with large amounts of data. .
  • Applicant -p-Xl- ⁇ inventor KOO, JA KYUN.
  • the invention consists of a method and system used to manage and automate drone fleets Fig. 2 (1), through a platform as a service (PaaS).
  • PaaS platform as a service
  • the drones incorporated into the platform are used in two ways: as remotely piloted aerial vehicles (RPAs), that is, controlled by an operator, and as unmanned aerial systems (UAS) by programming autonomous flights from the platform.
  • RPAs remotely piloted aerial vehicles
  • UAS unmanned aerial systems
  • the platform is organized into client accounts, and each account has the following settings: Operators, Receivers, and Administrator.
  • Fig. 2 (4) are in charge of piloting the RPAs Fig. 2 (1), they enter the platform with their rut and password Fig. 9 (4) from the interface integrated in the touch screen of the remote control of drones Fig. 9 (3), and their tasks are mandatory in areas where the aeronautical regulations of each country require it.
  • the recipients are entered at the time of creating the customer account with the assignment of their schedules and vacation periods (configurable).
  • the administrator is in charge of the account, has access to the platform through private login through the responsive web page of the platform Fig. 9 (1) compatible to be used on computers and smartphones, enters with his rut and key or digital certificate Fig. 9 (2) to access the database with the statistics of each event Fig. 2 (6), with options to filter and average the statistical data in graphs.
  • the administrator organizes and controls the complete operation of the client account associated with the platform, plans the tasks of the operators Fig. 2 (4) and receivers Fig. 2 (5), and within his responsibilities, is keeping updated the data of the receivers and operators.
  • the administrator receive the alarm notification Fig. 1 (5) to review the live event Fig.
  • the operator Fig. 2 (4) detects the event Fig. 2 (2) through the image obtained by the drone's camera and projected on the screen of his remote control Fig. 1 (two). At the time of detection of the event Fig. 2 (2), the operator Fig. 2 (4) and activates a warning signal alarm Fig. 1 (5) presses one of the options to which you have access directly from the touch panel of the control Fig. 1 (3) of the RPAs. These alerts are sent Fig. 2 (9) directly to those in charge of executing the corrective action associated with the event (receivers) Fig. 1 (4), taking as a criterion the receivers Fig. 2 (5) that are closest to the location of the event Fig. 2 (2).
  • the platform is designed to suit public sector organizations, and has the (optional) ability to assign differentiated alerts Fig. 1 (3) to match different categories of custom receivers Fig. 2 (10) based on the type of event detected , and send the alarm signal Fig. 2 (9) to the receivers Fig. 1 (4), associated with the type of event detected Fig. 2 (2).
  • This option is designed to be used mainly in organizations where multiple problems of different kinds need to be addressed in a personalized manner.
  • the platform has three options (configurable): each one recommended for different cases.
  • the drones Fig. 2 (1 ) working as RPAs and/or UAS are capable of automatically recognizing the receivers Fig. 10 (5)(6) that are closest and expeditious to the place of the event Fig. 10 ( 4), to differentiate to which receivers Fig. 2 (5) it sends the alarm notification Fig. 2 (9).
  • This mode also allows you to customize the number (minimum and/or maximum) of receivers that receive the alerts Fig. 2 (5) sent by the drones.
  • Forest fire prevention and prediction is applied by integrating a neural network to classify images and recognize prediction intervals. Considering the following set of variables: a) Ambient temperature. b) Surface temperature. c) Assignment of isotherms d) Historical data on forest fires, according to dates and geographic area, percentage of humidity and rainfall. e) Thermal images. f) Hyperspectral images. g) Measurement distance. h) Fire detection. i) Wind speed and direction. j) Level curves.
  • the alarms that are issued by the Fig. 2 (4) operators of the RPAs and also those issued through automatic detection by the UAS, are notified by means of a call of emergency with voice recording Fig. 1 (5), made directly to the receivers Fig. 2 (5), to ensure reception of the warning Fig. 1 (4), and in parallel they are sent a link with an ID number containing the date and time associated with the event.
  • the alert notice is also sent to the administrator to monitor the activity of the receivers Fig. 8 (2).
  • the alerts are sent by means of an emergency call with voice recording and the (configurable) options of SMS, email and Whatsapp, to the receivers Fig. 2 (5) and the client account administrator, and allows them to view the link sent from any PC connected to the internet or smartphones with IOS or Android system to have access to:
  • the administrator can visualize on the location map, who or who go to the place of the event Fig. 10 (5), Fig. 7 (2), Fig. 6 (2), the rest of the receivers Fig. 10 ( 6), they can also see who or who go Fig. 10 (4) to the place of the event Fig. 10 (4), and depending on the type of event, they determine whether or not they go to the place, taking advantage of their internal procedures.
  • the platform leaves a record in the database of: a) An extract of the recording with time (configurable). b) High resolution images (configurable). c) Images with zoom at different levels (configurable). d) Thermal images (configurable) Fig. 2 (8). e) Hyperspectral images (configurable).
  • the event log information and the data associated with the procedure carried out on them is automatically stored in the private cloud (cloud computing) Fig. 2 (7), in the private session of the client account Fig. 9 (1 ) associated with the platform.
  • the platform can store large amounts of big data, and allows the platform to be available instantly and securely anywhere in the world, through the data stored in it, statistics are generated with all the information collected by the RPAs and UAS.
  • the administrator has specific functions at his disposal for special cases:
  • the platform allows synchronizing other UAS that are associated with the same customer account so that they go to the place of the event Fig. 4 (3) to provide support , and allow the first drone Fig. 4 (2) to return to its charging base, at the end of its autonomy.
  • a database FIG 2 (8) is created to obtain statistics with the performance of the receivers FIG 2 (5), the details of those who meet the requirements, the details of their routes to the places of each event FIG 6 (4), FIG 7 (4) and the times they take to get to each place.
  • the alarms are configurable, and allow different event categories to be assigned Fig. 1 (3), with different receivers assigned Fig. 2 (10), for example: fire, health emergency, accident, robbery, assault Fig. 1 (3); each alarm Fig. 1 (5), is assigned to be transmitted Fig. 2 (9) to the receivers corresponding to its area Fig. 2 (5). Configurable and adaptable for each customer account.
  • the client accounts have a system to process the statistical data of the activity associated with the performance of the receivers. This works through the application of an algorithm to evaluate the performance of the receivers based on the following set of variables. a) Response time in answering the call. b) Response time in opening the link sent. c) Response time in pressing the option to go to the place of the event. d) Response time in going to the place of the event. e) Type of mobilization to the place of the event Fig. 3 (1), Fig. 2 (2), Fig 7 (1): on foot, bicycle, motorcycle, car, van, truck, tank, helicopter, plane, (configurable and editable by the administrator). f) Geographical distance to the place of the event. g) Vehicular traffic on the destination route. h) Level curves of the affected territory.
  • Figure 1 illustrates the detection of an event on the drone control screen seen by the operator while piloting the RPAs. Also illustrated are the customizable alert notification options on the control touch panel and how the signal is transmitted to those responsible for solving the problem (receivers).
  • Figure 2 shows the detail of the complete process, from what is captured by the RPAs and the transmission chain until the detection of the problem reaches the receivers. It also illustrates how they come to solve the problem, leaving the record of the procedure.
  • Figure 3 illustrates the automatic detection of a high temperature object or a fire by the UAS using neural network processing; remote detection of the problem in an agricultural or forestry plantation is visualized.
  • Figure 4 illustrates the detection of a fire and the activation of the emergency system issued by the administrator, with the system deployed and in operation.
  • Figure 5 shows an example of use applied to the health emergency, in which the operator, upon detecting a person without a mask or facial protection, activates the warning alert to the associated receivers.
  • Figure 6 shows the advanced vehicle path prediction function, where the RPAs operator identifies an assault and/or theft of a vehicle, and proceeds to activate the alarm and select the object (car) to transmit the alert to the receivers, sending an alternative route so that they can intercept the target in less time.
  • Figure 7 describes the automatic learning function integrated in the UAS, to demonstrate the operation of the neural network in terms of detecting and predicting the destination route of vehicles that cross a border limit, activating alerts and sending the intersection point to the receivers.
  • Figure 8 illustrates the additional functions that the platform administrator has, who can cancel the alarm or activate the interlock function of the drone. Both functions, when used, are backed up in the platform's log history.
  • Figure 9 shows an example of how to access the platform, describing the access details for administrators when logging into the platform client account with their credentials, and the details of how operators access through the integrated touch panel. in the remote control of drones.
  • Figure 10 illustrates the detection of an event obtained from the aerial view of the drone. This case exemplifies an assault with a brief outcome; In addition, the monitoring is illustrated from the administrator panel with the detail of the actions of the receivers.
  • the platform contains a development of the platform as a service (PaaS) type, which is composed of open source technologies, and is enhanced with artificial intelligence (AI).
  • PaaS platform as a service
  • AI artificial intelligence
  • the platform software is integrated into the open source Linux software development (SDK) of the drones used. In this way, new functionalities are integrated that are managed from the platform with its cloud-based environment.
  • the drones incorporated in the platform contain mobile software development kits (SDK), integrated SDK and also Windows SDK provided by the manufacturer and that are used for the technological integration of the drones in the platform.
  • SDK mobile software development kits
  • the development of the platform contains an administration backend where the reports associated with the ID, the users, and the previous locations are managed, in order to create visualizations for monitoring. All this data is consumed from the web service (cloud computing).
  • the development of the modules is based on the following technologies: BackEnd: PHP 7.2, Laravel 7. FrontEnd: Framework: (VueJS). CSS Framework: (Bootstrap). Database: MySQL Version control website: Bitbucket.
  • the development of the App Desktop is based on the following technologies: ADD Frontend: NodeJS 12.x, ElectronJS 9.x. ADD Backend: C++, DJI Onboard SDK. Database: SQLite. Version control website: Bitbucket. Implementation of the system on the server: Amazon AWS.
  • the drone touch panel control interface integration is modified by open source mobile SDK and designed to access the drone. Through this mechanism you can also access your camera; In this way, the interface development process is simplified, since the lower level functionalities are predetermined with the SDK that comes by default. Additionally, built-in lines of code take care of battery management, signal transmission, communication, and flight stabilization. The lines of code from the SDK with the low-level functions are reused and integrated into the new platform software package. Then the library offered by the manufacturer plus open source libraries is imported to customize the widgets, along with the company data, main logo, and intercommunication links.
  • the human resources information associated with the client account is integrated into the platform in the following way: when integrating the client account into the platform, all the client information is transferred as the only source of data and no data is accepted. from third parties, breaches of the European GDPR standard do not apply either.
  • the receivers are entered through the company's registration protocol, they are entered internally to guarantee their correct integration and feasibility in the platform, they are entered with their working hours and the administrator has options to assign vacations and/or overtime. Administrators and operators have authorized credentials to access.
  • the operators they are assigned by the corresponding institution and are trained to use the platform. As a requirement, they must be qualified people, and must have special certification for handling RPAs according to the technical regulations of their respective country. They must also possess extensive knowledge of the regulations and have a knowledge of meteorology. These conditions are applied to all the countries where the platform is integrated, to guarantee the requirements of security and adaptation to the local impositions of each country or state.
  • the drones used in this modality contain an emergency parachute, and the operator controls a drive device external to the remote control of the drone, for the activation of the parachute in cases of emergency.
  • the receivers they are assigned by the corresponding institution. They must have competencies associated with the corrective actions they carry out.
  • Each institution where the technology is integrated is responsible for the selection of the staff that uses or is part of the client account associated with the platform.
  • the operator detects events through the image obtained by the camera on board the drone.
  • the cameras are of high resolution of video and photography, with high capacity zoom and radiometric thermal vision. Cameras with all sensors built into the camera are recommended to vacate to allocate additional weight. Emphasis is placed on weight reduction and load optimization.
  • the alarms activated by the operator through the platform control interface are activated through an open source IP telephony API in the cloud, to access voice call, SMS and WhatsApp services.
  • the locations are integrated with the Maps Api: Google Maps Platform integrated in the Google Cloud, the locations are sent using as criteria the receivers that are closest to the event location, and geolocation filters are also available, in the different configurations integrated into the platform.
  • 3G/4G/5G a) It integrates a computer with a quad-core processor that integrates a CPU + GPU + ISP on a single chip. This allows to have high processing capacity with a reduced weight of 197 grams on board a matrice 100, 200 and 600 compatible series drone.
  • the connection to establish the link in real time is made with a USB to TTL cable (FT232BL ) and a dual-head USB cable; To access the system and apply settings, a monitor is plugged into the HDMI port.
  • the available RJ45 ethernet port is connected and the IP is assigned automatically if the DHCP service is available, otherwise the IP address is assigned manually.
  • a Jetson AGX Xavier board is connected to the drone's onboard processor with the Micro-B USB connector that has a capability designed for neural network processing.
  • a high power gain EU 4G LTE 3G industrial router is connected to the on-board processor. For this link it is recommended to use mini-PCIe chip with Intel 7260 HMW wireless adapter that supports 802.1 1n and 802.1 1ac protocols. The Drivers for this model are pre-installed. To scale this modality, the use of a 5G router will be added as soon as it is available. The connection of the routers to the on-board processors is via ethernet.
  • the devices are placed in a housing designed in high-resistance acrylonitrile butadiene styrene (ABS) material, with a special design that allows ventilation from the lower area without losing hermeticity, the design integrates a gasket together to the upper cover, internally it has aluminum sheets to absorb heat dissipation and a 14V input fan.
  • ABS high-resistance acrylonitrile butadiene styrene
  • the casing assembly plus the interior elements, is installed in the upper part of the drone, and a casing and support model is developed to make it compatible with drones of the matrice 300 series.
  • This series is a new version of battery-powered drones. with greater storage capacity to provide greater autonomy and versatility.
  • the assembly is screwed into a duralumin frame, replacing the gimbal, designed to hold the case.
  • Wimax For special cases where 3G/4G/5G coverage is not available, a system for data emission and reception will be implemented. This alternative will generally be applied to clients in rural areas, which uses an omnidirectional Wi-Fi receiver with a frequency spectrum that varies according to the implementation region in the following ranges, American Continent: 2.3GHz, 2.5 and 5.7 GHz. / Europe: 3.5 and 5.8GHz; possible: 2.5 GHz. / Southeast Asia: 2.3, 2.5, 3.3, 3.5 and 5.8 GHz. / Middle East and Africa: 3.5 and 5.8 GHz. With the application of the IEEE 802.16e standard for portable and mobile use.
  • This system transmits point-to-point data through radio frequency waves, for this the same transmission channel is configured so that the mobile TX transmitter (drone) emits data to the stationary RX receiver (antenna). Being omnidirectional, it is suitable for linking with drones in constant motion, covering a radial distance of up to 70KM.
  • This system is applied to institutions that have omnidirectional Wimax antennas, in this way the customer account is integrated into the platform and is used with this system.
  • This system is subject to prior evaluation of the gain power and omnidirectionality tests of its antennas. That is, link calculations in the Fresnel zone. The calculations are applied according to the classification of the propagation models and these are adapted to the geographical characteristics of the place where the project is applied. In addition, it is subject to the respective radio frequency spectrum regulations of each country, and also to the ownership of the antennas, whether they belong to the client or to the telecommunications service company.
  • a machine learning algorithm is developed in the field of inspection through images.
  • a model feedback methodology is also developed.
  • One option is to apply the concepts developed in the fleet learning methodology, which is the basis of the TESLA autonomous driving system. For this, a series of activities is developed: first, research is carried out on open source libraries that generate object recognition, which is done to select the one that best suits the project's requirements. Then, the engine must be trained with the data corresponding to the most commonly used dataset, these data are enriched with the use of the same engine during the application of the program.
  • Public Security The platform integrated in these tasks can be integrated into the institutions: police, Carabineros, Firefighters, Citizen Security, Emergency (ambulances), Brigades in charge of border control.
  • Each institution has its customer accounts that contain all the information associated with the detection of events in its area, for example: When the platform is integrated into police institutions associated with a city, state or country, the operators activate the alarm signal when detecting an abnormal parameter: robbery, assault, public disorder, traffic accident, etc.
  • the alarm is directed to the receivers: (police) who are in the closest location, to attend to the problem in the shortest possible time, To simplify their transfer to the place, they are sent a link with the location map that allows them to go to the place of the event in the most expeditious and rapid way, in parallel with the link with the details of the abnormality detected, it is sent to their headquarters (administrator) who monitors the details of what happened, and verifies which recipients attend the event site. The administrator also agrees to review the result of the operation, with the details and performance of the action performed by the receivers, and the information is stored in the detailed history.
  • the platform allows you to configure alarms with personalized receivers, which addresses multiple public security problems and is implemented designed for use in: municipalities, regional governments and/or states.
  • the operators have an interface with different activation options, associated with different abnormal parameters such as: Robbery-assault-public disorder, fire, accident, terrorist attack, detection of explosive elements, etc.
  • the alarms are directed to the most suitable and competent receivers to deal with the detected problem, and simultaneously the alarms are received by the administrator, who monitors the event detections at all times, who also has additional options.
  • Forest Fires The platform integrated to these tasks is designed for the automatic detection of abnormal parameters that present a potential danger of forest fires, such as: Detection of a glass bottle at high temperature in the middle of grasslands or a forest, detected from distance. Or a campfire or barbecue, detected in a prohibited zone in forest forests, detected from a distance.
  • Detection of a glass bottle at high temperature in the middle of grasslands or a forest detected from distance.
  • a campfire or barbecue detected in a prohibited zone in forest forests, detected from a distance.
  • the two cases mentioned are some of the circumstances that currently represent potential danger of forest fires and the current method is designed to detect these abnormalities to give immediate notice and in case of detection of an active fire, detect it in its most initial stage to increase the chances of being controlled in time, to reduce the risk of megafires.
  • the neural network classifies fire images and/or abnormal parameters based on input values of the isotherm mapping, detected by the radiometric thermal sensor. Sending instant notices to recipients: Forest brigade members, forest rangers, national forestry commission (Conaf). The administrator who supervises the work of the receivers,
  • the objectives of the industrial application of the method are:
  • the system can be customized for each of its different application areas.
  • the platform allows you to select the area to be supervised quickly and conveniently.
  • the UAS In the event of detecting an abnormality through the predictive analysis functions, or an imminent fire, the UAS will automatically notify all those involved, reducing action times.
  • the interzonal limit configuration being configurable, and being able to program that the RPAs or UAS automatically detect the locations of the receivers closest to the event site, you can optimize by filtering the most suitable receivers for sending notifications and assignments of responsibility, sending exclusively to them the alarm notice with this information, in this way the work will be optimized, so that it is more productive.
  • the platform administrator by having access to eliminate a possible false alarm, will allow the autonomous UAS to learn and improve their operation to be more and more accurate in fire predictions and/or detection of border limits. .
  • This option can also be deactivated in case the administrator makes an error, a functionality that prevents the customer account from making future errors, improving the application method more and more without allowing the cancellation record to be deleted.
  • the UAS and/or RPAs may remain in place to support the management of the fire. fire.
  • Machine learning algorithms will analyze focused isotherms, wind directions, terrain levels, and type of trees or grasses, etc. This data will be processed in the big data cloud instantly, to in turn deliver the instructions to the UAS and/or RPAs of the most effective extinguishing tactics so that firefighters know at the moment, where to give priority in handling fires. fires.
  • the platform sends all the information obtained in the event detections directly to the cloud, where it will be stored safely, avoiding times , expenses and personal information traceability.
  • the information is stored in the private cloud with high security standards and cannot be deleted, unlike the manual handling of information that is completely susceptible to its loss.
  • Information stored in the cloud will allow data-driven decisions to be made quickly and accurately, with the application of AI.
  • the RPAs will be able to perform automatic tracking of motorized vehicles, by selecting the option on the control touch panel of each drone, facilitating the tracking of the selected objects and the transfer of information to the receivers.
  • the RPAs Once the target to follow (motorized vehicle) has been selected, will be able to predict the destination route of the target and send interception routes to the receivers to ensure the capture in less time .

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Alarm Systems (AREA)

Abstract

La invención da a conocer un método y sistema que combina: detectar parámetros por medio de vehículos aéreos no tripulados (RPAs) y sistemas aéreos no tripulados (UAS), una interfaz gráfica de accionamiento de alertas, adaptación de una red neuronal para clasificar una pluralidad de datos, una secuencia informática para transmitir data, un módulo de intercomunicación entre drones, métodos y aplicaciones de análisis de predicciones, un método de evaluación de actividades con inteligencia artificial, un proceso de gestión autónoma en la nube. El método integra, rastrear el procedimiento de ejecución sobre las acciones correctivas y preventivas de los parámetros detectados y transmitidos. El sistema es aplicado a través de una plataforma (PaaS) para administrar, controlar y registrar el proceso, y para combinar la actividad de una pluralidad de drones.

Description

Método para transmitir y rastrear parámetros detectados por drones mediante (PaaS) con (IA).
SECTOR TECNICO
Actualmente para la seguridad pública se implementan soluciones de vigilancia mediante RPAs1 cuyo objetivo principal se orienta a la pesquisa para recabar antecedentes sobre hechos delictivos y su resolución. El sistema cuenta con un software para el manejo y toma de fotografías o grabación a distancia controlado remotamente. El funcionamiento del sistema requiere de un mínimo de dos operarios: mientras uno pilotea el dron, el otro controla las cámaras para captar las imágenes de tomas aéreas a distancia.
En la prevención de incendios forestales, las soluciones por medio de drones principalmente apoyan el manejo y control de estos, con la utilización de cámaras a bordo, las cuales son controladas con paquetes de software que entregan detalles como la asignación de isotermas (detalle de temperatura por objeto), y también se pueden seleccionar áreas en el panel de control (pantalla táctil) entregando los datos exactos de irradiación de temperatura. Esto se utiliza para determinar los epicentros en el control de incendios activos, y crear planes de acción que mitiguen su propagación; esta técnica es principalmente en la mayoría de los países desarrollados. En Chile, recientemente la Corporación Nacional Forestal (CONAF) ha incorporado el uso de RPAs para capturar videos e imágenes en modo visible y térmico para utilizar este método en la pesquisa y control de incendios forestales2.
Los principales problemas técnicos:
• Descuido de las actividades fundamentales como el manejo y captación de información. Ya que, los operadores en terreno deben contar con medios de almacenamiento como un CD, tarjetas de memoria, discos duros, u otros dispositivos para respaldar la información obtenida de las grabaciones.
• Requiere de un control de trazabilidad. Ya que, la captación de información es almacenada en medios físicos, el cual obliga a utilizar recursos humanos para esta materia, o también a destinar horas laborales de los encargados de resolver los problemas para esta función, lo que implica también una disminución de productividad.
• Es susceptible a filtración de información confidencial o pérdida de esta. Ya que, el control de la trazabilidad puede fallar.
• La información puede ser intencionalmente eliminada. Ya que, los respaldos en discos duros pueden ser fácilmente borrados perdiéndose toda la información. Y al igual que en el caso de los CDs, requiere de un control de trazabilidad.
• Es posible transmitir en directo las grabaciones de los RPAs, hacia un medio como un canal de televisión, el problema técnico es que resulta ser un procedimiento económicamente costoso, requiere de mucha logística, limitándose a ser factible únicamente en ocasiones especiales.
• Pérdida de tiempo importante en la cadena de información hacia el destinatario encargado de resolver la situación. Ya que, cuando los operadores de los RPAs, detectan un incidente como incendio, asalto, robo, accidente, emergencia sanitaria, etc., deben ocuparse de llamar a alguna central para dar aviso de lo ocurrido, entregar detalles técnicos, dirección y muchas veces detalles de ubicación, para que posteriormente la central se encargue de transmitir la información a terceros.
• No disponen de un sistema que permita rastrear de manera eficiente las actividades ni la manera de proceder de los responsables de resolver los problemas, ni de sus jefaturas
1 Ver informe Tipología sistema de Teleprotección, Subsecretaría Prevención del Delito, 2019 en: http://www.seguridadpublica.ciov.cl/media/2019/07/Sistemas-de-Teleproteccion.pdf
2 Referencia en https://www.conaf.cl/conaf-refuerza-prevencion-de-incendios-forestales-con-uso-de-drones-en- biobio/ directas. Esto implica que el actual sistema sea susceptible a negligencias, con información fácil de alterar, ocultar, y paralelamente repercute en menor productividad.
• No tienen un sistema rápido de comunicación y difusión de la información en caso de la detección de un problema de la seguridad pública. Tampoco en la detección de algún punto crítico a distancia, como por ejemplo, una botella de cristal a alta temperatura, arriesgando la pérdida de tiempo importante.
• No cuentan con un servidor en la nube (sistemas cloud) para almacenar en forma directa y segura la información y que a su vez permita acceder a ella a través de una cuenta autorizada para revisar directamente información estadística en la base de macrodatos.
• No poseen un sistema que pueda predecir incendios con la aplicación de ciencia de datos, análisis predictivo y aprendizaje automático para que los drones puedan ser utilizados como UAS y puedan tomar decisiones basadas en datos.
• No disponen de un sistema de emergencia que permita suministrar apoyo permanente y automatizado en el combate de incendios, en caso de que los RPAs y UAS agoten su carga de baterías, dejando sin soporte de apoyo de información a las brigadas encargadas de la extensión del incendio.
• La información recopilada en los combates de incendios, es almacenada en medios físicos como tarjetas de memoria, CDs, o descargada en PC o Notebooks para ser procesadas y su peritaje. Estos procedimientos en ocasiones pueden incurrir en riesgos de pérdida de información.
TECNICA ANTERIOR
La tecnología de los drones avanza rápidamente, con sofisticación a nivel de hardware y en la mejora en la autonomía de los vuelos. Esto ha permitido que, en la actualidad, se esté utilizando esta tecnología en varios países del mundo, para el control fronterizo, el combate y prevención de incendios forestales, seguridad pública, situaciones de emergencia, labores informativas, cultivo agrícola, revisión y mantención predictiva de sectores productivos e industriales, y en la construcción. La importancia del software radica en que es el elemento fundamental para que los drones vuelen, pero también definen las capacidades adicionales que estos puedan tener. Las empresas fabricantes de drones venden sus equipos con softwares propios de la compañía. A su vez, también existen empresas que se especializan en el desarrollo del software y que ofrecen el servicio en modo SaaS (Software as a Service) cuyo modelo consiste en la administración general y soporte por parte de la empresa proveedora de servicio, para simplificar, personalizar y automatizar la trayectoria de vuelo, toma de imágenes y la captura de datos. Los principales fabricantes de drones a nivel mundial; DJI, Parrot, Syma, han optado por comercializar sus drones con sistemas Open Source, sistema que funciona con software de código abierto, permitiendo que empresas puedan optar a soluciones personalizadas. Esto conlleva que desarrolladores externos y empresas tecnológicas tengan la posibilidad de acceder al equipo, es decir, se puede formatear la memoria y hardware interno y realizar la integración de un software desarrollado externamente. Estos pueden ser desde aplicaciones móviles hasta plataformas de software avanzadas diseñadas por empresas especializadas.
Las empresas desarrolladoras de este tipo de software son principalmente extranjeras, las cuales han desarrollado sus propias plataformas. Las soluciones creadas que funcionan en la actualidad permiten realizar análisis volumétricos o modelos de terreno; procesar datos en la nube generando modelos en 3D y automatización de inspecciones. Las imágenes pueden procesarse automáticamente para la detección de elementos de interés. Los drones generan grandes volúmenes de datos, y a través de algoritmos de inteligencia artificial, ha sido posible obtener datos accionables como, por ejemplo: realizar conteos de vehículos, utilizado por la marca Nissan en su planta manufacturera de Brasil, para agilizar sus procesos de inventarios, y la detección de defectos estructurales gracias al trabajo de investigación y desarrollo del Programa de Investigación Horizonte 2020 de la Unión Europea. El procesamiento de datos puede generar información adicional a través de imágenes aéreas con la técnica de fotogrametría, pudiendo generar mapas georreferenciados, levantamientos 3D y obtener mediciones precisas de área, volúmenes y relieve. Esta tecnología está siendo utilizada en la actualidad principalmente para grandes proyectos mineros e industriales donde es ampliamente utilizada la tecnología GNSS (Global Navigation Satellite System), cuyo sistema más conocido, que no el único, es el GPS (Global Positioning System) para determinar las coordenadas de cualquier punto de la superficie terrestre y con gran precisión , este sistema tiene una importancia bastante significativa en lo que concierne a la cartografía, para poder localizar de manera precisa los elementos que se pretenden digitalizar para no cometer errores en cuanto a la posición de estos en el espacio.
En la seguridad pública es utilizada para el apoyo de operaciones policiales; también se utiliza en respuesta a emergencias, desastres naturales y para la cuantificación de daños generados. Los drones ofrecen la posibilidad de obtener visión computacional e inteligencia artificial, reducción de costos y tiempo. También se utilizan en la revisión de aislación en torres de alta tensión y el conteo de vehículos. En África (continente líder en regulaciones de tráfico de drones) se han utilizado para la distribución de vacunas y la respuesta a situaciones de desastre y el mapeo de ciclones, en Ghana, Tanzania y Ruanda por medio de la empresa estadounidense Zipline. En Ruanda además se ha construido el primer aeropuerto para aeronaves no tripuladas en el mundo y también existen iniciativas locales, como la empresa Charis UAS.
La tecnología de procesamiento en nube privada es la manera más reciente para el almacenamiento seguro y se avanza rápidamente en nuevas funcionalidades, ha sido fundamental en el escalamiento de empresas tecnológicas del mundo, y de diferentes áreas, ya que permite trabajar con grandes cantidades de datos.
A continuación, se adjuntan algunas referencias obtenidas de la base de datos de Patenscope, que guardan directa relación con la temática asociada a la presente invención:
Solicitud de aplicación: 201780028204.8.
Título (EN) método de planificación de patrulla de drones, terminal de control, drones y sistema de drones.
Solicitante: DJI INNOVATIONS CO LTD.
Ne de aplicación: 201810249896.5.
Título (EN) Construcción de biblioteca de fotos aéreas de drones, método de clasificación y recuperación adecuado para inspección de energía.
Solicitantes: FUZHOU UNIVERSITY.
Ne de aplicación: 18728174.
(EN) MÉTODO DE VIGILANCIA POR VIDEO UTILIZANDO AL MENOS UN DRON AUTÓNOMO Y DISPOSITIVO PARA SU IMPLEMENTACIÓN.
Ne de solicitud: 102017000451240.
SISTEMA DE COMANDO DE RESCATE Y ALERTA TEMPRANA DE PELIGRO DE INCENDIO CONTRA INCENDIOS FORESTALES BASADO EN DRONES VOLADORES.
Solicitante: JIANGSU SUDU ELECTRONIC TECHNOLOGY CO., LTD.
Ne de solicitud: PCT/IB2019/050065.
SISTEMA Y MÉTODO PARA EJECUTAR OPERACIONES SOBRE UN OBJETO MEDIANTE DRONES.
Solicitante: FONDAZIONE LINKS - LEADING INNOVATION & KNOWLEDGE FOR SOCIETY.
Ne de solicitud: 16852804.
DURCH DROHNEN VERSTÁRKTE E NOTRUFANTWORTDIENSTE.
Solicitante: ALARM COM.
Ne de solicitud: 20181 1645226.1 .
MÉTODO DE COORDINACIÓN MULTI PLATAFORMA DE VARIOS DRONES.
Solicitante: SHENZHEN D.Y. INNOVATIONS TECHNOLOGY CO., LTD.Inventor/a LI JUNHAO.
Ne de solicitud: 20181 1572292.0.
CONSOLA PARA MÚLTIPLES DRONES.
Solicitante: QIBU INTELLIGENT TECHNOLOGY (SHANGHAI) CO. Ne de solicitud: 16355443.
PLATAFORMA DE SEGUIMIENTO DE UBICACIÓN BASADA EN IMÁGENES PARA EXTERIORES BAJO DEMANDA.
Solicitante: Bridgewest Ventures LLC.
Ne de solicitud: PCT/KR2016/01 1654.
SISTEMA Y MÉTODO DE VIGILANCIA UTILIZANDO DRONES.
Solicitante: JO, Seong Chul.
Ne de solicitud: 1020180015625.
SISTEMA DE VIGILANCIA CON DRONES.
Solicitante: -p-Xl-^inventor/a KOO, JA KYUN.
Ne de solicitud: 1020160083642.
Solicitante: RENZULLI EDUTAINMENT CO.
Ne de solicitud: PCT/CN2018/099216.
MÉTODO DE COMUNICACIÓN Y DISPOSITIVO DE COMUNICACIÓN PARA VEHÍCULOS AÉREOS SIN CONTROLADOR Y VEHÍCULOS AÉREOS SIN CONTROL.
Solicitante: AUTEL ROBOTICS CO., LTD.
Ne de solicitud: 201810690031 .2.
LÍNEA DE TRANSMISIÓN CONTRA INCENDIOS DE MONTAÑA BASADA EN EL SISTEMA DE TRANSMISIÓN POR SATÉLITE BEIDOU.
Solicitante: WUHAN ZHIWANG XINGDIAN TECHNOLOGY DEVELOPMENT CO.
Ne de solicitud: 15917240.
SISTEMAS Y MÉTODOS PARA CONTROLAR UNA FLOTA DE DRONES PARA LA RECOLECCIÓN DE DATOS.
Solicitante: State Farm Mutual Automobile Insurance Company.
Ne de solicitud: 2020203351 .
SERVICIOS DE RESPUESTA DE EMERGENCIA AUMENTADOS CON DRONES.
Solicitante: Alarm. Com Incorporated.
Ne de solicitud: 14965788.
SISTEMAS Y MÉTODOS PARA EL SEGUIMIENTO DE EVENTOS MEDIANTE DRONES AÉREOS.
Solicitante: Parachute Systems, Inc.
Ne de solicitud: 16165003.
SISTEMAS Y MÉTODOS PARA OPERAR DRONES EN RESPUESTA A UN INCIDENTE.
Solicitante: State Farm Mutual Automobile Insurance Company.
Ne de solicitud: 15967534.
SISTEMA Y MÉTODO DE SUPRESIÓN DE INCENDIOS MEDIANTE INTELIGENCIA ARTIFICIAL.
Solicitante: James E. Beecham.
Ne de solicitud: 16264018.
SISTEMAS Y MÉTODOS PARA OBTENER Y USAR DATOS DE UBICACIÓN.
Solicitante: National Geospatial-Intelligence Agency.
Ne de solicitud: 201600652.
EQUIPO DE DRONES PARA VIGILANCIA Y ASISTENCIA CONTRA INCENDIOS FORESTALES.
Solicitante: DAVILA MEILAN.
Ne de solicitud: 1020170018152. SISTEMA Y MÉTODO PARA PROPORCIONAR UN CAMINO ÓPTIMO DE DRONES EN ZONAS DO
Solicitante:
Figure imgf000007_0001
Ne de solicitud: 15236192.
SISTEMAS Y MÉTODOS PARA OPERAR DRONES EN RESPUESTA A UN INCIDENTE. Solicitante: State Farm Mutual Automobile Insurance Company.
Ne de solicitud: 20191 12954.
MÉTODO DE EXTINCIÓN DE INCENDIOS DE INSTALACIONES ALTAS NO DISPONIBLE PARA LA EXTINCIÓN DE INCENDIOS POR ESCALERAS, PARA EL CUAL SE EXCLUYE EL USO DE EXTINGUCIÓN DE INCENDIOS CON GRANDES CANTIDADES DE AGUA Y TECNOLOGÍA EXPLOSIVA.
Solicitante: FlapaMOiuKO BnaflMMkip AneKcaHflpoBMH (RU).
Ne de solicitud: 1020160133197.
MÉTODO DE PREVENCIÓN DEL DELITO CON DRONE.
Solicitante: 0
DIVULGACION DE LA INVENCIÓN
La invención consiste en un método y sistema utilizado para administrar y automatizar flotas de drones Fig. 2 (1 ), a través de una plataforma como servicio (PaaS).
Los drones incorporados a la plataforma son utilizados en dos modalidades: como vehículos aéreos pilotados remotamente (RPAs), es decir, controlado por medio de un operador, y como sistemas aéreos no tripulados (UAS) mediante la programación de vuelos autónomos desde la plataforma.
La plataforma está organizada en cuentas de clientes, y cada cuenta tiene la siguiente configuración: operadores, receptores y administrador.
Los operadores: Fig. 2 (4) son los encargados de pilotear los RPAs Fig. 2 (1 ), entran a la plataforma con su rut y clave Fig. 9 (4) desde la interfaz integrada en la pantalla táctil del control remoto de los drones Fig. 9 (3), y sus labores son obligatorias en las zonas donde las reglamentaciones aeronáuticas de cada país lo exigen.
Los receptores: Fig. 2 (5) en caso de surgir una anormalidad o problema, en adelante “eventos” Fig. 2 (2) y detectado por las cámaras a bordo en los drones Fig. 2 (1), operando como RPAs o UAS Fig. 2 (1 ), serán los responsables de atender los avisos de alarmas Fig. 1 (5) y acudir al lugar del evento a ejecutar las acciones correctivas a los problemas detectados por los RPAs y UAS Fig. 2 (2). Los receptores son ingresados al momento de la creación de la cuenta de cliente con la asignación de sus horarios y periodos de vacaciones (configurables).
El administrador: es el encargado de cuenta, tiene acceso a la plataforma mediante el inicio de sesión privada a través de la página web responsive de la plataforma Fig. 9 (1 ) compatible para ser utilizada en computadoras y smartphones, entra con su rut y clave o certificado digital Fig. 9 (2) para acceder a la base de datos con las estadísticas de cada evento Fig. 2 (6), con opciones para filtrar y promediar los datos estadísticos en gráficos. El administrador, organiza y controla el funcionamiento completo de la cuenta de cliente asociada a la plataforma, planifica las tareas de los operadores Fig. 2 (4) y receptores Fig. 2 (5), y dentro de sus responsabilidades, está el mantener actualizados los datos de los receptores y operadores. En caso de surgir un evento Fig. 2 (1 ), el administrador al igual que los receptores Fig. 2 (5), recibe la notificación de alarma Fig. 1 (5) para revisar el evento en vivo Fig. 8 (1 ) y tiene acceso a revisar el detalle. También es el único calificado y habilitado para anular las alertas Fig. 8 (6), si la alerta es anulada, queda la acción registrada en la plataforma sin poder ser eliminada de los registros, e instantáneamente se despliega en su interfaz de usuario del PC o equipos smartphones, un recuadro donde debe justificar el motivo de la anulación de la alarma.
En el modo RPAs Fig. 1 (1 ) el operador Fig. 2 (4) detecta el evento Fig. 2 (2) a través de la imagen obtenida por la cámara del dron y proyectada en la pantalla de su control remoto Fig. 1 (2). Al momento de la detección del evento Fig. 2 (2), el operador Fig. 2 (4) y activa una señal de alarma Fig. 1 (5) presiona una de las opciones a las que tiene acceso directamente desde el panel touch del control Fig. 1 (3) del RPAs. Estas alertas se envían Fig. 2 (9) directamente a los encargados de ejecutar la acción correctiva asociada al evento (receptores) Fig. 1 (4), tomando como criterio a los receptores Fig. 2 (5) que se encuentren más próximos a la localización del evento Fig. 2 (2).
La plataforma está diseñada para adaptarse a organizaciones del sector público, y tiene la capacidad (opcional) de asignar las alertas diferenciadas Fig. 1 (3) para combinar a diferentes categorías de receptores personalizados Fig. 2 (10) según el tipo de evento detectado, y enviar la señal de alarma Fig. 2 (9) a los receptores Fig. 1 (4), asociados al tipo de evento detectado Fig. 2 (2). Esta opción está diseñada para ser utilizada principalmente en organizaciones donde se requiere atender múltiples problemas y de diferentes índoles de manera personalizada. Para la selección del modo de envío de la señal de alarma Fig. 2 (9), la plataforma dispone de tres opciones (configurables): cada una recomendada para diferentes casos.
■ a) Configuración de límites perimetrales (configurable), clasificados en: 1 ) radios de kilómetros y/o metros, según las coordenadas de la ubicación física del parámetro detectado. 2) configuración mediante límite perimetral sectorial, como estados, regiones, ciudades o comunas. Además, permite configurar el límite mínimo y máximo de los receptores Fig. 2 (5) que reciben el aviso de alerta, y que están ubicados dentro del límite configurado. b) los drones Fig. 2 (1 ) funcionando como RPAs y/o UAS, son capaces de reconocer automáticamente a los receptores Fig. 10 (5)(6) que se encuentran más cercanos y expeditos al lugar del evento Fig. 10 (4), para diferenciar a qué receptores Fig. 2 (5) envía la notificación de alarma Fig. 2 (9). Este modo también permite personalizar la cantidad (mínima y/o máxima) de receptores que reciben las alertas Fig. 2 (5) enviadas por los drones. c) Configuración para agregar a las opciones (a) y (b) la opción de asignar rangos horarios diferenciados, para asignar las cantidades mínima y máxima de receptores Fig. 1 (4) asociados a un evento, en función de la demanda de sus actividades.
En el modo UAS se programan los vuelos desde la plataforma, y se asigna un área de supervisión para detectar anormalidades de manera autónoma. Este sistema es aplicado para la prevención y predicción de parámetros que representan un potencial peligro de incendio forestal Fig. 3 (1 ), y también para identificar a personas y/o vehículos motorizados que traspasan un límite perimetral Fig. 7 (1 ). En este escenario, funciona ante la detección automática obtenida dentro de un área configurada y protegida por el sistema, donde el dron envía en forma autónoma las notificaciones Fig. 1 (5) a los receptores asociados Fig. 7 (2).
La prevención y predicción de incendios forestales es aplicada mediante la integración de una red neuronal para clasificar imágenes y reconocer intervalos de predicción. Considerando el siguiente conjunto de variables: a) Temperatura ambiente. b) Temperatura de la superficie. c) Asignación de isotermas d) Datos históricos de incendios forestales, según fechas y área geográfica, porcentaje de humedad y precipitaciones. e) Imágenes térmicas. f) Imágenes hiperespectrales. g) Distancia de la medición. h) Detección de incendios. i) Velocidad y dirección del viento. j) Curvas de nivel.
Las alarmas que son emitidas por los operadores Fig. 2 (4) de los RPAs y también las emitidas mediante la detección automática por los UAS, son notificadas mediante una llamada de emergencia con grabación de voz Fig. 1 (5), hecha directamente hacia los receptores Fig. 2 (5), para asegurar la recepción del aviso Fig. 1 (4), y paralelamente se les envía un link con número ID que contiene la fecha y hora asociadas al evento. El aviso de alerta también es enviado al administrador para monitorear la actividad de los receptores Fig. 8 (2).
El envío de las alertas se realiza mediante una llamada de emergencia con grabación de voz y las opciones (configurables) de SMS, email y Whatsapp, hacia los receptores Fig. 2 (5) y administrador de cuenta de cliente, y les permite visualizar el link enviado desde cualquier PC conectado a internet o equipos smartphones con sistema IOS o Android para tener acceso a:
1 ) Revisar la transmisión directa del evento Fig. 10 (1 ) emitido por el RPAs y/o UAS Fig. 2 (1 ). La transmisión en directo tendrá un tiempo limitado en segundos o minutos (configurable), de esta forma los receptores pueden revisar un breve desenlace del evento Fig. 10 (2) para revisar el alcance del evento Fig. 2 (2) y ejecutar la acción correctiva según su respectivo procedimiento.
2) Abrir el mapa de ubicación GPS con el detalle de las distancias Fig. 10 (5)(6) y trayectos más rápidos hacia el lugar del evento. Fig. 10 (4).
3) El administrador puede visualizar en el mapa de ubicación, quién o quiénes acuden al lugar del evento Fig. 10 (5), Fig. 7 (2), Fig. 6 (2), el resto de los receptores Fig. 10 (6), también pueden ver quién o quiénes acuden Fig. 10 (4) al lugar del evento Fig. 10 (4), y según el tipo de evento, determinan si acuden o no al lugar, acogiéndose a sus procedimientos internos.
4) La plataforma deja un registro en la base de datos de: a) Un extracto de la grabación con tiempo (configurable). b) Imágenes de alta resolución (configurable). c) Imágenes con zoom de distintos niveles (configurable). d) Imágenes térmicas (configurables) Fig. 2 (8). e) Imágenes hiperespectrales (configurable).
A este registro de información sólo tiene acceso el administrador, que accede con sus credenciales Fig. 9 (2) en la cuenta de cliente.
La información de registro de eventos y los datos asociados al procedimiento llevado a cabo sobre estos, queda automáticamente almacenada en la nube privada (cloud computing) Fig. 2 (7), en la sesión privada de la cuenta de cliente Fig. 9 (1 ) asociada a la plataforma. La plataforma puede almacenar grandes cantidades de macrodatos, y permite disponer de la plataforma de manera instantánea y segura en cualquier parte del mundo, a través de los datos almacenados en ella, se generan estadísticas con toda la información recopilada por los RPAs y UAS.
El administrador tiene a su disposición funciones puntuales para los casos especiales:
A) Enclavamiento de los RPAs o UAS Fig. 8 (7) en el lugar del evento Fig. 8 (1 ) para que el dron siga grabando en caso de un evento particular hasta que su autonomía lo permita, una vez consumida su batería, puede retornar en forma autónoma a su base de carga.
B) Activación del sistema de emergencia mediante una opción directa Fig. 8 (8), la plataforma permite sincronizar a otros UAS que estén asociados a la misma cuenta de cliente para que acudan al lugar de evento Fig. 4 (3) a entregar apoyo, y permitir que el primer dron Fig. 4 (2) retorne a su base de carga, al término de su autonomía.
C) Seguimiento de personas y vehículos motorizados Fig. 6 (1 ); en el caso de los RPAs, es mediante la selección del objeto en el panel touch Fig. 6 (1 ). En el caso de los UAS, la detección automática se activa al detectar un objeto configurado (personas y/o vehículos) traspasando un límite o perímetro protegido y configurado Fig. 7 (1 ). Para ambos casos, la plataforma dispone de un método y sistema que permite predecir la ruta de destino Fig. 6 (6), Fig. 7 (5) del objeto seleccionado Fig. 6 (1 ), o detectado en el caso de los UAS Fig. 7 (1 ), esta opción permite a los receptores interceptar en menor tiempo a los objetivos Fig. 6 (5), Fig. 7 (5), para aumentar las probabilidades de captura en menor tiempo.
D) Predicción y prevención de incendios forestales mediante análisis de parámetros del terreno, donde el UAS detecta a distancia y en forma autónoma los elementos que representan riesgos dentro de una amplia extensión de terreno, Fig. 3 (2). Por ejemplo, objetos a alta temperatura FIG 3 (1 ) mediante la asignación de isotermas con la cámara termográfica abordo.
En la sesión privada de la nube FIG 2 (6), se crea una base de datos FIG 2 (8) para obtener estadísticas con los rendimientos de los receptores FIG 2 (5) , el detalle de quienes atienden los requerimientos, el detalle de sus trayectos a los lugares de cada evento FIG 6 (4), FIG 7 (4) y los tiempos que tardan en llegar a cada lugar. Las alarmas son configurables, y permiten asignar diferentes categorías de eventos Fig. 1 (3), con diferentes receptores asignados Fig. 2 (10), por ejemplo: incendio, emergencia sanitaria, accidente, robo, asalto Fig. 1 (3); cada alarma Fig. 1 (5), está asignada para ser transmitida Fig. 2 (9) a los receptores correspondientes a su área Fig. 2 (5). Configurable y adaptable para cada cuenta de cliente.
Las cuentas de cliente poseen un sistema para procesar los datos estadísticos de la actividad asociada al rendimiento de los receptores. Esto opera a través de la aplicación de un algoritmo para evaluar el procedimiento de los receptores basándose en el siguiente conjunto de variables. a) Tiempo de respuesta en contestar el llamado. b) Tiempo de respuesta en abrir el link enviado. c) Tiempo de respuesta en presionar la opción para dirigirse al lugar del evento. d) Tiempo de respuesta en acudir al lugar del evento. e) Tipo de movilización al lugar del evento Fig. 3 (1 ), Fig. 2 (2), Fig 7 (1 ): a pie, bicicleta, moto, auto, camioneta, camión, tanque, helicóptero, avión, (configurable y editable por el administrador). f) Distancia geográfica hacia el lugar del evento. g) Tráfico vehicular en la ruta de destino. h) Curvas de nivel del territorio afectado.
DESCRIPCIÓN BREVE DE LAS FIGURAS
La figura 1 ¡lustra la detección de un evento en la pantalla de control del dron vista por el operador mientras que este pilotea el RPAs. También se ¡lustran las opciones de aviso de alertas personalizadles en el panel touch del control y cómo la señal es transmitida a los encargados de dar solución al problema (receptores).
La figura 2 muestra el detalle del proceso completo, desde lo captado por el RPAs y la cadena de transmisión hasta que la detección del problema llega a los receptores. También se ¡lustra cómo estos acuden a resolver el problema, quedando el registro del procedimiento.
La figura 3 ¡lustra la detección automática de un objeto de alta temperatura o una fogata por el UAS mediante el procesamiento de la red neuronal; se visualiza la detección del problema a distancia en una plantación agrícola o forestal.
La figura 4 ¡lustra la detección de un incendio y la activación del sistema de emergencia emitida por el administrador, con el sistema desplegado y en funcionamiento.
La figura 5 muestra un ejemplo de utilización aplicado a la emergencia sanitaria, en el cual el operador, al detectar a una persona sin mascarilla o protección facial, activa la alerta de aviso a los receptores asociados.
La figura 6 muestra la función avanzada de predicción de trayecto de vehículos, donde el operador del RPAs identifica un asalto y/o robo de vehículo, y procede a activar la alarma y seleccionar el objeto (auto) para transmitir la alerta a los receptores, enviando una ruta alternativa para que puedan interceptar en menor tiempo al objetivo.
La figura 7 describe la función aprendizaje automático integrada en los UAS, para demostrar el funcionamiento de la red neuronal en cuanto a detección y predicción de la ruta de destino de los vehículos que traspasan un límite fronterizo, activando las alertas y enviando del punto de intersección a los receptores. La figura 8 ¡lustra las funciones adicionales que tiene el administrador de la plataforma, quien puede anular la alarma o activar la función de enclavamiento del dron. Ambas funciones al ser utilizadas, quedan respaldadas en el historial de registros de la plataforma.
La figura 9 muestra un ejemplo de cómo acceder a la plataforma, describiendo el detalle de acceso de los administradores al iniciar sesión en la cuenta de cliente de la plataforma con sus credenciales, y el detalle de cómo acceden los operadores a través del panel táctil integrado en el control remoto de los drones.
La figura 10 ilustra la detección de un evento obtenido desde la visión aérea del dron. Este caso ejemplifica un asalto de breve desenlace; además, se ilustra el seguimiento desde el panel del administrador con el detalle del accionar de los receptores.
MEJOR MANERA DE REALIZAR LA INVENCIÓN
La plataforma contiene un desarrollo del tipo plataforma como servicio (PaaS), la cual está compuesta por tecnologías open source, y está potenciada con inteligencia artificial (IA). El software de la plataforma se integra al desarrollo de software (SDK) Linux de código abierto de los drones utilizados. De esta manera se integran nuevas funcionalidades que son administradas desde la plataforma con su entorno basado en la nube.
Los drones incorporados en la plataforma contienen kits de desarrollo de softwares (SDK) móvil, SDK integrado y también SDK de Windows que provee el fabricante y que son utilizados para la integración tecnológica de los drones en la plataforma. El desarrollo de la plataforma contiene un backend de administración donde son gestionados los reportes asociados al ID, los usuarios, y las localizaciones anteriores, con el fin de crear visualizaciones para realizar el seguimiento. Todos estos datos son consumidos desde el web service (cloud computing). En la infraestructura y arquitectura, el desarrollo de los módulos tiene como base tecnológica las siguientes tecnologías: BackEnd: PHP 7.2, Laravel 7. FrontEnd: Framework: (VueJS). Framework CSS: (Bootstrap). Base de Datos: MySQL Web de control de versiones: Bitbucket. El desarrollo del App Desktop tiene como base tecnológica las siguientes tecnologías: ADD Frontend: NodeJS 12.x, ElectronJS 9.x. ADD Backend: C++, DJI Onboard SDK. Base de Datos: SQLite. Web de control de versiones: Bitbucket. Implementación del sistema en el servidor: Amazon AWS.
Para el desarrollo de UI/UX de la plataforma: la integración de la interfaz de control del panel táctil del dron es modificada mediante el SDK móvil de código abierto y diseñado para acceder al dron. Por este mecanismo también se accede a su cámara; de esta manera se simplifica el proceso del desarrollo de la interfaz, ya que las funcionalidades de nivel inferior están predeterminadas con el SDK que trae por defecto. Además, las líneas de código integradas se ocupan de la gestión de batería, la transmisión de señales, la comunicación, y la estabilización del vuelo. Las líneas de código del SDK con las funciones de bajo nivel, se reutilizan y se integran al nuevo paquete de software de la plataforma. Después se importa la biblioteca que ofrece el fabricante más librerías open source para personalizar los widgets, junto a los datos de la empresa, logo principal, y los enlaces de intercomunicación. Posteriormente, se hacen diferentes pruebas de desarrollo: automatización del vuelo y controles de la cámara en el cardán inferior; la recepción de video en tiempo real y los datos de los sensores; la descarga de medios guardados, y por último, el monitoreo del estado de los otros componentes. La interfaz es optimizada para web móvil responsive, para ser utilizada en múltiples dispositivos y para entregar una solución en el desarrollo visual, operacional y funcional, el que es ejecutado con el enfoque Mobile First. Esto significa diseñar para responsive design webs, primero para móviles, obligando así a centrarse únicamente en los elementos y las acciones más importantes de un sitio web, con la creación de una experiencia y una buena usabilidad para el usuario. Finalmente, se desarrollan los siguientes protocolos de pruebas: pruebas de seguridad, test: OWASP T10, con la herramienta detectify.com. Pruebas de configuración: informe con archivo de configuración para ambiente .dev y prod. Especificando las librerías necesarias para el funcionamiento de la plataforma. Pruebas de stress: Load Impact, con la herramienta loadimpact.com. Pruebas de Carga: Load Impact, con la herramienta loadimpact.com.
La información de los recursos humanos asociada a la cuenta de cliente es integrada a la plataforma de la siguiente manera: al momento de integrar la cuenta de cliente en la plataforma se traspasa toda la información del cliente como única fuente de data y no se acepta data de terceros, tampoco se aplican incumplimientos del estándar europeo GDPR. En la información de recursos humanos, se hace el ingreso de los receptores mediante el protocolo de registros de la empresa, estos son ingresados internamente para garantizar su correcta integración y factibilidad en la plataforma, son ingresados con sus horarios laborales y el administrador dispone de opciones para asignar vacaciones y/o horas extras. Los administradores y operadores poseen credenciales autorizadas para acceder.
Los operadores: son asignados por la institución correspondiente y son capacitados para el uso de la plataforma. Como requisito deben ser personas calificadas, y deben poseer la certificación especial para manejo de RPAs según las normativas técnicas de su respectivo país. También deben poseer un amplio conocimiento de las normas y contar con conocimientos de meteorología. Estas condiciones son aplicadas para todos los países donde se integra la plataforma, para garantizar las exigencias de seguridad y adaptación a las imposiciones locales de cada país o estado. Los drones utilizados en esta modalidad contienen un paracaídas de emergencia, y el operador controla un dispositivo de accionamiento externo al control remoto del dron, para la activación del paracaídas en casos de emergencia.
Los administradores: son asignados por la institución correspondiente. Para este cargo se recomiendan personas competentes, titulados idealmente de carreras de ingeniería y poseer una vasta experiencia en tomas de decisiones.
Los receptores: son asignados por la institución correspondiente. Deben contar con competencias asociadas a las acciones correctivas que ejecutan.
Cada institución donde la tecnología es integrada, se hace responsable de la selección del personal que hace uso o es parte de la cuenta de cliente asociada a la plataforma.
En el modo RPAs, el operador detecta los eventos a través de la imagen obtenida por la cámara abordo del dron. Las cámaras son de alta resolución de video y fotografía, con zoom de alta capacidad y visión térmica radiométrica. Se recomiendan cámaras con todos los sensores integrados en la cámara para dejar vacante para asignar peso adicional. Se enfatiza en la reducción de peso y optimización de la carga.
Las alarmas activadas por el operador mediante la interfaz de control de la plataforma, son activadas mediante una API de telefonía IP open source en la nube, para acceder a los servicios de llamadas de voz, SMS y Whatsapp. Las localizaciones son integradas con la Api Maps: Google Maps Platform integrada en la nube Google Cloud, las ubicaciones son enviadas utilizando como criterio a los receptores que se encuentran más próximos al emplazamiento del evento, y también se dispone de los filtros de geolocalización, en las diferentes configuraciones integradas a la plataforma.
En el modo UAS, la transferencia de datos funciona en forma autónoma, según las detecciones automáticas realizadas por el dron. Este sistema está diseñado para las zonas con bajos niveles de señal de internet, para esto se compatibilizan diferentes medios para la transferencia de datos:
1 ) 3G/4G/5G: a) se integra una computadora con un procesador de cuatro núcleos que integra un CPU + GPU + ISP en un solo chip. Esto permite disponer de alta capacidad de procesamiento con un reducido peso de 197 gramos a bordo de un dron de series compatibles matrice 100, 200 y 600. La conexión para establecer el enlace en tiempo real, se realiza con un cable USB a TTL (FT232BL) y un cable USB de doble cabezal; para acceder al sistema y aplicar la configuración, se conecta en el puerto HDMI un monitor. Para la configuración ethernet, se conecta el puerto ethernet RJ45 disponible y se asigna la IP automática si el servicio DHCP está disponible, de lo contrario se asigna la dirección IP en forma manual. b) al procesador a bordo del dron se conecta una placa Jetson AGX Xavier con el conector Micro-B USB que cuenta con una capacidad diseñada para el procesamiento de la red neuronal. c) al procesador a bordo se conecta un router industrial EU 4G LTE 3G de alta ganancia de potencia. Para este enlace se recomienda utilizar chip mini-PCIe con el adaptador inalámbrico Intel 7260 HMW que admite los protocolos 802.1 1 ny 802.1 1 ac. Los controladores para este modelo están preinstalados. Para hacer escaladle esta modalidad, se añadirá el uso de router 5G cuanto esté disponible. La conexión de los router a los procesadores a bordo es por vía ethernet.
Los dispositivos: procesador, tarjeta gráfica y router, son ingresados en una carcasa diseñada en material acrilonitrilo butadieno estireno (ABS) de alta resistencia, con un diseño especial que permite la ventilación desde el área inferior sin perder hermeticidad, el diseño integra una empaquetadura junto a la cubierta superior, internamente lleva láminas de aluminio para absorber la disipación de temperatura y un ventilador input 14V. El conjunto carcasa, más los elementos interiores, va instalado en la parte superior del dron, y se desarrolla un modelo de carcasa y soporte para compatibilizar su uso en drones de la serie matrice 300. Esta serie, es una nueva versión de drones con baterías de mayor capacidad de almacenamiento para disponibilizar de mayor autonomía y versatilidad. El conjunto va atornillado en un marco de duraluminio reemplazando al gimbal, diseñado para sujetar la carcasa.
• 2) Wimax: Para los casos especiales donde no se dispone de coberturas 3G/4G/5G, se implementará un sistema para la emisión y recepción de datos. Esta alternativa será aplicada generalmente para los clientes de zonas rurales, la cual utiliza un receptor wifi omnidireccional con un espectro de frecuencia que varía según la región de implementación en los siguientes rangos, Continente americano: 2.3GHz, 2.5 and 5.7 GHz. / Europa: 3.5 y 5.8 GHz; posible: 2.5 GHz. / Sudeste de Asia: 2.3, 2.5, 3.3, 3.5 y 5.8 GHz. / Medio Este y África: 3.5 y 5.8 GHz. Con la aplicación del estándar IEEE 802.16e para el uso portable y móvil. Este sistema transmite datos punto a punto a través de ondas de radiofrecuencia, para esto se configura el mismo canal de transmisión para que el transmisor TX móvil (dron) emita datos al receptor RX estacionario (antena). Al ser omnidireccional, es adecuado para el enlace con drones en constante movimiento, abarcando una distancia radial de hasta 70KM.
Este sistema es aplicado para las instituciones que poseen antenas Wimax omnidireccionales, de esta forma la cuenta de cliente se integra a la plataforma y es utilizada con este sistema. Este sistema está sujeto a la previa evaluación de la potencia de ganancia y de las pruebas de omnidireccionalidad de sus antenas. Es decir, cálculos de enlace en la zona de Fresnel. Los cálculos son aplicados según la clasificación de los modelos de propagación y estos se adecúan a las características geográficas del lugar en donde se aplica el proyecto. Además, está sujeto a la respectiva normativa de espectros de radiofrecuencia de cada país, y también, a la propiedad de las antenas, sean éstas del cliente o de la compañía de servicios de telecomunicación.
En las funciones para funcionamiento en forma autónoma (UAS) y la predicción de ruta de destino, se desarrolla un algoritmo de machine learning en el ámbito de la inspección a través de imágenes. También se desarrolla una metodología de retroalimentación del modelo. Una opción, es aplicar los conceptos desarrollados en la metodología de fleet learning, que es la base del sistema de conducción autónoma de TESLA. Para esto se desarrolla una serie de actividades: primero se realiza la investigación sobre librerías open source que generen reconocimiento de objetos, lo que se realiza para seleccionar la que más se adecúe a los requerimientos del proyecto. Luego, se debe entrenar el motor con los datos correspondientes a dataset utilizados más comúnmente, estos datos son enriquecidos con el uso del mismo motor durante la aplicación del programa.
APLICACIÓN INDUSTRIAL
Seguridad Pública: La plataforma integrada en estas labores, puede ser integrada en las instituciones: Policía, Carabineros, Bomberos, Segundad ciudadana, Emergencia (ambulancias), Brigadas encargadas del control de fronteras. Cada institución posee sus cuentas de clientes que contienen toda la información asociada a la detección de eventos de su área, por ejemplo: La plataforma al ser integrada en instituciones de policías asociadas a alguna ciudad, estado o país, los operadores activan la señal de alarma al detectar un parámetro anormal: robo, asalto, desorden público, accidente de tránsito, Etc. y la alarma es dirigida a los receptores: (policía) que se encuentran en la ubicación más próxima, para atender el problema en el menor tiempo posible, para simplificar su traslado al lugar se les envía un link con el mapa de localización que les permite dirigirse al lugar del evento de la forma más expedita y rápida, paralelamente el link con los detalles de la anormalidad detectada es enviada a sus jefaturas (administrador) quien monitorea el detalle de lo acontecido, y verifica que receptores acuden al lugar del evento. El administrador también accede a revisar el resultado de la operación, con los detalles y el rendimiento de la acción realizada por los receptores, y la información queda almacenada en el historial detallado.
La plataforma permite configurar alarmas con receptores personalizados, que atiende múltiples problemáticas de seguridad pública y es implementada diseñada para el uso en: municipalidades, gobiernos regionales y/o estados. Los operadores disponen de una interfaz con diferentes opciones de activación, asociadas a diferentes parámetros anormales como por ejemplo: Robo-asalto-desorden público, incendio, accidente, ataque terrorista, detección de elementos explosivos, Etc. De esta manera las alarmas son dirigidas a los receptores más ¡dóneos y competentes para atender el problema detectado, y simultáneamente las alarmas son recibidas por el administrador, quien monitorea en todo momento las detecciones de eventos, quien además dispone de las opciones adicionales.
Incendios Forestales: La plataforma integrada a estas labores está diseñada para la detección automática de parámetros anormales que presenten un potencial peligro de incendios forestales, como por ejemplo: Detección de una botella de vidrio a alta temperatura en medio de pastizales o un bosque forestal, detectada a distancia. O una fogata o asado, detectados en una zona prohibida en bosques forestales, detectados a distancia. Los dos casos mencionados, son algunas de las circunstancias que en la actualidad representan peligro potencial de incendios forestales y el método actual, está diseñado para detectar estas anormalidades para dar aviso de inmediato y en caso de la detección de un incendio activo, detectarlo en su etapa más inicial para aumentar las probabilidades de ser controlado a tiempo, para disminuir los riesgos de megaincendios. Las cuentas de cliente que abordan este tipo de problemas, la red neural clasifica las imágenes de incendios y/o parámetros anormales según los valores de entrada de la asignación de isotermas, detectados por el sensor térmico radiométrico. Enviando los avisos instantáneos a los receptores: Brigadistas de bosques, guardabosques, comisión nacional forestal (Conaf). El administrador quien supervisa las labores de los receptores,
Los objetivos de la aplicación industrial del método son:
1 ) Mejorar los tiempos de aviso de eventos. La alarma de la detección del parámetro anormal, será enviada directamente a las personas encargadas de la acción correctiva y que además se encuentren más asequibles, disminuyendo los tiempos de resolución de los problemas.
2) Al quedar un registro detallado de ubicaciones de los receptores, con el rastreo de sus acciones y tiempos de movilización al lugar del evento. Se obtienen datos estadísticos asociados al rendimiento de los encargados de solucionar los problemas y sus jefaturas. Lo que permite mejorar la productividad y rendimiento colectivo de las organizaciones vinculadas.
3) La información es respaldada con estrictos protocolos de seguridad, sin poder ser eliminada, lo que contribuye a la disminución de negligencias de parte de los encargados directos de solucionar los problemas (receptores), y de sus jefaturas (administradores).
4) Evita recursos humanos y profesionales en labores de control de trazabi lidad .
5) Evita el uso de espacio físico para el almacenamiento de información.
6) Contribuye a la economía circular evitando desechos de elementos contaminantes y en paralelo se reduce el gasto económico de los elementos físicos de almacenamiento.
7) Lleva un control total y seguro de la información con una interfaz ordenada y eficiente.
8) El sistema puede ser personalizado para cada una de sus diferentes áreas de aplicación.
9)Contribuye a evitar el uso de helicópteros en funciones similares, evitando la contaminación acústica y emisión de gases de efecto invernadero.
10) Las operaciones son más rentables mediante el reemplazo del uso de helicópteros para estas aplicaciones. 1 1 ) Comparado con el actual uso de RPAs, la plataforma permite el vuelo de manera autónoma como UAS mediante la programación de vuelos, sin la necesidad de requerir a dos operadores, pudiendo asignar labores más eficientes a las organizaciones.
12) Se pueden extender las áreas de supervisión gracias implementación de vuelos autónomos; con ello se cubren importantes áreas que actualmente no se logran supervisar.
13) La plataforma permite seleccionar el área a supervisar de manera rápida y práctica.
14) En caso de detectar una anormalidad mediante las funciones de análisis predictivo, o un inminente incendio, los UAS darán aviso automáticamente a todos los involucrados, disminuyendo los tiempos de acción.
15) Al transmitir las notificaciones de alerta directamente a los receptores, estos podrán visualizar en detalle la ubicación exacta del evento, evitando alteraciones en la cadena de traspasos de información.
16) La configuración de límite de interzonal, al ser configurable, y poder programar que los RPAs o UAS detecten automáticamente las ubicaciones de los receptores más cercanos al lugar del evento, podrá optimizar filtrando a los receptores más adecuados para el envío de notificaciones y asignaciones de responsabilidad, enviando exclusivamente a ellos el aviso de alarma con esta información, de esta manera se optimizarán las labores, para que sean más productivas.
17) El administrador de la plataforma, al tener acceso a eliminar una posible falsa alarma, permitirá que los UAS de funcionamiento autónomo, puedan aprender y perfeccionar su funcionamiento para ser cada vez más exactos en las predicciones de incendios y/o detección de límites fronterizos. También se podrá desactivar esa opción en caso de que el administrador cometa un error, funcionalidad que evita que la cuenta de cliente cometa futuros errores, perfeccionando cada vez más el método de aplicación sin permitir que el registro de anulación sea eliminado.
18) En caso de localizar un incendio activo, además de generarse el aviso al instante -que también llegará a personal de bomberos que estén ubicados dentro del área configurada-, los UAS y/o RPAs podrán permanecer en el lugar para apoyar el manejo del incendio. Los algoritmos de aprendizaje automático analizarán isotermas focalizados, dirección de vientos, niveles de terreno y tipo de árboles o pastizales, etc. Estos datos serán procesados en la nube de macrodatos de manera instantánea, para ir entregando a su vez las instrucciones a los UAS y/o RPAs de las tácticas de extinción más efectivas para que bomberos sepa en el momento, dónde dar prioridad en el manejo de incendios.
19) A diferencia del sistema actual donde se extrae la memoria en dispositivos de almacenamiento físico como CDs, o hardware, la plataforma envía toda la información obtenida en las detecciones de eventos, directamente a la nube, donde quedará almacenada de forma segura, evitando tiempos, gastos y personal de trazabilidad de la información.
20) La información queda almacenada en la nube privada con estándares de alta seguridad y no podrá ser eliminada, a diferencia del manejo manual de información que es completamente susceptible a la pérdida de esta.
21 ) La información almacenada en la nube permitirá tomar decisiones basadas en datos de manera rápida y exacta, con la aplicación de IA.
22) Los RPAs podrán realizar seguimiento automático de vehículos motorizados, mediante la selección de opción en panel touch de control de cada dron, facilitando el seguimiento de los objetos seleccionados y el traspaso de información a los receptores.
23) Mediante las funciones de aprendizaje automático y análisis predictivo, los RPAs, una vez seleccionado el objetivo a seguir (vehículo motorizado), podrán predecir la ruta de destino del objetivo y enviar rutas de intercepción a los receptores para asegurar la captura en menor tiempo.
24) Al mejorar el rendimiento y la productividad general asociado a las labores de prevención de incendios forestales, permitirá que exista una menor probabilidad de megaincendios, evitando que estos superen el umbral crítico hacia incendios difíciles de controlar.

Claims

REIVINDICACIONES:
1 .-Método que, por medio de vehículos aéreos no tripulados y sistemas aéreos no tripulados Fig.
2 (1 ), permite detectar Fig. 2 (2), transmitir Fig. 2 (9) y rastrear Fig. 6, Fig. 7 en forma rápida y segura la información de los parámetros anormales Fig. 3 (1 ), Fig. 2 (2), Fig 7 (1 ). CARACTERIZADO porque comprende: a) Una interfaz de control Fig 1 (2) y de activación de alarmas personalizada Fig 1 (3), integrada y proyectada al panel touch del sistema remoto Fig. 2 (3) del dron Fig. 2 (1 ), para activar los avisos de emergencia “eventos” Fig. 3 (1), Fig. 2 (2), Fig 7 (1). b) Enviar las alarmas activadas mediante la interfaz, de manera directa Fig. 2 (9 a los encargados de ejecutar las acciones correctivas y preventivas (receptores) Fig 1 (4), Fig 2 (5), y en forma paralela y simultánea a sus jefaturas (administradores) asociados a la cuenta de cliente. c) Configurar la cantidad de receptores a quienes se desea enviar la notificación de la alarma Fig. 2 (9). y la asignación de receptores personalizada. d) Compatibilizar la detección de eventos Fig. 2 (2) realizada por drones pilotados por medio de un operador, Fig. 2 (4) (RPAs). Y operando en forma autónoma como sistemas aéreos no tripulados (UAS) Fig. 3, Fig. 7. Y enviar las alarmas Fig. 2 (9), en forma automática, cuando los drones Fig. 2 (1 ), funcionan en forma autónoma como UAS, por medio del reconocimiento de parámetros predefinidos Fig. 3 (1 ) y clasificados por una red neuronal, integrada en la plataforma. e) Generar un enlace de intercomunicación Fig. 2 (9) para la conexión Fig. 6, Fig. 7 desde la señal Fig. 2 (9), emitida por los drones Fig. 2 (1 ). Y rastrear la actividad realizada por los administradores, Fig. 2 (6)(8), receptores Fig. 2 (5) y operadores Fig. 2 (4), para registrar la eficiencia Fig. 2 (7) y generar estadísticas de productividad Fig. 2 (8). Asociadas a sus tiempos de respuesta en efectuar las acciones correctivas y preventivas. Fig. 6 (2) Fig. 7 (2), Fig. 10 (5). f) Almacenar todo el registro Fig. 2 (7) de información Fig. 2 (8), asociada a los eventos Fig. 2 (2), captados por los drones Fig. 2 (1 ).
2. -Método de acuerdo a la reivindicación 1 , CARACTERIZADO porque: a través de la interfaz personalizable Fig. 1 (3), la plataforma dispone de un módulo para el envío de notificaciones Fig. 2 (9) de manera directa y adaptable, para permitir en forma (opcional) la posibilidad de vincular varios receptores de diferentes áreas Fig. 2 (10), y clasificar los avisos de alarma según lo seleccionado por el operador Fig. 2 (4). O también adaptarla para un solo área específica de aplicación.
3. -Método de acuerdo a la reivindicación 1 , CARACTERIZADO porque: El aviso Fig. 2 (9) del parámetro seteado será mediante llamada de emergencia con grabación de voz y paralelamente se enviarán las notificaciones de alerta emitidas por los RPAS y UAS Fig. 2 (1 ), en opciones configurables: SMS, whatsapp, Email, para hacer envío de un link con el código del evento, más la fecha y hora, y compatibles para ser recepcionadas en equipos smartphones, Tablet y/o PC conectados a internet (asociados a la cuenta de cliente).
4. -Método de acuerdo a la reivindicación 3, CARACTERIZADO porque: el contenido enviado en la notificación de alerta Fig. 2 (9) contiene lo siguiente: a) Un enlace para acceder a la transmisión en vivo del dron Fig. 10 (1 ), Fig. 10 (4), Fig.
8 (1 ), por unos breves segundos o minutos (tiempo configurable) y una vez chequeado el parámetro proyectado, la grabación expira, sin quedar almacenada en los registros de los receptores Fig. 2 (5). Esta opción es adaptable y (opcional) y se podrá activar en las cuentas de clientes que lo estimen conveniente. b) Un enlace para acceder al mapa de ubicación GPS, con la opción del trayecto más rápido y expedito al lugar del evento Fig. 10 (5). Y en caso de que la cuenta de cliente tenga habilitada la primera opción (a), la interfaz contendrá un acceso directo dentro de la transmisión en vivo, para acceder al mapa de ubicación GPS Fig. 10 (3).
5. -Método de acuerdo a la reivindicación 4, CARACTERIZADO porque comprende: la función para visualizar en el mapa de ubicación GPS desplegado al momento de acceder al evento notificado, la ubicación de todos los receptores asignados Fig. 10 (5)(6) en el rango configurado. El administrador y también el resto de los receptores podrán visualizar quien o quienes acuden al lugar del evento Fig 6 (2), Fig. 7 (2).
6. -Método de acuerdo a la reivindicación 1 , CARACTERIZADO porque comprende: el control que posee el administrador Fig. 2 (6), sobre la plataforma segmentado de la siguiente manera: a) El administrador es el único que posee control total de la plataforma en su cuenta de cliente Fig. 9 (1 ), accediendo con su rut y clave personal Fig. 10 (2), para tener acceso a supervisar la actividad de los receptores Fig. 1 (4) y revisar los datos estadísticos Fig. 2 (8), los cuales no podrán ser alterados. b) El administrador es el único que dispone de la opción de anular Fig. 8 (6), una notificación de alarma emitida Fig. 1 (5), por un operador Fig. 2 (4), o por un dron funcionando en forma autónoma Fig. 3. Si la alarma es anulada quedará el registro de la anulación almacenado Fig. 2 (8), y asociado al ID del evento, sin poder ser eliminado del historial de registros. Y si el administrador anula una alarma, instantáneamente se despliega en su interfaz de usuario del PC o smartphones, un recuadro donde deberá justificar el motivo de la anulación de la alarma. c) El administrador dispone de una alternativa que permite corregir un error en caso de anular una alarma Fig. 8 (6), “por equivocación”. Para no alterar el funcionamiento de la red neuronal integrada en los drones que funcionan en forma autónoma (UAS) Fig. 3, y sin que el registro de anulación sea eliminado. d) El administrador dispone de una función que le permite activar el enclavamiento del dron Fig. 8 (7), cuando se estime necesario. Al activar esta opción, el dron permanecerá en el lugar del evento Fig. 7 (1 ), para grabar y almacenar la información en la nube Fig. 2 (7), hasta que su autonomía lo permita. El método aplica para los drones que funcionan en forma autónoma. e) El administrador dispone de una función que le permite activar un sistema de emergencia Fig. 8 (8), para que otros drones Fig. 4 (3), asociados a la cuenta de cliente (cantidad configurable) acudan al lugar del evento Fig. 4 (1 ), a prestar apoyo, posibilitando la coordinación entre drones. Esto permite que el primer dron Fig. 4 (2). retorne a su base de carga, facultando que otro(s) dron(es), puedan recabar datos de manera continua, sin perder la información asociada a un evento particular. El método aplica para los drones que funcionan en forma autónoma.
7. -Método de acuerdo a la reivindicación 6, CARACTERIZADO porque comprende: la opción para activar el enclavamiento en los drones controlados remotamente (RPAs). El administrador activa la función Fig. 8 (7), y se transmite la notificación instantáneamente al operador Fig. 2 4), autorizándolo para activar la función localmente. El dron al perder su capacidad de carga, avisa al operador y paralelamente retorna al lugar físico de este Fig. 2 4), sin pasar a llevar las normas de seguridad en lugares con restricciones.
8. -Método de acuerdo a la reivindicación 6, CARACTERIZADO porque comprende: la opción para activar el sistema de emergencia Fig. 8 (8) en los drones manejados remotamente (RPAs). El administrador activa la función y se transmite la notificación instantáneamente a los otro(s) operador(es) Fig. 2 4), que se encuentren dentro de un límite perimetral radial, previamente definido (configurable) únicamente para esta opción. El dron al perder su capacidad de carga, avisa al operador asignado y retorna al lugar físico de este Fig. 2 4), mientras el lugar del evento sigue monitoreado por el o los otro(s) dron(es), controlados por sus respectivos operadores Fig. 2 4), hasta que el administrador anula el estado de emergencia o también, hasta que la autonomía de sus baterías lo permitan, sin pasar a llevar las normas de seguridad en los lugares con restricciones.
9. -Método de acuerdo a la reivindicación 6, CARACTERIZADO porque: el administrador dispone de opciones para llamar a un receptor en particular, y/o enviar mensajes directos o grupales, para enviar instrucciones al conjunto de receptores asociados al evento, directamente desde la plataforma.
10. -Método de acuerdo a la reivindicación 8, CARACTERIZADO porque: la plataforma, permite al administrador, seleccionar dentro del mapa de ubicación GPS a los receptores activos dentro de un evento, Fig. 2 (5), Fig. 6 (2), Fig. 8 (2). para instruir indicaciones especiales. 16
1 1 . -Método de acuerdo a la reivindicación 1 , CARACTERIZADO porque comprende: una base de datos con el historial detallado Fig. 2 (8), sobre el registro histórico de cada evento, para almacenar la siguiente información: a) Un extracto de la grabación del evento con tiempo (configurable). b) Imágenes de alta resolución (personalizadles). c) Imágenes con zoom de diferentes niveles (personalizadles). d) Imágenes térmicas y/o termográficas (personalizadles). e) Imágenes hiperespectrales (personalizadles).
Todas las imágenes son configurables y según la aplicación asociada a cada cuenta de cliente.
12. -Método de acuerdo a la reivindicación 1 1 , CARACTERIZADO porque comprende: la capacidad de almacenar la información recopilada por los drones, permitiendo monitorear y acceder a estos datos almacenados en el servidor en la nube Fig. 2 (7), asociados a la cuenta de cliente Fig. 9 (2), con opciones para revisar la información en forma personalizada, mediante la selección de periodos mensuales, anuales y resúmenes estacionales: (otoño, invierno, primavera, verano). Además, cuenta con opciones de filtros personalizadles para agregar rangos de horarios a las fechas seleccionadas Fig 2 (6)(7)(8).
13. -Método de acuerdo a la reivindicación 1 CARACTERIZADO porque comprende: un sistema para procesar los datos estadísticos de la plataforma asociados al rendimiento de los receptores. Esto opera a través de la aplicación de un algoritmo para evaluar el procedimiento de los receptores basándose en el siguiente conjunto de variables. a) Tiempo de respuesta en contestar el llamado. b) Tiempo de respuesta en abrir el link enviado. c) Tiempo de respuesta en presionar la opción para dirigirse al lugar del evento. d) Tiempo de respuesta en acudir al lugar del evento. e) Tipo de movilización al lugar del evento Fig. 3 (1 ), Fig. 2 (2), Fig 7 (1 ): a pie, bicicleta, moto, auto, camioneta, camión, tanque, helicóptero, avión, (configurable y editable por el administrador). f) Distancia geográfica hacia el lugar del evento. g) Tráfico vehicular en la ruta de destino. h) Curvas de nivel del territorio afectado.
14. -Método de acuerdo a la reivindicación 13, CARACTERIZADO porque: permite a los receptores Fig. 2 (5), revisar y confirmar su medio de movilización: a pie, bicicleta, moto, auto, camioneta, camión, tanque, helicóptero, avión. En caso de existir un error, lo podrá notificar al administrador directamente desde la interfaz de usuario de la plataforma.
15. -Método de acuerdo a la reivindicación 3, CARACTERIZADO porque comprende: diferentes configuraciones para seleccionar la modalidad de transmisión de la señal de alarma Fig. 2 (9), segmentados de la siguiente forma: a) Opciones configurables de límite perimetral en clasificaciones: radial en metros y/o kilómetros, o sectoriales mediante la asignación de comunas, ciudades, provincias, estados, o regiones. Para limitar el envío de la señal de alarma Fig. 2 (9) a los receptores que estén dentro del límite perimetral asignado, según la detección de las coordenadas GPS y/o GNSS, de los receptores y la asignación de un límite mínimo y máximo de receptores. b) Reconocimiento automático de los receptores Fig. 2 (5), Fig. 10 (5), en la ubicación más cercana y expedita al lugar del evento Fig. 10 (4), sin considerar límites perimetrales, con la asignación de un número exacto de receptores (configurable). c) Configuración para agregar a las opciones (a) y (b) la opción de asignar rangos horarios diferenciados, para asignar las cantidades mínima y máxima de receptores asociados a un evento, en función de la demanda de sus actividades.
17. -Método de acuerdo a la reivindicación 1 , CARACTERIZADO porque comprende: la aplicación de una red neuronal para clasificar imágenes y reconocer intervalos de predicción, para prevenir y predecir incendios forestales, considerando el siguiente conjunto de variables: a) Temperatura ambiente. 17 b) Temperatura de la superficie. c) Asignación de isotermas: d) Datos históricos de incendios forestales, según fechas y área geográfica: porcentaje de humedad y precipitaciones e) Imágenes térmicas. f) Imágenes hiperespectrales. g) Distancia de la medición. h) Detección de incendios. i) Velocidad y dirección del viento. j) Curvas de nivel.
18. -Método de acuerdo a la reivindicación 17, CARACTERIZADO porque comprende: la capacidad para clasificar estos objetos en forma autónoma: a) personas b) vehículos motorizados. Por medio del procesamiento de la red neuronal.
19. -Método de acuerdo a la reivindicación 18, CARACTERIZADO porque comprende: la capacidad de detectar en forma autónoma a los objetos identificados por la red neuronal: a) personas, b) Vehículos motorizados. Que atraviesan un límite geográfico (configurado), Fig. 7 (1 ) según las coordenadas seteadas.
20. -Método de acuerdo a la reivindicación 19, CARACTERIZADO porque comprende: la aplicación de un algoritmo de machine learning, que permite predecir la ruta del destino Fig. 6 (6), Fig. 7 (5), de los objetos seteados: vehículos motorizados y/o personas detectadas por los drones operando en forma autónoma como UAS.
21 .-Método de acuerdo a la reivindicación 20, CARACTERIZADO porque comprende: un mecanismo que permite predecir la ruta del destino Fig. 6 (6), Fig. 7 (5), de los objetos, seleccionados en el panel touch Fig. 6 (1 ) del control remoto Fig. 2 (3), de los drones, operando como RPAs.
22. -Método de acuerdo a la reivindicación 19, 20 y 21 CARACTERIZADO porque comprende: la capacidad para enviar a los receptores Fig. 6 (2), Fig. 7 (2), al punto de intersección más rápido que exista Fig. 6 (6), Fig. 7 (5), entre los receptores Fig. 6 (2), Fig. 7 (2), y el objeto seguido Fig.
6 (1 ), Fig. 7 (1 ), según la predicción de la ruta de destino Fig. 6 (6), Fig. 7 (5), lo que permite: a) La capacidad de dar un seguimiento durante un periodo configurable al objeto que traspasó los límites seteados. b) La capacidad de cumplir la función en drones operando como RPAs y UAS. c) La capacidad de actualizar la predicción de la trayectoria, en caso de detectar una modificación en la predicción, aplicando la corrección y retroalimentación del algoritmo.
PCT/CL2020/050160 2020-11-20 2020-11-20 Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia). WO2022104489A1 (es)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CL2020/050160 WO2022104489A1 (es) 2020-11-20 2020-11-20 Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).
US18/253,742 US20240004381A1 (en) 2020-11-20 2020-11-20 METHOD TO TRANSMIT AND TRACK PARAMETERS DETECTED BY DRONES USING (PaaS) WITH (AI)
EP20961782.8A EP4250265A1 (en) 2020-11-20 2020-11-20 Method for transmitting and tracking parameters detected by drones by means of a platform as a service (paas) with artificial intelligence (ai)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CL2020/050160 WO2022104489A1 (es) 2020-11-20 2020-11-20 Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).

Publications (1)

Publication Number Publication Date
WO2022104489A1 true WO2022104489A1 (es) 2022-05-27

Family

ID=81707979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CL2020/050160 WO2022104489A1 (es) 2020-11-20 2020-11-20 Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).

Country Status (3)

Country Link
US (1) US20240004381A1 (es)
EP (1) EP4250265A1 (es)
WO (1) WO2022104489A1 (es)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2689809A1 (en) * 2012-07-24 2014-01-29 The Boeing Company Wildfire arrest and prevention system
KR20160083642A (ko) 2014-12-31 2016-07-12 엘지디스플레이 주식회사 표시장치 및 그 구동방법
KR20160133197A (ko) 2015-05-12 2016-11-22 한국원자력연구원 방사성 폐기물에 포함된 알파핵종의 정량 분석 방법
KR20170018152A (ko) 2015-08-05 2017-02-16 엘지디스플레이 주식회사 유기발광표시장치 및 그 구동방법
KR20180015625A (ko) 2015-06-09 2018-02-13 시스템 에스.피.에이. 물체를 분류하기 위한 장치
US20190011921A1 (en) * 2015-09-15 2019-01-10 SZ DJI Technology Co., Ltd. Systems and methods for uav interactive instructions and control
WO2019050065A1 (ko) 2017-09-07 2019-03-14 엘지전자(주) 하이브리드 v2x 통신 장치 및 그의 통신 방법
US20190107846A1 (en) * 2017-10-06 2019-04-11 The Charles Stark Draper Laboratory, Inc. Distributed system for management and control of aerial vehicle air traffic
WO2019112954A1 (en) 2017-12-04 2019-06-13 Tokyo Electron Limited Method for controlling transistor delay of nanowire or nanosheet transistor devices
US20200096999A1 (en) * 2018-09-26 2020-03-26 International Business Machines Corporation Voice-controllable unmanned aerial vehicle for object retrieval and delivery
US10691944B2 (en) * 2018-05-21 2020-06-23 The Boeing Company Geo-registering an aerial image by an object detection model using machine learning
WO2020203351A1 (ja) 2019-04-01 2020-10-08 信越化学工業株式会社 油性混合組成物、化粧料及び化粧料の製造方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2689809A1 (en) * 2012-07-24 2014-01-29 The Boeing Company Wildfire arrest and prevention system
KR20160083642A (ko) 2014-12-31 2016-07-12 엘지디스플레이 주식회사 표시장치 및 그 구동방법
KR20160133197A (ko) 2015-05-12 2016-11-22 한국원자력연구원 방사성 폐기물에 포함된 알파핵종의 정량 분석 방법
KR20180015625A (ko) 2015-06-09 2018-02-13 시스템 에스.피.에이. 물체를 분류하기 위한 장치
KR20170018152A (ko) 2015-08-05 2017-02-16 엘지디스플레이 주식회사 유기발광표시장치 및 그 구동방법
US20190011921A1 (en) * 2015-09-15 2019-01-10 SZ DJI Technology Co., Ltd. Systems and methods for uav interactive instructions and control
WO2019050065A1 (ko) 2017-09-07 2019-03-14 엘지전자(주) 하이브리드 v2x 통신 장치 및 그의 통신 방법
US20190107846A1 (en) * 2017-10-06 2019-04-11 The Charles Stark Draper Laboratory, Inc. Distributed system for management and control of aerial vehicle air traffic
WO2019112954A1 (en) 2017-12-04 2019-06-13 Tokyo Electron Limited Method for controlling transistor delay of nanowire or nanosheet transistor devices
US10691944B2 (en) * 2018-05-21 2020-06-23 The Boeing Company Geo-registering an aerial image by an object detection model using machine learning
US20200096999A1 (en) * 2018-09-26 2020-03-26 International Business Machines Corporation Voice-controllable unmanned aerial vehicle for object retrieval and delivery
WO2020203351A1 (ja) 2019-04-01 2020-10-08 信越化学工業株式会社 油性混合組成物、化粧料及び化粧料の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUMAR MANISH, COHEN KELLY: "Wild Land Fire Fighting Using Multiple Uninhabited Aerial Vehicles", AIAA INFOTECH@AEROSPACE CONFERENCE, AMERICAN INSTITUTE OF AERONAUTICS AND ASTRONAUTICS, RESTON, VIRIGINA, 6 April 2009 (2009-04-06), Reston, Virigina , XP055939752, ISBN: 978-1-60086-979-2, DOI: 10.2514/6.2009-1857 *

Also Published As

Publication number Publication date
EP4250265A1 (en) 2023-09-27
US20240004381A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US20220176846A1 (en) Unmanned Aerial Vehicle Remote Flight Planning System
US11730987B2 (en) GPS tracking and mapping wildfire defense system network for proactively defending homes and neighborhoods against threat of wild fire by spraying environmentally-safe anti-fire chemical liquid on property surfaces to inhibit fire ignition and flame spread in the presence of wild fire
US20210319703A1 (en) Systems and methods for managing flight-restriction regions
US11120456B2 (en) Authentication systems and methods for generating flight regulations
US9567077B2 (en) Unmanned vehicle (UV) control system
EP2908202A1 (en) Unmanned vehicle (UV) control system
WO2017149160A1 (en) Very low level operations coordination platform
Sebbane Intelligent autonomy of UAVs: advanced missions and future use
WO2022104489A1 (es) Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).
Thiobane Cybersecurity and drones
KR102543828B1 (ko) 불법운항률 감소를 위한 ai기반 실시간 추적분석시스템을 구비한 무인비행체의 자이로센서와 이 자이로센서에 전력을 공급하는 전력공급시스템
EP4184482A1 (en) Safety and monitoring system and aircraft device with remote pilot associated thereto
KR20230068541A (ko) 불법운항률 감소를 위한 ai기반 실시간 추적분석시스템과 필요에 따라 배터리를 선택적으로 가감할 수 있는 시스템을 구비한 무인비행체
BG2863U1 (bg) Интегрирана система за управление работата на автономни безпилотни летателни апарати

Legal Events

Date Code Title Description
REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023005534

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 18253742

Country of ref document: US

ENP Entry into the national phase

Ref document number: 112023005534

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230324

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020961782

Country of ref document: EP

Effective date: 20230620