WO2019112406A1

WO2019112406A1 - Planification de vol d'avion sans pilote guidée par une caméra rotative dans le but d'optimiser la recherche de cibles

Info

Publication number: WO2019112406A1
Application number: PCT/MA2018/050012
Authority: WO
Inventors: Younes MOUMEN
Original assignee: Atlan Space
Priority date: 2017-12-05
Filing date: 2018-12-04
Publication date: 2019-06-13
Also published as: MA41571A1; WO2019112406A4; MA41571B1

Abstract

La détection et l'identification de cibles par avions sans pilotes nécessite l'utilisation de caméras pointant vers le bas avec un paramétrage spécifique et une altitude définie afin d'obtenir les meilleures performances de détection. Le plan de vol pour couvrir de larges zones géographiques est généralement défini indépendamment de la détection. Ceci crée des situations où la détection est inefficace. Nous proposons donc un système et méthode où le plan de vol est défini en partie par les données capturées par une caméra rotative couvrant le champ de vision de l'avion sans pilote sur 360°.

Description

Planification de vol d’avion sans pilote guidée par une caméra rotative dans le but d’optimiser la recherche de cibles

Description

[1 ] La présente invention est relative au domaine général des véhicules aériens sans pilotes. Elle appartient au domaine particulier des opérations de vol autonome d’appareils aériens sans pilotes, spécialement, par l’utilisation d’une caméra rotative dans le but d’optimiser la recherche de cibles.

[2] La recherche de cibles dans de larges zones géographiques a toujours été un domaine où l’utilisation d’avions avec pilotes à bord a été la plus efficace en termes du rapport coût-efficacité. C’est le cas en particulier lorsque la taille de la cible ne permet pas une détection ou identification précise avec les satellites. L’avènement des avions sans pilotes n’avait changé la donne qu’à partir du début de développement des technologies d’autonomie qui permettent à l’appareil de naviguer en dehors du rayon de transmission du pilote ou la station de contrôle en surface avec un plan de vol prédéfinit. Avec les débuts de ces technologies, un gain important en termes de coûts logistiques peut être réalisé. Toutefois, ces technologies d’autonomie nécessitent toute une panoplie de techniques pour assurer ce type de mission et espérer égaler ou surpasser les performances des avions avec pilote à bord.

[3] En particulier, nous nous intéressons dans ce document à la détermination d’un plan de vol optimal en utilisant une caméra rotative simulant la surveillance humaine capable de détecter des bateaux à proximité et prioriser leur inspection au lieu d’exécuter bêtement un plan de vol selon un modèle prédéfinit.

[4] L’utilisation d’une caméra rotative dans les avions sans pilotes a longtemps été destinée à transmettre un visuel à la station au sol afin qu’un pilote distant puisse évaluer la situation. Avec le besoin d’améliorer l’autonomie de l’appareil et principalement dans le but d’éviter des obstacles, les caméras rotatives ont commencé à remplir un rôle additionnel de détection des obstacles grâce à un traitement des images capturées par un processeur embarqué dans l’appareil. Le brevet d’invention US2007093945, entre autres, décrit un système où la détermination du plan de vol prend en charge les résultats de la détection des obstacles afin de les éviter. Toutefois, cette technologie est restreinte à une utilisation dans le but d’éviter les obstacles, ou pour suivre un objet. Elle ne peut concrètement pas être utilisée pour surveiller de larges zones géographiques dans le but de rechercher des cibles spécifiques.

[5] HONEYWELL INT INC décrit dans son brevet d’invention US20161 16915 un système qui a justement comme objectif la recherche de cibles spécifiques dans de larges zones géographiques. Leur méthode combine l’utilisation de radars pour détecter des objets dans une première phase, puis l’envoi d’un ou plusieurs avions sans pilotes dans la zone de l’événement de détection afin de prendre plusieurs photos à plusieurs angles et altitudes. Ces photos sont ensuite immédiatement transmises à la station de contrôle si elle est accessible, sinon, ils sont gardés pour une récupération ultérieure. Toutefois, ce système limite la détection au rayon du radar et souffre de ses limitations lorsqu’il est trop près du sol ou dans des terrains non plats. La transmission de l’information est également lente dans ce cas car les images sont traitées par un humain en surface. Deux situations se présentent alors : l’appareil est proche de la station de contrôle, et les données peuvent être transmises immédiatement, mais dans un rayon très réduit ; sinon l’appareil est loin, et l’information peut prendre des heures avant d’être transmise (le temps que l’appareil s’approche suffisamment pour transmettre).

[6] Avec l’avènement de technologies d’autonomie en dehors de la liaison avec une station de contrôle, il devient possible d’assurer la détection directement avec l’avion sans pilote (100). Celui-ci peut alors envoyer juste l’information utile avec des moyens accessibles tels qu’une des messages courts à travers une liaison satellitaire. La solution la plus logique est d’utiliser pour la détection une caméra pointant vers le bas (103) avec une configuration optique spécifique et une altitude déterminée pour pouvoir améliorer les chances de détection tels que décrit par AIRPHRAME INC dans leur brevet d’invention US2017131717. Encore ici, cette méthode souffre de la limitation de la détection à une bande étroite (104) que couvre le champ de vision (105) de la caméra. A titre d’exemple, si l’appareil effectue un plan de vol (102) selon un certain modèle de couverture d’une zone marine (en quadrillage par exemple), et qu’un bateau (106) s’approche perpendiculairement de sa trajectoire, l’avion (100) ne va pas le détecter et va considérer qu’il n’y a aucun bateau dans la surface qu’il vient de parcourir. Il suffit que le bateau reste dans cette surface pour qu’il échappe totalement à la détection jusqu’à une nouvelle passe de l’avion sans pilote (100) qui peut être plusieurs heures après. Ceci ne devrait pas arriver dans le cas d’un avion avec pilote à bord car le pilote surveille non seulement la zone en dessous de l’appareil mais également toute la zone entourant l’appareil jusqu’à la limite de visibilité ou l’horizon.

[7] Notre invention propose un système et méthode qui offre une efficacité semblable à un avion avec pilote à bord tout en utilisant uniquement un avion sans pilote (100) à autonomie décisionnelle en dehors de la liaison avec la station de contrôle.

[8] Notre système utilise pour la détection et l’identification une caméra pointant vers le bas (103), reliée à un processeur embarqué exécutant un ou plusieurs programmes capables de détecter et d’identifier les cibles. Les caractéristiques optiques de la caméra et les performances du processeur et du programme déterminent une ou plusieurs altitudes recommandées de vol en vue d’optimiser les performances de détection selon la cible à détecter.

[9] Les programmes de détection et d’identification des cibles peuvent utiliser des techniques de vision par ordinateur telles que les descripteurs de zones d’intérêts, la détection des zones d’intérêts, les réseaux de neurones, ou toute autre technique disponible dans l’état de la technique.

[10] Le système utilise également une deuxième caméra rotative (107) sur au moins un axe du lacet. Une capacité de rotation sur les axes du tangage et du roulis (lorsqu’elle est alignée avec l’appareil) sont très utiles pour obtenir un meilleur champ de vision en particulier lors des manœuvres de l’appareil.

[1 1 ] La position de la caméra rotative (107) doit permettre le maximum de champs de vision non masqué par le fuselage tout en répondant aux contraintes de la forme du fuselage et aux contraintes de fabrication. La caméra rotative (107) peut également servir à l’identification en remplaçant la première caméra (103) si les spécifications de la caméra permettent le changement de distance focale, de lentille, de vitesse de capture et d’autres paramètres nécessaires à améliorer les performances à la fois de la détection et de l’identification. Ceci a l’avantage d’utiliser une seule caméra au lieu de deux.

[12] Le processeur embarqué exécute également un programme qui calcule le plan de vol initial (102) selon un modèle déterminé. Le plan de vol est représenté en mémoire sous forme d’un ensemble de waypoints (101 ) qui définissent les points de passage obligatoire du parcours (102). Le modèle de calcul du plan de vol peut être un quadrillage en zigzags, en rectangles concentriques, des cercles concentriques, ou tout autre modèle adéquat pour les cibles recherchées. Il peut inclure des paramètres comme la météo, l’élévation de terrain, les priorités de zones etc.

[13] Nous ajoutons à cette représentation en waypoints (101 ) une autre représentation en mémoire d’un ensemble de milestones ou étapes (108). Chaque étape (108) est un point appartenant à la trajectoire du plan de vol (102). La première étape étant le point d’entrée de la zone à surveiller ou, en d’autres termes, l’intersection entre la trajectoire de l’appareil et la zone à surveiller. Les autres étapes sont insérées le long de la trajectoire à distances égales jusqu’à la fin du plan de vol couvrant la surface à surveiller. Chaque étape contient les informations de sa position et l’historique des horodatages de passage de l’appareil par cette étape.

[14] La méthode de détermination du plan de vol basée en partie sur les données capturées par la caméra se déroule selon les étapes suivantes : [15] Etape (1 ) : La caméra rotative (107) fait une rotation continue ou discrète pour effectuer des captures de photos couvrant l’ensemble du champ de vision à 360° autours de l’appareil (100). Le processeur embarqué exécute un programme qui traite les photos capturées pour détecter des objets (106) avec un indice de certitude. Pour cela, il peut utiliser des techniques de vision par ordinateur telles que les descripteurs de zones d’intérêts, la détection des zones d’intérêts, les réseaux de neurones, ou toute autre technique disponible.

[16] Toutefois, il est connu que l'identification par des photos latérales surtout d’objets lointains est très difficile à ce jour. Un passage au-dessus de l’objet détecté doit donc être planifiée pour pouvoir confirmer sa détection et l’identifier en utilisant la première caméra (103), plus précise.

[17] Nous considérons que la détection est le processus qui abouti à avoir l’information qu’un objet est présent dans une position approximée. L’identification par contre est considérée comme étant le processus qui aboutit à obtenir des informations sur l’objet lui-même telle que sa classification, sa taille, son contenu, etc.

[18] Etape (2) : Le processeur exécute alors un programme qui détermine l’angle de chaque objet (106) détecté par rapport à l’avion sans pilote (100) dans un repère sphérique centré sur ce dernier (100) en se basant sur : l’orientation de la caméra (107), l’emplacement de l’objet dans la photo capturée et l’attitude de l’avion (100). Le processeur exécute ensuite un programme qui estime la distance de chaque objet (106) détecté par rapport à l’avion sans pilote (100). Cette estimation de distance ou de profondeur peut se baser sur plusieurs techniques telles que le flux optique, le calcul de la position par rapport à la ligne d’horizon dans les terrains plat (en milieux marins principalement) ou toute autre méthode disponible et adaptée à la situation.

[19] Etape (3) : Ces attributs qui incluent au moins la certitude, l’angle, la distance, et le statut d’identification (déjà identifié ou pas), sont associées à chaque objet détecté par la caméra. Ces objets détectés sont alors enregistrés dans une table des nouveaux objets.

[20] Etape (4) : Le processeur exécute ensuite une comparaison entre les attributs des objets de la table des nouveaux objets et les attributs des objets d’une table globale de tous les objets. Cette dernière contient des informations sur tous les objets détectés depuis le début de la mission. Les nouveaux objets détectés déjà présents dans la table globale sont mis à jour dans la table de tous les objets en mettant à jour leurs attributs.

[21 ] Etape (5) : Les objets présents dans la table globale non encore identifiés sont triés dans une queue selon un facteur basé sur la certitude de détection et la distance estimée.

[22] Etape (6) : Si aucun objet non identifié n’est présent dans la table globale, un plan de vol (102) est calculé pour couvrir l’ensemble des étapes en commençant par celles qui n’ont pas d’horodatage, puis celles ayant le plus ancien horodatage en gardant l’ordonnancement de la trajectoire initiale lorsque les horodatages sont égaux.

[23] Etape (7) Sinon, si au moins un objet non identifié est présent dans la table globale, et toujours présent dans la table des nouveaux objets (toujours dans le champ de vision), alors un plan de vol (109) est calculé pour atteindre les objets dans l’ordre de tri de la queue. S’il s’avère que l’objet se retrouve en dessous de l’avion, le processus d’identification par la première caméra (103) est initié et l’attribut d’identification de l’objet est mis à jour.

[24] Une nouvelle rotation de la caméra à 360° est reprise et le processus de détection est relancé à l’étape (1).

[25] Il est à noter que malgré le fait que les illustrations montrent un avion sans pilote détectant des bateaux, cette invention s’applique à la détection de tout type de cibles quel que soit le terrain. [26] La figure 1 montre une vue en perspective d’un plan de vol statique non guidé par la caméra dans le scénario où un bateau (106) s’approche perpendiculairement de sa trajectoire évitant la détection .

[27] La figure 2 montre une vue de haut d’un plan de vol guidé par la caméra (107) avec le plan de vol statique (102) et le plan de vol calculé (109) pour identifier les objets (106) détectés.

[28] La figure 3 montre une vue de haut d’un plan de vol (102) recalculé après identification de tous les objets (106) détectés.

Claims

Revendications

1 . Un système planification de vol d’un avion sans pilote assurée en partie par une caméra rotative caractérisé par un avion sans pilote équipé au moins d’une caméra rotative (107) reliée à un processeur. Le processeur est équipé d’un programme de calcul de plan de vol selon des modèles définis. Chaque plan de vol est représenté en mémoire sous forme d’un ensemble de waypoints (101) qui définissent les points de passage obligatoire du parcours (102) de l’avion (100). Le processeur dispose en mémoire d’une autre représentation d’un ensemble de milestones ou étapes (108). Chaque étape (108) est un point appartenant à la trajectoire du plan de vol (102). La première étape étant le point d’entrée de la zone à surveiller ou, en d’autres termes, l’intersection entre la trajectoire de l’appareil et la zone à surveiller. Les autres étapes se trouvent le long de la trajectoire à distances égales jusqu’à la fin du plan de vol couvrant la surface à surveiller. Chaque étape contient les informations de sa position et l’historique des horodatages de passage de l’appareil par cette étape.

2. Un système selon la revendication 1 caractérisé par la présence en mémoire de deux tables : une table des nouveaux objets détectés qui contient les objets récemment détectés par la caméra (107) et une table globale de tous les objets détectés depuis le début de la mission. Chaque objet dans la table dispose au moins les attributs de certitude de détection, d’angle, de distance, et le statut d’identification.

3. Une méthode de planification de vol d’un avion sans pilote assurée en partie par une caméra rotative caractérisé par un plan de vol déterminé en partie par l’utilisation des données de la caméra. Ces données étant les informations de détection d’objets ne se trouvant pas uniquement en dessous de l’avion mais également dans l’ensemble du champ visuel de la caméra à 360°.

4. Une méthode selon la revendication 3 caractérisée par les étapes suivantes :

Etape (1 ) : La caméra rotative (107) fait une rotation continue ou discrète pour effectuer des captures de photos couvrant l’ensemble du champ de vision à 360° autours de l’appareil (100). Le processeur embarqué exécute un programme qui traite les photos capturées pour détecter des objets (106) avec un indice de certitude ;

Etape (2) : Le processeur exécute alors un programme qui détermine l’angle de chaque objet (106) détecté par rapport à l’avion sans pilote (100) dans un repère sphérique centré sur ce dernier (100), en se basant sur : l’orientation de la caméra (107), l’emplacement de l’objet dans la photo capturée et l’attitude de l’avion (100). Le processeur exécute ensuite un programme qui estime la distance de chaque objet (106) détecté par rapport à l’avion sans pilote (100) ;

Etape (3) : Ces attributs qui incluent au moins la certitude, l’angle, la distance, et le statut d’identification (déjà identifié ou pas), sont associées à chaque objet détecté par la caméra. Ces objets détectés sont alors enregistrés dans une table des nouveaux objets.

Etape (4) : Le processeur exécute ensuite une comparaison entre les attributs des objets de la table des nouveaux objets et les attributs des objets d’une table globale de tous les objets. Cette dernière contient des informations sur tous les objets détectés depuis le début de la mission. Les nouveaux objets détectés déjà présents dans la table globale sont mis à jour dans la table de tous les objets en mettant à jour leurs attributs.

Etape (5) : Les objets présents dans la table globale non encore identifiés sont triés dans une queue selon un facteur basé sur la certitude de détection et la distance estimée.

Etape (6) : Si aucun objet non identifié n’est présent dans la table globale, un plan de vol (102) est calculé pour couvrir l’ensemble des étapes en commençant par celles qui n’ont pas d’horodatage, puis celles ayant le plus ancien horodatage en gardant l’ordonnancement de la trajectoire initiale lorsque les horodatages sont égaux.

Etape (7) Sinon, si au moins un objet non identifié est présent dans la table globale, et toujours présent dans la table des nouveaux objets (toujours dans le champ de vision), alors un plan de vol (109) est calculé pour atteindre les objets dans l’ordre de tri de la queue. S’il s’avère que l’objet se retrouve en dessous de l’avion, le processus d’identification par la première caméra (103) est initié et l’attribut d’identification de l’objet est mis à jour.

Une nouvelle rotation de la caméra à 360° est reprise et le processus de détection est relancé à l’étape (1).