WO2021047990A1 - Systeme d' interaction entre un vehicule autonome et un utilisateur vulnerable - Google Patents
Systeme d' interaction entre un vehicule autonome et un utilisateur vulnerable Download PDFInfo
- Publication number
- WO2021047990A1 WO2021047990A1 PCT/EP2020/074614 EP2020074614W WO2021047990A1 WO 2021047990 A1 WO2021047990 A1 WO 2021047990A1 EP 2020074614 W EP2020074614 W EP 2020074614W WO 2021047990 A1 WO2021047990 A1 WO 2021047990A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- display device
- vulnerable
- autonomous
- users
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
- B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
- B60Q1/5037—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/091—Traffic information broadcasting
- G08G1/094—Hardware aspects; Signal processing or signal properties, e.g. frequency bands
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
Système pour mettre en oeuvre une interaction entre un véhicule automobile semi-autonome ou autonome (Vh1) et un utilisateur vulnérable (U1, U2, U3, U4) d'une voie de circulation (9), empruntée par le véhicule automobile et potentiellement traversée par des utilisateurs vulnérables sur un passage (90), les piétons et cyclistes étant considérés comme des utilisateurs vulnérables, ledit système comprenant un capteur d'environnement (3), un calculateur (4) traitant les données reçues du ou des capteur(s) d'environnement, un dispositif d'affichage (1) agencé sur le véhicule et dirigé vers l'extérieur du véhicule, le dispositif d'affichage (1) étant formé comme un bandeau (11) horizontal et occupant une extrémité longitudinale du véhicule, et fournissant aux utilisateurs vulnérables présents dans l'environnement du véhicule à proximité du passage, une indication visuelle à propos de la possibilité ou non pour eux de traverser la chaussée de la voie de circulation, avec soit une indication d'incitation à la traversée ou à l'inverse une indication d'interdiction de traverser, de sorte que les piétons et cyclistes peuvent obtenir une information sans ambiguïté sur la prise en compte de leur présence par le véhicule, le dispositif d'affichage (1) étant en outre configuré pour afficher une représentation de la scène comprenant le passage (90), les utilisateurs (U1, U2, U3, U4) étant représentés symboliquement par des avatars de personnages (51-55), immobiles ou en déplacement, dont la restitution par le dispositif d'affichage (1) est réalisée en temps réel et dont les positions respectives par rapport au passage (90) reflètent la réalité avec un temps de retard inférieur à 1 seconde, de préférence inférieur à 600 ms, et dont le nombre correspond au nombre de personnes effectivement détectées dans l'environnement.
Description
Description
Titre : SYSTÈME D1 INTERACTION ENTRE UN VÉHICULÉ AUTONOME
ET UN UTILISATEUR VULNERABLE
Domaine technique et contexte
[0001] La présente invention est relative aux systèmes d’interaction entre un véhicule autonome (ou semi-autonome ou partiellement autonome) et un ou plusieurs utilisateurs de la chaussée comme par exemple un piéton ou cycliste.
[0002] Des véhicules autonomes ou semi-autonomes sont amenés à se déplacer sur des voies de circulation soit en site propre, soit en site public ouvert.
[0003] Dans les deux cas, ces voies de circulation comportent des passages protégés pour les piétons et autres utilisateurs appelés « utilisateurs vulnérables ». Dans les utilisateurs vulnérables, on inclut les cyclistes, les piétons, adultes ou enfants ou vieillards, utilisateurs de diverses poussettes, trottinettes, planches à roulette, et autres gyropodes, mono-roues, etc.
[0004] La question qui se pose pour un utilisateur vulnérable est de savoir s’il a bien été perçu et pris en compte par le véhicule autonome, et si accessoirement le véhicule autonome va s’arrêter et laisser passer ledit utilisateur vulnérable, lorsque ce dernier s’apprête à traverser la chaussée.
[0005] Il est apparu un besoin pour proposer une solution afin que le véhicule autonome puisse donner un message clair, intuitif et sans ambiguïté à destination du ou des utilisateurs vulnérables, qui reflète les décisions prises par l’électronique embarquée du véhicule (analogue aux intentions d’un conducteur conventionnel).
Résumé
[0006] À cet effet, il est donc proposé un système pour mettre en oeuvre une interaction entre un véhicule automobile semi-autonome ou autonome et au moins un utilisateur vulnérable d’une voie de circulation, empruntée par le véhicule automobile et potentiellement traversée par un utilisateur vulnérable sur un
passage, matérialisé ou non, les piétons et cyclistes étant considérés comme des utilisateurs vulnérables, ledit système comprenant :
[0007] - au moins un capteur d’environnement agencé sur le véhicule,
[0008] - au moins un calculateur à bord du véhicule, traitant les données reçues de l’au moins un capteur d’environnement,
[0009] - au moins un dispositif d’affichage agencé sur le véhicule, et dirigé vers l’extérieur du véhicule, et commandé par le calculateur,
[0010] - le dispositif d’affichage étant formé comme un bandeau horizontal et occupant au moins une extrémité longitudinale du véhicule ;
[0011] - le dispositif d’affichage comprenant une dalle matricielle présentant au moins 4 pixels par cm2,
[0012] - le dispositif d’affichage étant configuré pour fournir aux utilisateurs vulnérables présents dans l’environnement du véhicule à proximité du passage, au moins une indication visuelle à propos de la possibilité ou non pour eux de traverser la chaussée de la voie de circulation, et délivre soit une indication d’incitation à la traversée ou à l’inverse une indication d’interdiction de traverser, de sorte que les piétons et cyclistes peuvent obtenir une information sans ambiguïté sur la prise en compte de leur présence par le véhicule automobile semi-autonome ou autonome.
[0013] C’est en fonction de l’analyse de l’environnement et de la présence d’utilisateurs vulnérables que le véhicule autonome décide le cas échéant de s’arrêter et de céder le passage ou bien de continuer en n’autorisant pas le passage.
[0014] Avantageusement, par analogie avec les signaux pour piétons aux passages protégés classiques, le véhicule autonome ou semi autonome fournit aux utilisateurs vulnérables présents dans l’environnement du véhicule à proximité une indication d’incitation à la traversée ou à l’inverse une indication d’interdiction de traverser, en faisant appel notamment mais non exclusivement à l’utilisation des couleurs conventionnelles (vert, rouge...). Le niveau d’information délivrée pour l’utilisateur vulnérable peut être plus ou moins élaboré comme il sera vu plus
loin. Toutefois, on remarquera que l’information restituée sur le dispositif d’affichage se différencie d’une recopie optique de la scène. Ainsi, un utilisateur vulnérable connaît les intentions du véhicule autonome ou semi autonome et peut franchir la chaussée sereinement devant ledit véhicule.
[0015]
[0016] Dans divers modes de réalisation de l’invention, on peut éventuellement avoir recours en outre à l’une et/ou à l’autre des dispositions ou caractéristiques suivantes, prises isolément ou en combinaison.
[0017] Selon un aspect, le dispositif d’affichage est configuré pour afficher une représentation de la scène comprenant le passage protégé, avec les utilisateurs qui y sont représentés symboliquement par des avatars de personnages, immobiles ou en déplacement. Moyennant quoi, l’utilisateur vulnérable identifie que le véhicule autonome a bien analysé et « compris » la situation telle qu’elle est et a bien pris en compte la présence de cet (ces) utilisateur(s) vulnérable(s). Une telle représentation symbolique de la scène améliore l’intelligibilité du message destiné à l’utilisateur vulnérable, notamment en référence aux mécanismes d’apprentissage qui se déroulent dans l’enfance des sujets, avec l’acquisition de l’identification des personnages y compris le sien, et l’adéquation des images perçues dans un miroir avec des images perçues directement (à la symétrie près). La représentation de la scène par le dispositif d’affichage reproduit en quelque sorte cet effet miroir, ce qui rend le message affiché intuitif et facile à comprendre.
[0018] Selon un aspect, la restitution, par le dispositif d’affichage, de la présence d’un ou plusieurs utilisateurs vulnérables présents dans l’environnement du véhicule à proximité du passage protégé, est réalisée en temps réel et les positions respectives d’avatars représentant les utilisateurs par rapport au du passage protégé, reflètent la réalité avec un temps de retard inférieur à 1 seconde, de préférence inférieur à 600 ms.
[0019] C’est bien une représentation de la scène vécue qui est représentée et cela, en étant perçu en temps réel par l’utilisateur vulnérable, rend plus intuitif la prise de conscience que la prise en compte par l’électronique embarquée du
véhicule être correcte et correspond à la situation vécue par l’utilisateur vulnérable. Cela renforce l’intelligibilité du message.
[0020] Selon un aspect, il est prévu que dans l’animation restituée en temps réel par le dispositif d’affichage, le nombre d’avatars correspond au nombre de personnes effectivement détectées dans l’environnement.
[0021] Ceci renforce la représentativité de la restitution sur le dispositif d’affichage par rapport au monde réel.
[0022] Ainsi, il est plus facile à l’utilisateur vulnérable de reconnaître que c’est bien la scène effectivement vécue qui est représentée symboliquement sur l’afficheur du véhicule.
[0023] Selon un aspect, le bandeau peut occuper sensiblement toute la largeur de la face avant du véhicule et/ou toute la largeur de la face arrière du véhicule. Moyennant quoi, d’une part on dispose d’une surface importante pour afficher un message explicite et d’autre part ce message peut être capté par des utilisateurs vulnérables qui se trouvent de chacun des côtés du véhicule.
[0024] Il n’est pas exclu que le bandeau de l’afficheur se continue latéralement par un retour sur la partie latérale du véhicule de chacun des côtés, on maximise ainsi la visibilité de l’afficheur par les utilisateurs vulnérables à proximité.
[0025] Selon un aspect, le véhicule peut comprendre un dispositif d’affichage sur sa face avant et sur sa face arrière, de préférence sur toute la largeur. Avantageusement, pour un véhicule ayant une direction privilégiée de déplacement, le dispositif d’afficheur sur la face arrière sera destiné aux véhicules qui le suivent pour indiquer par exemple qu’il est déconseillé, voire interdit de dépasser en raison de la traversée de la chaussée par des médiateurs vulnérables devant le véhicule autonome. Par ailleurs, pour les véhicules de type navette à double sens, lorsque le véhicule navette change de direction principale de déplacement le rôle des afficheurs avant et arrière est alors inversé, et on utilise de manière symétrique les deux afficheurs.
[0026] Selon un aspect, le calculateur est configuré pour procéder à une classification des entités perçues par le ou les capteur(s) d’environnement. La classification permet d’identifier et d’isoler des personnages humains ou animaux ;
ladite classification permet à l’inverse d’éliminer des éléments de mobilier urbain tel que des poubelles, des poteaux, des barrières, ainsi que des éléments de végétation comme des arbustes ou équivalent etc.
[0027] Ainsi, la représentation de la scène permet de mettre en avant particulièrement les personnages et de faire abstraction partiellement ou totalement des objets fixes qui n’ont aucunement l’intention de traverser la chaussée.
[0028] Aussi, la représentation de la scène peut mettre en valeur, par une représentation différenciée, la classification des différentes entités par exemple les piétons, les cyclistes, les utilisateurs de trottinette, les utilisateurs de poussette ainsi qu’éventuellement une représentation de la taille des personnages par exemple adultes versus enfants. Il n’est pas exclu de distinguer également le genre des personnages, féminin, masculin voire neutre.
[0029] Les avatars reflètent chaque catégorie d’entité et participent au rendu réaliste et intelligible de l’affichage, mais sans que ce soit pour autant une recopie optique de la scène d’intérêt.
[0030] Selon un autre aspect optionnel, chaque avatar reflétant le type d’utilisateur vulnérable selon la classification peut avoir des caractéristiques représentatives de la classification de l’entité : taille du personnage, sens de déplacement, attitude immobile, petite vitesse, grande vitesse. Les accessoires utilisés par le personnage peuvent aussi être représentés par exemple une bicyclette, une planche à roulette, une poussette, une trottinette, un animal domestique etc.
[0031] Selon un autre aspect optionnel, chaque avatar reflétant chaque utilisateur vulnérable présent dans la scène est représenté substantiellement à la position géographique où il se trouve et ceci au fil du temps et en temps réel. La position au cours du temps des piétons et plus généralement des utilisateurs vulnérables dans la représentation de la scène d’intérêt fait facilement comprendre aux piétons que le véhicule autonome comprend et suit la situation telle qu’elle évolue en temps réel.
[0032] Selon un aspect, le dispositif d’affichage est agencé à une hauteur définie par une ligne basse de l’afficheur se trouvant au-dessus de 1 m du sol et sa ligne haute se trouvant au-dessous de 1 ,40 m par rapport au sol.
[0033] Moyennant quoi, on essaie de se rapprocher au maximum de l’interaction visuelle qui intervient entre un conducteur de véhicule conventionnel et un piéton dans un cas d’une situation conventionnelle d’un véhicule conduit par une personne. Cet agencement en position au-dessus du sol correspondant à la zone d’un visage d’un conducteur conventionnel permet à l’utilisateur vulnérable d’évoluer dans un environnement de circulation mixte avec à la fois des véhicules conventionnels conduits par des conducteurs et des véhicules semi autonomes ou à délégation de conduite avec ou sans conducteur présent.
[0034] Dit autrement, le dispositif d’affichage et localisé dans l’intervalle [1m - 1,4m] ; on remarque que cela facilite la lecture pour la moyenne des utilisateurs et cela procure une analogie avec le cas conventionnel (conducteur personnifié).
[0035] Selon un aspect, le dispositif d’affichage est configuré pour afficher une indication que le véhicule s’apprête à redémarrer et à rouler sur le passage protégé.
[0036] On forme ainsi un avertissement / une notification claire et sans ambiguïté de l’imminence du mouvement du véhicule.
[0037] Selon un aspect optionnel, le capteur d’environnement agencé sur le véhicule est configuré pour capter l’environnement des deux côtés de la chaussée de la voie de circulation vers l’avant et ainsi réagir en fonction de la présence éventuelle d’utilisateurs vulnérables sur chacun des côtés de la chaussée. Autrement dit, le traitement peut être avantageusement symétrique par rapport aux deux côtés de la chaussée.
[0038] Selon un aspect optionnel, le véhicule peut comprendre en outre une source sonore, utilisée en complément du dispositif d’affichage, et commandée par le calculateur.
[0039] Selon un aspect optionnel, le véhicule peut fournir un éclairage du passage, au moyen de projecteurs lumineux par exemple, le cas échéant directionnel, ce
qui peut s’avérer utile en condition nocturne et ce qui renforce la perception et l'intelligibilité du message que l’utilisateur vulnérable reçoit du véhicule autonome.
[0040] On renforce ainsi le message visuel, ce qui représente une certaine utilité notamment pour les utilisateurs vulnérables concentrés sur l’utilisation de leur nez dans leur smartphone® par exemple.
[0041] L’invention concerne également un procédé d’interaction entre un véhicule automobile semi-autonome ou autonome et au moins un utilisateur vulnérable d’une voie de circulation, empruntée par le véhicule automobile et potentiellement traversée par un utilisateur vulnérable sur un passage, matérialisé ou non, les piétons et cyclistes étant considérés comme des utilisateurs vulnérables, ledit véhicule comprenant au moins un capteur d’environnement agencé sur le véhicule, au moins un calculateur à bord du véhicule, au moins un dispositif d’affichage agencé sur le véhicule, et dirigé vers l’extérieur du véhicule, et commandé par le calculateur, le procédé prévoyant que :
- le capteur d’environnement détecte des entités présentes dans l’environnement du véhicule et notamment dans une zone située dans sa direction de déplacement,
- le calculateur procède à une classification des entités en identifiant des utilisateurs vulnérables incluant les piétons et cyclistes et les utilisateurs de trottinette, skateboard, poussette,
[0042] le dispositif d’affichage fournit aux utilisateurs vulnérables présents dans l’environnement du véhicule à proximité du passage au moins une indication visuelle à propos de la possibilité ou non pour eux de traverser la chaussée de la voie de circulation, et délivre soit une indication d’incitation à la traversée ou à l’inverse une indication d’interdiction de traverser.
[0043] Ainsi les piétons et cyclistes peuvent obtenir une information sans ambiguïté sur la prise en compte de leur présence par le véhicule automobile semi-autonome ou autonome
Brève description des dessins
[0044] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
[0045] -la figure 1 est un schéma de principe général d’un mode de réalisation de l’invention,
[0046] -la figure 2 représente un exemple de bloc diagramme concernant l’écran d’affichage principal,
[0047] -la figure 3 représente une vue schématique fonctionnelle concernant l’écran d’affichage principal,
[0048] - la figure 4 illustre deux exemples d’indication pour autoriser la traversée ou à l’inverse interdire la traversée,
[0049] - les figures 5A et 5B illustrent de configuration d’affichage sur le bandeau du dispositif d’affichage avant du véhicule, avec traversée de piétons devant le véhicule,
[0050] - la figure 6 illustre différents types d’avatars représentant des piétons les avatars étant insérés dans la représentation de la scène avec leur position et l’évolution dans le temps de chaque position,
[0051] - la figure 7 illustre l’affichage dispensé vers la fin de la séquence de traversée indiquant que le véhicule va s’apprête à redémarrer,
[0052] - la figure 8 illustre une variante de réalisation particulière, concernant un véhicule autonome de type navette.
Description des modes de réalisation
[0053] Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires.
[0054] En référence à la figure 1, un véhicule automobile semi-autonome ou autonome Vh1 circule sur une voie de circulation 9 qui peut être indifféremment une route ou une rue. Sur la figure 1 , il a été représenté un passage piéton repéré 90, qui dans le cas présent est matérialisé par des traits de peinture au sol (alternance de bandes blanches et noires 92,93). Toutefois, il faut remarquer que dans certains cas, il peut exister des passages pour piétons sans qu’ils soient matérialisés au sol ou bien que la matérialisation prenne une autre forme par exemple des clous, des pseudo-clous, des lignes et/ou des points. Dans certains
cas le passage peut être qualifié de « passage protégé », mais l’invention n’est pas limitée à ce cas-là.
[0055] S’agissant du véhicule, il s’agit d’un véhicule autonome ou semi-autonome ou partiellement autonome, c’est-à-dire qu’en pratique cela peut correspondre à un cas où il n’y a personne qui conduit le véhicule ni personne à un quelconque poste de conduite (véhicule complètement autonome), cela peut aussi correspondre à un cas où il y a quelqu’un au poste de conduite mais qui délègue les fonctions de conduite à des fonctions d’assistance à la conduite réalisée par l’électronique de bord. On note que le niveau de délégation peut évoluer au cours du temps.
[0056] On remarque que l’invention peut s’appliquer également à un véhicule conduit de manière conventionnelle mais avec des vitres teintées rendant impossible le contact visuel entre les piétons et le conducteur.
[0057] Il faut noter que le véhicule en question peut être un véhicule particulier, un minibus, un fourgon, un camion de livraison, un taxi, un robot taxi. Le véhicule en question peut aussi être un tramway, un trolleybus un tram-train etc.
[0058] Le véhicule en question peut être prévu pour se déplacer sur des voies de circulation soit en site propre, soit en site public ouvert, soit dans des situations mixtes où il emprunte des voies en site propre puis des voies en site public ouvert ou inversement.
[0059] Comme il sera vu plus en détail plus loin, le véhicule Vh1 est pourvu d’un dispositif d’affichage 1 à l’avant du véhicule (considérant le sens de déplacement normal) et optionnellement un autre dispositif d’affichage 101 situé à l’arrière du véhicule.
[0060] La voie de circulation peut être à sens unique ou peut être à double sens. Il n’est pas exclu d’avoir plusieurs pistes parallèles dans le même sens ce qui correspond dans le langage courant à une artère de circulation à plusieurs voies multiples parallèles.
[0061] Si on en vient maintenant aux utilisateurs de la voie de circulation, on définit comme « utilisateurs vulnérables » généralement les personnes, présentes qui ne sont pas à bord d’un habitacle de véhicule, la notion de « utilisateurs
vulnérables » inclut les piétons, les cyclistes, adultes ou enfants ou vieillards, utilisateurs de diverses poussettes, trottinettes, planches à roulette, gyropodes, monoroues, etc. La notion de « utilisateurs vulnérables » peut inclure également les animaux domestiques.
[0062] En référence à la figure 1, ont été représentés un piéton U1 situé sur la gauche de la chaussée du point de vue du véhicule, un cycliste U2 s’apprêtant à traverser la chaussée et venant de la gauche, un adulte U4 et un enfant U3 tous deux piétons et s’apprêtant à traverser la chaussée depuis la droite du point de vue du véhicule.
[0063] Le dispositif d’affichage 1 peut se présenter comme illustré à la figure 2 avec un bandeau principal 11 qui s’étend sur toute la largeur du véhicule.
[0064] Dans l’exemple illustré, le dispositif d’affichage 1 est rectangulaire avec un bord inférieur 1a et un bord supérieur 1d.
[0065] Le dispositif d’affichage est agencé au moins sur une extrémité longitudinale du véhicule.
[0066] Il peut être prévu une prolongation latérale 12 sur le côté du véhicule, sur un seul côté ou sur les deux côtés de manière symétrique.
[0067] Le bandeau est horizontal c’est-à-dire qu’il est plus large que haut. Il peut se présenter avec une forme générale rectangulaire
[0068] Les dimensions type du bandeau horizontal sont d’au moins 1,60 m et de largeur 30 cm de hauteur. Généralement la hauteur H1 sera comprise dans un intervalle [20cm - 40cm] Généralement la largeur L1 sera comprise dans un intervalle [140cm - 200cm]
[0069] La prolongation latérale 12 peut avoir la même hauteur, voire une hauteur supérieure, elle peut présenter une longueur dans la direction longitudinale comprise entre 20 et 50 centimètres.
[0070] La position en hauteur du dispositif d’affichage est définie par une ligne basse de l’afficheur se trouvant au-dessus de 0,9 m du sol et sa ligne haute se trouvant au-dessous de 1,50 m par rapport au sol. Dit autrement, le dispositif d’affichage et localisé dans l’intervalle [0,9 m - 1,5 m].
[0071] Le dispositif d’affichage comprend une dalle matricielle dont la résolution est au minimum de 4 pixels par cm2, 25 pixels par pouce carré. Bien entendu, une résolution supérieure est tout à fait possible.
[0072] Le dispositif d’affichage peut se présenter comme une matrice de Leds, soit une matrice de Leds multicolores soit des matrices entrelacées de Leds monochromes. On peut utiliser les couleurs primaires comme base pour générer notamment les couleurs rouge et verte mais aussi d’autres couleurs supplémentaires.
[0073] Le véhicule est équipé d’un ou plusieurs capteur(s) d’environnement 3. S’agissant du capteur d’environnement, il peut s’agir d’un capteur Lidar, par exemple avec une couverture de 360° ; il peut s’agir d’un radar ; il peut s’agir d’une caméra 3D ; il peut s’agir d’une caméra temps de vol (TOF’) ; il peut s’agir d’une combinaison de plusieurs capteurs.
[0074] En complément, il est envisagé d’utiliser une caméra infrarouge qui permet de détecter la température de chaque source et en particulier facilite la classification des entités pour extraire des êtres vivants parmi l’environnement
[0075] Sur la figure 1, on a par exemple représenté un capteur central 3 agencé sur le pavillon du véhicule par exemple de type Lidar 360°. En complément, il est prévu un autre capteur 31 sur l’avant du véhicule choisi parmi les technologies listées ci-dessus. En complément, il est prévu un autre capteur 32 sur l’arrière du véhicule choisi parmi les technologies listées ci-dessus.
[0076] Selon une autre configuration illustrée la figure 8, il peut être prévu un capteur 3 situé en zone supérieure de la partie frontale du véhicule, et des capteurs 31,32 agencés dans le pare-choc du véhicule, chacun de ces capteurs pouvant être d’un type quelconque précité.
[0077]
[0078] Le véhicule comprend au moins un calculateur noté 4, ledit calculateur peut aussi être appelé ‘unité de commande électronique’ (‘UCE’).
[0079] Le calculateur 4 traite les données reçues du ou des capteurs d’environnement et procède à une ou plusieurs opérations de classification des
entités qui sont détectées sur les images ou plus généralement les données reçues à partir des capteurs.
[0080] En particulier, il est prévu un algorithme qui permet d’extraire, à partir des données ou images reçues des capteurs, des entités correspondant à des êtres vivants personnes ou animaux dans l’environnement immédiat du véhicule.
[0081] La classification des entités peut faire appel à de l’analyse de contenu d’images et/ou à de l’analyse spectrale.
[0082] Certains éléments peuvent donner lieu à une reconnaissance plus aisée comme des roues de vélo ou de poussettes, on reconnaît en effet une ellipse continue ou discontinue (plusieurs arcs d’ellipse).
[0083] La classification des entités peut faire appel en outre à une analyse de mouvement, pour identifier notamment des mouvements de personnes dans les données ou images reçues des capteurs.
[0084] Après analyse des données reçues des capteurs, s’il est déterminé qu’un ou plusieurs utilisateurs vulnérables s’apprêtent à traverser la chaussée, le calculateur peut décider d’arrêter le véhicule autonome et de céder le passage pour la traversée des utilisateurs vulnérables.
[0085] On note que l’analyse et la classification se poursuivent en continu dans les conditions où le véhicule a décidé de s’arrêter pour laisser traverser les piétons.
[0086] On note que l’analyse et la classification se poursuivent pendant que des utilisateurs vulnérables traversent la chaussée.
[0087]
[0088] Le dispositif d’affichage 1 est configuré pour fournir aux utilisateurs vulnérables présents dans l’environnement du véhicule à proximité du passage protégé, au moins une indication visuelle à propos de la possibilité ou non pour eux de traverser la chaussée de la voie de circulation, et délivre soit une indication d’incitation à la traversée ou à l’inverse une indication d’interdiction de traverser.
[0089] Particulièrement, l’indication visuelle peut utiliser un code couleur conventionnel à savoir le vert pour notifier une incitation à traverser et le rouge pour notifier une interdiction de traverser.
[0090] L’indication visuelle peut en particulier reprendre tout ou partie des pictogrammes utilisés habituellement à l’endroit des passages pour piétons à savoir un pictogramme d’incitation à traverser de couleur verte, illustré par le repère 21 à la figure 4, et un pictogramme d’interdiction de traverser de couleur rouge illustré par le repère 22 à la figure 4. La couleur orange peut également être utilisée pour les pictogrammes. Il n’est pas non plus exclu d’utiliser des effets de changements de couleur parmi les couleurs ci-dessus ou bien encore d’autres couleurs.
[0091] Les pictogrammes conventionnels 21, 22 peuvent notamment être affichés sur les prolongations latérales 12 du dispositif d’affichage, comme par analogie avec les pictogrammes des passages pour les piétons.
[0092]
[0093] La mise à jour de l’affichage est effectuée en temps réel, en fonction du flux d’informations reçues des capteurs d’environnement.
[0094] Le dispositif d’affichage est configuré pour afficher une représentation de la scène comprenant le passage protégé, comme illustré aux figures 5A, 5B et 7, avec les utilisateurs qui y sont représentés symboliquement par des avatars de personnages, immobiles ou en déplacement.
[0095] Chaque avatar reflétant le type d’utilisateur vulnérable selon la classification peut avoir des caractéristiques représentatives de la classification de l’entité : taille du personnage, sens de déplacement, attitude immobile, petite vitesse, grande vitesse. Les accessoires utilisés par le personnage peuvent aussi être représentés par exemple une bicyclette, une planche à roulette, une poussette, une trottinette, un animal domestique.
[0096] Plus précisément, comme illustré à la figure 6, la posture et la taille des avatars représentés reflète la présence et la posture des personnes réellement présentes à proximité du véhicule, par exemple un adulte en posture immobile 51 un enfant en posture immobile 52 deux adultes traversant ensemble 53, 54 un adolescent en marche 55.
[0097] Sur les figures 5A et 5B, les avatars de personnages prennent la forme de cylindres 50.
[0098]
[0099] Le calculateur 4 peut accéder à des bases de données cartographiques qui lui permettent de connaître la position des passages protégés répertoriés, sans que cela ne constitue une liste limitative pour autant. Ainsi, le niveau de filtrage pratiqué par le calculateur au regard des entités humaines ou animales classifiées peut dépendre de l’existence ou non d’un passage protégé répertorié ; en pratique la décision de s’arrêter pour laisser passer des piétons sera favorisée à l’endroit des passages protégés répertoriés.
[0100] Dans le cas où aucun piéton ne traverse malgré la présence d’entités classifiées comme des personnes sur les bas-côtés de la chaussée, le véhicule autonome rebasculera du message incitation à traverser vers un message interdiction de traverser et/ou un message indiquant que le véhicule s’apprête à redémarrer.
[0101]
[0102] Comme illustré à la figure 3, le calculateur 4 reçoit en continu un flux de données en provenance du ou des capteurs d’environnement 3,31,32, via un réseau local embarqué ou en mode sans fil, et il est relié à un ou aux afficheur(s) via un réseau local embarqué ou en mode sans fil.
[0103]
[0104] De plus, il peut être prévu une source sonore, utilisée en complément du dispositif d’affichage, et commandée par le calculateur, pour permettre de renforcer le niveau d’information des utilisateurs ce qui vient en complément d’une information purement visuelle qui pourrait être insuffisante pour certains utilisateurs vulnérables concentrés sur l’utilisation de leur smartphone®.
[0105] De plus, il peut être prévu une source lumineuse sur le véhicule, utilisée en complément du dispositif d’affichage, et commandée par le calculateur 4, pour permettre d’éclairer le passage, matérialisé ou non au sol, pour renforcer la perception et l’intelligibilité du message donné par le dispositif d’affichage à l’utilisateur vulnérable qui traverse ou s’apprête à traverser la chaussée.
[0106] On remarque que le véhicule semi autonome ou autonome, lorsqu’il s’arrête pour laisser traverser les piétons, respecte une distance de garde notée DG, par rapport au passage matérialisé, comme ceci est illustré aux figures 5A et 5B. La distance de garde DG peut être paramétrable entre 1 m et 3 m, la distance de garde peut aussi dépendre des circonstances, par exemple s’il fait jour ou nuit, du type de voie de circulation, de la classification des utilisateurs vulnérables repérés.
[0107] En référence à la figure 8, la façade frontale du véhicule est quasiment verticale avec en partant du bas vers le haut un pare-choc en partie basse, puis une zone de carrosserie frontale, puis le bandeau principal 11 de l’afficheur, puis un vitrage 18, au-dessus duquel se trouve un des capteurs 3.
[0108] On remarque que les prolongations latérales 12 sur le côté du véhicule ont une position légèrement plus haute que le bandeau central frontal 11. Par exemple les prolongations latérales 12 s’étendent chacune dans la direction longitudinale sur au moins 30 cm, et sur une hauteur de 25 à 40 cm.
[0109] Dans l’exemple illustré, le dispositif d’affichage est continu, c’est-à-dire qu’il n’y a pas d’interruption entre les prolongations latérales 12 et le bandeau central frontal 11, ce qui permet de faire déplacer un avatar en continu d’un côté jusqu’à l’autre côté sans point singulier, comme lorsque l’utilisateur vulnérable traverse. Il n’est toutefois pas exclu d’avoir un bandeau frontal et des afficheurs latéraux qui ne soient pas directement la prolongation du bandeau frontal.
Claims
[Revendication 1] Système pour mettre en œuvre une interaction entre un véhicule automobile semi-autonome ou autonome (Vh1) et au moins un utilisateur vulnérable (111,112,113) d’une voie de circulation (9), empruntée par le véhicule automobile et potentiellement traversée par un utilisateur vulnérable sur un passage (90), matérialisé ou non, les piétons et cyclistes étant considérés comme des utilisateurs vulnérables, ledit système comprenant :
- au moins un capteur d’environnement (3) agencé sur le véhicule,
- au moins un calculateur (4) à bord du véhicule, traitant les données reçues de l’au moins un capteur d’environnement,
- au moins un dispositif d’affichage (1) agencé sur le véhicule, et dirigé vers l’extérieur du véhicule, et commandé par le calculateur, caractérisé en ce que :
- le dispositif d’affichage étant formé comme un bandeau horizontal et occupant au moins une extrémité longitudinale du véhicule;
- le dispositif d’affichage comprenant une dalle matricielle présentant au moins 4 pixels par cm2,
- le dispositif d’affichage étant configuré pour fournir aux utilisateurs vulnérables présents dans l’environnement du véhicule à proximité du passage, au moins une indication visuelle à propos de la possibilité ou non pour eux de traverser la chaussée de la voie de circulation, et délivre soit une indication d’incitation à la traversée ou à l’inverse une indication d’interdiction de traverser, de sorte que les piétons et cyclistes peuvent obtenir une information sans ambiguïté sur la prise en compte de leur présence par le véhicule automobile semi-autonome ou autonome, le dispositif d’affichage étant en outre configuré pour afficher une représentation de la scène comprenant le passage, les utilisateurs étant représentés symboliquement par des avatars de personnages, immobiles ou en déplacement, dont la restitution par le dispositif d’affichage est réalisée en temps réel et dont les positions respectives par rapport au passage protégé reflètent la réalité avec un temps de retard inférieur à 1 seconde de préférence inférieur à 600 ms, et dont le nombre correspond au nombre de personnes effectivement détectées dans l’environnement.
[Revendication 2] Système selon la revendication 1 , dans lequel le bandeau occupe sensiblement toute la largeur de la face avant du véhicule et/ou toute la largeur de la face arrière du véhicule.
[Revendication 3] Système selon l’une quelconque des revendications 1 à 2, dans lequel le véhicule comprend un dispositif d’affichage sur sa face avant et sur sa face arrière, de préférence sur toute la largeur.
[Revendication 4] Système selon l'une quelconque des revendications 1 à 3, dans lequel le calculateur est configuré pour procéder à une classification des entités perçues par le ou les capteur(s) d’environnement.
[Revendication 5] Système selon l'une quelconque des revendications 1 à 4, dans lequel le dispositif d’affichage est agencé à une hauteur définie par une ligne basse de l’afficheur se trouvant au-dessus de 1 m du sol et sa ligne haute se trouvant au-dessous de 1 ,40 m par rapport au sol.
[Revendication 6] Système selon l'une quelconque des revendications 1 à 5, dans lequel le dispositif d’affichage est configuré pour afficher une indication que le véhicule s’apprête à redémarrer et à rouler sur le passage protégé.
[Revendication 7] Véhicule comprenant un système selon l'une des revendications précédentes.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/631,720 US11727809B2 (en) | 2019-09-11 | 2020-09-03 | System for interaction between an autonomous vehicle and a vulnerable user |
| CN202080063482.9A CN114340951A (zh) | 2019-09-11 | 2020-09-03 | 自动驾驶车辆与弱势使用者之间的交互系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FRFR1909995 | 2019-09-11 | ||
| FR1909995A FR3100495A1 (fr) | 2019-09-11 | 2019-09-11 | Système d’interaction entre un véhicule autonome et un piéton ou cycliste |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021047990A1 true WO2021047990A1 (fr) | 2021-03-18 |
Family
ID=69104632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2020/074614 WO2021047990A1 (fr) | 2019-09-11 | 2020-09-03 | Systeme d' interaction entre un vehicule autonome et un utilisateur vulnerable |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11727809B2 (fr) |
| CN (1) | CN114340951A (fr) |
| FR (1) | FR3100495A1 (fr) |
| WO (1) | WO2021047990A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3130708A1 (fr) * | 2021-12-21 | 2023-06-23 | Renault Sas | Agencement comprenant une caisse et un dispositif d’affichage |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220179432A1 (en) * | 2020-12-09 | 2022-06-09 | Florida Atlantic University Board Of Trustees | Active occupant status and vehicle operational status warning system and methods |
| US20220319308A1 (en) * | 2021-03-31 | 2022-10-06 | Honda Motor Co., Ltd. | Smart traffic assistant systems and methods |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2531084A (en) * | 2014-12-22 | 2016-04-13 | Daimler Ag | Vehicle configured for autonomous driving and method for operating a vehicle |
| EP3216653A1 (fr) * | 2016-03-10 | 2017-09-13 | Panasonic Intellectual Property Corporation of America | Appareil de présentation de résultat de reconnaissance de cible de reconnaissance |
| DE102016014712A1 (de) * | 2016-12-09 | 2018-06-14 | Daimler Ag | Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung |
| EP3357754A1 (fr) * | 2015-09-30 | 2018-08-08 | Nissan Motor Co., Ltd. | Système d'affichage d'état de véhicule |
| EP3369616A1 (fr) * | 2015-10-27 | 2018-09-05 | Koito Manufacturing Co., Ltd. | Phare de vehicule |
| US20190236938A1 (en) * | 2018-01-26 | 2019-08-01 | Ford Global Technologies, Llc | Multipurpose vehicle lighting |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9196164B1 (en) | 2012-09-27 | 2015-11-24 | Google Inc. | Pedestrian notifications |
| KR102648812B1 (ko) * | 2016-12-15 | 2024-03-19 | 현대자동차주식회사 | 차량 및 그의 보행자 감지 알림 방법 |
| US10261513B2 (en) * | 2016-12-19 | 2019-04-16 | drive.ai Inc. | Methods for communicating state, intent, and context of an autonomous vehicle |
| US11900835B2 (en) | 2018-11-27 | 2024-02-13 | Koito Manufacturing Co., Ltd. | Vehicular display device |
-
2019
- 2019-09-11 FR FR1909995A patent/FR3100495A1/fr active Pending
-
2020
- 2020-09-03 US US17/631,720 patent/US11727809B2/en active Active
- 2020-09-03 CN CN202080063482.9A patent/CN114340951A/zh active Pending
- 2020-09-03 WO PCT/EP2020/074614 patent/WO2021047990A1/fr active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2531084A (en) * | 2014-12-22 | 2016-04-13 | Daimler Ag | Vehicle configured for autonomous driving and method for operating a vehicle |
| EP3357754A1 (fr) * | 2015-09-30 | 2018-08-08 | Nissan Motor Co., Ltd. | Système d'affichage d'état de véhicule |
| EP3369616A1 (fr) * | 2015-10-27 | 2018-09-05 | Koito Manufacturing Co., Ltd. | Phare de vehicule |
| EP3216653A1 (fr) * | 2016-03-10 | 2017-09-13 | Panasonic Intellectual Property Corporation of America | Appareil de présentation de résultat de reconnaissance de cible de reconnaissance |
| DE102016014712A1 (de) * | 2016-12-09 | 2018-06-14 | Daimler Ag | Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung |
| US20190236938A1 (en) * | 2018-01-26 | 2019-08-01 | Ford Global Technologies, Llc | Multipurpose vehicle lighting |
Non-Patent Citations (1)
| Title |
|---|
| HYUNDAI: "Hyundai Mobis Future Autonomous Driving M.VISION | 2019 CES", YOUTUBE, 29 January 2019 (2019-01-29), pages 1, XP054979598, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=eaibky5EhwM&feature=youtu.be> [retrieved on 20190813] * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3130708A1 (fr) * | 2021-12-21 | 2023-06-23 | Renault Sas | Agencement comprenant une caisse et un dispositif d’affichage |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114340951A (zh) | 2022-04-12 |
| US11727809B2 (en) | 2023-08-15 |
| FR3100495A1 (fr) | 2021-03-12 |
| US20220281381A1 (en) | 2022-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021047990A1 (fr) | Systeme d' interaction entre un vehicule autonome et un utilisateur vulnerable | |
| JP6860763B2 (ja) | 運転支援装置、及び該運転支援装置を備える車両 | |
| EP3306592B1 (fr) | Procédé de projection d'une image par un système de projection d'un véhicule automobile, et système de projection associé | |
| KR102046468B1 (ko) | 차량용 사이드 미러 | |
| US20160162747A1 (en) | Vehicle vision system with retroreflector pattern recognition | |
| FR3030396A1 (fr) | Procede de gestion d'un vehicule autonome ou partiellement autonome et dispositif de signalisation pour sa mise en oeuvre | |
| EP3300942A1 (fr) | Procédé de projection d'images par un système de projection d'un véhicule automobile, et système de projection associé | |
| US20190256162A1 (en) | Bicycle safety apparatus and methods | |
| US20130060642A1 (en) | Smart Electronic Roadside Billboard | |
| US11887380B1 (en) | Sidewalk detection for pedestrian behavior modeling | |
| FR2794271A1 (fr) | Systeme pour ameliorer la securite du trafic de vehicules | |
| EP1351207A1 (fr) | Mobilier urbain de sécurité routière | |
| FR3077785A1 (fr) | Système d’éclairage de véhicule et véhicule | |
| EP1431918B1 (fr) | Procédé de détection de virages sur une route et système de mise en oeuvre | |
| FR2890188A1 (fr) | Systeme de vision nocturne, dans lequel l'environnement est enregistre au moyen d'un dispositif d'enregistrement et au moins represente partiellement au moyen d'un affichage. | |
| FR3056801A1 (fr) | Dispositif d'alerte lumineux pour vehicule automobile autonome | |
| JP2019032739A (ja) | 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等 | |
| BE1022201B1 (fr) | Procédé et dispositif de reproduction d'information | |
| GB2589155A (en) | Bicycle safety apparatus and methods | |
| EP1840860A1 (fr) | Procédé et système de détection de la circulation d'un véhicule à contresens au moyen d'un détecteur à formation d'images | |
| FR2994758A1 (fr) | Procede pour eviter une collision ou reduire les dommages en cas d'accidents ainsi que systeme d'assistance de conduite pour la mise en oeuvre du procede | |
| WO2021047991A1 (fr) | Système d'interaction entre un véhicule autonome et un piéton ou cycliste daltonien | |
| FR3075141A1 (fr) | Ensemble de siege de vehicule avec fonctions d'aide a la conduite | |
| FR3056773A1 (fr) | Dispositif d'aide a la conduite d'un vehicule automobile | |
| WO2019233804A1 (fr) | Dispositif d'affichage pour l'aide à la conduite |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20764125 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20764125 Country of ref document: EP Kind code of ref document: A1 |