WO2022083830A1 - Kamerasystem zur umfelderfassung für ein fahrzeug - Google Patents

Kamerasystem zur umfelderfassung für ein fahrzeug Download PDF

Info

Publication number
WO2022083830A1
WO2022083830A1 PCT/DE2021/200123 DE2021200123W WO2022083830A1 WO 2022083830 A1 WO2022083830 A1 WO 2022083830A1 DE 2021200123 W DE2021200123 W DE 2021200123W WO 2022083830 A1 WO2022083830 A1 WO 2022083830A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
boundary
vehicle body
coordinates
Prior art date
Application number
PCT/DE2021/200123
Other languages
English (en)
French (fr)
Inventor
Andreas Panakos
Markus EICH
Markus Friebe
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2022083830A1 publication Critical patent/WO2022083830A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • Camera system for detecting the surroundings of a vehicle
  • the present invention relates to a camera system or surround view camera system for detecting the surroundings of a vehicle and a method for operating a corresponding camera system, which achieves an improved representation.
  • Driver assistance systems that support the driver in carrying out driving maneuvers.
  • these driver assistance systems also include, in particular, surround view camera systems, which allow the vehicle environment to be displayed to the driver of the vehicle.
  • surround view camera systems generally include a number of vehicle cameras which provide real images of the vehicle environment, which are combined in particular by a data processing unit of the surround view camera system to form an image of the vehicle environment. The image of the vehicle surroundings can then be displayed to the driver on a display unit (such as the display of the navigation system). In this way, the driver can be supported during a vehicle maneuver, for example when reversing the vehicle or during a parking maneuver.
  • a vehicle surround view system with a plurality of cameras is known from EP 2 511 137 B1, with a bowl being created on the basis of the camera images.
  • the shape of the bowl changes gradually changing from an ellipsoidal shape to a curved rectangle at the bottom, with the bottom of the bowl being the area of the vehicle with the smallest circumference, so to speak.
  • the object of the present invention is therefore to provide a camera system and a method for operating a camera system, by means of which an improved representation of the recorded image can be achieved, in particular taking into account the camera-free texture.
  • This can then z. B. can be used to create a bowl or a top view view.
  • this also creates a camera-free texture (outside the camera fields of view, e.g. below the vehicle), which is therefore not captured by the camera images.
  • the camera system can capture this camera-free texture by first capturing the body of the vehicle in at least one of the camera images.
  • boundary points from a vehicle body boundary of the vehicle body can be defined in at least one of the camera images (ie the boundary points are located on the vehicle body boundary, which is determined), with the boundary points then being projected to camera coordinates, which are then based on definable camera parameters in a vehicle coordinate system (i.e. to vehicle coordinates) to determine the boundary of the camera-free texture.
  • the camera system according to the invention, the floor or the camera-free texture can be automatically configured for all vehicle variants.
  • the present invention can be used in any application with surround view camera systems in which “blind” areas (“blind spots”) arise, e.g. B. also in trailer applications.
  • the points of intersection between the camera field of view and the ground plane are preferably determined using the converted camera coordinates.
  • the boundary of the camera-free texture can be determined using the intersection points between the camera field of view and the ground plane.
  • the boundary points can expediently be projected to camera coordinates using an intrinsic camera model.
  • intrinsic parameters are camera parameters that are internally and permanently coupled to a specific camera or digitizing device.
  • extrinsic parameters are camera parameters that are external to the camera and can change in relation to the world view (location/position/orientation of the camera in the world coordinate system). In terms of a camera model, this means that extrinsic parameters define the camera's location and orientation in relation to the worldview.
  • intrinsic parameters enable an assignment between camera coordinates and pixel coordinates in the image or field of view (relationship between camera and image coordinate system), e.g. B. the focal length f and the optical center in the image plane.
  • the camera model is, so to speak, a mapping from world coordinates to image coordinates, which is done using a 3D to 2D transformation.
  • the intrinsic parameters do not depend on the position and orientation of the camera in the world and describe the imaging and the internal geometry of the camera.
  • the camera coordinates can be converted into a vehicle coordinate system using extrinsic camera parameters, i. H. to vehicle coordinates e.g. B. be transformed based on the camera position.
  • the vehicle body is identified using background subtraction and a Gaussian mixture distribution model.
  • background subtraction an image is first recorded as the background or "background", which does not contain the object to be recognized later. The later to The image to be analyzed can then be subtracted from this background image, so that the differences to the background image are available as a result.
  • the vehicle body can also be identified by the color of the vehicle body.
  • the vehicle body boundary can advantageously be defined as a polygon, with the number of polygon points or boundary points being optionally definable. This also allows the detail of the ground plane to be configured by setting the number of boundary points.
  • the present invention also claims a method for operating a camera system for a vehicle, which comprises a plurality of surround view cameras, using the camera images from which a camera texture for the all-round view is created.
  • the method is characterized in particular by the following method steps: identifying the vehicle body and the vehicle body boundary of the vehicle (step 1), defining boundary points from the vehicle body boundary in at least one of the camera images (step 2), projecting the boundary points to camera coordinates (step 3), converting the camera coordinates for each camera using extrinsic camera parameters into a vehicle coordinate system (step 4) and determining the boundary of the camera-free texture using the converted camera coordinates (step 5).
  • FIG. 1 shows a simplified schematic representation of a vehicle with a surround view system according to the invention for generating an image of the vehicle surroundings;
  • FIG. 2 shows a simplified representation of a setup of a virtual bowl
  • FIG. 3 shows a simplified schematic representation of the (vertical) fields of view of one of the surround view cameras and a virtual camera
  • FIG. 4 shows a simplified representation of a virtual vehicle with an associated texture without a camera view
  • FIG. 5 shows a simplified schematic representation of the vehicle with four surround view cameras and the associated camera images
  • FIG. 6 shows a simplified schematic representation of the camera, camera radiation, vehicle and ground plane as well as the prevailing geometric relationships to one another, and
  • FIG. 7 shows a simplified schematic representation of the ground boundary using a simple rectangle (a) and using a polygon with six (b), eighteen (c) and twenty-two (d) polygon points.
  • Reference number 1 in FIG. 1 designates a vehicle with a control device 2 (ECU, Electronic Control Unit or ADCU, Assisted and Automated Driving Control Unit) which can access various actuators (e.g. steering, engine, brakes) of the vehicle 1 , in order to be able to carry out control processes of the vehicle 1 .
  • Vehicle 1 also has a number of surround view cameras or cameras 3a-3d, a camera sensor 4 (or front camera) and a lidar sensor 5 for detecting the surroundings.
  • other sensors such.
  • B. radar or ultrasonic sensors may be provided. The sensor data can then be used for environment and object recognition.
  • various assistance functions such as B.
  • the assistance functions can also be carried out via the control device 2 or a separate control device.
  • the surround view cameras 3a-3d are part of a surround view system, which is preferably controlled by the control device 2 (alternatively, for example, a separate control can be provided), which provides a full 360-degree view around the entire vehicle 1 offers by combining the fields of view of the individual surround view cameras, e.g. B. 120 degrees, are combined to form an overall view or overall picture. Accordingly, the control device 2 is also used for data processing and data evaluation of the surround view system. By simply monitoring the blind spot, this camera system has numerous advantages in many everyday situations.
  • the surround view system allows the driver to see different angles of the vehicle 1, e.g. B. via a display unit (not shown in Fig. 1) being represented.
  • surround-view cameras 3a-3d are used (preferably fish-eye cameras) which, e.g. B. are arranged in the front and rear area and on the side mirrors.
  • surround view cameras preferably fish-eye cameras
  • three, six, eight, ten or more surround view cameras can also be provided. These camera views or perspectives are particularly helpful when checking the blind spot, changing lanes or parking.
  • FIG. 2 shows an example for setting up a virtual bowl 6 which is arranged around a centrally arranged 3D car model 1a.
  • Bowl 6 is divided into different areas (represented by black dividing lines) in order to show the projection areas or textures of the different cameras.
  • 3 shows the setup of a virtual camera 7 for the 3D car model 1a. Due to the camera placement in the real car (represented by the camera 3a in the front area) and the virtual camera 7, the texture under the vehicle area cannot be recorded. This becomes clear from the vertical fields of view of the camera 3a and the virtual camera 7, which are shown in broken lines in FIG.
  • the field of view of the camera 3a intersects the ground plane 8, which establishes or defines the camera boundary and thus establishes or defines a boundary of the camera view-free texture below the vehicle 1 or 1a. Accordingly, there is such a border for each of the cameras (i.e. four borders with four surround view cameras 3a-3d) that define a region below the car without a camera view, which must be artificially filled for the display of the virtual vehicle 1a on the screen. 4 shows the virtual vehicle 1a with the associated camera-free texture 9 or ground boundary, whose boundary points are automatically created in the area of the ground plane (no texture area) according to the prior art.
  • the problem here is that such an area would resemble the shape of the vehicle if z. B. a shadow would appear, e.g. B. if the sun were just above the vehicle. Therefore, according to the prior art, this shape is defined as a rectangle, with the dimensions usually being specified manually in an offline configuration phase.
  • the vehicle body area is identified in each of the four camera images 10a-10d (step 1), e.g. B. by the color scheme.
  • the invention also expressly includes applications in which the vehicle body is not visible or recorded in each of the cameras.
  • the vehicle body region can be identified using different approaches. For example, deep learning or machine learning approaches can be used however, require a large amount of training data to be collected first. Alternatively, an approach that is a combination of background subtraction and a Gaussian Mixture Model (GMM) is preferred here, e.g. B. is used in surveillance cameras.
  • GMM Gaussian Mixture Model
  • points from the vehicle body are selected for the model input of the GMM, since the position can be determined or calculated in a simple manner using the dimensions of the vehicle 1 or the vehicle body and the extrinsic camera parameters.
  • the boundary points for the respective visual range can then be determined from the body or body area of the vehicle 1 in each of the raw camera images (step 2).
  • the segmentation result of the first step is applied by applying a conventional, robust edge detection algorithm in order to determine the boundary of the vehicle body.
  • 5 shows the vehicle 1 with the four schematically illustrated camera images 10a-10d of the four surround view cameras 3a-3d.
  • the vehicle body is characterized as a curved line, as shown by way of example using the vehicle body boundary 11 in the camera image 10d.
  • the sampling points or boundary points 12 are selected by vertical sampling (dashed lines) with the same spacing as the detected edges or boundaries.
  • the boundary points of the raw image coordinates can then be projected (step 3) to camera coordinates using an intrinsic camera model, as shown in FIG.
  • These camera coordinates or camera beams can then be converted into a vehicle coordinate system for each camera using the extrinsic camera parameters (step 4).
  • the crossing or the crossing point of the camera beams with the ground plane can be calculated (step 5).
  • the basic properties of Euclidean geometry can be used for the camera rays up to the ground plane (or up to the intersection with the ground plane), as shown in FIG.
  • A is defined as the center of the camera
  • B as the vertical projection of the camera center onto the ground
  • C as the point where the object touches the ground.
  • the ABC triangle formed from the points is a scaled version of the Abc triangle, where b is the height of the normalized camera ray and c is the z-coordinate of the normalized ray.
  • the ground or ground boundary can also be defined as a polygon that resembles or is based on the shape of the vehicle.
  • the number of polygon points can be configured or optionally specified. The more polygon points that are selected, the more detailed the boundary estimate of the ground plane, as shown in Figure 7 by the individual plots (a)-(d) with increasing number of polygon points.
  • This method can be carried out automatically (e.g. by the control unit) and does not require any additional information apart from the camera parameters and the real dimensions of the vehicle body. The method can be designed in such a way that it is executed offline.
  • An additional technical feature can be the areas of the vehicle's wheels (Fig.
  • the occlusal surface can be calculated for each steering angle, so that the mean soil shape can be dynamically adjusted using the steering wheel angle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Kamerasystem zur Umfelderfassung für ein Fahrzeug (1), umfassend mehrere Kameras (3a- 3d), welche jeweils ein Kamerabild (10a-10d) erfassen, wobei eine kamerafreie Textur (9) entsteht, welche nicht durch die Kamerabilder (10a-10d) erfasst wird, und das Kamerasystem derart hergerichtet ist, dass der Fahrzeugkörper des Fahrzeuges (1) in zumindest einem der Kamerabilder (10a-10d) erfasst wird, Grenzpunkte (12) aus einer Fahrzeugkörpergrenze (11) des Fahrzeugkörpers in mindestens einem der Kamerabilder (10a-10d) festgelegt werden, wobei die Grenzpunkte (12) zu Kamerakoordinaten projiziert werden und die Kamerakoordinaten anhand von Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden, um die Begrenzung der kamerafreien Textur (9) zu ermitteln.

Description

Kamerasystem zur Umfelderfassung für ein Fahrzeug
Die vorliegende Erfindung betrifft ein Kamerasystem bzw. Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie ein Verfahren zum Betrieb eines entsprechenden Kamerasystems, durch das eine verbesserte Darstellung erzielt wird.
Technologischer Hintergrund
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasys- tems zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung kann dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver.
Im Bereich der Surroundview-Systeme gibt es Funktionen wie „Bowl“ und „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kame- ras zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt (360° Sicht). Dabei entstehen in der Regel jedoch auch sogenannte kamerafreie Texturen (z. B. unter dem Fahrzeug), die nicht von den Surroundview-Kameras erfasst werden bzw. außerhalb deren Sichtfeld liegen.
Druckschriftlicher Stand der Technik
Aus der EP 2 511 137 B1 Fahrzeug-Surroundview-System mit einer Mehrzahl von Kameras bekannt, wobei anhand der Kamerabilder eine Bowl erstellt wird. Die Form der Bowl ändert sich allmählich von einer ellipsoiden Form zu einem gekrümmten Rechteck am Boden, wobei der Boden der Bowl sozusagen die Fläche des Fahrzeuges mit dem kleinsten Umfang darstellt.
Aufgabe der vorliegenden Erfindung
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Kamerasystem sowie ein Verfahren zum Betrieb eines Kamerasystems zur Verfügung zu stellen, durch das eine verbesserte Darstellung des aufgenommenen Bildes insbesondere unter Berücksichtigung der kamerafreien Textur erzielt werden kann.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Das erfindungsgemäße (Surroundview-) Kamerasystem zur Umfelderfassung für ein Fahrzeug, umfasst mehrere Kameras (insbesondere vier, sechs, acht zehn oder mehr), welche jeweils ein Sichtfeld aufweisen und ein Kamerabild erfassen, wobei aus den Kamerabildern eine, insbesondere gemeinsame, Kameratextur erzeugbar ist. Diese kann dann z. B. zur Erzeugung einer Bowl- oder einer Top-View-Ansicht verwendet werden. Dabei entsteht jedoch auch eine kamerafreie Textur (außerhalb der Kamerasichtfelder, z. B. unterhalb des Fahrzeuges), welche demnach nicht durch die Kamerabilder erfasst wird. Das Kamerasystem kann jedoch diese kamerafreie Textur erfassen, indem zunächst der Fahrzeugkörper des Fahrzeuges in zumindest einem der Kamerabilder erfasst wird. Voraussetzung hierbei ist, dass die Fahrzeugkarosserie bzw. der Fahrzeugkörper in zumindest einem der Kamerabilder, vorzugsweise in mehreren bzw. allen, sichtbar ist, was in der Regel durch die Ausgestaltung der Kameras als Fischaugenkameras gegeben ist. Im Anschluss daran können Grenzpunkte aus einer Fahrzeugkörpergrenze des Fahrzeugkörpers in mindestens einem der Kamerabilder festgelegt werden (d. h. die Grenzpunkte befinden sich auf der Fahrzeugkörpergrenze, welche ermittelt wird), wobei die Grenzpunkte dann zu Kamerakoordinaten projiziert werden, die dann anhand von festlegbaren Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden (d. h. zu Fahrzeugkoordinaten), um die Begrenzung der kamerafreien Textur zu ermitteln. Durch das erfindungsgemäße Kamerasystem kann der Boden bzw. die kamerafreie Textur für alle Fahrzeugvarianten automatisch konfiguriert werden. Die vorliegende Erfindung kann dabei in jeder Anwendung mit Surroundview-Kamerasystemen eingesetzt werden, bei denen „blinde“ Bereiche („Blindspots“) entstehen, z. B. auch bei Trailer-Anwendungen.
Vorzugsweise werden die Schnittpunkte zwischen Kamerasichtfeld und Bodenebene anhand der konvertierten Kamerakoordinaten ermittelt.
Gemäß einer bevorzugten Ausgestaltung der Erfindung kann die Begrenzung der kamerafreien Textur anhand der Schnittpunkte zwischen Kamerasichtfeld und Bodenebene ermittelt werden.
Zweckmäßigerweise können die Grenzpunkte anhand eines intrinsischen Kameramodells zu Kamerakoordinaten projiziert werden. Im Sinne der Erfindung werden unter intrinsischen Parametern Kameraparameter verstanden, die intern und fest an einer bestimmten Kamera- bzw. Digitalisierungseinrichtung gekoppelt sind. Demgegenüber sind extrinsische Parameter Kameraparameter, die kameraextern sind und sich in Bezug auf das Weltbild ändern können (Lage/Position/Ausrichtung der Kamera im Weltkoordinatensystem). In Bezug auf ein Kameramodell bedeutet das, dass extrinsische Parameter den Standort und die Ausrichtung der Kamera in Bezug auf das Weltbild definieren. Demgegenüber ermöglichen intrinsische Parameter eine Zuordnung zwischen Kamerakoordinaten und Pixelkoordinaten im Bild bzw. Sichtfeld (Zusammenhang zwischen Kamera- und Bildkoordinatensystem), z. B. die Brennweite f und das optische Zentrum in der Bildebene. Das Kameramodell ist sozusagen eine Abbildung von Weltkoordinaten auf Bildkoordinaten, wobei dies anhand einer 3D- zu 2D-Transformation erfolgt. Die intrinsischen Parameter hängen dabei nicht von der Position und Orientierung der Kamera in der Welt ab und beschreiben die Abbildung sowie die interne Geometrie der Kamera.
Zweckmäßigerweise können die Kamerakoordinaten anhand von extrinsischen Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden, d. h. zu Fahrzeugkoordinaten z. B. anhand der Kameraposition transformiert werden.
Vorzugsweise wird der Fahrzeugkörper anhand einer Hintergrundsubtraktion und einem Gauß’schen Mischverteilungsmodells identifiziert. Bei einer Hintergrundsubtraktion bzw. „Background substraction“ wird zunächst ein Bild als Hintergrund bzw „Background" aufgenommen, welches das später zu erkennende Objekt nicht enthält. Das spätere zu analysierende Bild kann dann von diesem Hintergrundbild subtrahiert werden, sodass als Ergebnis die Unterschiede zum Hintergrundbild vorliegen.
Alternativ oder zusätzlich kann der Fahrzeugkörper auch durch die Farbe des Fahrzeugkörpers identifiziert werden.
In vorteilhafter Weise kann die Fahrzeugkörpergrenze als Polygon festgelegt werden, wobei die Anzahl der Polygonpunkte bzw. Grenzpunkte wahlweise festlegbar ist. Dadurch kann das Detail der Bodenebene auch durch die Einstellung der Anzahl der Grenzpunkte konfiguriert werden.
Neben- oder Untergeordnet beansprucht die vorliegende Erfindung auch ein Verfahren zum Betrieb eines Kamerasystems für ein Fahrzeug, welches mehrere Surroundview-Kameras umfasst, anhand deren Kamerabildern eine Kameratextur zur Rundumsicht erstellt wird. Das Verfahren ist insbesondere durch folgende Verfahrensschritte gekennzeichnet: Identifizieren des Fahrzeugkörpers und der der Fahrzeugkörpergrenze des Fahrzeuges (Schritt 1), Festlegen von Grenzpunkten aus der Fahrzeugkörpergrenze in mindestens einem der Kamerabilder (Schritt 2), Projizieren der Grenzpunkte zu Kamerakoordinaten (Schritt 3), Konvertieren der Kamerakoordinaten für jede Kamera anhand von extrinsischen Kameraparametern in ein Fahrzeug-Koordinatensystem (Schritt 4) und Ermitteln der Begrenzung der kamerafreien Textur anhand der konvertierten Kamerakoordinaten (Schritt 5).
Beschreibung der Erfindung anhand von Ausführungsbeispielen
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
Fig. 1 eine vereinfachte schematische Darstellung eines Fahrzeuges mit einem erfindungsgemäßen Surroundview-System zur Erzeugung eines Bildes der Fahrzeugumgebung;
Fig. 2 eine vereinfachte Darstellung einer Einrichtung einer virtuellen Bowl;
Fig. 3 eine vereinfachte schematische Darstellung der (vertikalen) Sichtfelder einer der Surroundview-Kameras und einer virtuellen Kamera; Fig. 4 eine vereinfachte Darstellung eines virtuellen Fahrzeuges mit einer dazugehörigen kamerasichtfreien Textur;
Fig. 5 eine vereinfachte schematische Darstellung des Fahrzeuges mit vier Surround- view-Kameras sowie den dazugehörigen Kamerabildern;
Fig. 6 eine vereinfachte schematische Darstellung von Kamera, Kamerastrahlung, Fahrzeug und Bodenebene sowie den dabei herrschenden geometrischen Beziehungen zueinander, sowie
Fig. 7 eine vereinfachte schematische Darstellung der Bodengrenze anhand eines einfachen Rechteckes (a) sowie der anhand eines Polygons mit sechs (b), achtzehn (c) und zweiundzwanzig (d) Polygonpunkten.
Bezugsziffer 1 in Fig. 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, einen Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf. Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Automatic Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.
Die Surroundview-Kameras 3a-3d sind dabei Teil eines Surroundview-Systems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Dementsprechend dient die Steuereinrichtung 2 auch zur Datenverarbeitung und Datenauswertung des Surroundview-Systems. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-System können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in Fig. 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei vier Surroundview-Kameras 3a-3d verwendet (vorzugsweise Fischaugenkameras), die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkel beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
In Fig. 2 ist ein Beispiel für die Einrichtung einer virtuellen Bowl 6 dargestellt, die um einem zentral bzw. mittig angeordneten 3D-Automodell 1a angeordnet ist. Die Bowl 6 ist in verschiedene Bereiche (durch schwarze Trennlinien dargestellt) schematisch unterteilt, um die Projektionsbereiche bzw. Texturen der verschiedenen Kameras darzustellen. In Fig. 3 ist dabei die Einrichtung einer virtuellen Kamera 7 für das 3D-Automodell 1a gezeigt. Aufgrund der Kameraplatzierungen im realen Auto (dargestellt anhand der Kamera 3a im Frontbereich) und der virtuellen Kamera 7, kann die Textur unter den Fahrzeugbereich nicht erfasst werden. Dies wird anhand der vertikalen Sichtfelder der Kamera 3a und der virtuellen Kamera 7 deutlich, die anhand von gestrichelten Linien in Fig. 3 dargestellt sind. Am Punkt K schneidet das Sichtfeld der Kamera 3a die Bodenebene 8, welches die Kameragrenze festlegt bzw. definiert und damit eine Begrenzung der kamerasichtfreien Textur unterhalb des Fahrzeuges 1 bzw. 1a festlegt bzw. definiert. Dementsprechend gibt es für jede der Kameras eine derartige Grenze (d. h. bei vier Surroundview-Kameras 3a-3d vier Grenzen), die eine Region unterhalb des Autos ohne Kamerasicht definieren, die für die Darstellung des virtuellen Fahrzeuges 1a am Bildschirm künstlich gefüllt werden muss. In Fig. 4 ist das virtuelle Fahrzeug 1a mit der dazugehörigen kamerasichtfreien Textur 9 bzw. Bodengrenze schematisch dargestellt, deren Grenzpunkte gemäß dem Stand der T echnik automatisch im Bereich der Grundebene erstellt werden (kein Texturbereich). Problematisch ist hierbei jedoch, dass ein derartiger Bereich der Form des Fahrzeuges ähneln würde, wenn z. B. ein Schatten auftauchen würde, z. B. wenn die Sonne gerade über dem Fahrzeug stehen würde. Daher wird diese Form gemäß Stand der Technik als Rechteck definiert, wobei die Dimensionen in der Regel manuell in einer Offline- Konfigurationsphase vorgegeben werden.
Im Folgenden wird exemplarisch am erfindungsgemäßen Surroundview-Kamerasystem des Fahrzeuges 1 mit vier Surroundview-Kameras 3a-3d beschrieben, wie das Problem der automatischen Entnahme von Grenzpunkten in der Bodenebene gelöst werden kann. Zunächst wird der Fahrzeugkörperbereich in jedem der vier Kamerabilder 10a- 10d identifiziert (Schritt 1), z. B. durch die Farbgebung. Ausdrücklich umfasst sind von der Erfindung auch Applikationen, in denen der Fahrzeugkörper nicht in jeder der Kameras sichtbar ist bzw. erfasst wird. Die Fahrzeugkörperregion lässt sich dabei mit verschiedenen Ansätzen identifizieren. Beispielsweise können Deep-Learning- bzw. Machine-Learning-Ansätze verwendet werden, die jedoch eine große Menge an Schulungsdaten erfordern, die zunächst erfasst werden müssen. Alternativ wird hier ein Ansatz bevorzugt, der eine Kombination aus Hintergrundsubtraktionen und einem Gauß’schen Mischungsverteilungsmodells (Gaussian Mixture Model - GMM) darstellt, und z. B. bei Überwachungskameras angewandt wird. Dabei werden für den Modelleingang des GMM Punkte aus dem Fahrzeugkörper ausgewählt, da die Position anhand der Abmessungen des Fahrzeuges 1 bzw. des Fahrzeugkörpers und der extrinsischen Kameraparametern in einfacher Weise bestimmbar bzw. berechenbar ist. Danach können aus dem Karosserie- bzw. Körperbereich des Fahrzeugs 1 in jedem der rohen Kamerabilder die Grenzpunkte für den jeweiligen Sichtbereich ermittelt werden (Schritt 2). Hierbei wird an das Segmentierungsergebnis des ersten Schritts angesetzt, indem ein herkömmlicher robuster Kantenerkennungsalgorithmus appliziert wird, um die Grenze des Fahrzeugkörpers zu ermitteln. Fig. 5 zeigt hierzu das Fahrzeug 1 mit den vier schematisch dargestellten Kamerabildern 10a-10d der vier Surroundview-Kameras 3a-3d. Der Fahrzeugkörper wird als gekrümmte Linie gekennzeichnet, wie exemplarisch anhand der Fahrzeugkörpergrenze 11 im Kamerabild 10d dargestellt. Die Stichprobenpunkte bzw. Grenzpunkte 12 werden durch vertikale Probenahme (gestrichelte Linien) mit gleichem Abstand wie die erkannten Kanten bzw. Grenzen ausgewählt.
Die Grenzpunkte der rohen Bildkoordinaten können dann zu Kamerakoordinaten unter Verwendung eines intrinsischen Kameramodells („intrinsincs camera model“) projiziert werden (Schritt 3), wie in Fig. 5 dargestellt. Anschließend können diese Kamerakoordinaten bzw. Kamerastrahlen für jede Kamera anhand der extrinsischen Kameraparameter in ein Fahrzeug- Koordinatensystem konvertiert werden (Schritt 4). Im letzten Schritt kann dann die Kreuzung bzw. der Kreuzungspunkt der Kamerastrahlen mit der Bodenebene berechnet werden (Schritt 5). In diesem Schritt können für die Kamerastrahlen bis zur Bodenebene (bzw. bis zur Kreuzung mit der Bodenebene) die grundlegenden Eigenschaften der Euklidischen Geometrie verwendet werden, wie in Fig. 6 dargestellt. Hierbei wird A als Mittelpunkt der Kamera definiert, B als Vertikalprojektion der Kameramitte auf den Boden, und C als der Punkt, an dem das Objekt den Boden berührt. Das aus den Punkten gebildete ABC-Dreieck ist eine skalierte Version des Abc-Dreiecks, wobei b die Höhe der normalisierten Kamerastrahlung und c die z- Koordinate des normalisierten Strahls ist. In Fig. 6 gilt dabei:
D tan (( TC / 2) /?) ■ hcam, wobei bevorzugt
Figure imgf000009_0001
verwendet wird. Hierbei sollte ein zusätzlicher Toleranzwert übergeben werden, um die Prozesssicherheit in Fällen zu gewährleisten, in denen die ermittelten Körpergrenzen oder Kameraparameter nicht genau genug sind.
Alternativ kann auch der Boden bzw. Bodengrenze (oder auch die kamerafreie Textur) als Polygon definiert werden, welches der Fahrzeugform ähnelt oder dieser nachempfunden ist. Die Anzahl der Polygonpunkte ist dabei konfigurierbar bzw. wahlweise festlegbar. Je mehr Polygonpunkte ausgewählt werden, desto detaillierter ist die Grenzschätzung der Bodenebene, wie in Fig. 7 anhand der Einzeldarstellungen (a)-(d) mit zunehmender Polygonpunktanzahl gezeigt. Diese Methode kann automatisch bzw. selbsttätig (z. B. durch die Steuereinheit) erfolgen und erfordert neben den Kameraparametern und den realen Abmessungen des Fahrzeugkörpers keine zusätzlichen Informationen. Die Methode kann dabei derart konzipiert werden, dass sie offline ausgeführt wird. Ein zusätzliches technisches Merkmal können dabei die Bereiche der Räder des Fahrzeugs sein (Fig. 7 (c)-(d)), die sich entsprechend dynamisch verändern können, da die Räder beim Lenken des Fahrzeugs eine Verschließung des Bereichs zwischen dem entsprechenden Kamerasichtfeld und dem Rad bewirken. Ferner kann dabei die Okklusionsfläche für jeden Lenkwinkel berechnet werden, so dass damit die Bodenmittelform dynamisch unter Verwendung des Lenkradwinkels angepasst werden kann.
BEZUGSZEICHENLISTE
1 Fahrzeug
1a Fahrzeugmodell
2 Steuereinrichtung
3a-3d (Surroundview-) Kamera
4 Kamerasensor
5 Lidarsensor
6 Bowl
7 virtuelle Kamera
8 Bodenebene
9 kamerafreie Textur
10a-10d Kamerabild
11 Fahrzeugkörpergrenze
12 Grenzpunkt
K Schnittpunkt Kamerasichtfeld und Bodenebene

Claims

PATENTANSPRÜCHE
1. Kamerasystem zur Umfelderfassung für ein Fahrzeug (1), umfassend mehrere Kameras (3a-3d), welche jeweils ein Kamerabild (10a-10d) erfassen, wobei eine kamerafreie Textur (9) entsteht, welche nicht durch die Kamerabilder (10a- 10d) erfasst wird, und das Kamerasystem derart hergerichtet ist, dass der Fahrzeugkörper des Fahrzeuges (1) in zumindest einem der Kamerabilder (10a-10d) erfasst wird,
Grenzpunkte (12) aus einer Fahrzeugkörpergrenze (11) des Fahrzeugkörpers in mindestens einem der Kamerabilder (10a-10d) festgelegt werden, wobei die Grenzpunkte (12) zu Kamerakoordinaten projiziert werden und die Kamerakoordinaten anhand von Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden, um die Begrenzung der kamerafreien Textur (9) zu ermitteln.
2. Kamerasystem nach Anspruch 1 , dadurch gekennzeichnet, dass anhand der konvertierten Kamerakoordinaten die Schnittpunkte (K) zwischen Kamerasichtfeld und Bodenebene (8) ermittelt werden.
3. Kamerasystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Begrenzung der kamerafreien Textur (9) anhand der Schnittpunkte (K) zwischen Kamerasichtfeld und Bodenebene (8) ermittelt wird.
4. Kamerasystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Grenzpunkte (12) anhand eines intrinsischen Kameramodells zu Kamerakoordinaten projiziert werden.
5. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerakoordinaten anhand von extrinsischen Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden.
6. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fahrzeugkörper anhand einer Hintergrundsubtraktion und einem Gauß’schen Mischverteilungsmodells identifiziert wird.
7. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fahrzeugkörper durch die Farbe des Fahrzeugkörpers identifiziert wird.
8. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrzeugkörpergrenze (11) als Polygon festgelegt wird, wobei die Anzahl der Polygonpunkte wahlweise festlegbar ist.
9. Verfahren zum Betrieb eines Kamerasystems für ein Fahrzeug (1), umfassend mehrere Kameras (3a-3d), anhand deren Kamerabildern (10a-10d) eine Kameratextur erstellt wird, insbesondere nach einem der vorhergehenden Ansprüche, gekennzeichnet durch folgende Verfahrensschritte:
Schritt 1 : Identifizieren des Fahrzeugkörpers und der der Fahrzeugkörpergrenze (11) des Fahrzeuges (1),
Schritt 2: Festlegen von Grenzpunkten (12) aus der Fahrzeugkörpergrenze (11) in mindestens einem der Kamerabilder (10a-10d),
Schritt 3: Projizieren der Grenzpunkte (12) zu Kamerakoordinaten,
Schritt 4: Konvertieren der Kamerakoordinaten für jede Kamera (3a-3d) anhand von extrinsischen Kameraparametern in ein Fahrzeug-Koordinatensystem, und
Schritt 5: Ermitteln der Begrenzung einer kamerafreien Textur (9), anhand der konvertierten Kamerakoordinaten.
PCT/DE2021/200123 2020-10-19 2021-09-15 Kamerasystem zur umfelderfassung für ein fahrzeug WO2022083830A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020213146.5 2020-10-19
DE102020213146.5A DE102020213146B3 (de) 2020-10-19 2020-10-19 Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems

Publications (1)

Publication Number Publication Date
WO2022083830A1 true WO2022083830A1 (de) 2022-04-28

Family

ID=76853755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2021/200123 WO2022083830A1 (de) 2020-10-19 2021-09-15 Kamerasystem zur umfelderfassung für ein fahrzeug

Country Status (2)

Country Link
DE (1) DE102020213146B3 (de)
WO (1) WO2022083830A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578502A (zh) * 2022-11-18 2023-01-06 杭州枕石智能科技有限公司 一种图像生成方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212970A1 (de) 2021-11-18 2023-05-25 Continental Autonomous Mobility Germany GmbH Verfahren und Vorrichtung zum Erzeugen einer Surround-Ansicht, und Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341629A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
US20160284087A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Automatic orientation estimation of camera system relative to vehicle
EP2511137B1 (de) 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Fahrzeug-Surround-Blicksystem
US20200258266A1 (en) * 2016-11-25 2020-08-13 Conti Temic Microelectronic Gmbh Method and Device for Generating a Vehicle Environment View for a Vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511137B1 (de) 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Fahrzeug-Surround-Blicksystem
US20150341629A1 (en) * 2014-05-21 2015-11-26 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
US20160284087A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Automatic orientation estimation of camera system relative to vehicle
US20200258266A1 (en) * 2016-11-25 2020-08-13 Conti Temic Microelectronic Gmbh Method and Device for Generating a Vehicle Environment View for a Vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578502A (zh) * 2022-11-18 2023-01-06 杭州枕石智能科技有限公司 一种图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102020213146B3 (de) 2021-08-05

Similar Documents

Publication Publication Date Title
DE102016220075A1 (de) Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
EP2788245B1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
WO2022083830A1 (de) Kamerasystem zur umfelderfassung für ein fahrzeug
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102019114622A1 (de) Erfassung und planare darstellung dreidimensionaler fahrspuren in einer strassenszene
DE102007019491A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
DE102011087901A1 (de) Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
EP3520023A1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE102017205630A1 (de) Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
DE102018124979A1 (de) Fahrerassistenzsystem zur Bestimmung einer Entfernung zwischen zwei Fahrzeugen mit einer Kamera
DE102013215408A1 (de) Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE102006007550A1 (de) Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
EP4053593A1 (de) Verarbeitung von sensordaten in einem fortbewegungsmittel
DE102022206328B3 (de) Verfahren für ein Kamerasystem sowie Kamerasystem
DE102015112389A1 (de) Verfahren zum Erfassen zumindest eines Objekts auf einer Straße in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
DE102022206782A1 (de) Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
DE102022001653B4 (de) Computer-implementiertes Verfahren zur Bestimmung einer Umfeld-Rekonstruktion, Computerprogramm zur Durchführung eines solchen Verfahrens, Rechenvorrichtung zur Durchführung eines solchen Verfahrens, Analysevorrichtung mit einer solchen Rechenvorrichtung und computer-implementiertes Verfahren zum Trainieren eines computer-implementierten Algorithmus zur Ermittlung einer Tiefeninformation
DE102022002766B4 (de) Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
DE102017214973A1 (de) Verfahren und Vorrichtung zur bildbasierenden Objektidentifikation für ein Fahrzeug
EP4327241A1 (de) Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21790369

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21790369

Country of ref document: EP

Kind code of ref document: A1