WO2023227508A1 - Infrastrukturvorrichtung zur führung eines fahrzeugs - Google Patents

Infrastrukturvorrichtung zur führung eines fahrzeugs Download PDF

Info

Publication number
WO2023227508A1
WO2023227508A1 PCT/EP2023/063610 EP2023063610W WO2023227508A1 WO 2023227508 A1 WO2023227508 A1 WO 2023227508A1 EP 2023063610 W EP2023063610 W EP 2023063610W WO 2023227508 A1 WO2023227508 A1 WO 2023227508A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
infrastructure device
camera
computing unit
drivable area
Prior art date
Application number
PCT/EP2023/063610
Other languages
English (en)
French (fr)
Inventor
Joerg Schrepfer
Maximilian Poepperl
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2023227508A1 publication Critical patent/WO2023227508A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Definitions

  • the present invention relates to an infrastructure device for at least partially automatic guidance of a vehicle within a predetermined drivable area and to methods for operating such an infrastructure device.
  • the sensor data generated by the vehicle's diverse sensor systems is used as a basis for localization, trajectory planning, object recognition and other tasks and functions.
  • infrastructure systems are used that have a large number of sensor nodes have, each of the sensor nodes having one or more environmental sensor systems, in particular cameras.
  • a given accessible area can then, for example, be completely visible and monitored by the large number of sensor nodes. Based on the sensor data generated in this way, the respective vehicle can be located and guided.
  • Cameras can be used as environment sensor systems for the individual sensor nodes, in particular wide-angle cameras or fisheye cameras with a very large detectable angular range, in particular vertical angular range.
  • a disadvantage of such cameras is that they are not suitable or only suitable to a very limited extent for estimating distances, especially at comparatively large distances from the vehicle to be localized.
  • a camera that is not specifically designed as a 3D camera or stereo camera does not allow direct distance measurement. This is particularly disadvantageous if the vehicle to be localized is located far away from the corresponding sensor node.
  • the invention is based on the idea of equipping an infrastructure device with both a camera and a lidar system and arranging the lidar system with respect to the drivable area in such a way that a maximum distance of a position in the drivable area that can be detected by the lidar system is greater than a predetermined limit value.
  • an infrastructure device for at least partially automatic guidance, preferably for fully automatic guidance, of a vehicle within a predetermined drivable area, in particular an area that can be driven by the vehicle is specified.
  • the infrastructure device contains a camera that is set up to generate a camera image that depicts a first field of view of the camera.
  • the infrastructure device also contains a lidar system that is set up to generate lidar sensor data that represent, in particular image, a second field of view of the lidar system.
  • a first portion of the drivable area lies within the first field of view and a second portion of the drivable area lies within the second field of view.
  • the lidar system is arranged in such a way, in particular with regard to the drivable area, that a maximum distance of the second partial area from the lidar system is greater than a predetermined first limit value.
  • the infrastructure device has at least one computing unit that is set up to receive input data, in particular from the camera and the lidar system, the input data containing the at least one camera image and the input data containing the lidar sensor data.
  • the at least one computing unit is set up to locate a vehicle within the drivable area based on at least part of the input data, in particular based on at least part of the at least one camera image and/or the lidar sensor data.
  • Localizing the vehicle includes, in particular, determining a position and/or orientation of the vehicle within the drivable area, in particular in a predetermined reference coordinate system, which is, for example, rigidly connected to the drivable area.
  • the infrastructure device is located completely outside or external to the vehicle. The infrastructure device is therefore not only suitable for at least partially automatically driving a single vehicle, but can locate several vehicles, if necessary also at the same time. In particular, neither the camera nor the lidar system is mounted on or in the vehicle.
  • both the camera and the lidar system are firmly mounted with respect to the drivable area, which in various embodiments can also include, for example, the possibility of panning, tilting and / or tilting the camera or the lidar sensor system, so that the first and / or the second field of view can be modified if necessary.
  • the first and second subregions are to be understood, for example, in such a way that they result for any constant setting of the first and/or second field of view.
  • the at least one computing unit is also at least one vehicle-external computing unit of the infrastructure system.
  • the at least one computing unit is coupled or connected wirelessly and/or wired to the lidar system and the camera in order to receive the input data.
  • the infrastructure device can contain one or more further environmental sensor systems, for example one or more further cameras and/or one or more lidar systems, whose respective fields of view also lie at least partially in the drivable area or cover a corresponding sub-area of the drivable area or can depict.
  • further environmental sensor systems for example one or more further cameras and/or one or more lidar systems, whose respective fields of view also lie at least partially in the drivable area or cover a corresponding sub-area of the drivable area or can depict.
  • the infrastructure device can, for example, contain a plurality of sensor nodes that are arranged spatially distributed with respect to the drivable area, with each sensor node containing one or more environmental sensor systems.
  • An environment sensor system can be understood, for example, as a sensor system that is capable of generating sensor data or sensor signals that map, represent or reproduce an environment sensor system.
  • the ability to detect electromagnetic or other signals from the environment is not sufficient to use a sensor system as an environmental sensor system to qualify.
  • cameras, radar systems, lidar systems or ultrasonic sensor systems can be viewed as environmental sensor systems.
  • a well-known design of lidar systems are so-called laser scanners, in which a laser beam is deflected by means of a deflection unit so that different deflection angles of the laser beam can be achieved.
  • the deflection unit can, for example, contain a rotatably mounted mirror.
  • the deflection unit can have a mirror element with a tiltable and/or pivotable surface.
  • the mirror element can be designed, for example, as a microelectromechanical system, MEMS.
  • MEMS microelectromechanical system
  • the emitted laser beams can be partially reflected in the environment and the reflected portions can in turn hit the laser scanner, in particular the deflection unit, which can direct them onto a detector unit of the laser scanner.
  • Each optical detector of the detector unit generates in particular an associated detector signal based on the components detected by the respective optical detector. Based on the spatial arrangement of the respective detector, together with the current position of the deflection unit, in particular its rotational position or its tilting and/or pivoting position, the direction of incidence of the detected reflected components can be deduced.
  • An evaluation unit can also, for example, carry out a light transit time measurement in order to determine a radial distance of the reflecting object. Alternatively or additionally, a method can be used to determine the distance, according to which a phase difference between emitted and detected light is evaluated.
  • the term “light” can be understood to include electromagnetic waves in the visible range, the infrared range and/or the ultraviolet range. Accordingly, the term “optical” can also be understood to refer to light according to this understanding.
  • the lidar system of the infrastructure device can be designed, for example, as a laser scanner.
  • the lidar sensor data can include, for example, one or more point clouds.
  • the drivable area can be part of the infrastructure device.
  • the accessible area can, for example, have one or more streets or routes for the vehicle to travel on.
  • the accessible area can also have one or more, in particular a large number, parking spaces for the vehicle.
  • the vehicle can occupy one of the parking spaces and therefore drive on it.
  • Different parts of the drivable area can be spatially separated from one another, for example by structural devices such as walls, walls, road boundaries and so on. Different parts of the accessible area can also be at different height positions, for example on different floors of a parking garage or the like.
  • the passable area can, for example, be understood as the area on which the vehicle and/or other vehicles should and can move as intended, provided that the corresponding part of the passable area is not, for example temporarily, through another object, such as another vehicle or the like.
  • the accessible area can be visibly marked and/or defined, for example using road marking lines, structural boundaries and so on.
  • the drivable area can be invisible or digitally marked or defined, for example by a digital map or the like.
  • the camera and/or the lidar system can be arranged within the drivable area. However, this is not necessarily the case.
  • the lidar system and/or the camera can also be arranged outside the drivable area, so that the first field of view and the second field of view cover at least a part of the drivable area, namely the first sub-area or the second sub-area.
  • the first sub-area and the second sub-area can be understood as those areas that are included or covered both by the drivable area and by the respective field of view.
  • the first field of view and the second field of view may partially overlap each other, but this is not necessarily the case.
  • the maximum distance of the second sub-area can be understood as the maximum value of the distances of all points of the second sub-area from the lidar system, for example as the maximum Euclidean distance or maximum radial distance.
  • the length of this connecting line is equal to the Euclidean distance. If one considers a projection of the connecting line onto a road surface of the drivable area, the length of this projection is, for example, equal to the radial distance.
  • the radial distance and the Euclidean distance differ from each other when the lidar system is mounted at a certain height above the road surface. Both definitions of the distance are possible within the meaning of the invention.
  • the at least one computing unit can also access, in addition to the input data, further information and/or data, in particular from the camera, the lidar system and/or other environmental sensor systems of the infrastructure device.
  • the at least one computing unit can carry out an object tracking algorithm to track the vehicle. For example, if the vehicle was already detected and localized, in particular tracked, at an earlier point in time before the localization of the vehicle described above, localizing the vehicle can be understood as calculating a current or instantaneous position and/or orientation of the vehicle. If the vehicle was not previously tracked or detected, localization can also include determining an initial position and/or orientation of the vehicle.
  • the at least one computing unit can optionally use the at least one camera image to localize the vehicle and not the lidar sensor data or the at least one
  • the computing unit can use the lidar sensor data to localize the vehicle and not the at least one camera image or the at least one computing unit can use both the at least one camera image and the lidar sensor data to localize the vehicle.
  • Which contents of the input data the at least one computing unit specifically uses to localize the vehicle can therefore, for example, depend on a previous or previous position and / or orientation of the vehicle in the drivable Area can be decided, for example depending on a result of the object tracking of the vehicle by the at least one computing unit.
  • predetermined areas of the drivable area are defined and the use of the input data or the individual parts of the input data depends on which of these defined areas the vehicle is located in. This can be determined, for example, using object recognition algorithms for the individual parts of the input data.
  • the lidar sensor data and thus the input data that are available to the at least one computing unit for localizing the vehicle contain lidar sensor data from an area that is further away from the lidar sensor system as the first maximum distance.
  • the lidar system is positioned in such a way that it can at least also capture lidar sensor data from a long range, the long range being defined by the first limit value for the maximum distance.
  • the first limit value can be, for example, on the order of 10 m or more, preferably 15 m or more, for example 20 m or more and so on. In such areas, due to the limited resolution of cameras that can typically be used for infrastructure devices, the ability to estimate depth and distance is very limited or impossible.
  • the invention specifically uses a lidar system to overcome these limitations.
  • the invention therefore makes it possible in particular to provide a lidar system in the long range of a corresponding sensor node and, for example, a camera in the close range of a corresponding sensor node.
  • the advantages of the various environmental sensor systems can be optimally exploited without their respective disadvantages having a significant influence.
  • the very large field of view of a corresponding camera for example a non-gnomonic camera, is utilized with regard to the horizontal and in particular vertical detection angle of such a camera in the close range.
  • a lidar sensor system which may not be able to reliably detect relevant objects in the close range due to a limited vertical detection angle, is specifically used for the long range, where its capabilities and advantages for distance measurement and depth detection are exploited.
  • this leads to increased accuracy and reliability of the localization of the vehicle by the at least one computing unit and thus to improved safety of the automatic guidance of the vehicle, which can be done in particular based on the localization.
  • trajectory planning can be carried out to guide the vehicle and the vehicle can be guided according to the gel-planned trajectory.
  • the first limit value is greater than or equal to 10 m, 15 m, in particular greater than or equal to 25 m, preferably greater than or equal to 40 m.
  • the advantages of the lidar system are particularly noticeable, whereas any disadvantages that may be present are less noticeable due to a possibly limited vertical field of view.
  • the camera is arranged, in particular with respect to the drivable area, such that a minimum distance of the first partial area from the camera is smaller than a predetermined second limit value, which is smaller than the first limit value.
  • the explanations above regarding the maximum distance of the second sub-area can be transferred analogously to the minimum distance of the first sub-area, i.e. in particular a Euclidean or radial distance.
  • the camera is specifically used in such a way that it covers a close area around the camera or the corresponding sensor node defined by the second limit value.
  • the advantages of a close-range camera which can in particular be designed as a fisheye camera or other non-gnomonic camera, are used specifically.
  • the first field of view of the camera has a vertical opening angle of 40° or more, preferably 100° or more, particularly preferably 150° or more, for example 180°.
  • the second limit value is less than or equal to 10 m, in particular less than or equal to 5 m, preferably less than or equal to 2 m.
  • the camera is designed as a non-gnomonic camera, in particular as a fish-eye camera.
  • a non-gnomonic or non-rectilinear camera can be understood as a camera with a non-gnomonic or non-rectilinear lens unit.
  • a non-gnomonic or non-rectilinear lens unit can be understood as a lens unit, i.e. one or more lenses, with a non-gnomonic, i.e. non-rectilinear or curvilinear, imaging function.
  • fisheye cameras represent non-gnomonic or non-rectilinear cameras.
  • the mapping function of the lens unit can be understood as a function r(0), which maps an angle 0 from the central axis of the radial distortion of the lens unit onto a radial displacement r from the image center.
  • the function depends parametrically on the focal length f of the lens unit.
  • a gnomonic or rectilinear lens unit maps straight lines in the real world to straight lines in the image, at least up to lens inaccuracies.
  • a non-gnomonic, non-rectilinear, or curvilinear lens unit generally does not map straight lines to straight lines.
  • the imaging function of a non-gnomonic or non-rectilinear camera can be stereographic, equidistant, equal solid angle or orthographic. Imaging functions of non-rectilinear lens units can also be given, at least approximately, by polynomial functions.
  • a minimum distance of the second portion from the lidar system is greater than the second limit value.
  • the close range of the sensor node containing the lidar system is not covered by the lidar system.
  • this sensor node can preferably also have a camera.
  • the close range of this sensor node can be covered by another sensor node, in particular another lidar system and/or another camera of the other sensor node.
  • the available vertical viewing angle of the second field of view can advantageously be used optimally in the long range.
  • the infrastructure device has the plurality of sensor nodes, wherein the plurality of sensor nodes are arranged in a spatially distributed manner, in particular in an environment of the drivable area or on the drivable area or both.
  • An overall field of view of the large number of sensor nodes covers the drivable area, in particular completely.
  • the overall field of view of the multitude of sensor nodes can be understood, for example, as a combination of all fields of view of all environmental sensor systems of all sensor nodes of the multitude of sensor nodes.
  • every point in the drivable area is included in the overall field of view and in particular in at least one field of view of the individual environmental sensor systems of the plurality of sensor nodes.
  • the first field of view and the second field of view are also part of the overall field of view.
  • Each sensor node can contain a camera and/or a lidar system and/or another environmental sensor system.
  • each sensor node of the plurality of sensor nodes contains a lidar system if a free area between the respective sensor node and a boundary of the drivable area or an obstacle in the drivable area is greater than the first limit value.
  • a first sensor node of the plurality of sensor nodes contains the camera and a second sensor node of the plurality of sensor nodes contains the lidar system, wherein the second sensor node is different from the first sensor node.
  • the camera and the lidar system are included by the same sensor node of the plurality of sensor nodes.
  • the at least one computing unit is set up to track the vehicle using an object tracking algorithm and to determine a first position of the vehicle in the drivable area at a first time based on the tracking.
  • the at least one computing unit is set up to locate the vehicle, to determine a second position of the vehicle in the drivable area at a second time, the second time being after the first time.
  • the at least one computing unit is set up to process the input data by using a method for sensor data fusion and to weight information from the at least one camera image and information from the lidar sensor data with respect to each other depending on the first position in order to process the input data.
  • the at least one computing unit is set up to determine the second position of the vehicle depending on the processed input data.
  • the method for sensor data fusion can therefore generate fused sensor data in particular based on the at least one camera image and based on the lidar sensor data. Due to the weighting, the information from the at least one camera image and the lidar sensor data may be taken into account to different degrees. By taking into account and weighting the respective data depending on the second position, i.e. depending on a result of the localization of the vehicle, the lidar sensor data in the long range of the corresponding sensor node can therefore be given a higher weight than in the short range, whereas in the short range the at least one Camera image can be given a higher meaning and a higher weighting than in the long range. The at least one camera image and the lidar sensor data can therefore be used optimally.
  • the information from the at least one camera image can be weighted more heavily by means of the at least one computing unit, the closer the vehicle is to the camera and/or the information from the lidar sensor data can be weighted more heavily the further away the vehicle is from the lidar system.
  • the accessible area includes a plurality of potential parking spaces for the vehicle.
  • the infrastructure device can be designed, for example, as a parking device, parking lot, parking garage or valet parking facility.
  • the at least one computing unit is set up to plan a trajectory for the vehicle within the drivable area depending on a result of the localization of the vehicle, in particular depending on the specific position and / or orientation of the vehicle, and the trajectory or from to transmit trajectory-dependent data to the vehicle, in particular to a vehicle computing unit of the vehicle.
  • the vehicle can then be guided automatically according to the trajectory, for example by means of an electronic vehicle guidance system of the vehicle, which contains, for example, the at least one vehicle computing unit.
  • the trajectory leads from the second position of the vehicle to one of the potential parking spaces.
  • a vehicle guidance system for a vehicle is specified, wherein the vehicle guidance system has an infrastructure device according to the invention and an electronic vehicle guidance system for the vehicle.
  • An electronic vehicle guidance system can be understood as meaning an electronic system that is set up to guide a vehicle fully automatically or fully autonomously, in particular without the driver having to intervene in a control system.
  • the vehicle automatically carries out all necessary functions, such as steering, braking and/or acceleration maneuvers, observing and recording road traffic and corresponding reactions.
  • the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016.
  • An electronic vehicle guidance system can also be understood as an advanced driver assistance system (ADAS), which supports the driver in partially automated or partially autonomous driving.
  • the electronic vehicle guidance system may implement a partially automated or semi-autonomous driving mode according to Level 4 according to the SAE J3016 classification.
  • SAE J3016 refers to the corresponding standard in the June 2018 version.
  • the electronic vehicle guidance system is set up to receive the trajectory from the at least one computing unit of the infrastructure device and to guide the vehicle at least partially automatically, preferably fully automatically, depending on the trajectory, in particular according to or along the trajectory.
  • the electronic vehicle guidance system can, for example, have the vehicle computing unit and the vehicle computing unit can generate control signals for one or more actuators of the vehicle, in particular the electronic vehicle guidance system, and transmit them to the at least one actuator.
  • the at least one actuator can then influence or carry out transverse and/or longitudinal control of the vehicle depending on the control signals.
  • a method for operating an infrastructure device is also specified.
  • the vehicle is localized within the drivable area by means of the at least one computing unit depending on the input data and the vehicle is guided at least partially automatically, preferably fully automatically, depending on a result of the localization, in particular depending on the trajectory, in particular by means of an electronic vehicle guidance system for the vehicle or the vehicle.
  • the provision of the infrastructure device and, if applicable, the electronic vehicle guidance system can be viewed as a respective method step.
  • Providing the infrastructure device then includes, in particular, positioning the camera and the lidar system as described above.
  • the trajectory for the vehicle within the drivable area is planned by means of the at least one computing unit depending on the result of the localization.
  • the trajectory is transmitted from the at least one computing unit to the vehicle, in particular the vehicle computing unit, by means of the at least one computing unit.
  • the vehicle is guided at least partially automatically depending on the trajectory, in particular by means of the electronic vehicle guidance system.
  • a parking space for the vehicle in the drivable area is determined by means of the at least one computing unit and the trajectory is planned such that a target position for the vehicle corresponds to the specific parking space according to the trajectory.
  • the infrastructure device according to the invention is designed or programmed to carry out a method according to the invention.
  • the infrastructure device according to the invention carries out the method according to the invention.
  • a computing unit can be understood in particular to mean a data processing device that contains a processing circuit.
  • the arithmetic unit can therefore in particular process data to carry out arithmetic operations. This may also include operations to perform indexed access to a data structure, for example a translation table (LUT).
  • LUT translation table
  • the computing unit can in particular contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits, ASIC (English: “application-specific integrated circuit”), one or more field-programmable gate circuits. Arrays, FPGA, and/or one or more single-chip systems, SoC (English: “system on a chip”).
  • the computing unit can also have one or more processors, for example one or more microprocessors, one or more central processing units, CPU (central processing unit), one or more graphics processing units, GPU (graphics processing unit) and/or one or more signal processors, in particular one or more digital signal processors, DSP.
  • the computing unit can also contain a physical or a virtual network of computers or other of the units mentioned.
  • the computing unit includes one or more hardware and/or software interfaces and/or one or more memory units.
  • a storage unit can be used as a volatile data memory, for example as a dynamic random access memory, DRAM or static random access memory, SRAM, or as a non-volatile Data memory, for example as a read-only memory, ROM (English: “read-only memory”), as a programmable read-only memory, PROM (English: “programmable read-only memory”), as an erasable read-only memory, EPROM (English: “erasable read-only memory”) ), as electrically erasable read-only memory, EEPROM (English: “electrically erasable read-only memory”), as flash memory or flash EEPROM, as ferroelectric random access memory, FRAM (English: “ferroelectric random access memory”), as magnetoresistive memory with random access, MRAM (English: “magnetoresistive random access memory”) or as a phase change memory with random access, PCRAM (English: “phase-change random access memory”).
  • ROM read-only memory
  • PROM programmable read-only memory
  • a component of the infrastructure device according to the invention in particular the at least one computing unit of the infrastructure device, is set up, trained, designed, or the like to carry out or realize a specific function, to achieve a specific effect or a to serve a specific purpose
  • this can be understood in such a way that the component, beyond the fundamental or theoretical usability or suitability of the component for this function, effect or purpose, is specifically and through appropriate adaptation, programming, physical design and so on is actually capable of carrying out or realizing the function, achieving the effect or serving the purpose.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of an infrastructure device according to the invention
  • FIG. 2 shows a lidar system of a further exemplary embodiment of an infrastructure device according to the invention and an associated field of view;
  • FIG. 4 shows a schematic representation of a camera of a further exemplary embodiment of an infrastructure device according to the invention and an associated field of view.
  • FIG. 1 shows a schematic top view of an exemplary embodiment of an infrastructure device 1 according to the invention, which has an area 3a, 3b, 3c, 3d that can be driven by a vehicle 2, for example streets 3a, 3b and / or parking areas 3c, 3d with potential parking spaces 4 for the vehicle 2 has.
  • the infrastructure device 1 contains a plurality of sensor nodes 5, 6, each sensor node 5, 6 containing a camera 5 and/or a lidar system 6, in particular a laser scanner.
  • the infrastructure device 1 can optionally also have further sensor nodes (not shown) which have neither a camera nor a lidar system but rather one or more other environmental sensor systems, such as ultrasonic sensor systems, radar systems and so on.
  • Individual parts of the drivable area 3a, 3b, 3c, 3d can be delimited from one another, for example by markings, walls or other boundaries 7.
  • the boundaries 7 can limit the boundaries 7 and, depending on the arrangement of the boundaries 7 and the cameras 5 and lidar systems 6, the fields of view of the cameras 5 and/or lidar systems 6.
  • Each camera 5 of the infrastructure device 1 is set up to generate corresponding camera images, in particular a corresponding camera image data stream, which depict a corresponding field of view 9, as shown schematically in FIG. 4.
  • Each lidar system 6 of the infrastructure device 1 is set up to generate corresponding lidar sensor data, in particular a corresponding sensor data stream, which image a corresponding field of view 10, as shown schematically in FIG. 2.
  • one of the lidar systems 6, preferably all of the lidar systems 6 of the infrastructure device 1, are arranged such that a respective maximum distance of that part of the drivable area 3a, 3b, 3c, 3d, which lies in the field of view of the corresponding lidar system 6, from the lidar system 6 is larger as a predetermined first limit value, which is, for example, greater than or equal to 10 m, preferably greater than or equal to 15 m.
  • the lidar system 6, preferably all lidar systems 6 of the infrastructure device 1 are therefore arranged in such a way that they cover a long range defined by the first limit value.
  • one of the cameras 5, preferably all cameras 5 of the infrastructure device 1 can be arranged in such a way that a respective minimum distance of that partial area of the drivable area 3a, 3b, 3c, 3d, which lies in the field of view of the corresponding camera 5, from the camera is smaller is as a predetermined second limit value, which is, for example, less than or equal to 10 m, preferably less than or equal to 10 m.
  • the camera 5, preferably all cameras 5 of the infrastructure device 1, are therefore arranged in such a way that they cover a close range defined by the second limit value.
  • the infrastructure device 1 also has a computing unit 8 that can receive the camera images and lidar sensor data.
  • the computing unit 8 is set up to determine a position and/or orientation of the vehicle 2 within the drivable area 3a, 3b, 3c, 3d based on at least some of the camera images and lidar sensor data obtained.
  • the entire drivable area 3a, 3b, 3c, 3d can be covered, with the advantages of the lidar systems 6 being specifically exploited and negative effects of the possibly limited vertical opening angle in the close range being avoided, as in 3 schematically indicated, which shows the vehicle 2 in a hypothetical situation in the close range of another lidar system 6 'with a field of view 10'.
  • vehicles 2 can be reliably localized in the long-range area of the lidar system 6, especially by making use of the possibility of direct distance measurement based on the lidar sensor data.
  • the very large vertical and/or horizontal field of view angle of a camera 5 can be utilized, as shown in FIG. 4.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Infrastrukturvorrichtung (1) zur Führung eines Fahrzeugs (2) enthält eine Kamera (5), die dazu eingerichtet ist, wenigstens ein Kamerabild zu erzeugen, das ein erstes Sichtfeld (9) abbildet, sowie ein Lidarsystem (6), das dazu eingerichtet ist, Lidarsensordaten zu erzeugen, die ein zweites Sichtfeld (10) darstellen. Ein erster Teilbereich eines befahrbaren Bereichs (3a, 3b, 3c, 3d) liegt innerhalb des ersten Sichtfelds (9) und ein zweiter Teilbereich des befahrbaren Bereichs (3a, 3b, 3c, 3d) liegt innerhalb des zweiten Sichtfelds (10). Die Infrastrukturvorrichtung (1) weist eine Recheneinheit (8) auf, die dazu eingerichtet ist, Eingabedaten zu erhalten, die das wenigstens eine Kamerabild und die Lidarsensordaten beinhalten, und basierend auf wenigstens einem Teil der Eingabedaten ein Fahrzeug (2) innerhalb des befahrbaren Bereichs (3a, 3b, 3c, 3d) zu lokalisieren. Das Lidarsystem (6) ist derart angeordnet, dass ein Maximalabstand des zweiten Teilbereichs von dem Lidarsystem (6) größer ist als ein vorgegebener erster Grenzwert.

Description

Infrastrukturvorrichtung zur Führung eines Fahrzeugs
Die vorliegende Erfindung betrifft eine Infrastrukturvorrichtung zur wenigstens teilweise automatischen Führung eines Fahrzeugs innerhalb eines vorgegebenen befahrbaren Bereichs sowie Verfahren zum Betreiben einer solchen Infrastrukturvorrichtung.
Bei vielen Anwendungsfällen zum teilweise oder vollständig automatisierten Führen von Fahrzeugen werden die mittels der vielfältigen Sensorsysteme des Fahrzeugs erzeugten Sensordaten als Grundlage zur Lokalisierung, Trajektorienplanung, Objekterkennung und sonstige Aufgaben und Funktionen verwendet. In anderen Anwendungsfällen, beispielsweise aber nicht ausschließlich beim automatischen fahrerlosen Parken, was auch als automatisches oder autonomes Valet-Parken bezeichnet wird, oder Logistikanwendungen, wie beispielsweise der Verladung oder dem Transport oder der Produktion von Fahrzeugen, werden Infrastruktursysteme eingesetzt, die eine Vielzahl von Sensorknoten aufweisen, wobei jeder der Sensorknoten eines oder mehrere Umfeldsensorsysteme, insbesondere Kameras, aufweist. Ein vorgegebener befahrbarer Bereich ist dann beispielsweise vollständig von der Vielzahl von Sensorknoten einsehbar und überwachbar. Basierend auf den so erzeugten Sensordaten kann das jeweilige Fahrzeug lokalisiert und geführt werden.
Als Umfeldsensorsysteme der einzelnen Sensorknoten können dabei zum Beispiel Kameras eingesetzt werden, insbesondere Weitwinkelkameras oder Fisheye-Kameras mit einem sehr großen erfassbaren Winkelbereich, insbesondere vertikalem Winkelbereich. Ein Nachteil solcher Kameras ist es jedoch, dass sie sich, insbesondere bei vergleichsweise großen Abständen zu dem zu lokalisierenden Fahrzeug, nicht oder nur sehr eingeschränkt zur Entfernungsschätzung eignen. Eine Kamera, die nicht speziell als 3D-Kamera oder Stereokamera ausgebildet ist, erlaubt keine direkte Entfernungsmessung. Dies ist insbesondere nachteilhaft, wenn sich das zu lokalisierende Fahrzeug weit von dem entsprechenden Sensorknoten entfernt befindet.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Infrastrukturvorrichtung zum wenigstens teilweise automatischen Führen eines Fahrzeugs anzugeben, welche es ermöglicht, das Fahrzeug in einem vordefinierten befahrbaren Bereich zuverlässiger und/oder genauer zu lokalisieren, ohne dabei auf fahrzeuginterne Sensoren zurückzugreifen. Diese Aufgabe wird gelöst durch den Gegenstand des unabhängigen Anspruchs.
Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf dem Gedanken, eine Infrastrukturvorrichtung sowohl mit einer Kamera als auch mit einem Lidarsystem auszustatten und das Lidarsystem derart bezüglich des befahrbaren Bereichs anzuordnen, dass ein Maximalabstand einer Position in dem befahrbaren Bereich, die von dem Lidarsystem erfasst werden kann, größer ist als ein vorgegebener Grenzwert.
Gemäß einem Aspekt der Erfindung wird eine Infrastrukturvorrichtung zu wenigstens teilweise automatischen Führung, vorzugsweise zur vollautomatischen Führung, eines Fahrzeugs innerhalb eines vorgegebenen befahrbaren Bereichs, insbesondere eines für das Fahrzeug befahrbaren Bereichs, angegeben. Die Infrastrukturvorrichtung enthält eine Kamera, die dazu eingerichtet ist, ein Kamerabild zu erzeugen, welches ein erstes Sichtfeld der Kamera abbildet. Die Infrastrukturvorrichtung enthält außerdem ein Lidarsystem, das dazu eingerichtet ist, Lidarsensordaten zu erzeugen, die ein zweites Sichtfeld des Lidarsystems darstellen, insbesondere abbilden. Ein erster Teilbereich des befahrbaren Bereichs liegt innerhalb des ersten Sichtfelds und ein zweiter Teilbereich des befahrbaren Bereichs liegt innerhalb des zweiten Sichtfelds. Das Lidarsystem ist derart angeordnet, insbesondere bezüglich des befahrbaren Bereichs, dass ein Maximalabstand des zweiten Teilbereichs von dem Lidarsystem größer ist als ein vorgegebener erster Grenzwert. Die Infrastrukturvorrichtung weist wenigstens eine Recheneinheit auf, die dazu eingerichtet ist, Eingabedaten zu erhalten, insbesondere von der Kamera und dem Lidarsystem, wobei die Eingabedaten das wenigstens eine Kamerabild enthalten und wobei die Eingabedaten die die Lidarsensordaten enthalten. Die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf wenigstens einem Teil der Eingabedaten, insbesondere basierend auf wenigstens einem Teil des wenigstens einen Kamerabilds und/oder der Lidarsensordaten, ein Fahrzeug innerhalb des befahrbaren Bereichs zu lokalisieren.
Das Lokalisieren des Fahrzeugs beinhaltet dabei insbesondere das Bestimmen einer Position und/oder Orientierung des Fahrzeugs innerhalb des befahrbaren Bereichs, insbesondere in einem vorgegebenen Referenzkoordinatensystem, das beispielsweise starr mit dem befahrbaren Bereich verbunden ist. Die Infrastrukturvorrichtung befindet sich vollständig außerhalb beziehungsweise extern zu dem Fahrzeug. Die Infrastrukturvorrichtung ist daher nicht ausschließlich zum wenigstens teilweise automatischen Führen eines einzigen Fahrzeugs geeignet, sondern kann mehrere Fahrzeuge, gegebenenfalls auch gleichzeitig, lokalisieren. Insbesondere ist weder die Kamera noch das Lidarsystem an oder in dem Fahrzeug montiert.
Insbesondere sind sowohl die Kamera als auch das Lidarsystem fest bezüglich des befahrbaren Bereichs montiert, wobei dies auch in verschiedenen Ausführungsformen die beispielsweise Möglichkeit zum Schwenken, Neigen und/oder Kippen der Kamera beziehungsweise des Lidarsensorsystems beinhalten kann, sodass das erste und/oder das zweite Sichtfeld gegebenenfalls modifiziert werden kann. Der erste und der zweite Teilbereich sind in solchen Ausführungsformen beispielsweise derart zu verstehen, dass sie sich für eine beliebige konstante Einstellung des ersten und/oder zweiten Sichtfelds ergeben.
Insbesondere handelt es sich auch bei der wenigstens einen Recheneinheit um wenigstens eine fahrzeugexterne Recheneinheit des Infrastruktursystems. Die wenigstens eine Recheneinheit ist drahtlos und/oder drahtgebunden mit dem Lidarsystem und der Kamera gekoppelt oder verbunden, um die Eingabedaten zu erhalten.
Die Infrastrukturvorrichtung kann außer der Kamera und dem Lidarsystem eines oder mehrere weitere Umfeldsensorsysteme, beispielsweise eine oder mehrere weitere Kameras und/oder eines oder mehrere Lidarsysteme beinhalten, deren jeweilige Sichtfelder ebenfalls wenigstens zum Teil in dem befahrbaren Bereich liegen oder einen entsprechenden Teilbereich des befahrbaren Bereichs abdecken oder abbilden können.
Im Allgemeinen kann die Infrastrukturvorrichtung beispielsweise eine Vielzahl von Sensorknoten beinhalten, die räumlich verteilt bezüglich des befahrbaren Bereichs angeordnet sind, wobei jeder Sensorknoten eines oder mehrere Umfeldsensorsysteme beinhaltet.
Ein Umfeldsensorsystem kann beispielsweise als Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung Umfeldsensorsystems abbilden, darstellen oder wiedergeben. Insbesondere ist die Fähigkeit, elektromagnetische oder sonstige Signale aus der Umgebung zu erfassen, nicht hinreichend, um ein Sensorsystem als Umfeldsensorsystem zu qualifizieren. Beispielsweise können Kameras, Radarsysteme, Lidarsysteme oder Ultraschallsensorsysteme als Umfeldsensorsysteme aufgefasst werden.
Eine bekannte Bauform von Lidarsystemen sind sogenannte Laserscanner, bei denen ein Laserstrahl mittels einer Umlenkeinheit abgelenkt wird, so dass verschiedene Ablenkwinkel des Laserstrahls realisiert werden können. Die Umlenkeinheit kann beispielsweise einen drehbar gelagerten Spiegel enthalten. Alternativ kann die Umlenkeinheit ein Spiegelelement mit einer kipp- und/oder schwenkbaren Oberfläche aufweisen. Das Spiegelelement kann beispielsweise als mikroelektromechanisches System, MEMS, ausgestaltet sein. In der Umgebung können die ausgesendeten Laserstrahlen teilweise reflektiert werden und die reflektierten Anteile können wiederum auf den Laserscanner treffen, insbesondere auf die Umlenkeinheit, die sie auf eine Detektoreinheit des Laserscanners lenken kann. Jeder optische Detektor der Detektoreinheit erzeugt insbesondere ein zugehöriges Detektorsignal basierend auf den von dem jeweiligen optischen Detektor erfassten Anteilen. Anhand der räumlichen Anordnung des jeweiligen Detektors kann zusammen mit der aktuellen Position der Umlenkeinheit, insbesondere ihrer Drehposition beziehungsweise ihrer Kipp- und/oder Schwenkposition, somit auf die Einfallsrichtung der detektierten reflektierten Anteile geschlossen werden. Eine Auswerteeinheit kann zudem beispielsweise eine Lichtlaufzeitmessung durchführen, um einen radialen Abstand des reflektierenden Objekts zu bestimmen. Zur Abstandsbestimmung kann alternativ oder zusätzlich auch ein Verfahren eingesetzt werden, gemäß dem ein Phasenunterschied zwischen emittiertem und detektiertem Licht ausgewertet wird.
Hier und im Folgenden kann der Begriff „Licht“ derart verstanden werden, dass davon elektromagnetische Wellen im sichtbaren Bereich, im infraroten Bereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann auch der Begriff „optisch“ derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht.
Das Lidarsystem der Infrastrukturvorrichtung kann beispielsweise als Laserscanner ausgestaltet sein. Die Lidarsensordaten können beispielsweise eine oder mehrere Punktwolken beinhalten.
Die Kamera und das Lidarsystem können Teil desselben Sensorknotens sein. Dies ist jedoch nicht notwendigerweise der Fall, sodass das Lidarsystem und die Kamera von unterschiedlichen Sensorknoten der Infrastrukturvorrichtung beinhaltet sein können. Der befahrbare Bereich kann in manchen Ausführungsformen Teil der Infrastrukturvorrichtung sein. Der befahrbare Bereich kann beispielsweise eine oder mehrere Straßen oder Fahrwege zum Befahren durch das Fahrzeug aufweisen. Der befahrbare Bereich kann auch einen oder mehrere, insbesondere eine Vielzahl von, Parkplätzen für das Fahrzeug aufweisen. Das Fahrzeug kann einen der Parkplätze belegen und daher befahren. Verschiedene Teile des befahrbaren Bereichs können voneinander räumlich getrennt sein, beispielsweise durch bauliche Vorrichtungen, wie etwa Wände, Mauern, Fahrbahnbegrenzungen und so weiter. Verschiedene Teile des befahrbaren Bereichs können auch auf unterschiedlichen Höhenpositionen liegen, beispielsweise auf verschiedenen Stockwerken eines Parkhauses oder dergleichen.
Der befahrbare Bereich kann beispielswiese als derjenige Bereich verstanden werden, auf dem sich das Fahrzeug und/oder weitere Fahrzeuge bestimmungsgemäß bewegen sollen und können, vorausgesetzt der entsprechende Teil des befahrbaren Bereichs ist nicht, beispielsweise vorübergehend, durch ein weiteres Objekt, wie etwa ein weiteres Fahrzeug oder dergleichen, belegt. Der befahrbare Bereich kann sichtbar markiert und/oder definiert sein, beispielsweise anhand von Fahrbahnmarkierungslinien, baulichen Begrenzungen und so weiter. Alternativ oder zusätzlich kann der befahrbare Bereich unsichtbar oder digital markiert oder definiert sein, beispielsweise durch eine digitale Karte oder dergleichen.
Die Kamera und/oder das Lidarsystem können innerhalb des befahrbaren Bereichs angeordnet sein. Dies ist jedoch nicht notwendigerweise der Fall. Das Lidarsystem und/oder die Kamera können auch außerhalb des befahrbaren Bereichs angeordnet sein, sodass das erste Sichtfeld und das zweite Sichtfeld wenigstens einen Teil des befahrbaren Bereichs abdecken, nämlich den ersten Teilbereich beziehungsweise den zweiten Teilbereich.
Der erste Teilbereich und der zweite Teilbereich können als diejenigen Bereiche aufgefasst werden, die sowohl von dem befahrbaren Bereich als auch von dem jeweiligen Sichtfeld umfasst beziehungsweise abgedeckt sind. Das erste Sichtfeld und das zweite Sichtfeld können einander teilweise überlappen, jedoch ist auch dies nicht notwendigerweise der Fall. Entsprechendes gilt analog für den ersten und den zweiten Teilbereich. Der Maximalabstand des zweiten Teilbereichs kann als Maximalwert der Abstände sämtlicher Punkte des zweiten Teilbereichs von dem Lidarsystem verstanden werden, beispielsweise als maximaler euklidischer Abstand oder maximaler radialer Abstand.
Betrachtet man eine virtuelle Verbindungslinie zwischen dem Lidarsystem und einem Punkt in dem zweiten Teilbereich, so ist die Länge dieser Verbindungslinie gleich dem euklidischen Abstand. Betrachtet man eine Projektion der Verbindungslinie auf eine Fahrbahnoberfläche des befahrbaren Bereichs, so ist die Länge dieser Projektion beispielsweise gleich dem radialen Abstand. Der radiale Abstand und der euklidische Abstand unterscheiden sich voneinander, wenn das Lidarsystem in einer bestimmten Höhe über der Fahrbahnoberfläche montiert ist. Beide Definitionen des Abstands sind im Sinne der Erfindung möglich.
Um das Fahrzeug zu lokalisieren kann die wenigstens eine Recheneinheit in manchen Ausführungsformen außer den Eingabedaten auch auf weitere Informationen und/oder Daten, insbesondere der Kamera, des Lidarsystems und/oder weiterer Umfeldsensorsysteme der Infrastrukturvorrichtung, zurückgreifen. Insbesondere kann die wenigstens eine Recheneinheit einen Objektverfolgungsalgorithmus durchführen, um das Fahrzeug zu verfolgen. Wurde das Fahrzeug beispielsweise zu einem früheren Zeitpunkt vor der oben beschriebenen Lokalisierung des Fahrzeugs bereits detektiert und lokalisiert, insbesondere verfolgt, so kann das Lokalisieren des Fahrzeugs als Berechnen einer aktuellen oder momentanen Position und/oder Orientierung des Fahrzeugs verstanden werden. Wurde das Fahrzeug zuvor nicht verfolgt beziehungsweise detektiert, so kann das Lokalisieren auch das Bestimmen einer initialen Position und/oder Orientierung des Fahrzeugs beinhalten.
Je nach Position des Fahrzeugs bezüglich des Lidarsystems und der Kamera, also insbesondere je nachdem, wo sich das Fahrzeug in dem befahrbaren Bereich befindet, kann die wenigstens eine Recheneinheit wahlweise das wenigstens eine Kamerabild zur Lokalisierung des Fahrzeugs verwenden und nicht die Lidarsensordaten oder die wenigstens eine Recheneinheit kann die Lidarsensordaten zur Lokalisierung des Fahrzeugs verwenden und nicht das wenigstens eine Kamerabild oder die wenigstens eine Recheneinheit kann sowohl das wenigstens eine Kamerabild als auch die Lidarsensordaten zur Lokalisierung des Fahrzeugs verwenden. Welche Inhalte der Eingabedaten die wenigstens eine Recheneinheit konkret zu Lokalisierung des Fahrzeugs verwendet kann daher beispielsweise abhängig von einer früheren oder vorangegangenen Position und/oder Orientierung des Fahrzeugs in dem befahrbaren Bereich entschieden werden, beispielsweise abhängig von einem Ergebnis der Objektverfolgung des Fahrzeugs durch die wenigstens eine Recheneinheit. In anderen Ausführungsformen ist es auch möglich, dass fest vorgegebene Bereiche des befahrbaren Bereichs definiert sind und die Verwendung der Eingabedaten beziehungsweise der einzelnen Teile der Eingabedaten davon abhängt, in welchem dieser definierten Bereiche sich das Fahrzeug befindet. Dies kann beispielswiese anhand von Objekterkennungsalgorithmen für die einzelnen Teile der Eingabedaten bestimmt werden.
Indem der Maximalabstand des zweiten Teilbereichs größer ist als der vorgegebene erste Grenzwert wird sichergestellt, dass die Lidarsensordaten und damit die Eingabedaten, die der wenigstens einen Recheneinheit zur Lokalisierung des Fahrzeugs zur Verfügung stehen, Lidarsensordaten aus einem Bereich enthalten, der weiter von dem Lidarsensorsystem entfernt ist als der erste Maximalabstand. Mit anderen Worten wird das Lidarsystem derart positioniert, dass es zumindest auch Lidarsensordaten aus einem Fernbereich erfassen kann, wobei der Fernbereich durch den ersten Grenzwert für den Maximalabstand definiert ist.
Der erste Grenzwert kann beispielsweise in der Größenordnung von 10 m oder mehr, vorzugsweise 15 m oder mehr, beispielsweise 20 m oder mehr und so weiter liegen. In solchen Bereichen ist aufgrund der beschränkten Auflösung von Kameras die die typischerweise für Infrastrukturvorrichtungen eingesetzt werden können, die Möglichkeit zur Tiefenschätzung und Entfernungsschätzung sehr begrenzt oder unmöglich. Hier wird durch die Erfindung gezielt ein Lidarsystem eingesetzt, um diese Beschränkungen zu überwinden.
Die Erfindung ermöglicht es also insbesondere, im Fernbereich eines entsprechenden Sensorknotens ein Lidarsystem vorzusehen und im Nahbereich eines entsprechenden Sensorknotens beispielsweise eine Kamera. So können die Vorteile der verschiedenen Umfeldsensorsysteme optimal ausgenutzt werden, ohne dass deren jeweilige Nachteile einen signifikanten Einfluss haben. Insbesondere wird das sehr große Sichtfeld einer entsprechenden Kamera, beispielsweise einer nicht-gnomonischen Kamera, bezüglich des horizontalen und insbesondere vertikalen Erfassungswinkels einer solchen Kamera im Nahbereich ausgenutzt. Ein Lidarsensorsystem, das im Nahbereich gegebenenfalls aufgrund eines beschränkten vertikalen Erfassungswinkels relevante Objekte nicht zuverlässig erkennen kann, wird gezielt für den Fernbereich eingesetzt, wo seine Fähigkeiten und Vorteile zur Abstandsmessung und Tiefenerkennung ausgenutzt werden. Letztlich führt dies zu einer erhöhten Genauigkeit und Zuverlässigkeit der Lokalisierung des Fahrzeugs durch die wenigstens eine Recheneinheit und damit zu einer verbesserten Sicherheit der automatischen Führung des Fahrzeugs, die insbesondere basierend auf der Lokalisierung erfolgen kann.
Insbesondere kann abhängig von der durch die Lokalisierung bestimmten aktuellen Position und/oder Orientierung des Fahrzeugs eine Trajektorienplanung zur Führung des Fahrzeugs durchgeführt werden und das Fahrzeug entsprechend der gelplanten Trajektorie geführt werden.
Gemäß zumindest einer Ausführungsform der Infrastrukturvorrichtung ist der erste Grenzwert größer oder gleich 10 m, 15 m, insbesondere größer oder gleich 25 m, vorzugsweise größer oder gleich 40 m.
In dementsprechend definierten Fernbereichen wirken sich die Vorteile des Lidarsystems besonders deutlich aus, wohingegen die gegebenenfalls vorhandenen Nachteile aufgrund eines möglicherweise eingeschränkten vertikalen Sichtfeldes weniger stark hervortreten.
Gemäß zumindest einer Ausführungsform ist die Kamera derart angeordnet, insbesondere bezüglich des befahrbaren Bereichs, dass ein Minimalabstand des ersten Teilbereichs von der Kamera kleiner ist als ein vorgegebener zweiter Grenzwert, der kleiner ist als der erste Grenzwert.
Die oben stehenden Erläuterungen zum Maximalabstand des zweiten Teilbereichs können analog auf den Minimalabstand des ersten Teilbereichs übertragen werden, also insbesondere einem euklidischen oder radialen Abstand.
In solchen Ausführungsformen wird also gezielt die Kamera derart eingesetzt, dass sie einen durch den zweiten Grenzwert definierten Nahbereich um die Kamera beziehungsweise den entsprechenden Sensorknoten abdeckt. Die Vorteile einer Kamera im Nahbereich, die insbesondere als Fisheye-Kamera oder sonstige nicht-gnomonische Kamera ausgestaltet sein kann, werden gezielt genutzt.
Beispielsweise hat das erste Sichtfeld der Kamera einen vertikalen Öffnungswinkel von 40° oder mehr, vorzugsweise 100° oder mehr, besonders bevorzugt 150° oder mehr, beispielsweise 180°. Gemäß zumindest einer Ausführungsform ist der zweite Grenzwert kleiner oder gleich 10 m, insbesondere kleiner oder gleich 5 m, vorzugsweise kleiner oder gleich 2 m.
Gemäß zumindest einer Ausführungsform ist die Kamera als nicht-gnomonische Kamera, insbesondere als Fish-Eye-Kamera, ausgestaltet.
Eine nicht-gnomonische oder nicht-geradlinige Kamera kann als eine Kamera mit einer nicht-gnomonischen oder nicht-geradlinigen Linseneinheit verstanden werden. Eine nicht- gnomonische oder nicht-geradlinige Linseneinheit kann als eine Linseneinheit, das heißt eine oder mehrere Linsen, mit einer nicht-gnomonischen, also nicht-geradlinigen oder kurvilinearen, Abbildungsfunktion verstanden werden. Insbesondere stellen Fischaugenkameras nicht-gnomonische oder nicht-geradlinige Kameras dar.
Die Abbildungsfunktion der Linseneinheit kann als eine Funktion r(0) verstanden werden, die einen Winkel 0 von der Mittelachse der radialen Verzeichnung der Linseneinheit auf eine radiale Verschiebung r aus dem Bildzentrum abbildet. Die Funktion hängt parametrisch von der Brennweite f der Linseneinheit ab.
Zum Beispiel weist eine gnomonische oder geradlinige Linseneinheit eine gnomonische Abbildungsfunktion auf, insbesondere r(0) = f tan(0). Mit anderen Worten bildet eine gnomonische oder geradlinige Linseneinheit gerade Linien in der realen Welt auf gerade Linien im Bild ab, zumindest bis auf Linsenungenauigkeiten.
Eine nicht-gnomonische, nicht-geradlinige oder kurvilineare Linseneinheit bildet im Allgemeinen gerade Linien nicht auf gerade Linien ab. Insbesondere kann die Abbildungsfunktion einer nicht-gnomonischen oder nicht-geradlinigen Kamera stereographisch, äquidistant, raumwinkelgleich oder orthographisch sein. Abbildungsfunktionen von nicht-geradlinigen Linseneinheiten können auch, zumindest näherungsweise, durch Polynomfunktionen gegeben sein.
Gemäß zumindest einer Ausführungsform ist ein Minimalabstand des zweiten Teilbereichs von dem Lidarsystem größer als der zweite Grenzwert.
Mit anderen Worten wird der Nahbereich des Sensorknotens, der das Lidarsystem enthält, nicht von dem Lidarsystem abgedeckt. Vorzugsweise kann in solchen Ausführungsformen dieser Sensorknoten auch eine Kamera aufweisen. Alternativ kann der Nahbereich dieses Sensorknotens von einem anderen Sensorknoten, insbesondere einem anderen Lidarsystem und/oder einer anderen Kamera des anderen Sensorknotens, abgedeckt werden.
Indem der Nahbereich des jeweiligen Sensorknotens von dem Lidarsystem gezielt ausgespart wird, kann mit Vorteil der zur Verfügung stehende vertikale Sichtwinkel des zweiten Sichtfelds optimal im Fernbereich genutzt werden.
Gemäß zumindest einer Ausführungsform weist die Infrastrukturvorrichtung die Vielzahl von Sensorknoten auf, wobei die Vielzahl von Sensorknoten räumlich verteilt angeordnet sind, insbesondere in einer Umgebung des befahrbaren Bereichs oder auf dem befahrbaren Bereich oder beides. Ein Gesamtsichtfeld der Vielzahl von Sensorknoten deckt den befahrbaren Bereich ab, insbesondere vollständig.
Das Gesamtsichtfeld der Vielzahl von Sensorknoten kann dabei beispielsweise als Vereinigung aller Sichtfelder aller Umfeldsensorsysteme aller Sensorknoten der Vielzahl von Sensorknoten aufgefasst werden. Mit anderen Worten ist jeder Punkt im befahrbaren Bereich in dem Gesamtsichtfeld enthalten und insbesondere im wenigstens einen Sichtfeld der einzelnen Umfeldsensorsysteme der Vielzahl von Sensorknoten. Das erste Sichtfeld und das zweite Sichtfeld sind ebenfalls Teil des Gesamtsichtfeldes. Jeder Sensorknoten kann eine Kamera und/oder ein Lidarsystem und/oder ein sonstiges Umfeldsensorsystem beinhalten.
Gemäß zumindest einer Ausführungsform enthält jeder Sensorknoten der Vielzahl von Sensorknoten ein Lidarsystem, wenn ein freier Bereich zwischen dem jeweiligen Sensorknoten und einer Grenze des befahrbaren Bereichs oder einem Hindernis in dem befahrbaren Bereich größer ist als der erste Grenzwert.
Gemäß zumindest einer Ausführungsform enthält ein erster Sensorknoten der Vielzahl der Sensorknoten die Kamera und ein zweiter Sensorknoten der Vielzahl von Sensorknoten enthält das Lidarsystem, wobei der zweite Sensorknoten von dem ersten Sensorknoten verschieden ist.
In alternativen Ausführungsformen sind die Kamera und das Lidarsystem von demselben Sensorknoten der Vielzahl von Sensorknoten enthalten. Gemäß zumindest einer Ausführungsform ist die wenigstens eine Recheneinheit dazu eingerichtet, das Fahrzeug unter Anwendung eines Objektverfolgungsalgorithmus zu verfolgen und basierend auf der der Verfolgung eine erste Position des Fahrzeugs in dem befahrbaren Bereich zu einem ersten Zeitpunkt zu bestimmen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, zum Lokalisieren des Fahrzeugs, eine zweite Position des Fahrzeugs in dem befahrbaren Bereich zu einem zweiten Zeitpunkt zu bestimmen, wobei der zweite Zeitpunkt nach dem ersten Zeitpunkt liegt.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Recheneinheit dazu eingerichtet, die Eingabedaten durch Anwendung eines Verfahrens zur Sensordatenfusion aufzubereiten und zum Aufbereiten der Eingabedaten Informationen des wenigstens einen Kamerabildes und Informationen der Lidarsensordaten bezüglich einander abhängig von der ersten Position zu gewichten. Die wenigstens eine Recheneinheit ist dazu eingerichtet, die zweite Position des Fahrzeugs abhängig von den aufbereiteten Eingabedaten zu bestimmen.
Das Verfahren zur Sensordatenfusion kann also insbesondere basierend auf dem wenigstens einem Kamerabild und basierend auf den Lidarsensordaten fusionierte Sensordaten erzeugen. Durch die Gewichtung werden die Informationen des wenigstens einen Kamerabildes und der Lidarsensordaten gegebenenfalls unterschiedlich stark berücksichtigt. Indem die Berücksichtigung und Gewichtung der jeweiligen Daten abhängig von der zweiten Position durchgeführt wird, also abhängig von einem Ergebnis der Lokalisierung des Fahrzeugs, kann daher den Lidarsensordaten im Fernbereich des entsprechenden Sensorknotens ein höheres Gewicht beigemessen werden als im Nahbereich, wohingegen im Nahbereich dem wenigstens einen Kamerabild eine höhere Bedeutung und eine höhere Gewichtung zugemessen werden kann, als im Fernbereich. Das wenigstens eine Kamerabild und die Lidarsensordaten können daher optimal genutzt werden.
Insbesondere können die Informationen des wenigstens einen Kamerabildes mittels der wenigstens einen Recheneinheit umso stärker gewichtet werden, je näher sich das Fahrzeug an der Kamera befindet und/oder die Informationen der Lidarsensordaten können umso stärker gewichtet werden, je weiter das Fahrzeug von dem Lidarsystem entfernt ist.
Gemäß zumindest einer Ausführungsform beinhaltet der befahrbare Bereich eine Vielzahl von potentiellen Parkplätzen für das Fahrzeug. Die Infrastrukturvorrichtung kann beispielsweise als Parkvorrichtung, Parkplatz, Parkhaus oder Valet-Parkeinrichtung ausgestaltet sein.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Recheneinheit dazu eingerichtet, abhängig von einem Ergebnis der Lokalisierung des Fahrzeugs, insbesondere abhängig von der bestimmten Position und/oder Orientierung des Fahrzeugs, eine Trajektorie für das Fahrzeug innerhalb des befahrbaren Bereichs zu planen und die Trajektorie oder von der Trajektorie abhängige Daten an das Fahrzeug zu übermitteln, insbesondere an eine Fahrzeugrecheneinheit des Fahrzeugs.
Das Fahrzeug kann dann beispielsweise mittels eines elektronischen Fahrzeugführungssystems des Fahrzeugs, welches beispielsweise die wenigstens eine Fahrzeugrecheneinheit beinhaltet, automatisch gemäß der Trajektorie geführt werden.
Gemäß zumindest einer Ausführungsform führt die Trajektorie von der zweiten Position des Fahrzeugs zu einem der potentiellen Parkplätze.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeugführungssystem für ein Fahrzeug angegeben, wobei das Fahrzeugführungssystem eine erfindungsgemäße Infrastrukturvorrichtung aufweist sowie ein elektronisches Fahrzeugführungssystem, für das Fahrzeug.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach Stufe 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Das elektronische Fahrzeugführungssystem ist dabei dazu eingerichtet, die Trajektorie von der wenigstens einen Recheneinheit der Infrastrukturvorrichtung zu erhalten und das Fahrzeug abhängig von der Trajektorie, insbesondere gemäß oder entlang der Trajektorie wenigstens teilweise automatisch, vorzugsweise vollautomatisch, zu führen.
Dazu kann das elektronische Fahrzeugführungssystem beispielsweise die Fahrzeugrecheneinheit aufweisen und die Fahrzeugrecheneinheit kann Steuersignale für einen oder mehrere Aktuatoren des Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, erzeugen und an den wenigstens einen Aktuator übermitteln. Der wenigstens eine Aktuator kann dann eine Quer und/oder Längssteuerung des Fahrzeugs abhängig von den Steuersignalen beeinflussen oder durchführen.
Gemäß einem weiteren Aspekt der Erfindung wird auch ein Verfahren zum Betreiben einer erfindungsgemäßen Infrastrukturvorrichtung angegeben. Das Fahrzeug wird dabei innerhalb des befahrbaren Bereichs mittels der wenigstens einen Recheneinheit abhängig von den Eingabedaten lokalisiert und das Fahrzeug wir abhängig von einem Ergebnis der Lokalisierung, insbesondere abhängig von der Trajektorie, wenigstens teilweise automatisch geführt, vorzugsweise vollautomatisch geführt, insbesondere mittels eines elektronischen Fahrzeugführungssystems für das Fahrzeug beziehungsweise des Fahrzeugs.
In verschiedenen Ausführungsformen des Verfahrens kann das Bereitstellen der Infrastrukturvorrichtung sowie gegebenenfalls des elektronischen Fahrzeugführungssystems als jeweiliger Verfahrensschritt aufgefasst werden. Das Bereitstellen der Infrastrukturvorrichtung beinhaltet dann insbesondere das Positionieren der Kamera und des Lidarsystems entsprechend wie oben beschrieben.
Gemäß zumindest einer Ausführungsform des Verfahrens wird mittels der wenigstens einen Recheneinheit abhängig von dem Ergebnis der Lokalisierung die Trajektorie für das Fahrzeug innerhalb des befahrbaren Bereichs geplant. Die Trajektorie wird mittels der wenigstens einen Recheneinheit von der wenigstens einen Recheneinheit an das Fahrzeug, insbesondere die Fahrzeugrecheneinheit, übermittelt. Das Fahrzeug wird abhängig von der Trajektorie wenigstens teilweise automatisch geführt, insbesondere mittels des elektronischen Fahrzeugführungssystems. Gemäß zumindest einer Ausführungsform des Verfahrens wird mittels der wenigstens einen Recheneinheit ein Parkplatz für das Fahrzeug in dem befahrbaren Bereich bestimmt und die Trajektorie wird so geplant, dass eine Zielposition für das Fahrzeug gemäß der Trajektorie dem bestimmten Parkplatz entspricht.
Weitere Ausführungsformen des erfindungsgemäßen Verfahrens folgen unmittelbar aus den verschiedenen Ausgestaltungen der erfindungsgemäßen Infrastrukturvorrichtung und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen Verfahren analog auf entsprechende Ausführungsformen der erfindungsgemäßen Infrastrukturvorrichtung übertragen. Insbesondere ist die erfindungsgemäße Infrastrukturvorrichtung zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet oder programmiert. Insbesondere führt die erfindungsgemäße Infrastrukturvorrichtung das erfindungsgemäße Verfahren durch.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten. In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente der erfindungsgemäßen Infrastrukturvorrichtung, insbesondere die wenigstens eine Recheneinheit der Infrastrukturvorrichtung dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
Dabei zeigen:
Fig. 1 eine schematische Darstellung einer beispielhaften Ausführungsform einer erfindungsgemäßen Infrastrukturvorrichtung;
Fig. 2 ein Lidarsystem einer weiteren beispielhaften Ausführungsform einer erfindungsgemäßen Infrastrukturvorrichtung und ein zugehöriges Sichtfeld;
Fig. 3 ein weiteres Lidarsystem sowie ein zugehöriges weiteres Sichtfeld; und
Fig. 4 eine schematische Darstellung einer Kamera einer weiteren beispielhaften Ausführungsform einer erfindungsgemäßen Infrastrukturvorrichtung und eines zugehörigen Sichtfelds.
In Fig. 1 ist eine schematische Draufsicht einer beispielhaften Ausführungsform einer erfindungsgemäßen Infrastrukturvorrichtung 1 gezeigt, die einen für ein Fahrzeug 2 befahrbaren Bereich 3a, 3b, 3c, 3d, beispielsweise Straßen 3a, 3b und/oder Parkbereiche 3c, 3d mit potentiellen Parkplätzen 4 für das Fahrzeug 2 aufweist.
Die Infrastrukturvorrichtung 1 enthält eine Vielzahl von Sensorknoten 5, 6, wobei jeder Sensorknoten 5, 6 eine Kamera 5 und/oder ein Lidarsystem 6, insbesondere einen Laserscanner, enthält. Darüber hinaus kann die Infrastrukturvorrichtung 1 optional auch weitere Sensorknoten (nicht dargestellt) aufweisen, die weder eine Kamera noch ein Lidar- system aufweisen sondern eines oder mehrere sonstige Umfeldsensorsysteme, etwa Ultraschallsensorsysteme, Radarsysteme und so weiter. Einzelne Teile des befahrbaren Bereichs 3a, 3b, 3c, 3d können beispielsweise durch Markierungen, Wände oder sonstige Begrenzungen 7 voneinander abgegrenzt sein. Die Begrenzungen 7 können je nach Ausgestaltung Begrenzungen 7 und je nach Anordnung der Begrenzungen 7 sowie der Kameras 5 und Lidarsysteme 6 die Sichtfelder der Kameras 5 und/oder Lidarsysteme 6 begrenzen.
Jede Kamera 5 der Infrastrukturvorrichtung 1 ist dazu eingerichtet entsprechende Kamerabilder, insbesondere einen entsprechenden Kamerabilddatenstrom, zu erzeugen, die ein entsprechendes Sichtfeld 9 abbilden, wie schematisch in Fig. 4 gezeigt. Jedes Lidar- system 6 der Infrastrukturvorrichtung 1 ist dazu eingerichtet entsprechende Lidarsensor- daten, insbesondere einen entsprechenden Sensordatenstrom, zu erzeugen, die ein entsprechendes Sichtfeld 10 abbilden, wie schematisch in Fig. 2 gezeigt.
Jedenfalls eines der Lidarsysteme 6, vorzugsweise alle Lidarsysteme 6 der Infrastrukturvorrichtung 1 , sind derart angeordnet, dass ein jeweiliger Maximalabstand desjenigen Teilbereichs des befahrbaren Bereichs 3a, 3b, 3c, 3d, der im Sichtfeld des entsprechenden Lidarsystems 6 liegt, von dem Lidarsystem 6 größer ist als ein vorgegebener erster Grenzwert, der beispielsweise größer oder gleich 10 m, vorzugsweise größer oder gleich 15 m ist. Das Lidarsystem 6, vorzugsweise alle Lidarsysteme 6 der Infrastrukturvorrichtung 1 , sind also derart angeordnet, dass sie einen durch den ersten Grenzwert definierten Fernbereich abdecken.
Analog kann jedenfalls eine der Kameras 5, vorzugsweise alle Kameras 5 der Infrastrukturvorrichtung 1 , derart angeordnet sein, dass ein jeweiliger Minimalabstand desjenigen Teilbereichs des befahrbaren Bereichs 3a, 3b, 3c, 3d, der im Sichtfeld der entsprechenden Kamera 5 liegt, von der Kamera kleiner ist als ein vorgegebener zweiter Grenzwert, der beispielsweise kleiner oder gleich 10 m, vorzugsweise kleiner oder gleich 10 m ist. Die Kamera 5, vorzugsweise alle Kameras 5 der Infrastrukturvorrichtung 1 , sind also derart angeordnet, dass sie einen durch den zweiten Grenzwert definierten Nahbereich abdecken.
Die Infrastrukturvorrichtung 1 weist auch eine Recheneinheit 8 auf, die die Kamerabilder und Lidarsensordaten erhalten kann. Die Recheneinheit 8 ist dazu eingerichtet, basierend auf wenigstens einem Teil der erhaltenen Kamerabilder und Lidarsensordaten ein Position und/oder Orientierung des Fahrzeugs 2 innerhalb des befahrbaren Bereichs 3a, 3b, 3c, 3d zu bestimmen. Durch die Kombination der Kameras 5 und der Lidarsysteme 6 lässt sich der gesamte befahrbare Bereich 3a, 3b, 3c, 3d abdecken, wobei die Vorteile der Lidarsysteme 6 gezielt ausgenutzt und negative Auswirkungen des möglicherweise begrenzten vertikalen Öff- nungswinkels im Nahbereich vermieden werden, wie in Fig. 3 schematisch angedeutet, die das Fahrzeug 2 in einer hypothetischen Situation im Nahbereich eines weiteren Lidar- systems 6' mit einem Sichtfeld 10' zeigt.
Wie in Fig. 2 gezeigt können Fahrzeuge 2 im Fernbereich des Lidarsystems 6 zuverlässig lokalisiert werden, besonders indem auf die Möglichkeit der direkten Entfernungsmessung anhand der Lidarsensordaten zurückgegriffen wird. Im Nahbereich kann dagegen der sehr große vertikale und/oder horizontale Sichtfeldwinkel einer Kamera 5 ausgenutzt werden, wie in Fig. 4 gezeigt.

Claims

Patentansprüche Infrastrukturvorrichtung (1) zur wenigstens teilweise automatischen Führung eines Fahrzeugs (2) innerhalb eines vorgegebenen befahrbaren Bereichs (3a, 3b, 3c, 3d), dadurch gekennzeichnet, dass die Infrastrukturvorrichtung (1) eine Kamera (5) enthält, die dazu eingerichtet ist, wenigstens ein Kamerabild zu erzeugen, das ein erstes Sichtfeld (9) der Kamera (5) abbildet; die Infrastrukturvorrichtung (1) ein Lidarsystem (6) enthält, das dazu eingerichtet ist, Lidarsensordaten zu erzeugen, die ein zweites Sichtfeld (10) des Lidarsystems (6) darstellen; ein erster Teilbereich des befahrbaren Bereichs (3a, 3b, 3c, 3d) innerhalb des ersten Sichtfelds (9) liegt und ein zweiter Teilbereich des befahrbaren Bereichs (3a, 3b, 3c, 3d) innerhalb des zweiten Sichtfelds (10) liegt; das Lidarsystem (6) derart angeordnet ist, dass ein Maximalabstand des zweiten Teilbereichs von dem Lidarsystem (6) größer ist als ein vorgegebener erster Grenzwert; und die Infrastrukturvorrichtung (1) wenigstens eine Recheneinheit (8) aufweist, die dazu eingerichtet ist, Eingabedaten zu erhalten, die das wenigstens eine Kamerabild und die Lidarsensordaten beinhalten, und basierend auf wenigstens einem Teil der Eingabedaten ein Fahrzeug (2) innerhalb des befahrbaren Bereichs (3a, 3b, 3c, 3d) zu lokalisieren. Infrastrukturvorrichtung (1) nach Anspruch 1 , dadurch gekennzeichnet, dass der erste Grenzwert größer oder gleich 10 m ist, beispielsweise größer oder gleich 15 m, insbesondere größer oder gleich 25 m, vorzugsweise größer oder gleich 40 m. Infrastrukturvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (5) derart angeordnet ist, dass ein Minimalabstand des ersten Teilbereichs von der Kamera (5) kleiner ist als ein vorgegebener zweiter Grenzwert, der kleiner ist als der erste Grenzwert.
4. Infrastrukturvorrichtung (1) nach Anspruch 3, dadurch gekennzeichnet, dass der zweite Grenzwert kleiner oder gleich 10 m ist, insbesondere kleiner oder gleich 5 m, vorzugsweise kleiner oder gleich 2 m.
5. Infrastrukturvorrichtung (1) nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass dass ein Minimalabstand des zweiten Teilbereichs von dem Lidarsystem (6) größer ist, als der zweite Grenzwert.
6. Infrastrukturvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Infrastrukturvorrichtung (1) eine Vielzahl von Sensorknoten aufweist, die räumlich verteilt angeordnet sind, sodass ein Gesamtsichtfeld der Vielzahl von Sensorknoten den befahrbaren Bereich (3a, 3b, 3c, 3d) abdeckt.
7. Infrastrukturvorrichtung (1) nach Anspruch 6, dadurch gekennzeichnet, dass ein erster Sensorknoten der Vielzahl von Sensorknoten die Kamera (5) enthält und ein zweiter Sensorknoten der Vielzahl von Sensorknoten, der von dem ersten Sensorknoten verschieden ist, das Lidarsystem (6) enthält.
8. Infrastrukturvorrichtung (1) nach Anspruch 6, dadurch gekennzeichnet, dass die Kamera (5) und das Lidarsystem (6) von demselben Sensorknoten der Vielzahl von Sensorknoten enthalten sind.
9. Infrastrukturvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, das Fahrzeug (2) unter Anwendung eines Objektverfolgungsalgorithmus zu verfolgen und basierend auf der Verfolgung eine erste Position des Fahrzeugs (2) in dem befahrbaren Bereich (3a, 3b, 3c, 3d) zu einem ersten Zeitpunkt zu bestimmen; zum Lokalisieren des Fahrzeugs (2) eine zweite Position des Fahrzeugs (2) in dem befahrbaren Bereich (3a, 3b, 3c, 3d) zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, zu bestimmen. Infrastrukturvorrichtung (1) nach Anspruch 9, dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, die Eingabedaten durch Anwendung eines Verfahrens zur Sensordatenfusion aufzubereiten und zum Aufbereiten der Eingabedaten Informationen des wenigstens einen Kamerabildes und Informationen der Lidarsensordaten bezüglich einander abhängig von der ersten Position zu gewichten; und die zweite Position des Fahrzeugs (2) abhängig von den aufbereiteten Eingabedaten zu bestimmen. Infrastrukturvorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der befahrbare Bereich (3a, 3b, 3c, 3d) eine Vielzahl von potentiellen Parkplätzen (4) für das Fahrzeug (2) enthält. Infrastrukturvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit (8) dazu eingerichtet ist, abhängig von einem Ergebnis der Lokalisierung des Fahrzeugs (2) eine Trajektorie für das Fahrzeug (2) innerhalb des befahrbaren Bereichs (3a, 3b, 3c, 3d) zu planen und die Trajektorie an das Fahrzeug (2) zu übermitteln. Verfahren zum Betreiben einer Infrastrukturvorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug (2) innerhalb des befahrbaren Bereichs (3a, 3b, 3c, 3d) mittels der wenigstens einen Recheneinheit (8) abhängig von den Eingabedaten lokalisiert wird; und das Fahrzeug (2) abhängig von einem Ergebnis der Lokalisierung wenigstens teilweise automatisch geführt wird. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass mittels der wenigstens einen Recheneinheit (8), abhängig von dem Ergebnis der Lokalisierung eine Trajektorie für das Fahrzeug (2) innerhalb des befahrbaren Bereichs (3a, 3b, 3c, 3d) geplant wird; die Trajektorie von der wenigstens einen Recheneinheit (8) an das Fahrzeug (2) übermittelt wird; und das Fahrzeug (2) abhängig von der Trajektorie wenigstens teilweise automatisch geführt wird. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass mittels der wenigstens eine Recheneinheit (8) ein Parkplatz (4) für das Fahrzeug (2) in dem befahrbaren Bereich (3a, 3b, 3c, 3d) bestimmt wird; und die Trajektorie geplant wird, sodass eine Zielposition für das Fahrzeug (2) gemäß der Trajektorie dem Parkplatz (4) entspricht.
PCT/EP2023/063610 2022-05-25 2023-05-22 Infrastrukturvorrichtung zur führung eines fahrzeugs WO2023227508A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022113274.9A DE102022113274A1 (de) 2022-05-25 2022-05-25 Infrastrukturvorrichtung zur Führung eines Fahrzeugs
DE102022113274.9 2022-05-25

Publications (1)

Publication Number Publication Date
WO2023227508A1 true WO2023227508A1 (de) 2023-11-30

Family

ID=86604532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/063610 WO2023227508A1 (de) 2022-05-25 2023-05-22 Infrastrukturvorrichtung zur führung eines fahrzeugs

Country Status (2)

Country Link
DE (1) DE102022113274A1 (de)
WO (1) WO2023227508A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180067487A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Perceiving Roadway Conditions from Fused Sensor Data
EP3388311A1 (de) * 2017-04-10 2018-10-17 Valeo Schalter und Sensoren GmbH Verfahren zum ferngesteuerten manövrieren eines kraftfahrzeugs auf einer parkfläche, infrastrukturvorrichtung für eine parkfläche sowie parkflächenkommunikationssystem
US20200103920A1 (en) * 2018-10-02 2020-04-02 Ford Global Technologies, Llc Stationary camera localization

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444241B2 (en) 2005-12-09 2008-10-28 Gm Global Technology Operations, Inc. Method for detecting or predicting vehicle cut-ins
EP3829958B1 (de) 2018-07-27 2023-10-25 embotech AG Verfahren zum lenken eines fahrzeugs und vorrichtung dafür
DE102018212998A1 (de) 2018-08-03 2020-02-06 Robert Bosch Gmbh Verfahren zum Führen eines Fahrzeugs in einer Parkumgebung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180067487A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Perceiving Roadway Conditions from Fused Sensor Data
EP3388311A1 (de) * 2017-04-10 2018-10-17 Valeo Schalter und Sensoren GmbH Verfahren zum ferngesteuerten manövrieren eines kraftfahrzeugs auf einer parkfläche, infrastrukturvorrichtung für eine parkfläche sowie parkflächenkommunikationssystem
US20200103920A1 (en) * 2018-10-02 2020-04-02 Ford Global Technologies, Llc Stationary camera localization

Also Published As

Publication number Publication date
DE102022113274A1 (de) 2023-11-30

Similar Documents

Publication Publication Date Title
EP3177498B1 (de) Verfahren zum erzeugen einer umgebungskarte eines umgebungsbereichs eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102019121140A1 (de) Sensorfusion
DE102019131384A1 (de) Strassenbelagcharakterisierung unter verwendung von posenbeobachtungen von benachbarten fahrzeugen
DE102019127058A1 (de) Fahrzeugwegplanung
WO2020229002A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
DE102013107861A1 (de) Tracking von Strassen-Fahrzeugen mit Sensoren unterschiedlicher Ausführungsarten
EP3008534B1 (de) Verfahren zum modellieren eines umfelds eines fahrzeugs
DE102011082478A1 (de) Verfahren, System sowie Vorrichtung zur Lokalisation eines Fahrzeugs relativ zu einem vordefinierten Bezugssystem
DE102017216442A1 (de) Automatisches Parksystem
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102018130597A1 (de) 3d-kartierung mit hoher bildschärfe
DE102016211227A1 (de) Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
EP3454084A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems für ein kraftfahrzeug unter verwendung einer vektorbasierten und einer gitterbasierten umgebungskarte sowie fahrerassistenzsystem
DE102020124331A1 (de) Fahrzeugspurkartierung
DE102019132150A1 (de) Verfahren zum automatischen Kalibrieren eines Umfeldsensors, insbesondere eines Lidar-Sensors, eines Fahrzeugs auf Grundlage von Belegungskarten sowie Recheneinrichtung
EP3898368A1 (de) Verfahren und system zum bestimmen einer korrigierten trajektorie eines fahrzeugs
DE102021125592A1 (de) Verkehrskamerakalibrierung
EP1724726B1 (de) Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
WO2020160796A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
WO2023227508A1 (de) Infrastrukturvorrichtung zur führung eines fahrzeugs
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
WO2020212102A1 (de) Verfahren und vorrichtung zum erstellen eines höhenprofils für einen von einem fahrzeug zu befahrenden bereich
EP3926300B1 (de) Bestimmung einer eigenposition und navigationsvorrichtung
EP3338263B1 (de) Verfahren und vorrichtung zum bestimmen eines strassenrand-parkplatzes
DE102021101133A1 (de) Detektion eines lateralen Endes einer Fahrbahn

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23726535

Country of ref document: EP

Kind code of ref document: A1