WO2019201512A1 - System and method for sensing an environment of a vehicle - Google Patents

System and method for sensing an environment of a vehicle Download PDF

Info

Publication number
WO2019201512A1
WO2019201512A1 PCT/EP2019/056105 EP2019056105W WO2019201512A1 WO 2019201512 A1 WO2019201512 A1 WO 2019201512A1 EP 2019056105 W EP2019056105 W EP 2019056105W WO 2019201512 A1 WO2019201512 A1 WO 2019201512A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
view
primary
imaging sensor
environment
Prior art date
Application number
PCT/EP2019/056105
Other languages
German (de)
French (fr)
Inventor
Costanza CASCELLI
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2019201512A1 publication Critical patent/WO2019201512A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Definitions

  • the invention relates to a system and a method for detecting the surroundings of a vehicle with imaging sensors, wherein the imaging sensors for detecting the vehicle surroundings are arranged on the vehicle.
  • an environment of a vehicle to be detected from the safety point of view may change.
  • a towing vehicle which next to a towing vehicle
  • Trailer may be part of a team, the environment to be detected depending on whether the trailer is attached to a trailer or not.
  • the invention therefore provides solutions to provide adaptive and efficient environment detection.
  • Such a system for environment detection system has a plurality of primary imaging sensors for detecting an environment of a vehicle, wherein the primary imaging sensors are locatable at a plurality of positions on the vehicle, a detector for detecting a vehicle-mounted object, which is a field of view of a primary imaging sensor at least partially obscured, min- at least one secondary imaging sensor for sensing an environment of the attached object, the at least one secondary imaging sensor having a field of view different from the fields of view of the primary imaging sensors, a control unit configured to provide an environment detection with the at least one secondary imaging sensor activate, if the detector detects an object attached to the vehicle, and an evaluation unit for generating a top view, which is based on the environment detection with the primary imaging sensors, if the detector detects no vehicle-mounted object, and which at least on the surroundings detection with the at least a secondary imaging sensor is based if the detector detects an object attached to the vehicle.
  • the vehicle may be any vehicle to which an object is attachable, which may be in particular a towing vehicle, to which a trailer is attachable.
  • the towing vehicle may be any vehicle configured to attach and tow a trailer, such as a truck, tractor, passenger car, tractor, tug, or van.
  • the towing vehicle may be a self-propelled or person-operated vehicle.
  • the object may in particular be a trailer, wherein the trailer may be any vehicle having a cargo area.
  • the trailer can in particular be without drive and be carried behind the towing vehicle.
  • the towing vehicle and the trailer may form a trailer, wherein the towing vehicle may be the powered or motorized portion and the trailer may be the non-powered or non-motorized portion of the trailer.
  • the detector for detecting an object mounted on the vehicle may for example be a tactile or optical sensor which detects in binary and automatically whether an object is attached to the vehicle or not.
  • a tactile sensor may be provided in a trailer hitch of a towing vehicle.
  • the detector may also be one of the primary imaging sensors with which the attached object can be detected in a captured image.
  • the detector may also detect a driver command, wherein the driver may himself indicate with an instruction sent to the detector that an object is attached to the vehicle.
  • the environment of the vehicle can also be referred to as its spatial environment.
  • the environment may be a spatially delimited area around a location of the vehicle.
  • the spatial area may be defined around the vehicle around or sectorally.
  • An imaging sensor for environment detection may be any known environment detection sensor that can generate image information from a vehicle environment.
  • the surroundings detection sensor can be a surface-area-measuring sensor or a scanning sensor, wherein both the areal-measuring sensor and the scanning sensor can acquire image information of the surroundings of the vehicle.
  • the environment detection sensor may be, for example, a camera, a radar sensor, an ultrasonic transceiver or a laser scanner.
  • the camera can be an RGB camera, an infrared camera, a 3D camera or an omnidirectional camera. Therefore, image information taken with the camera may be, for example, a color value, a signal intensity value or a heat value.
  • the grading of a primary to a secondary imaging sensor may be functionally understood in that the primary imaging sensor may be provided for use in a plurality of operating modes of the vehicle and the secondary sensors may be provided for use only in a particular operating mode of the vehicle.
  • the secondary imaging sensor may thus be temporarily powered up in the one particular mode of operation in an imaging system or replace a primary imaging sensor.
  • a secondary imaging sensor of a vehicle can only be used when the vehicle is pulling a trailer.
  • the primary and secondary imaging sensors may therefore also be referred to as main and auxiliary imaging sensors.
  • Primary and / or secondary imaging sensors can be identical or different cameras, which have the same, different or variable fields of view, solutions and detection areas. Different fields of view of the primary and / or secondary imaging sensors may differ in that they have different spatial coverage areas, different viewing angles, different orientations or viewing angles.
  • a top view of the surroundings of the vehicle may be an abstracted or photorealistic illustrated, two-dimensional orthogonal projection of the spatial environment of the vehicle, the environment being viewed from above.
  • plan view the vehicle, the object attached to it and / or other objects, for example detected obstacles, may also be shown.
  • the plan view is generated by means of known photogrammetric methods and transformations based on images captured by the imaging sensors.
  • a core idea of the invention can be seen in that images for generating a plan view of the vehicle environment are automatically and variably selected depending on a vehicle configuration of the vehicle.
  • the selection decision can also be made by a driver.
  • the vehicle configuration may be a presence or absence of a trailer on the vehicle.
  • the invention is based on the concept that at least one additional imaging sensor is provided as a secondary imaging sensor, which replaces or supplements an existing surroundings detection of a vehicle by means of imaging sensors by an additional environment detection of an object attached to the vehicle with other images of the object environment.
  • the invention may also be based on the concept that both primary imaging sensors and secondary imaging sensors can be arranged on a vehicle. This is advantageous because attachable to the vehicle objects, in particular a trailer, usually provide no power supply for imaging sensors.
  • the primary imaging sensors and also the at least one secondary imaging sensor can / can be arranged for this purpose in particular on a driver's cab of the vehicle.
  • the primary imaging sensors are primary cameras and the at least one secondary imaging sensor is a secondary camera.
  • Images of the surroundings of the vehicle can be recorded with the cameras.
  • the individual images of the primary cameras and / or the secondary camera can be combined by means of image processing.
  • An all-around image or an area of an all-around image can thus be created by means of a stitching of individual images.
  • the cameras can be equipped with a wide-angle lens or with a fisheye lens.
  • large fields of view of the cameras can then have a viewing angle which is greater than 90 degrees or greater than 180 degrees. In principle, however, the cameras can have any viewing angle up to these angular ranges. Large viewing angles are advantageous because with you for a Stiching individual images large areas overlap areas can be present in the images in which a necessary for the Stiching number of nodes can be generated.
  • the top view can be generated by converting the image coordinates into a horizontal plane.
  • One possible configuration of primary cameras may include a forward-facing, a side-to-left, a side-to-right, and a rear-facing camera with appropriately orientable fields of view.
  • the at least one secondary imaging sensor can be arranged on the vehicle at a different position from the positions of the primary imaging sensors. By placing the secondary imaging sensor in such position, it may have a spatially divertable and arrangeable field of view than the primary imaging sensors. The detectable environment can thus be increased.
  • the position of the secondary imaging sensor may be a more prominent position relative to the positions of the primary imaging sensors toward the vehicle. This can be achieved in that the secondary imaging sensor can be mounted on a projecting vehicle part, for example an exterior mirror, while the primary imaging sensors can be arranged, for example, on or in the vehicle body.
  • An exposed arrangement of the secondary imaging sensor has the beneficial effect of being Field of vision may be less prone to occlusion by an object attached to the vehicle.
  • the field of view of the secondary imaging sensor in a direction of travel of the vehicle can be aligned to the rear.
  • the field of view of the secondary imaging sensor may be laterally alignable to the rear of the body of the vehicle to detect the environment in a rearward in the direction of travel of the vehicle side area adjacent to a vehicle-mounted object.
  • the secondary imaging sensor can be arranged above the vehicle body, for example on the vehicle roof, wherein its field of view can be aligned to the rear such that an area of the vehicle surroundings can be detected in a rear region in the direction of travel of the vehicle.
  • Such rearward alignment of the secondary imaging sensor may be advantageous because an object attached to the vehicle rear may obscure a primary imaging sensor on the vehicle rear, while the secondary imaging sensor may compensate for such occlusion by a field of view directed past the object.
  • a visual angle of the secondary imaging sensor is less than a respective visual angle of one of the primary imaging sensors.
  • a secondary imaging sensor can be arranged on each side of the vehicle, wherein each sensor can detect a lateral rear area of the surroundings of an attached object. A smaller viewing angle may be sufficient, since the two secondary imaging sensors can detect only lateral areas next to an object attached to the vehicle.
  • the two fields of view spanned with the visual angles can not overlap, as an object attached to the vehicle can separate them, and then no overlap area can exist in the images of the secondary imaging sensors.
  • a detection range of the secondary imaging sensor is greater than a respective detection range of one of the primary imaging sensors.
  • the environment can be recorded at a greater distance from the imaging sensor and image formations are used at such a greater distance for generating the top view.
  • the secondary imaging sensor which is provided for detecting the surroundings around the attached object, can detect a spatial area around the object, the object mounted on the vehicle being larger, in particular longer, than the vehicle itself.
  • fields of view of the primary imaging sensors partially overlap, with the field of view of the secondary imaging sensor including an area which is a non-overlapping area from the fields of view of the primary sensors. Overlapping the fields of view may result in overlapping of the images acquired by the imaging sensors. The overlapping can compensate by correspondingly redundant existing image information in the captured images at least partially obscuring an imaging sensor for generating a top view, since one hidden in a sensor environment can then be detected by at least one other non-hidden sensor.
  • a region obscured by an object that has not been redundantly, ie not overlapped, detected by primary imaging sensors a secondary imaging sensor whose field of view is not obscured by the object and is aligned with the hidden area, this area to use the image information acquired with it to generate the plan view. This is particularly advantageous if the hidden area is a possible location of a vehicle-mounted object.
  • control unit is configured to deactivate an environment detection with a primary imaging sensor whose field of view is obscured if the detector detects an object attached to the vehicle.
  • Activating the surround detection with a secondary imaging sensor can result in such deactivation, activating a secondary imaging sensor that can detect an environmental region no longer detectable by the hidden primary imaging sensor. Deactivating and thus not capturing an image on which essentially the object attached to the vehicle can be located may be advantageous, since this image is then no longer based on the generation of the top view.
  • An image which essentially contains no image information to the environment can be disadvantageous in a Stiching the individual images to a full-frame image and a conversion to the top view, since it can not map to little redundant environment areas in which nodes can be found for combining with other images.
  • the non-use can therefore be advantageous because artifacts can be excluded by incorrect image links.
  • Another solution is a vehicle having an environment detection system comprising a plurality of primary imaging sensors for sensing an environment of the vehicle, wherein the primary imaging sensors are disposed at a plurality of locations on the vehicle, a detector for detecting an object mounted on the vehicle comprising at least partially obscuring a field of view of a primary imaging sensor, at least one secondary imaging sensor for sensing an environment of the attached object, the secondary imaging sensor having a field of view different from the fields of view of the primary imaging sensors, a control unit configured to: to activate an environment detection with the at least one secondary imaging sensor, if the detector detects an object attached to the vehicle, and an evaluation unit for generating a plan view, which on the environment detection with the primary imaging sensor oren based, if the detector detects no vehicle-mounted object, and which is based at least on the surroundings detection with the at least one secondary imaging sensor, if the detector detects an object attached to the vehicle has.
  • the vehicle is a towing vehicle and the object to be detected is a trailer.
  • the trailer may be hinged to the vehicle at a trailer hitch, wherein the orientation of the trailer to the towing vehicle may change by pivoting the trailer to the towing vehicle. This can result in a relative change in position of the trailer to the towing vehicle.
  • Detecting the environment of a trailer with secondary imaging sensors may be particularly advantageous because the trailer may obscure at least one primary imaging sensor, particularly a rearview camera.
  • the vehicle has two exterior mirrors, wherein in each case a secondary imaging sensor is arranged on one of the two exterior mirrors of the vehicle. A rear view camera arranged on an exterior mirror can almost completely detect a rearward region in the direction of travel, since the exterior mirror camera detects one of these through an exposed arrangement
  • Trailer may have at least partially uncoverable field of view.
  • Another solution is a method for detecting the surroundings of a vehicle, which as a method steps detecting an environment of the vehicle with a plurality of primary imaging sensors, which are arranged at a plurality of positions on the vehicle, detecting a vehicle-mounted object, which is a field of view of a primary imaging sensor having at least one secondary imaging sensor which has a field of view different from fields of view of the primary sensors if an object attached to the vehicle has been detected, and generating a plan view of the surroundings of the vehicle which is based on the surround detection with the primary imaging sensors, if no vehicle-mounted object has been detected, and based at least on the surroundings detection with the at least one secondary imaging sensor, if one on the Fah rzeug attached object has been detected.
  • a further solution is a method for emergency braking of a vehicle, which as method steps comprises detecting an environment of the vehicle with a plurality of primary imaging sensors, which are arranged at several positions on the vehicle, detecting a vehicle-mounted object, which is a field of view of a primary imaging sensor having at least one secondary imaging sensor having a field of view different from fields of view of the primary sensors, if an object attached to the vehicle has been detected, detecting an obstacle in the detected environment of the attached one Object and braking the vehicle to avoid collision with the detected obstacle.
  • Both the method for detecting the surroundings of the vehicle and the method for emergency braking of the vehicle is based on a common concept that a vehicle environment detection is performed as a function of a vehicle configuration present in vehicle operation.
  • An additional imaging sensor as a secondary imaging sensor thus makes it possible to compensate for hidden areas in the surroundings detection. This is particularly advantageous for detecting an obstacle in the detected environment when maneuvering the vehicle, since obstacles can be detected more reliably, even if a primary imaging sensor is obscured.
  • Detecting an obstacle in the detected environment of the attached object and braking the vehicle to avoid collision with the detected obstacle may be performed during forward driving of the vehicle and during reverse driving of the vehicle to collision the vehicle, particularly the object attached thereto to avoid with the obstacle. This can be particularly advantageous when the detected obstacle is in a drag curve of the vehicle and / or the object attached to it, especially on a towed by the vehicle trailer.
  • the primary imaging sensors and / or the secondary imaging sensor may itself be configured to detect an obstacle.
  • the imaging sensors can be trained by known algorithms for automatic object detection such that they can detect obstacles, such as pedestrians, automatically.
  • Such an obstacle detection can be transmitted to a control unit, which initiates a braking of the vehicle.
  • the obstacle detection can also be communicated to a driver by a warning signal, which can then initiate braking.
  • the method of emergency braking a vehicle may include generating a plan view of the environment of the vehicle based on the surround detection with the primary imaging sensors if no vehicle mounted object has been detected, and at least on the surround detection with the at least one secondary imaging sensor if a vehicle-mounted object is has been detected.
  • the braking of the vehicle to avoid the collision with the detected obstacle can then be performed automatically by an automatic obstacle detection in plan view or by a driver who recognizes the obstacle in plan view.
  • Figure 1 shows a plan view of an embodiment of an environment detection system and a vehicle for explaining the Um ventes charged with primary and secondary imaging sensors.
  • FIG. 2 shows a further plan view of the exemplary embodiment of the surroundings detection system and the vehicle for further explanation of the surroundings detection with primary and secondary imaging sensors.
  • FIG. 3 shows a flow chart of method steps of an exemplary embodiment of a method for detecting the surroundings of a vehicle.
  • FIG. 4 shows a flowchart of method steps of an exemplary embodiment of a method for emergency braking of a vehicle.
  • FIGs 1 and 2 a towing vehicle 2 is shown, to which a trailer 4 is attached in Figure 2.
  • the trailer 4 is hinged to a trailer hitch 6 of the towing vehicle 2.
  • an environment detection is realized with four primary cameras 10, which in the direction of travel 5 forward oriented primary field of view 1 1, a direction of travel 5 to the left oriented primary field of view 12, a direction of travel 5 to the right aligned primary field of view 13 and a in Direction of travel 5 have backward oriented primary field of view 14, wherein a respective viewing angle 15 of the fields of view 1 1, 12, 13, 14 is greater than 180 degrees, this being feasible with a provided on the cameras 10 wide-angle lens (not shown).
  • the detection areas 16 of the primary cameras 10 are distributed around the towing vehicle, resulting in overlapping areas 17, in which partial areas of two detection areas 16 of two different primary cameras 10 overlap.
  • a detector 30 for object recognition, a control unit 40 for activating a secondary camera 20 and an evaluation unit 50 for generating a plan view of images of the primary cameras 10 and optionally at least one image of a secondary camera 20 are also arranged.
  • the detector 30 is connected to the primary cameras 10 in order to evaluate their recorded images and to be in this one attached to the towing vehicle 2
  • the control unit 40 is in turn connected to the detector 30 in order to activate a secondary camera 20 if the detector 30 has detected a trailer 4 attached to the towing vehicle 2.
  • the evaluation unit 50 for generating the plan view (not shown) is connected to the primary cameras 10, the secondary cameras 20, to the detector 30 and to the control unit 40.
  • the plan view is generated based on images of the primary cameras 10 by means of a stitching.
  • an environment detection is realized with three primary cameras 10, which in the direction of travel 5 forward-facing primary field of view 1 1, the direction of travel 5 to the left oriented primary field of view 12 and the direction of travel 5 to the right aligned primary field of view 13, which the respective field of view 1 1, 12, 13 and the detection areas 16 as shown in Figure 1 correspond.
  • the surround detection with three primary cameras 10 is supplemented with an additional environment detection with two secondary cameras 20, which have a respective left secondary field of view 21 and a right secondary field of view 22 as rearview cameras. Both secondary fields of view have a visual angle 23 which is smaller than the visual angle 15 of the primary cameras 10.
  • the detection areas 24 of the secondary cameras 20 are larger than the detection areas 16 of the primary cameras 10.
  • the secondary cameras 20 are arranged in exterior mirrors 3 of the towing vehicle 2 and generate sectoral view fields 21, 22 which are oriented in the direction of travel 5 to the rear, whereby the left field of view 21 is aligned with the left-facing private vehicle.
  • the field of view 12 is partially overlapped and the right field of view 22 partially overlaps with the right-facing primary field of view 13.
  • the plan view is generated based on three images of the primary cameras 10 and two images of the secondary cameras 20 by means of a stitching, with an image of a secondary camera 20 having one adjacent image of one of the primary cameras 10 is combined.
  • FIG. 3 shows process steps of a method for registering the surroundings of a vehicle in their time sequence.
  • a first step S1 an environment of the towing vehicle 2 with the primary cameras 10 is detected.
  • a trailer 4 which obscures the rear field of view 14 of one of the primary cameras 10, is detected.
  • a third step S3 the environment of the trailer 4 with the two secondary cameras 20 is detected.
  • a top view of the environment of towing vehicle 2 as shown in Figure 1 is detected with the primary cameras 10, when the detector 30 does not detect the trailer 4, and is a plan view of the environment of the towing vehicle 2 and the trailer 4 as in Figure 2 is shown with three of the four primary cameras 10 and the two secondary cameras 20 detected when the detector 30 detects the trailer 4.
  • FIG. 4 shows process steps of a method for emergency braking of a vehicle in its time sequence.
  • a first step S1 an environment of the towing vehicle 2 with the primary cameras 10 is detected.
  • a trailer 4 which obscures the rear field of view 14 of one of the primary cameras 10, is detected.
  • a third step S3 the environment of the trailer 4 with the two secondary cameras 20 is detected.
  • a top view of the environment of towing vehicle 2 as shown in Figure 1 is detected with the primary cameras 10, when the detector 30 does not detect the trailer 4, and is a plan view of the environment of the towing vehicle 2 and the trailer 4 as in Figure 2 is shown with three of the four primary cameras 10 and the two secondary cameras 20 detected when the detector 30 detects the trailer 4.
  • a fifth step S5 we an obstacle in the detected environment of the towing vehicle 2 and the trailer 4 of the Evaluation unit 50 detected.
  • a sixth step S6 the towing vehicle 2 and the trailer 4 are braked to avoid collision with the detected obstacle (not shown).

Abstract

The invention relates to a system for environment sensing, comprising primary imaging sensors for sensing an environment of a vehicle, a detector (30) for detecting an object mounted on the vehicle, a secondary imaging sensor for sensing an environment of the mounted object, a control unit (40), which is designed to activate environment sensing by means of the secondary imaging sensor if the detector (30) detects an object mounted on the vehicle, and an evaluation unit (50) for producing a top view, which is based on the environment sensing by means of the primary imaging sensors if the detector (30) does not detect an object mounted on the vehicle and which is based on the environment sensing by means of the at least one secondary imaging sensor if the detector (30) detects an object mounted on the vehicle. The invention further relates to corresponding methods for environment sensing and for the emergency braking of a vehicle.

Description

System und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs  System and method for detecting an environment of a vehicle
Technischer Bereich Technical part
Die Erfindung betrifft ein System und ein Verfahren zur Umfelderfassung eines Fahrzeugs mit bildgebenden Sensoren, wobei die bildgebenden Sensoren zum Erfassen des Fahrzeugumfelds am Fahrzeug angeordnet sind. The invention relates to a system and a method for detecting the surroundings of a vehicle with imaging sensors, wherein the imaging sensors for detecting the vehicle surroundings are arranged on the vehicle.
Stand der Technik State of the art
Es ist bekannt, auf Fahrzeugen Kameras als bildgebende Sensoren vorzusehen, mit denen einzelne Bilder des Fahrzeugumfelds aufgenommen werden können. Die mit den Kameras aufgenommenen Einzelbilder können mittels bekannten Methoden der Bildverarbeitung zunächst zu einem Rundumbild kombiniert werden und anschließend in eine Draufsicht der Fahrzeugumgebung umgewandelt werden, welche dem Fahrer angezeigt werden kann. It is known to provide cameras on vehicles as imaging sensors with which individual images of the vehicle environment can be recorded. The individual images taken with the cameras can be first combined by means of known methods of image processing to form an all-around image and then converted into a plan view of the vehicle environment, which can be displayed to the driver.
Ein aus Sicherheitsaspekten zu erfassendes Umfeld eines Fahrzeugs kann sich jedoch ändern. So kann beispielsweise bei einem Zugfahrzeug, welches neben einem However, an environment of a vehicle to be detected from the safety point of view may change. For example, in a towing vehicle, which next to a
Anhänger ein Bestandteil eines Gespanns sein kann, das zu erfassende Umfeld davon abhängig sein, ob am Zugfahrzeug ein Anhänger angehängt ist oder nicht. Trailer may be part of a team, the environment to be detected depending on whether the trailer is attached to a trailer or not.
Zusammenfassung der Erfindung Summary of the invention
Die Erfindung stellt daher Lösungen bereit, eine adaptive und effiziente Umfelderfassung bereitzustellen. The invention therefore provides solutions to provide adaptive and efficient environment detection.
Eine derartige Lösung für ein System zur Umfelderfassung hat eine Vielzahl von primären bildgebenden Sensoren zum Erfassen eines Umfelds eines Fahrzeugs, wobei die primären bildgebenden Sensoren an mehreren Positionen am Fahrzeug anordbar sind, einen Detektor zum Erkennen eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld eines primären bildgebenden Sensors zumindest teilweise verdeckt, min- destens einen sekundären bildgebenden Sensor zum Erfassen eines Umfelds des angebrachten Objekts, wobei der mindestens eine sekundäre bildgebende Sensor ein zu den Sichtfeldern der primären bildgebenden Sensoren verschiedenes Sichtfeld aufweist, eine Steuereinheit, welche dazu eingerichtet ist, eine Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor zu aktivieren, falls der Detektor ein am Fahrzeug angebrachtes Objekt erkennt, und eine Auswerteeinheit zum Erzeugen einer Draufsicht, welche auf der Umfelderfassung mit den primären bildgebenden Sensoren basiert, falls der Detektor kein am Fahrzeug angebrachtes Objekt erkennt, und welche zumindest auf der Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor basiert, falls der Detektor ein am Fahrzeug angebrachtes Objekt erkennt. Such a system for environment detection system has a plurality of primary imaging sensors for detecting an environment of a vehicle, wherein the primary imaging sensors are locatable at a plurality of positions on the vehicle, a detector for detecting a vehicle-mounted object, which is a field of view of a primary imaging sensor at least partially obscured, min- at least one secondary imaging sensor for sensing an environment of the attached object, the at least one secondary imaging sensor having a field of view different from the fields of view of the primary imaging sensors, a control unit configured to provide an environment detection with the at least one secondary imaging sensor activate, if the detector detects an object attached to the vehicle, and an evaluation unit for generating a top view, which is based on the environment detection with the primary imaging sensors, if the detector detects no vehicle-mounted object, and which at least on the surroundings detection with the at least a secondary imaging sensor is based if the detector detects an object attached to the vehicle.
Das Fahrzeug kann jedes Fahrzeug sein, an welchem ein Objekt anbringbar ist, wobei es sich insbesondere um ein Zugfahrzeug handeln kann, an welchem ein Anhänger anbringbar ist. Das Zugfahrzeug kann wiederum jedes Fahrzeug sein, welches zum Anbringen und Ziehen eines Anhängers ausgebildet ist, beispielweise ein Lastkraftwagen, eine Sattelzugmaschine, ein Personenkraftwagen, ein Traktor, ein Schlepper oder ein Transporter. Das Zugfahrzeug kann ein selbstfahrendes oder personengeführtes Fahrzeug sein. Das Objekt kann insbesondere ein Anhänger sein, wobei der Anhänger jedes Fahrzeug sein kann, welches eine Ladefläche aufweist. Der Anhänger kann insbesondere antriebslos sein und hinter dem Zugfahrzeug mitgeführt werden. Das Zugfahrzeug und der Anhänger können ein Gespann bilden, wobei das Zugfahrzeug der angetriebene oder motorisierte Teil und der Anhänger der antriebslose oder nichtmotorisierte Teil des Gespanns sein kann. The vehicle may be any vehicle to which an object is attachable, which may be in particular a towing vehicle, to which a trailer is attachable. In turn, the towing vehicle may be any vehicle configured to attach and tow a trailer, such as a truck, tractor, passenger car, tractor, tug, or van. The towing vehicle may be a self-propelled or person-operated vehicle. The object may in particular be a trailer, wherein the trailer may be any vehicle having a cargo area. The trailer can in particular be without drive and be carried behind the towing vehicle. The towing vehicle and the trailer may form a trailer, wherein the towing vehicle may be the powered or motorized portion and the trailer may be the non-powered or non-motorized portion of the trailer.
Der Detektor zum Erkennen eines am Fahrzeug angebrachten Objekts, insbesondere eines Anhängers, kann beispielsweise ein taktiler oder optischer Sensor sein, welcher binär und automatisch erkennt, ob ein Objekt am Fahrzeug angebracht ist oder nicht. Zum Erkennen eines Anhängers kann beispielsweise ein taktiler Sensor in einer Anhängerkupplung eines Zugfahrzeugs vorgesehen sein. Bei dem Detektor kann es sich auch um einen der primären bildgebenden Sensoren handeln, mit welchem in einem aufgenommenen Bild das angebrachte Objekt erkannt werden kann. Der Detektor kann auch einen Fahrerbefehl detektieren, wobei der Fahrer mit einem an den Detektor übersandten Befehl selbst angeben kann, dass ein Objekt am Fahrzeug angebracht ist. The detector for detecting an object mounted on the vehicle, in particular a trailer, may for example be a tactile or optical sensor which detects in binary and automatically whether an object is attached to the vehicle or not. To detect a trailer, for example, a tactile sensor may be provided in a trailer hitch of a towing vehicle. The detector may also be one of the primary imaging sensors with which the attached object can be detected in a captured image. The detector may also detect a driver command, wherein the driver may himself indicate with an instruction sent to the detector that an object is attached to the vehicle.
Das Umfeld des Fahrzeugs kann auch als dessen räumliche Umgebung bezeichnet werden. Das Umfeld kann ein räumlich abgegrenzter Bereich um einen Aufenthaltsort des Fahrzeugs sein. Der räumliche Bereich kann um das Fahrzeug rund herum oder sektoral definiert sein. The environment of the vehicle can also be referred to as its spatial environment. The environment may be a spatially delimited area around a location of the vehicle. The spatial area may be defined around the vehicle around or sectorally.
Ein bildgebender Sensor zur Umfelderfassung kann jeder bekannte Umfelderfassungssensor sein, welcher von einem Fahrzeugumfeld Bildinformationen erzeugen kann. Der Umfelderfassungssensor kann ein flächenhaft messender Sensor oder ein scannender Sensor sein, wobei sowohl der flächenhaft messende Sensor als auch der scannende Sensor Bildinformationen des Umfelds des Fahrzeugs erfassen kann. Der Umfelderfassungssensor kann beispielsweise eine Kamera, ein Radarsensor, ein Ultraschalltransceiver oder ein Laserscanner sein. Bei der Kamera kann es sich um eine RGB- Kamera, eine Infrarotkamera, eine 3D-Kamera oder um eine omnidirektionale Kamera handeln. Mit der Kamera aufgenommene Bildinformation kann daher beispielsweise ein Farbwert, ein Signalintensitätswert oder ein Wärmewert sein. An imaging sensor for environment detection may be any known environment detection sensor that can generate image information from a vehicle environment. The surroundings detection sensor can be a surface-area-measuring sensor or a scanning sensor, wherein both the areal-measuring sensor and the scanning sensor can acquire image information of the surroundings of the vehicle. The environment detection sensor may be, for example, a camera, a radar sensor, an ultrasonic transceiver or a laser scanner. The camera can be an RGB camera, an infrared camera, a 3D camera or an omnidirectional camera. Therefore, image information taken with the camera may be, for example, a color value, a signal intensity value or a heat value.
Die Abstufung eines primären zu einem sekundären bildgebenden Sensor kann funktional dahingehend verstanden werden, dass der primäre bildgebende Sensor zur Verwendung in mehreren Betriebsmodi des Fahrzeugs vorgesehen sein kann und der sekundäre Sensoren nur zur Verwendung in einem bestimmten Betriebsmodus des Fahrzeugs vorgesehen sein kann. Der sekundäre bildgebende Sensor kann so in dem einen bestimmten Betriebsmodus in einem Bilderfassungssystem temporär dazugeschaltet werden oder einen primären bildgebenden Sensor ersetzen. So kann ein sekundärer bildgebender Sensor eines Fahrzeugs beispielsweise nur dann verwendet werden, wenn das Fahrzeug einen Anhänger zieht. Der primäre und sekundäre bildgebende Sensor kann daher auch als bildgebender Haupt- und Hilfssensor bezeichnet werden. The grading of a primary to a secondary imaging sensor may be functionally understood in that the primary imaging sensor may be provided for use in a plurality of operating modes of the vehicle and the secondary sensors may be provided for use only in a particular operating mode of the vehicle. The secondary imaging sensor may thus be temporarily powered up in the one particular mode of operation in an imaging system or replace a primary imaging sensor. For example, a secondary imaging sensor of a vehicle can only be used when the vehicle is pulling a trailer. The primary and secondary imaging sensors may therefore also be referred to as main and auxiliary imaging sensors.
Primäre und/oder sekundäre bildgebende Sensoren können baugleiche oder unterschiedliche Kameras sein, welche gleiche, verschiedene oder variable Sichtfelder, Auf- lösungen und Erfassungsbereiche aufweisen können. Verschiedene Sichtfelder der primären und/oder sekundäre bildgebenden Sensoren können sich darin unterscheiden, dass sie verschiedene räumliche Erfassungsbereiche, verschiedene Sehwinkel, verschiedene Ausrichtungen oder Blickwinkel aufweisen. Primary and / or secondary imaging sensors can be identical or different cameras, which have the same, different or variable fields of view, solutions and detection areas. Different fields of view of the primary and / or secondary imaging sensors may differ in that they have different spatial coverage areas, different viewing angles, different orientations or viewing angles.
Eine Draufsicht des Umfelds des Fahrzeugs kann eine abstrahiert oder photorealistisch dargestellte, zweidimensionale orthogonale Projektion der räumlichen Umgebung des Fahrzeugs sein, wobei die Umgebung von oben betrachtet wird. In der Draufsicht können das Fahrzeug, das an ihm angebrachte Objekt und/oder weitere Objekte, beispielsweise erkannte Hindernisse, ebenfalls dargestellt sein. Die Draufsicht wird mittels bekannten photogrammetrischen Methoden und Transformationen basierend auf von den bildgebenden Sensoren erfassten Bildern erzeugt. A top view of the surroundings of the vehicle may be an abstracted or photorealistic illustrated, two-dimensional orthogonal projection of the spatial environment of the vehicle, the environment being viewed from above. In plan view, the vehicle, the object attached to it and / or other objects, for example detected obstacles, may also be shown. The plan view is generated by means of known photogrammetric methods and transformations based on images captured by the imaging sensors.
Ein Kerngedanke der Erfindung kann darin gesehen werden, dass Bilder zum Erzeugen einer Draufsicht auf das Fahrzeugumfeld automatisch und variabel in Abhängigkeit einer Fahrzeugkonfiguration vom Fahrzeug ausgewählt werden. Die Auswahlentscheidung kann auch von einem Fahrer vorgenommen werden. Die Fahrzeugkonfiguration kann insbesondere ein Vorhandensein oder ein Nichtvorhandensein eines Anhängers am Fahrzeug sein. A core idea of the invention can be seen in that images for generating a plan view of the vehicle environment are automatically and variably selected depending on a vehicle configuration of the vehicle. The selection decision can also be made by a driver. In particular, the vehicle configuration may be a presence or absence of a trailer on the vehicle.
Der Erfindung liegt hierfür das Konzept zugrunde, dass mindestens ein zusätzlicher bildgebender Sensor als sekundärer bildgebender Sensor vorgesehen ist, welcher eine vorhandene Umfelderfassung eines Fahrzeugs mittels bildgebender Sensorik durch eine zusätzliche Umfelderfassung eines am Fahrzeug angebrachten Objekts mit weiteren Bildern der Objektumgebung ersetzt oder ergänzt. The invention is based on the concept that at least one additional imaging sensor is provided as a secondary imaging sensor, which replaces or supplements an existing surroundings detection of a vehicle by means of imaging sensors by an additional environment detection of an object attached to the vehicle with other images of the object environment.
Der Erfindung kann zudem das Konzept zugrunde liegen, dass sowohl primäre bildgebende Sensoren als auch sekundäre bildgebende Sensoren auf einem Fahrzeug anordbar sind. Dies ist vorteilhaft, da an dem Fahrzeug anbringbare Objekte, insbesondere ein Anhänger, in der Regel keine Energieversorgung für bildgebende Sensoren bereitstellen. Die primären bildgebenden Sensoren und auch der mindestens eine sekundäre bildgebende Sensor können/kann hierzu insbesondere auf einer Fahrerkabine des Fahrzeugs angeordnet werden. In einer Ausführungsform sind die primären bildgebenden Sensoren primäre Kameras und ist der mindestens eine sekundäre bildgebende Sensor eine sekundäre Kamera.The invention may also be based on the concept that both primary imaging sensors and secondary imaging sensors can be arranged on a vehicle. This is advantageous because attachable to the vehicle objects, in particular a trailer, usually provide no power supply for imaging sensors. The primary imaging sensors and also the at least one secondary imaging sensor can / can be arranged for this purpose in particular on a driver's cab of the vehicle. In one embodiment, the primary imaging sensors are primary cameras and the at least one secondary imaging sensor is a secondary camera.
Mit den Kameras können Bilder des Umfelds des Fahrzeugs aufgenommen werden. Die einzelnen Bilder der primären Kameras und/oder der sekundären Kamera können mittels Bildverarbeitung kombiniert werden. Ein Rundumbild oder ein Bereich eines Rundumbilds kann so mittels eines Stichings von einzelnen Bildern erzeugt werden. Die Kameras können mit einem Weitwinkelobjektiv oder mit einem Fisheye-Objektiv ausgerüstet sein. Entsprechend große Sichtfelder der Kameras können dann einen Sehwinkel aufweisen, welcher größer als 90 Grad oder größer als 180 Grad ist. Grundsätzlich können die Kameras jedoch jeden Sehwinkel bis zu diesen Winkelbereichen aufweisen. Große Sehwinkel sind vorteilhaft, da mit Ihnen für ein Stiching einzelner Bilder großflächige Überlappungsbereiche in den Bildern vorhanden sein können, in denen eine für das Stiching notwendige Anzahl von Verknüpfungspunkten generiert werden kann. Aus dem Rundumbild kann die Draufsicht mittels Umrechnen der Bildkoordinaten in eine horizontale Ebene erzeugt werden. Images of the surroundings of the vehicle can be recorded with the cameras. The individual images of the primary cameras and / or the secondary camera can be combined by means of image processing. An all-around image or an area of an all-around image can thus be created by means of a stitching of individual images. The cameras can be equipped with a wide-angle lens or with a fisheye lens. Correspondingly large fields of view of the cameras can then have a viewing angle which is greater than 90 degrees or greater than 180 degrees. In principle, however, the cameras can have any viewing angle up to these angular ranges. Large viewing angles are advantageous because with you for a Stiching individual images large areas overlap areas can be present in the images in which a necessary for the Stiching number of nodes can be generated. From the all-around image, the top view can be generated by converting the image coordinates into a horizontal plane.
Eine mögliche Konfiguration primärer Kameras kann eine nach vorne ausrichtbare, eine seitlich nach links ausrichtbare, eine seitlich nach rechts ausrichtbare und eine nach hinten ausrichtbare Kamera mit entsprechend ausrichtbaren Sichtfeldern aufweisen. One possible configuration of primary cameras may include a forward-facing, a side-to-left, a side-to-right, and a rear-facing camera with appropriately orientable fields of view.
In einer weiteren Ausführungsform ist der mindestens eine sekundäre bildgebende Sensor an einer von den Positionen der primären bildgebenden Sensoren verschiedenen Position am Fahrzeug anorbar. Durch ein Anordnen des sekundären bildgebenden Sensors an einer solchen Position kann dieser ein räumlich anders ausrichtbares und anorbares Sichtfeld aufweisen als die primären bildgebenden Sensoren. Das erfassbare Umfeld kann so vergrößert werden. Die Position des sekundären bildgebenden Sensors kann eine im Vergleich zu den Positionen der primären bildgebenden Sensoren zum Fahrzeug exponiertere Position sein. Dies kann dadurch erzielt werden, dass der sekundäre bildgebende Sensor an einem auskragenden Fahrzeugteil, beispielsweise einem Außenspiegel montierbar ist, während die primären bildgebenden Sensoren beispielsweise an oder in der Fahrzeugkarosserie anordbar sind. Eine exponierte Anordnung des sekundären bildgebenden Sensors hat den vorteilhaften Effekt, dass sein Sichtfeld weniger anfällig für Verdeckungen durch ein am Fahrzeug angebrachtes Objekt sein kann. In a further embodiment, the at least one secondary imaging sensor can be arranged on the vehicle at a different position from the positions of the primary imaging sensors. By placing the secondary imaging sensor in such position, it may have a spatially divertable and arrangeable field of view than the primary imaging sensors. The detectable environment can thus be increased. The position of the secondary imaging sensor may be a more prominent position relative to the positions of the primary imaging sensors toward the vehicle. This can be achieved in that the secondary imaging sensor can be mounted on a projecting vehicle part, for example an exterior mirror, while the primary imaging sensors can be arranged, for example, on or in the vehicle body. An exposed arrangement of the secondary imaging sensor has the beneficial effect of being Field of vision may be less prone to occlusion by an object attached to the vehicle.
In einer weiteren Ausführungsform ist das Sichtfeld des sekundären bildgebenden Sensors in einer Fahrtrichtung des Fahrzeugs nach hinten ausrichtbar. Das Sichtfeld des sekundären bildgebenden Sensors kann seitlich der Karosserie des Fahrzeugs nach hinten ausrichtbar sein, um das Umfeld in einem in Fahrtrichtung des Fahrzeugs rückwärtigen Seitenbereich neben einem am Fahrzeug angebrachten Objekt zur erfassen. Alternativ oder zusätzlich kann der sekundäre bildgebende Sensor oberhalb der Fahrzeugkarosserie, beispielsweise auf dem Fahrzeugdach, anordbar sein, wobei sein Sichtfeld derart nach hinten ausrichtbar sein kann, dass ein Bereich des Fahrzeugumfelds in einem in Fahrtrichtung des Fahrzeugs rückwärtigen Bereich erfassbar ist. Eine derartige rückwärtige Ausrichtung des sekundären bildgebenden Sensors kann vorteilhaft sein, da ein an der Fahrzeugrückseite angebrachtes Objekt einen primären bildgebenden Sensor an der Fahrzeugrückseite verdecken kann, während der sekundäre bildgebende Sensor eine solche Verdeckung durch ein am Objekt vorbei gerichtetes Sichtfeld kompensieren kann. In a further embodiment, the field of view of the secondary imaging sensor in a direction of travel of the vehicle can be aligned to the rear. The field of view of the secondary imaging sensor may be laterally alignable to the rear of the body of the vehicle to detect the environment in a rearward in the direction of travel of the vehicle side area adjacent to a vehicle-mounted object. Alternatively or additionally, the secondary imaging sensor can be arranged above the vehicle body, for example on the vehicle roof, wherein its field of view can be aligned to the rear such that an area of the vehicle surroundings can be detected in a rear region in the direction of travel of the vehicle. Such rearward alignment of the secondary imaging sensor may be advantageous because an object attached to the vehicle rear may obscure a primary imaging sensor on the vehicle rear, while the secondary imaging sensor may compensate for such occlusion by a field of view directed past the object.
In einer weiteren Ausführungsform ist ein Sehwinkel des sekundären bildgebenden Sensors kleiner als ein jeweiliger Sehwinkel von einem der primären bildgebenden Sensoren. Es kann jeweils ein sekundärer bildgebender Sensor an jeder Fahrzeugseite anordbar sein, wobei jeder Sensor einen seitlichen rückwärtigen Bereich des Umfelds eines angebrachten Objekts erfassen kann. Ein kleinerer Sehwinkel kann dabei ausreichend sein, da die beiden sekundären bildgebenden Sensoren nur seitliche Bereiche neben einem am Fahrzeug angebrachten Objekt erfassen können. Die beiden mit den Sehwinkeln aufgespannten Sichtfelder können sich nicht überlappen, da ein am Fahrzeug angebrachtes Objekt sie trennen kann, wobei dann in den Bildern der sekundären bildgebenden Sensoren kein Überlappungsbereich mehr existieren kann. In another embodiment, a visual angle of the secondary imaging sensor is less than a respective visual angle of one of the primary imaging sensors. In each case, a secondary imaging sensor can be arranged on each side of the vehicle, wherein each sensor can detect a lateral rear area of the surroundings of an attached object. A smaller viewing angle may be sufficient, since the two secondary imaging sensors can detect only lateral areas next to an object attached to the vehicle. The two fields of view spanned with the visual angles can not overlap, as an object attached to the vehicle can separate them, and then no overlap area can exist in the images of the secondary imaging sensors.
In einer weiteren Ausführungsform ist ein Erfassungsbereich des sekundären bildgebenden Sensors größer als ein jeweiliger Erfassungsbereich von einem der primären bildgebenden Sensoren. In einem größeren Erfassungsbereich kann das Umfeld in einem größeren Abstand zum bildgebenden Sensor aufgenommen werden und Bildin- formationen in einem derart größeren Abstand zum Erzeugen der Draufsicht verwendet werden. Dies kann vorteilhaft sein, da der sekundäre bildgebende Sensor, welcher zur Umfelderfassung um das angebrachte Objekt vorgesehen ist, einen räumlichen Bereich um das Objekt erfassen kann, wobei das am Fahrzeug angebrachte Objekt größer, insbesondere länger, als das Fahrzeug selbst sein kann. In another embodiment, a detection range of the secondary imaging sensor is greater than a respective detection range of one of the primary imaging sensors. In a larger detection area, the environment can be recorded at a greater distance from the imaging sensor and image formations are used at such a greater distance for generating the top view. This can be advantageous since the secondary imaging sensor, which is provided for detecting the surroundings around the attached object, can detect a spatial area around the object, the object mounted on the vehicle being larger, in particular longer, than the vehicle itself.
In einer weiteren Ausführungsform überlappen sich Sichtfelder der primären bildgebenden Sensoren teilweise, wobei das Sichtfeld des sekundären bildgebenden Sensors einen Bereich umfasst, welcher ein von den Sichtfeldern der primären Sensoren nicht überlappender Bereich ist. Ein Überlappen der Sichtfelder kann ein Überlappen der von den bildgebenden Sensoren erfassten Bilder zur Folge haben. Das Überlappen kann durch entsprechend redundant vorhandene Bildinformation in den erfassten Bildern ein zumindest teilweises Verdecken eines bildgebenden Sensors zum Erzeugen einer Draufsicht kompensieren, da ein bei einem Sensor verdeckter Umfeldbereich dann zumindest von einem anderen nicht verdeckten Sensor erfasst werden kann. Ist jedoch ein Bereich von einem Objekt verdeckt, welcher nicht redundant, das heißt nicht überlappend, von primären bildgebenden Sensoren erfasst worden ist, kann ein sekundärer bildgebender Sensor, dessen Sichtfeld nicht von dem Objekt verdeckt ist und auf den verdeckten Bereich ausgerichtet ist, diesen Bereich erfassen, um die mit ihm erfasste Bildinformation zum Erzeugen der Draufsicht zu verwenden. Dies ist insbesondere dann vorteilhaft, wenn der verdeckte Bereich ein möglicher Aufenthaltsort eines am Fahrzeug angebrachten Objekts ist. In another embodiment, fields of view of the primary imaging sensors partially overlap, with the field of view of the secondary imaging sensor including an area which is a non-overlapping area from the fields of view of the primary sensors. Overlapping the fields of view may result in overlapping of the images acquired by the imaging sensors. The overlapping can compensate by correspondingly redundant existing image information in the captured images at least partially obscuring an imaging sensor for generating a top view, since one hidden in a sensor environment can then be detected by at least one other non-hidden sensor. However, if a region obscured by an object that has not been redundantly, ie not overlapped, detected by primary imaging sensors, a secondary imaging sensor whose field of view is not obscured by the object and is aligned with the hidden area, this area to use the image information acquired with it to generate the plan view. This is particularly advantageous if the hidden area is a possible location of a vehicle-mounted object.
In einer weiteren Ausführungsform ist die Steuereinheit dazu eingerichtet, eine Umfelderfassung mit einem primären bildgebenden Sensor, dessen Sichtfeld verdeckt ist, zu deaktivieren, falls der Detektor ein am Fahrzeug angebrachtes Objekt erkennt. Ein Aktivieren der Umfelderfassung mit einem sekundären bildgebenden Sensor kann ein derartiges Deaktivieren zur Folge haben, wobei ein sekundärer bildgebender Sensor aktiviert wird, welcher einen mit dem verdeckten primären bildgebenden Sensor nicht mehr erfassbaren Umfeldbereich erfassen kann. Das Deaktivieren und somit ein Nichterfassen von einem Bild, auf welchem sich im Wesentlichen das am Fahrzeug angebrachte Objekt befinden kann, kann vorteilhaft sein, da dieses Bild dem Erzeugen der Draufsicht dann nicht mehr zugrunde gelegt wird. Ein Bild welches im Wesentlichen keine Bildinformation zum Umfeld enthält, kann sich bei einem Stiching der einzelnen Bilder zu einem Rundumbild und einer Umwandlung in die Draufsicht nachteilig auswirken, da es keine bis wenig redundante Umfeldbereiche abbilden kann, in welchen Verknüpfungspunkte zum Kombinieren mit weiteren Bilder gefunden werden können. Das Nichtverwenden kann daher vorteilhaft sein, da Artefakte durch falsche Bildverknüpfungen ausgeschlossen werden können. In a further embodiment, the control unit is configured to deactivate an environment detection with a primary imaging sensor whose field of view is obscured if the detector detects an object attached to the vehicle. Activating the surround detection with a secondary imaging sensor can result in such deactivation, activating a secondary imaging sensor that can detect an environmental region no longer detectable by the hidden primary imaging sensor. Deactivating and thus not capturing an image on which essentially the object attached to the vehicle can be located may be advantageous, since this image is then no longer based on the generation of the top view. An image which essentially contains no image information to the environment, can be disadvantageous in a Stiching the individual images to a full-frame image and a conversion to the top view, since it can not map to little redundant environment areas in which nodes can be found for combining with other images. The non-use can therefore be advantageous because artifacts can be excluded by incorrect image links.
Eine weitere Lösung ist ein Fahrzeug, das ein System zur Umfelderfassung aufweist, welches eine Vielzahl von primären bildgebenden Sensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei die primären bildgebenden Sensoren an mehreren Positionen am Fahrzeug angeordnet sind, einen Detektor zum Erkennen eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld eines primären bildgebenden Sensors zumindest teilweise verdeckt, mindestens einen sekundären bildgebenden Sensor zum Erfassen eines Umfelds des angebrachten Objekts, wobei der sekundäre bildgebende Sensor ein zu den Sichtfeldern der primären bildgebenden Sensoren verschiedenes Sichtfeld aufweist, eine Steuereinheit, welche dazu eingerichtet ist, eine Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor zu aktivieren, falls der Detektor ein am Fahrzeug angebrachtes Objekt erkennt, und eine Auswerteeinheit zum Erzeugen einer Draufsicht, welche auf der Umfelderfassung mit den primären bildgebenden Sensoren basiert, falls der Detektor kein am Fahrzeug angebrachtes Objekt erkennt, und welche zumindest auf der Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor basiert, falls der Detektor ein am Fahrzeug angebrachtes Objekt erkennt, aufweist. Another solution is a vehicle having an environment detection system comprising a plurality of primary imaging sensors for sensing an environment of the vehicle, wherein the primary imaging sensors are disposed at a plurality of locations on the vehicle, a detector for detecting an object mounted on the vehicle comprising at least partially obscuring a field of view of a primary imaging sensor, at least one secondary imaging sensor for sensing an environment of the attached object, the secondary imaging sensor having a field of view different from the fields of view of the primary imaging sensors, a control unit configured to: to activate an environment detection with the at least one secondary imaging sensor, if the detector detects an object attached to the vehicle, and an evaluation unit for generating a plan view, which on the environment detection with the primary imaging sensor oren based, if the detector detects no vehicle-mounted object, and which is based at least on the surroundings detection with the at least one secondary imaging sensor, if the detector detects an object attached to the vehicle has.
In einer Ausführungsform ist das Fahrzeug ein Zugfahrzeug und das zu erkennende Objekt ist ein Anhänger. Der Anhänger kann an dem Fahrzeug an einer Anhängekupplung angelenkt sein, wobei sich die Ausrichtung des Anhängers zum Zugfahrzeug durch ein Verschwenken des Anhängers zum Zugfahrzeug ändern kann. Dies kann eine relative Lageänderung des Anhängers zum Zugfahrzeug nach sich ziehen. Das Erfassen des Umfelds eines Anhängers mit sekundären bildgebenden Sensoren kann besonders vorteilhaft sein, da der Anhänger mindestens einen primären bildgebenden Sensor, insbesondere eine Rückblickskamera verdecken kann. In einer weiteren Ausführungsform weist das Fahrzeug zwei Außenspiegel auf, wobei jeweils ein sekundärer bildgebender Sensor an einem der beiden Außenspiegel des Fahrzeugs angeordnet ist. Eine an einem Außenspiegel angeordnete Rückblickskamera kann einen in Fahrtrichtung rückwärtigen Bereich nahezu vollständig Erfassen, da die Außenspiegelkamera durch eine derartige exponierte Anordnung ein von einem In one embodiment, the vehicle is a towing vehicle and the object to be detected is a trailer. The trailer may be hinged to the vehicle at a trailer hitch, wherein the orientation of the trailer to the towing vehicle may change by pivoting the trailer to the towing vehicle. This can result in a relative change in position of the trailer to the towing vehicle. Detecting the environment of a trailer with secondary imaging sensors may be particularly advantageous because the trailer may obscure at least one primary imaging sensor, particularly a rearview camera. In a further embodiment, the vehicle has two exterior mirrors, wherein in each case a secondary imaging sensor is arranged on one of the two exterior mirrors of the vehicle. A rear view camera arranged on an exterior mirror can almost completely detect a rearward region in the direction of travel, since the exterior mirror camera detects one of these through an exposed arrangement
Anhänger zumindest teilweise nicht verdeckbares Sichtfeld aufweisen kann. Trailer may have at least partially uncoverable field of view.
Eine weitere Lösung ist ein Verfahren zur Umfelderfassung eines Fahrzeugs, welches als Verfahrensschritte ein Erfassen eines Umfelds des Fahrzeugs mit einer Vielzahl von primären bildgebenden Sensoren, welche an mehreren Positionen am Fahrzeug angeordnet sind, ein Detektieren eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld eines primären bildgebenden Sensors zumindest teilweise verdeckt, ein Erfassen eines Umfelds des angebrachten Objekts mit mindestens einem sekundären bildgebenden Sensor, welcher ein zu Sichtfeldern der primären Sensoren verschiedenes Sichtfeld aufweist, falls ein am Fahrzeug angebrachtes Objekt detektiert worden ist, und ein Erzeugen einer Draufsicht des Umfelds des Fahrzeugs aufweist, welche auf der Umfelderfassung mit den primären bildgebenden Sensoren basiert, falls kein am Fahrzeug angebrachtes Objekt detektiert worden ist, und zumindest auf der Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor basiert, falls ein am Fahrzeug angebrachtes Objekt detektiert worden ist. Another solution is a method for detecting the surroundings of a vehicle, which as a method steps detecting an environment of the vehicle with a plurality of primary imaging sensors, which are arranged at a plurality of positions on the vehicle, detecting a vehicle-mounted object, which is a field of view of a primary imaging sensor having at least one secondary imaging sensor which has a field of view different from fields of view of the primary sensors if an object attached to the vehicle has been detected, and generating a plan view of the surroundings of the vehicle which is based on the surround detection with the primary imaging sensors, if no vehicle-mounted object has been detected, and based at least on the surroundings detection with the at least one secondary imaging sensor, if one on the Fah rzeug attached object has been detected.
Eine weitere Lösung ist ein Verfahren zum Notbremsen eines Fahrzeugs, welches als Verfahrensschritte ein Erfassen eines Umfelds des Fahrzeugs mit einer Vielzahl von primären bildgebenden Sensoren, welche an mehreren Positionen am Fahrzeug angeordnet sind, ein Detektieren eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld eines primären bildgebenden Sensors zumindest teilweise verdeckt, ein Erfassen eines Umfelds des angebrachten Objekts mit mindestens einem sekundären bildgebenden Sensor, welcher ein zu Sichtfeldern der primären Sensoren verschiedenes Sichtfeld aufweist, falls ein am Fahrzeug angebrachtes Objekt detektiert worden ist, ein Erkennen eines Hindernisses im erfassten Umfeld des angebrachten Objekts und ein Bremsen des Fahrzeugs zum Vermeiden einer Kollision mit dem erkannten Hindernis aufweist. Sowohl dem Verfahren zur Umfelderfassung des Fahrzeugs sowie dem Verfahren zum Notbremsen des Fahrzeugs liegt als gemeinsames Konzept zugrunde, dass eine Fahrzeugumfelderfassung in Abhängigkeit einer im Fahrzeugbetrieb vorhandenen Fahrzeugkonfiguration durchgeführt wird. Ein zusätzlicher bildgebender Sensor als sekundärer bildgebender Sensor ermöglicht somit ein Kompensieren von verdeckten Bereichen bei der Umfelderfassung. Für ein Erkennen eines Hindernisses im erfassten Umfeld beim Manövrieren des Fahrzeugs ist dies besonders vorteilhaft, da Hindernisse zuverlässiger erkannt werden können, auch wenn ein primärer bildgebender Sensor verdeckt ist. A further solution is a method for emergency braking of a vehicle, which as method steps comprises detecting an environment of the vehicle with a plurality of primary imaging sensors, which are arranged at several positions on the vehicle, detecting a vehicle-mounted object, which is a field of view of a primary imaging sensor having at least one secondary imaging sensor having a field of view different from fields of view of the primary sensors, if an object attached to the vehicle has been detected, detecting an obstacle in the detected environment of the attached one Object and braking the vehicle to avoid collision with the detected obstacle. Both the method for detecting the surroundings of the vehicle and the method for emergency braking of the vehicle is based on a common concept that a vehicle environment detection is performed as a function of a vehicle configuration present in vehicle operation. An additional imaging sensor as a secondary imaging sensor thus makes it possible to compensate for hidden areas in the surroundings detection. This is particularly advantageous for detecting an obstacle in the detected environment when maneuvering the vehicle, since obstacles can be detected more reliably, even if a primary imaging sensor is obscured.
Das Erkennen eines Hindernisses im erfassten Umfeld des angebrachten Objekts und das Bremsen des Fahrzeugs zum Vermeiden einer Kollision mit dem erkannten Hindernis kann während eines Vorwärtsfahrens des Fahrzeugs und während eines Rückwärtsfahrens des Fahrzeugs ausgeführt werden, um eine Kollision des Fahrzeugs, insbesondere des an ihm angebrachten Objekts, mit dem Hindernis zu vermeiden. Dies kann insbesondere dann vorteilhaft sein, wenn sich das erkannte Hindernis in einer Schleppkurve des Fahrzeugs und/oder des an ihm angebrachten Objekts, vor allem an einem von dem Fahrzeug gezogenen Anhänger, aufhält. Detecting an obstacle in the detected environment of the attached object and braking the vehicle to avoid collision with the detected obstacle may be performed during forward driving of the vehicle and during reverse driving of the vehicle to collision the vehicle, particularly the object attached thereto to avoid with the obstacle. This can be particularly advantageous when the detected obstacle is in a drag curve of the vehicle and / or the object attached to it, especially on a towed by the vehicle trailer.
Die primären bildgebenden Sensoren und/oder der sekundäre bildgebende Sensor kann selbst ausgebildet sein ein Hindernis zu erkennen. Hierzu können die bildgebenden Sensoren mittels bekannten Algorithmen zur automatischen Objekterkennung derart trainiert sein, dass sie Hindernisse, zum Beispiel Fußgänger, automatisch erkennen können. Eine derartige Hinderniserkennung kann an eine Steuereinheit übermittelt werden, welche ein Bremsen des Fahrzeugs einleitet. Die Hinderniserkennung kann auch einem Fahrer durch ein Warnsignal mitgeteilt werden, welcher dann das Bremsen einleiten kann. The primary imaging sensors and / or the secondary imaging sensor may itself be configured to detect an obstacle. For this purpose, the imaging sensors can be trained by known algorithms for automatic object detection such that they can detect obstacles, such as pedestrians, automatically. Such an obstacle detection can be transmitted to a control unit, which initiates a braking of the vehicle. The obstacle detection can also be communicated to a driver by a warning signal, which can then initiate braking.
Das Verfahren zum Notbremsen eines Fahrzeugs kann ein Erzeugen einer Draufsicht des Umfelds des Fahrzeugs aufweisen, welche auf der Umfelderfassung mit den primären bildgebenden Sensoren basiert, falls kein am Fahrzeug angebrachtes Objekt detektiert worden ist, und zumindest auf der Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor basiert, falls ein am Fahrzeug angebrachtes Ob- jekt detektiert worden ist. Das Bremsen des Fahrzeugs zum Vermeiden der Kollision mit dem erkannten Hindernis kann dann automatisch durch eine automatische Hinderniserkennung in der Draufsicht oder von einem Fahrer durchgeführt werden, welcher das Hindernis in der Draufsicht erkennt. The method of emergency braking a vehicle may include generating a plan view of the environment of the vehicle based on the surround detection with the primary imaging sensors if no vehicle mounted object has been detected, and at least on the surround detection with the at least one secondary imaging sensor if a vehicle-mounted object is has been detected. The braking of the vehicle to avoid the collision with the detected obstacle can then be performed automatically by an automatic obstacle detection in plan view or by a driver who recognizes the obstacle in plan view.
Kurzbeschreibunq der Zeichnungen Brief description of the drawings
Figur 1 zeigt eine Draufsicht auf ein Ausführungsbeispiel eines Umfelderfassungssystems und eines Fahrzeugs zur Erläuterung der Umfelderfassung mit primären und sekundären bildgebenden Sensoren. Figure 1 shows a plan view of an embodiment of an environment detection system and a vehicle for explaining the Umfassungsfassung with primary and secondary imaging sensors.
Figur 2 zeigt eine weitere Draufsicht auf das Ausführungsbeispiel des Umfelderfassungssystems und des Fahrzeugs zur weiteren Erläuterung der Umfelderfassung mit primären und sekundären bildgebenden Sensoren. FIG. 2 shows a further plan view of the exemplary embodiment of the surroundings detection system and the vehicle for further explanation of the surroundings detection with primary and secondary imaging sensors.
Figur 3 zeigt ein Ablaufdiagramm von Verfahrensschritten eines Ausführungsbeispiels eines Verfahrens zur Umfelderfassung eines Fahrzeugs. FIG. 3 shows a flow chart of method steps of an exemplary embodiment of a method for detecting the surroundings of a vehicle.
Figur 4 zeigt ein Ablaufdiagramm von Verfahrensschritten eines Ausführungsbeispiels eines Verfahrens zum Notbremsen eines Fahrzeugs. FIG. 4 shows a flowchart of method steps of an exemplary embodiment of a method for emergency braking of a vehicle.
Detaillierte Beschreibung von Ausführungsformen Detailed description of embodiments
In den Figuren 1 und 2 ist ein Zugfahrzeug 2 dargestellt, an welchem in Figur 2 ein Anhänger 4 angehängt ist. Der Anhänger 4 ist dabei an einer Anhängekupplung 6 des Zugfahrzeugs 2 angelenkt. In Figures 1 and 2, a towing vehicle 2 is shown, to which a trailer 4 is attached in Figure 2. The trailer 4 is hinged to a trailer hitch 6 of the towing vehicle 2.
In Figur 1 ist eine Umfelderfassung mit vier primären Kameras 10 realisiert, welche ein in Fahrtrichtung 5 nach vorne ausgerichtetes primäres Sichtfeld 1 1 , ein in Fahrtrichtung 5 nach links ausgerichtetes primäres Sichtfeld 12, ein in Fahrtrichtung 5 nach rechts ausgerichtetes primäres Sichtfeld 13 und ein in Fahrtrichtung 5 rückwärts ausgerichtetes primäres Sichtfeld 14 haben, wobei ein jeweiliger Sehwinkel 15 der Sichtfelder 1 1 , 12, 13, 14 größer als 180 Grad ist, wobei dies mit einem an den Kameras 10 vorgesehenen Weitwinkelobjektiv (nicht gezeigt) realisierbar ist. Die Erfassungsbereiche 16 der primären Kameras 10 sind um das Zugfahrzeug verteilt, wobei Überlappungsbereiche 17 entstehen, in welchen Teilbereiche von zwei Erfassungsbereichen 16 von zwei verschiedenen primären Kameras 10 sich überlagern. Auf dem Zugfahrzeug 2 ist zudem ein Detektor 30 für eine Objekterkennung, eine Steuereinheit 40 zum Aktivieren einer sekundären Kamera 20 und eine Auswerteeinheit 50 zum Erzeugen einer Draufsicht aus Bildern der primären Kameras 10 und optional zumindest aus einem Bild einer sekundären Kamera 20 angeordnet. In Figure 1, an environment detection is realized with four primary cameras 10, which in the direction of travel 5 forward oriented primary field of view 1 1, a direction of travel 5 to the left oriented primary field of view 12, a direction of travel 5 to the right aligned primary field of view 13 and a in Direction of travel 5 have backward oriented primary field of view 14, wherein a respective viewing angle 15 of the fields of view 1 1, 12, 13, 14 is greater than 180 degrees, this being feasible with a provided on the cameras 10 wide-angle lens (not shown). The detection areas 16 of the primary cameras 10 are distributed around the towing vehicle, resulting in overlapping areas 17, in which partial areas of two detection areas 16 of two different primary cameras 10 overlap. On the towing vehicle 2, a detector 30 for object recognition, a control unit 40 for activating a secondary camera 20 and an evaluation unit 50 for generating a plan view of images of the primary cameras 10 and optionally at least one image of a secondary camera 20 are also arranged.
Der Detektor 30 ist mit den primären Kameras 10 verbunden, um deren aufgenommene Bilder auszuwerten und um in diesen einen am Zugfahrzeug 2 angebrachten The detector 30 is connected to the primary cameras 10 in order to evaluate their recorded images and to be in this one attached to the towing vehicle 2
Anhänger 4 zu erkennen. Die Steuereinheit 40 ist wiederum mit dem Detektor 30 verbunden, um eine sekundäre Kamera 20 zu aktivieren, falls der Detektor 30 ein am Zugfahrzeug 2 angehängten Anhänger 4 erkannt hat. Die Auswerteeinheit 50 zum Erzeugen der Draufsicht (nicht gezeigt) ist mit den primären Kameras 10, den sekundären Kameras 20, mit dem Detektor 30 und mit der Steuereinheit 40 verbunden. To recognize trailer 4. The control unit 40 is in turn connected to the detector 30 in order to activate a secondary camera 20 if the detector 30 has detected a trailer 4 attached to the towing vehicle 2. The evaluation unit 50 for generating the plan view (not shown) is connected to the primary cameras 10, the secondary cameras 20, to the detector 30 and to the control unit 40.
Wenn der Anhänger 4 mit dem Zugfahrzeug 2 nicht verbunden ist, wie in Figur 1 gezeigt, wird die Draufsicht basierend auf Bildern der primären Kameras 10 mittels eines Stichings erzeugt. When the trailer 4 is not connected to the towing vehicle 2, as shown in FIG. 1, the plan view is generated based on images of the primary cameras 10 by means of a stitching.
In Figur 2 ist eine Umfelderfassung mit drei primären Kameras 10 realisiert, welche das in Fahrtrichtung 5 nach vorne ausgerichtete primäre Sichtfeld 1 1 , das in Fahrtrichtung 5 nach links ausgerichtete primäre Sichtfeld 12 und das in Fahrtrichtung 5 nach rechts ausgerichtete primäre Sichtfeld 13 haben, welche dem jeweiligen Sichtfeld 1 1 , 12, 13 und den Erfassungsbereichen 16 wie in Figur 1 gezeigt entsprechen. Die Umfelderfassung mit drei primären Kameras 10 ist mit einer zusätzlichen Umfelderfassung mit zwei sekundären Kameras 20 ergänzt, welche als Rückblickskameras ein jeweiliges linkes sekundäres Sichtfeld 21 und ein rechtes sekundäres Sichtfeld 22 haben. Beide sekundäre Sichtfelder weisen einen Sehwinkel 23 auf, welcher kleiner als der Sehwinkel 15 der primären Kameras 10 ist. Dagegen sind die Erfassungsbereiche 24 der sekundären Kameras 20 größer als die Erfassungsbereiche 16 der primären Kameras 10. In Figure 2, an environment detection is realized with three primary cameras 10, which in the direction of travel 5 forward-facing primary field of view 1 1, the direction of travel 5 to the left oriented primary field of view 12 and the direction of travel 5 to the right aligned primary field of view 13, which the respective field of view 1 1, 12, 13 and the detection areas 16 as shown in Figure 1 correspond. The surround detection with three primary cameras 10 is supplemented with an additional environment detection with two secondary cameras 20, which have a respective left secondary field of view 21 and a right secondary field of view 22 as rearview cameras. Both secondary fields of view have a visual angle 23 which is smaller than the visual angle 15 of the primary cameras 10. In contrast, the detection areas 24 of the secondary cameras 20 are larger than the detection areas 16 of the primary cameras 10.
Die sekundären Kameras 20 sind in Außenspiegeln 3 des Zugfahrzeugs 2 angeordnet und erzeugen sektorale in Fahrtrichtung 5 nach hinten ausgerichteten Sichtfelder 21 , 22, wobei sich das linke Sichtfeld 21 mit dem nach links ausgerichteten pri- mären Sichtfeld 12 teilweise überlappt und das rechte Sichtfeld 22 mit dem nach rechts ausgerichteten primären Sichtfeld 13 teilweise überlappt. The secondary cameras 20 are arranged in exterior mirrors 3 of the towing vehicle 2 and generate sectoral view fields 21, 22 which are oriented in the direction of travel 5 to the rear, whereby the left field of view 21 is aligned with the left-facing private vehicle. The field of view 12 is partially overlapped and the right field of view 22 partially overlaps with the right-facing primary field of view 13.
Wenn der Anhänger 4 mit dem Zugfahrzeug 2 verbunden ist, wie in Figur 2 gezeigt, wird die Draufsicht basierend auf drei Bildern der primären Kameras 10 und zwei Bildern der sekundären Kameras 20 mittels eines Stichings erzeugt, wobei ein Bild einer sekundären Kamera 20 mit einem jeweils angrenzenden Bild einer der primären Kameras 10 kombiniert wird. When the trailer 4 is connected to the towing vehicle 2, as shown in FIG. 2, the plan view is generated based on three images of the primary cameras 10 and two images of the secondary cameras 20 by means of a stitching, with an image of a secondary camera 20 having one adjacent image of one of the primary cameras 10 is combined.
In Figur 3 sind Verfahrensschritte eines Verfahrens zur Umfelderfassung eines Fahrzeugs in ihrer zeitlichen Abfolge dargestellt. In einem ersten Schritt S1 wird ein Umfeld des Zugfahrzeugs 2 mit den primären Kameras 10 erfasst. In einem zweiten Schritt S2 wird ein Anhänger 4, welcher das rückwärtige Sichtfeld 14 einer der primären Kameras 10 verdeckt, detektiert. In einem dritten Schritt S3 wird das Umfeld des Anhängers 4 mit den beiden sekundären Kameras 20 erfasst. In einem vierten Schritt S4 wird eine Draufsicht des Umfelds des Zugfahrzeugs 2 wie in Figur 1 gezeigt mit den primären Kameras 10 erfasst, wenn der Detektor 30 den Anhänger 4 nicht detektiert, und wird eine Draufsicht des Umfelds des Zugfahrzeugs 2 sowie des Anhängers 4 wie in Figur 2 gezeigt mit drei der vier primären Kameras 10 und den beiden sekundären Kameras 20 erfasst, wenn der Detektor 30 den Anhänger 4 detektiert. FIG. 3 shows process steps of a method for registering the surroundings of a vehicle in their time sequence. In a first step S1, an environment of the towing vehicle 2 with the primary cameras 10 is detected. In a second step S2, a trailer 4, which obscures the rear field of view 14 of one of the primary cameras 10, is detected. In a third step S3, the environment of the trailer 4 with the two secondary cameras 20 is detected. In a fourth step S4, a top view of the environment of towing vehicle 2 as shown in Figure 1 is detected with the primary cameras 10, when the detector 30 does not detect the trailer 4, and is a plan view of the environment of the towing vehicle 2 and the trailer 4 as in Figure 2 is shown with three of the four primary cameras 10 and the two secondary cameras 20 detected when the detector 30 detects the trailer 4.
In Figur 4 sind Verfahrensschritte eines Verfahrens zum Notbremsen eines Fahrzeugs in ihrer zeitlichen Abfolge dargestellt. In einem ersten Schritt S1 wird ein Umfeld des Zugfahrzeugs 2 mit den primären Kameras 10 erfasst. In einem zweiten Schritt S2 wird ein Anhänger 4, welcher das rückwärtige Sichtfeld 14 einer der primären Kameras 10 verdeckt, detektiert. In einem dritten Schritt S3 wird das Umfeld des Anhängers 4 mit den beiden sekundären Kameras 20 erfasst. In einem vierten Schritt S4 wird eine Draufsicht des Umfelds des Zugfahrzeugs 2 wie in Figur 1 gezeigt mit den primären Kameras 10 erfasst, wenn der Detektor 30 den Anhänger 4 nicht detektiert, und wird eine Draufsicht des Umfelds des Zugfahrzeugs 2 sowie des Anhängers 4 wie in Figur 2 gezeigt mit drei der vier primären Kameras 10 und den beiden sekundären Kameras 20 erfasst, wenn der Detektor 30 den Anhänger 4 detektiert. In einem fünften Schritt S5 wir ein Hindernis im erfassten Umfeld des Zugfahrzeugs 2 und des Anhängers 4 von der Auswerteeinheit 50 erkannt. In einem sechsten Schritt S6 werden das Zugfahrzeug 2 und der Anhänger 4 zum Vermeiden einer Kollision mit dem erkannten Hindernis (nicht gezeigt) abgebremst. FIG. 4 shows process steps of a method for emergency braking of a vehicle in its time sequence. In a first step S1, an environment of the towing vehicle 2 with the primary cameras 10 is detected. In a second step S2, a trailer 4, which obscures the rear field of view 14 of one of the primary cameras 10, is detected. In a third step S3, the environment of the trailer 4 with the two secondary cameras 20 is detected. In a fourth step S4, a top view of the environment of towing vehicle 2 as shown in Figure 1 is detected with the primary cameras 10, when the detector 30 does not detect the trailer 4, and is a plan view of the environment of the towing vehicle 2 and the trailer 4 as in Figure 2 is shown with three of the four primary cameras 10 and the two secondary cameras 20 detected when the detector 30 detects the trailer 4. In a fifth step S5 we an obstacle in the detected environment of the towing vehicle 2 and the trailer 4 of the Evaluation unit 50 detected. In a sixth step S6, the towing vehicle 2 and the trailer 4 are braked to avoid collision with the detected obstacle (not shown).
Mit den beiden in den Figuren 3 und 4 gezeigten Verfahren kann die Sicherheit des Betriebs eines Gespanns bestehend aus dem Zugfahrzeug 2 und dem Anhänger 4 somit in effizienter Weise gesteigert werden. With the two methods shown in Figures 3 and 4, the safety of the operation of a team consisting of the towing vehicle 2 and the trailer 4 can thus be increased in an efficient manner.
Bezugszeichen Zugfahrzeug Tractor reference
Außenspiegel Mirrors
Anhänger pendant
Fahrtrichtung direction of travel
Anhängekupplung Towing
primäre Kamera primary camera
vorwärtiges primäres Sichtfeld forward primary field of vision
linkes primäres Sichtfeld left primary field of view
rechtes primäres Sichtfeld right primary field of view
rückwärtiges primäres Sichtfeld rearward primary field of vision
Sehwinkel viewing angle
Erfassungsbereich detection range
Überlappungsbereich overlap area
sekundäre Kamera secondary camera
linkes sekundäres Sichtfeld left secondary field of view
rechtes sekundäres Sichtfeld right secondary field of view
Sehwinkel viewing angle
Erfassungsbereich detection range
Detektor detector
Steuereinheit control unit
Auswerteeinheit evaluation
primäre Objekterkennung primary object recognition
Objektdetektion object detection
sekundäre Objekterkennung secondary object recognition
Draufsichterzeugung Top view generation
Objekterkennung object recognition
Fahrzeugbremsung vehicle braking

Claims

Patentansprüche claims
1 . System zur Umfelderfassung, mit 1 . System for environment detection, with
einer Vielzahl von primären bildgebenden Sensoren zum Erfassen eines Umfelds eines Fahrzeugs, wobei die primären bildgebenden Sensoren an mehreren Positionen am Fahrzeug anordbar sind, a plurality of primary imaging sensors for detecting an environment of a vehicle, wherein the primary imaging sensors can be arranged at a plurality of positions on the vehicle,
einem Detektor (30) zum Erkennen eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld (1 1 , 12, 13, 14) eines primären bildgebenden Sensors zumindest teilweise verdeckt, a detector (30) for detecting a vehicle-mounted object which at least partially obscures a field of view (1 1, 12, 13, 14) of a primary imaging sensor,
mindestens einem sekundären bildgebenden Sensor zum Erfassen eines Umfelds des angebrachten Objekts, wobei der sekundäre bildgebende Sensor ein zu den Sichtfeldern (11 , 12, 13, 14) der primären bildgebenden Sensoren verschiedenes Sichtfeld (21 , 22) aufweist, at least one secondary imaging sensor for detecting an environment of the attached object, the secondary imaging sensor having a field of view (21, 22) different from the fields of view (11, 12, 13, 14) of the primary imaging sensors,
einer Steuereinheit (40), welche dazu eingerichtet ist, eine Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor zu aktivieren, falls der Detektor (30) ein am Fahrzeug angebrachtes Objekt erkennt, und a control unit (40) which is adapted to activate an environment detection with the at least one secondary imaging sensor if the detector (30) detects an object attached to the vehicle, and
einer Auswerteeinheit (50) zum Erzeugen einer Draufsicht, welche auf der Umfelderfassung mit den primären bildgebenden Sensoren basiert, falls der Detektor (30) kein am Fahrzeug angebrachtes Objekt erkennt, und welche zumindest auf der Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor basiert, falls der Detektor (30) ein am Fahrzeug angebrachtes Objekt erkennt. an evaluation unit (50) for generating a top view, which is based on the environment detection with the primary imaging sensors, if the detector (30) detects no vehicle-mounted object, and which is based at least on the surroundings detection with the at least one secondary imaging sensor, if the detector (30) detects an object mounted on the vehicle.
2. System nach Anspruch 1 , bei dem 2. System according to claim 1, wherein
die primären bildgebenden Sensoren primäre Kameras (10) sind und the primary imaging sensors are primary cameras (10) and
der sekundäre bildgebende Sensor eine sekundäre Kamera (20) ist. the secondary imaging sensor is a secondary camera (20).
3. System nach Anspruch 1 oder 2, bei dem 3. System according to claim 1 or 2, wherein
der mindestens eine sekundäre bildgebende Sensor an einer von den Positionen der primären bildgebenden Sensoren verschiedenen Position am Fahrzeug anorbar ist. the at least one secondary imaging sensor can be arranged on the vehicle at a different position from the positions of the primary imaging sensors.
4. System nach einem der vorherigen Ansprüche, bei dem das Sichtfeld (21 , 22) des sekundären bildgebenden Sensors in einer Fahrtrichtung (5) des Fahrzeugs nach hinten ausrichtbar ist. 4. System according to any one of the preceding claims, wherein the field of view (21, 22) of the secondary imaging sensor in a direction of travel (5) of the vehicle is aligned to the rear.
5. System nach einem der vorherigen Ansprüche, bei dem 5. System according to any one of the preceding claims, wherein
ein Sehwinkel (23) des sekundären bildgebenden Sensors kleiner ist als ein jeweiliger Sehwinkel (15) von einem der primären bildgebenden Sensoren. a visual angle (23) of the secondary imaging sensor is less than a respective visual angle (15) of one of the primary imaging sensors.
6. System nach einem der vorherigen Ansprüche, wobei 6. System according to one of the preceding claims, wherein
ein Erfassungsbereich (24) des sekundären bildgebenden Sensors größer ist als ein jeweiliger Erfassungsbereich (16) von einem der primären bildgebenden Sensoren. a detection area (24) of the secondary imaging sensor is larger than a respective detection area (16) of one of the primary imaging sensors.
7. System nach einem der vorherigen Ansprüche, bei dem 7. System according to any one of the preceding claims, wherein
sich Sichtfelder (11 , 12, 13, 14) der primären bildgebenden Sensoren teilweise überlappen und partially overlap fields of view (11, 12, 13, 14) of the primary imaging sensors and
das Sichtfeld (21 , 22) des sekundären bildgebenden Sensors einen Bereich umfasst, weicher ein von den Sichtfeldern (1 1 , 12, 13, 14) der primären Sensoren nicht überlappender Bereich ist. the field of view (21, 22) of the secondary imaging sensor comprises a region that is not an overlapping region from the fields of view (1 1, 12, 13, 14) of the primary sensors.
8. System nach einem der vorherigen Ansprüche, bei dem 8. System according to any one of the preceding claims, wherein
die Steuereinheit (40) dazu eingerichtet ist eine Umfelderfassung mit einem primären bildgebenden Sensor, dessen Sichtfeld (14) verdeckt ist, zu deaktivieren, falls der Detektor (30) ein am Fahrzeug angebrachtes Objekt erkennt. the control unit (40) is adapted to deactivate an environment detection with a primary imaging sensor whose field of view (14) is obscured if the detector (30) detects an object attached to the vehicle.
9. Fahrzeug, mit einem System zur Umfelderfassung nach einem der vorherigen Ansprüche. 9. vehicle, with a system for environment detection according to one of the preceding claims.
10. Fahrzeug nach Anspruch 9, bei dem 10. Vehicle according to claim 9, wherein
das Fahrzeug ein Zugfahrzeug (2) ist und the vehicle is a towing vehicle (2) and
das zu erkennende Objekt ein Anhänger (4) ist. the object to be recognized is a trailer (4).
1 1 . Fahrzeug nach einem der Ansprüche 9 oder 10, wobei 1 1. Vehicle according to one of claims 9 or 10, wherein
das Fahrzeug zwei Außenspiegel (3) aufweist und jeweils ein sekundärer bildgebender Sensor an einem der beiden Außenspiegel (3) des Fahrzeugs angeordnet ist. the vehicle has two exterior mirrors (3) and in each case a secondary imaging sensor is arranged on one of the two exterior mirrors (3) of the vehicle.
12. Verfahren zur Umfelderfassung eines Fahrzeugs, mit den Schritten 12. A method for detecting the surroundings of a vehicle, comprising the steps
Erfassen (S1 ) eines Umfelds des Fahrzeugs mit einer Vielzahl von primären bildgebenden Sensoren, welche an mehreren Positionen am Fahrzeug angeordnet sind,  Detecting (S1) an environment of the vehicle having a plurality of primary imaging sensors arranged at a plurality of positions on the vehicle,
Detektieren (S2) eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld (14) eines primären bildgebenden Sensors zumindest teilweise verdeckt, Detecting (S2) a vehicle-mounted object that at least partially obscures a field of view (14) of a primary imaging sensor,
Erfassen (S3) eines Umfelds des angebrachten Objekts mit mindestens einem sekundären bildgebenden Sensor, weicher ein zu Sichtfeldern (1 1 , 12, 13, 14) der primären Sensoren verschiedenes Sichtfeld (21 , 22) aufweist, falls ein am Fahrzeug angebrachtes Objekt detektiert worden ist, und  Detecting (S3) an environment of the attached object with at least one secondary imaging sensor having a field of view (21, 22) different from fields of view (1 1, 12, 13, 14) of the primary sensors if an object attached to the vehicle has been detected is and
Erzeugen (S4) einer Draufsicht des Umfelds des Fahrzeugs, welche auf der Umfelderfassung mit den primären bildgebenden Sensoren basiert, falls kein am Fahrzeug angebrachtes Objekt detektiert worden ist, und zumindest auf der Umfelderfassung mit dem mindestens einen sekundären bildgebenden Sensor basiert, falls ein am Fahrzeug angebrachtes Objekt detektiert worden ist.  Generating (S4) a top view of the environment of the vehicle based on the surround detection with the primary imaging sensors if no vehicle-mounted object has been detected, and based at least on the surround detection with the at least one secondary imaging sensor if one on the vehicle attached object has been detected.
13. Verfahren zum Notbremsen eines Fahrzeugs, mit den Schritten 13. A method for emergency braking a vehicle, comprising the steps
Erfassen (S1 ) eines Umfelds des Fahrzeugs mit einer Vielzahl von primären bildgebenden Sensoren, welche an mehreren Positionen am Fahrzeug angeordnet sind,  Detecting (S1) an environment of the vehicle having a plurality of primary imaging sensors arranged at a plurality of positions on the vehicle,
Detektieren (S2) eines am Fahrzeug angebrachten Objekts, welches ein Sichtfeld (14) eines primären bildgebenden Sensors zumindest teilweise verdeckt, Detecting (S2) a vehicle-mounted object that at least partially obscures a field of view (14) of a primary imaging sensor,
Erfassen (S3) eines Umfelds des angebrachten Objekts mit mindestens einem sekundären bildgebenden Sensor, weicher ein zu Sichtfeldern (1 1 , 12, 13, 14) der primären Sensoren verschiedenes Sichtfeld (21 , 22) aufweist, falls ein am Fahrzeug angebrachtes Objekt detektiert worden ist, und  Detecting (S3) an environment of the attached object with at least one secondary imaging sensor having a field of view (21, 22) different from fields of view (1 1, 12, 13, 14) of the primary sensors if an object attached to the vehicle has been detected is and
Erkennen (S5) eines Hindernisses im erfassten Umfeld des angebrachten Objekts und Bremsen (S6) des Fahrzeugs zum Vermeiden einer Kollision mit dem erkannten Hindernis.  Detecting (S5) an obstacle in the detected environment of the attached object and braking (S6) the vehicle to avoid collision with the detected obstacle.
PCT/EP2019/056105 2018-04-16 2019-03-12 System and method for sensing an environment of a vehicle WO2019201512A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018205694.3A DE102018205694B3 (en) 2018-04-16 2018-04-16 System and method for detecting an environment of a vehicle, vehicle with a system for environment detection and method for emergency braking of a vehicle
DE102018205694.3 2018-04-16

Publications (1)

Publication Number Publication Date
WO2019201512A1 true WO2019201512A1 (en) 2019-10-24

Family

ID=65904365

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/056105 WO2019201512A1 (en) 2018-04-16 2019-03-12 System and method for sensing an environment of a vehicle

Country Status (2)

Country Link
DE (1) DE102018205694B3 (en)
WO (1) WO2019201512A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020103002A1 (en) 2020-02-06 2021-08-12 Valeo Schalter Und Sensoren Gmbh Sensor system for a vehicle for monitoring a horizontal monitoring area of at least 180 °
GB202210395D0 (en) 2022-07-15 2022-08-31 Agco Int Gmbh A vehicle with a sensor unit for environmental perception

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3012154A (en) * 1958-12-15 1961-12-05 Rca Corp Rise-time amplifier employing an impact ionization device
DE102008013457A1 (en) * 2007-03-21 2008-09-25 Ford Global Technologies, LLC, Dearborn Fahrzeugmanövrierhilfen
US9428119B2 (en) * 2015-01-02 2016-08-30 Atieva, Inc. Location based activation of a vehicle camera system
US20170217368A1 (en) * 2016-02-03 2017-08-03 GM Global Technology Operations LLC Rear vision system for a vehicle and method of using the same
US20180109762A1 (en) * 2011-04-19 2018-04-19 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006052469A1 (en) 2006-11-07 2008-06-26 Robert Bosch Gmbh Driver assistance system
DE102014110642A1 (en) 2014-07-29 2016-02-04 Connaught Electronics Ltd. Adaptive electronic rearview mirror for a motor vehicle
DE102015214611A1 (en) 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Method and device for displaying an environmental scene of a vehicle combination
DE102017003631A1 (en) 2017-04-13 2017-10-19 Daimler Ag Method for detecting the surroundings of a team

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3012154A (en) * 1958-12-15 1961-12-05 Rca Corp Rise-time amplifier employing an impact ionization device
DE102008013457A1 (en) * 2007-03-21 2008-09-25 Ford Global Technologies, LLC, Dearborn Fahrzeugmanövrierhilfen
US20180109762A1 (en) * 2011-04-19 2018-04-19 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9428119B2 (en) * 2015-01-02 2016-08-30 Atieva, Inc. Location based activation of a vehicle camera system
US20170217368A1 (en) * 2016-02-03 2017-08-03 GM Global Technology Operations LLC Rear vision system for a vehicle and method of using the same

Also Published As

Publication number Publication date
DE102018205694B3 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
EP3328686B1 (en) Method and device for displaying the surrounding field of a tractor and trailer
EP1147032B1 (en) Device for monitoring the surrounding area of a vehicle during parking
EP1302076B1 (en) Device and method for monitoring the surroundings of an object
DE60124345T2 (en) Image composition system and method
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
DE102017111530A1 (en) Systems and methods for a towing vehicle and a trailer with all-round imaging devices
EP3157786B1 (en) Vehicle with surroundings-monitoring device and method for operating such a monitoring device
DE102018220325A1 (en) projection device
DE102007059735A1 (en) Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle
DE102008029612A1 (en) Trailer joint angle estimate
DE102014204872B4 (en) A method and display system for displaying environmental information of a vehicle
DE102018220279A1 (en) IMAGING APPARATUS AND METHOD
WO2016005232A1 (en) Merging of partial images to form an image of surroundings of a mode of transport
DE102015108944B4 (en) Panoramic system and operating procedures thereof
DE102017108254A1 (en) All-round vision camera system for object recognition and tracking
WO2019201537A1 (en) Method and controller for denoting a person
DE102018205694B3 (en) System and method for detecting an environment of a vehicle, vehicle with a system for environment detection and method for emergency braking of a vehicle
DE102020105656A1 (en) METHOD AND DEVICE FOR ARTICULATED MIRRORS FOR A TRAILER IN A MOTOR VEHICLE
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE112015005633T5 (en) All-round visibility system and vehicle that includes a all-round visibility system
DE102017219119A1 (en) Method for detecting the shape of an object in an exterior of a motor vehicle and motor vehicle
EP3476696B1 (en) Method for determining object boundaries of an object in an external area of a motor vehicle and control device and motor vehicle
DE102019132019A1 (en) VEHICLE AND CONTROL PROCEDURES FOR IT
DE102023101022A1 (en) ASSISTED VEHICLE OPERATION WITH IMPROVED OBJECT DETECTION
DE102010034127A1 (en) Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19712914

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19712914

Country of ref document: EP

Kind code of ref document: A1