WO2009077445A1 - Method and apparatus for optically detecting an area surrounding a vehicle - Google Patents

Method and apparatus for optically detecting an area surrounding a vehicle Download PDF

Info

Publication number
WO2009077445A1
WO2009077445A1 PCT/EP2008/067397 EP2008067397W WO2009077445A1 WO 2009077445 A1 WO2009077445 A1 WO 2009077445A1 EP 2008067397 W EP2008067397 W EP 2008067397W WO 2009077445 A1 WO2009077445 A1 WO 2009077445A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
area
cameras
camera
camera detection
Prior art date
Application number
PCT/EP2008/067397
Other languages
German (de)
French (fr)
Inventor
Mattias Strauss
Original Assignee
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg filed Critical Continental Teves Ag & Co. Ohg
Publication of WO2009077445A1 publication Critical patent/WO2009077445A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the invention relates to a method and a device for optically detecting the surroundings of a vehicle. Moreover, the invention relates to a vehicle, in particular a motor vehicle, comprising the device.
  • Modern motor vehicles often have environmental sensors that can be used to detect objects that are located in an environment of the vehicle.
  • the environment sensors may be part of safety systems of a vehicle, for example, which detect by means of environmental sensors objects or obstacles in the vehicle environment with which the vehicle could collide.
  • measures for avoiding the collision and / or for reducing collision sequences are carried out by such security systems.
  • cameras can be used as environmental sensors, whose images allow recognition and classification of detected objects in the surroundings of the vehicle.
  • stereo cameras it is also possible to determine the spatial position of objects in relation to the vehicle.
  • the collection and evaluation of image data However, a large environmental area is usually expensive and resource intensive. This is especially true if a stereoscopic evaluation of the image data is provided.
  • a method for optically detecting an environment of a vehicle, in which an area of the vehicle surroundings to be detected optically is recorded with a camera.
  • the method is characterized in that the surrounding area to be detected optically is recorded by means of more than one camera, each with a camera detection area, wherein a covering area is formed by overlapping partial areas, and wherein the covering area is at least partially formed by means of a stereoscopic evaluation method and remaining partial area of the camera Camera detection areas are evaluated by means of a further evaluation.
  • an apparatus for optically detecting an environment of a vehicle with which an area of the vehicle environment to be detected optically can be recorded with a camera.
  • the device comprises a plurality of cameras each having a camera detection area, wherein the cameras are arranged such that an overlapping area is formed by means of overlapping partial areas of a plurality of camera detection areas.
  • the device has an ne evaluation device, which is adapted to evaluate the coverage area at least partially by means of a stereoscopic evaluation and remaining parts of the camera detection areas by means of a further evaluation.
  • the surrounding area is recorded in the overlapping area with a plurality of cameras, stereo images of the overlapping area can advantageously be detected so that a three-dimensional model of the vehicle surroundings can be generated by means of a stereoscopic evaluation method.
  • This makes it possible to determine the relative position of detected objects with respect to the vehicle, in particular the distance between the vehicle and the objects, with high accuracy.
  • the coverage area forms only a partial area of the entire optically detected surrounding area.
  • the image evaluation is carried out on the basis of a further evaluation method. This can be carried out in a simpler and, in particular, resource-saving manner than the stereoscopic evaluation method, in which several individual images of the same area are taken into account. As a result, a large surrounding area of the vehicle can be recorded and evaluated very efficiently.
  • three cameras are provided, the overlapping area being formed on the basis of an overlapping of the camera detection areas of external cameras with the camera detection area of a middle camera and / or on the basis of an overlapping of the camera detection areas of the outer cameras.
  • An advantage of a three-camera configuration is that two cameras can cover a large area of the surrounding area, and a suitable area and coverage of the third camera can be used to selectively create a coverage area without having to limit the total area of coverage captured.
  • a further embodiment of the method and the device provides that the partial areas in which the camera detection areas do not overlap adjoin the covering area laterally and / or forwards with respect to the vehicle longitudinal direction.
  • the optically detected surrounding area beyond the coverage area comprises further particularly important surrounding areas of the vehicle, in particular areas laterally and / or in front of the coverage area.
  • objects may be present that form a potential source of danger to the vehicle when it moves forward in the vehicle longitudinal direction.
  • a further development of the method and the device comprises that the remaining subareas are evaluated on the basis of an optical flow.
  • the optical flow includes the direction and speed of movement of points associated with detected objects.
  • objects which are arranged in the lateral surrounding area of the vehicle often have a particularly high relative speed with respect to the vehicle and can therefore be recognized particularly well by means of the optical flow.
  • An example of such objects are pedestrians moving near the lane of the vehicle, vehicles approaching the side, or objects standing on the side of the lane.
  • An embodiment of the method and the apparatus is characterized in that the part of the overlapping area evaluated by means of the stereoscopic evaluation method is at least partially additionally evaluated by means of the further evaluation method. In this way, a particularly high information density for the surrounding areas can be generated, which are evaluated both on the basis of the stereoscopic and on the basis of the further evaluation method.
  • a further embodiment of the method and the device provides that the part of the overlapping area evaluated by means of the stereoscopic evaluation method is changed dynamically.
  • the region of the part of the overlap region evaluated by means of the stereoscopic evaluation method which is additionally evaluated by means of the further evaluation method, is changed dynamically.
  • an embodiment of the method and the device is characterized in that the dynamic change is made when cornering the vehicle and takes place in such a way that the part or region is expanded and / or displaced essentially in a curve-internal direction.
  • the invention additionally provides a vehicle, in particular a motor vehicle, which comprises a device of the type described above.
  • the cameras of the device are located within an upper third of a windshield area, and preferably within a wipeable windshield area.
  • the cameras are inside the vehicle.
  • Such an arrangement of the cameras ensures that the front environment of the vehicle can be detected.
  • the cameras are largely protected against external influences.
  • An arrangement in the upper windshield area ensures a good overview of the visually detectable surrounding area, and the field of vision of a driver of the vehicle and / or a passenger is not critically restricted.
  • a refinement of the invention includes that the vehicle comprises a decalibration fuse, the cameras being mounted on the decalibration fuse in such a way that movements of the cameras relative to one another are minimized.
  • the decalibration protection can be, for example, a torsion-resistant carrier on which the cameras are mounted together.
  • FIG. 1 is a schematic block diagram showing components of a system for optically detecting a vehicle environment
  • FIG. 2 shows a schematic illustration of the camera detection areas of the cameras contained in the system in an embodiment
  • FIG. 3 shows a schematic illustration of the camera detection areas of the cameras contained in the system in a further embodiment
  • FIG. 4 shows a schematic illustration of the camera detection areas of the cameras contained in the system in a still further embodiment
  • FIG. 5 shows a schematic illustration of the camera detection areas of the cameras contained in the system, as well as of a partial area of an overlapping area of the camera detection areas for which a stereoscopic image evaluation is performed and
  • FIG. 6 shows a schematic illustration of the camera detection areas of the cameras contained in the system and of a partial area, adapted for cornering, of an overlapping area of the camera detection areas for which a stereoscopic image evaluation is undertaken.
  • FIG. 1 shows a schematic representation of an optical detection system of a vehicle 201, with which objects in the environment of the vehicle 201 can be detected.
  • the system features in the illustrated Embodiment via three cameras 101, 102, 103, the images of an area to be detected surrounding area of the vehicle 201 record.
  • the cameras 101, 102, 103 are preferably designed as video cameras which provide video data which continuously includes images of the surrounding area taken in succession.
  • the cameras are arranged in one embodiment in the interior of the passenger compartment of the vehicle 201.
  • the cameras 101, 102, 103 may be mounted in front of the windshield at an upper cross-connection of the A-pillars.
  • the attachment of the cameras 101, 102, 103 is designed so that a Dekalibherung against each other, that is, a change in the relative position and / or orientation of the cameras 101, 102, 103 to each other, is avoided. Therefore, in one embodiment, the cameras 101, 102, 103 are not attached to the windshield because the cameras 101, 102, 103 could decalibrate against each other by distortion or temperature dependent expansion of the disk.
  • the cameras 101, 102, 103 may instead be mounted on a special carrier. Likewise, the cameras 101, 102, 103 can be mounted directly on the A-pillar cross-connection, if this connection is designed so that it does not also warp in chassis connections and is insensitive to temperature variations.
  • the video data captured by means of the cameras 101, 102, 103 are fed to an evaluation device 104, which carries out an evaluation of the video data.
  • the evaluation device 104 is preferably part of a control unit of the vehicle 201. In one embodiment, the latter has a microprocessor for executing programs and a non-volatile memory in which executable programs and other data can be stored on the microprocessor.
  • the evaluation device 104 can be implemented in the form of one or more programs in the controller.
  • the relative position of the objects with respect to the vehicle 201 and / or the relative speed of the objects with respect to the vehicle 201 is determined.
  • a classification of the detected objects is preferably carried out on the basis of the video data. This can be carried out in a manner known per se to the person skilled in the art by means of a neural network, a support vector machine or a corresponding derivative.
  • the objects may be, in particular, other vehicles or obstacles which represent a potential source of danger for the vehicle 201 or should be taken into account in the vehicle guidance.
  • the results of the evaluation of the video data made in the evaluation device 104 can be provided to further systems of the vehicle 201, which are not shown in the figures.
  • a system may, for example, comprise a safety device which, in the event of an imminent collision of the vehicle 201 with an object detected by means of the cameras 101, 102, 103, carries out measures for avoiding the collision or for reducing collision sequences.
  • the cameras 101, 102, 103 are arranged next to each other and preferably capture a surrounding area of the vehicle 201 which is formed in front of the vehicle 201.
  • the middle camera 101 is assigned a central camera detection area 202, the right camera 102 a right camera detection area 203 and the left camera a left camera detection area 204.
  • the cameras 101, 102, 103 are aligned such that the optical axes of the outer cameras 102, 103 intersect, so that the right camera 102, as shown in Figure 3, a camera detection area 204 'on the left vehicle side forms and the left camera 103 a Camera detection area 203 'on the right side of the vehicle.
  • the evaluation of the video data can be made in this case in the same way.
  • variously mounted surrounding areas in front of the vehicle 201 can be monitored.
  • a rather wide surrounding area can be monitored with a smaller longitudinal extent, whereby in particular the area can be detected laterally from the lane of the vehicle 201.
  • a narrower, but far reaching optical surrounding area can be detected. This is particularly advantageous at high speeds of the vehicle 201.
  • the cameras 101, 102, 103 are aligned and arranged such that a plurality of camera detection areas 202, 203, 204 at least partially overlap to an overlapping area 205.
  • the video data includes stereo images, that is, images of the same partial area of the vehicle surroundings shifted from each other.
  • the stereo data enable a stereoscopic image analysis by means of a stereo algorithm, which is performed in the evaluation device 104.
  • a three-dimensional environment model can be determined. In particular, the distance of a recognized object to the vehicle 201 can be determined.
  • the relative speed of the object relative to the vehicle 201 can be calculated.
  • partial areas 206, 207 of the camera detection areas 202, 203, 204, which are not part of the coverage area 205 stereo images can not be detected. Therefore, the evaluation device 104 does not perform stereoscopic image evaluation for these subareas 206, 207. Instead, the image evaluation in the evaluation device 104 is based on another evaluation method.
  • the evaluation is based on an optical flow, which can be determined in a manner known to those skilled in the art. In this case, the optical flow in particular includes the direction of movement and the speed of the picture elements of a picture sequence and allows the identification of objects within the pictures as well as an estimate of their movement.
  • the arrangement of the cameras 101, 102, 103 illustrated with reference to FIG. 2 thus makes it possible to determine the relative position of objects located in the coverage area 205 with respect to the vehicle 201 with high accuracy on the basis of the stereoscopic image evaluation , Objects located in the lateral portions 206, 207 of the camera detection areas 203, 204 that do not belong to the coverage area 205 may also be detected. Although only the optical flow can be determined for these objects, so that the relative position of these objects with respect to the vehicle 201 can be estimated at most roughly.
  • the evaluation based on the optical flow is more resource-conserving and, owing to the lateral arrangement of the relevant subregions 206, 207 of the camera detection regions 203, 204, permits very early detection of objects which move outside of the overlap region 205 onto the vehicle 201.
  • the subregions 206, 207 belonging to the outer camera detection region 203, 204 that do not belong to the overlap region 205 thus represent, as it were, an extension of the overlap region, in which a limited evaluation can be performed.
  • the covering area 205 can be composed in its entirety of a plurality of partial areas (not explicitly numbered for the sake of clarity). For example, in the configuration shown in FIG.
  • a right partial area resulting from overlapping of the central camera detection area 202 and the right camera detection area 203 is formed, and a left coverage area resulting from an overlap of the central camera detection area 202 and the left camera detection area 204 ,
  • a right subarea 206 and a left subarea 207 are formed, in which the vehicle surroundings can be detected only by means of an external camera 102, 103. Thus, no stereo images can be detected in the subregions 206, 207.
  • FIGS. 2 and 3 correspond to arrangements in which the overlapping area 205 is laterally expanded. This allows a particularly early detection of objects, which come from the side on the vehicle 201 to move. By evaluating the video data with respect to the subareas 206, 207, in particular possible collisions with such objects can be detected early. On the basis of the evaluation based on the optical flow, it is easy to detect objects located in the subregions 206, 207, which have a high relative speed with respect to the vehicle 201. An example of such objects are pedestrians, vehicles approaching from the side or objects standing on the side of the driving tube.
  • FIG. 4 shows a further configuration in which the outer cameras 102, 103 have a greater range than the middle camera 101 and their camera detection ranges 203, 204 overlap to a greater extent than is the case in the configuration shown in FIG .
  • the overlapping area 205 here comprises a first overlapping partial area 401, which has a right partial area, which consists of an overlap of the central camera detection area 202 and the right camera detection area 203 results, as well as a left partial area resulting from an overlap of the central camera detection area 202 and the left camera detection area 204.
  • the overlapping portion 401 is adjoined by a further overlapping portion 402 at a greater distance from the vehicle 201.
  • the overlap portion 402 results from the overlap of the right camera detection area 203 and the left camera detection area 204, and has a smaller transverse extent than the overlap area 401.
  • the configuration shown in FIG. 4 has the particular advantage that it captures stereo images of a particularly large surrounding area or the camera detection areas 202, 203, 204 can be used particularly efficiently for acquiring stereo images.
  • the coverage area 205 is evaluated both on the basis of a stereo algorithm and additionally on the basis of the optical flow. As a result, a particularly high information density is available for the coverage area 205.
  • the subareas 206, 207 of the camera detection areas 203, 204, which are not part of the coverage area 205, are only evaluated on the basis of the optical flow, since no stereo data is available for these areas.
  • the evaluation device 104 can first merge the determined data and then extract the relevant objects from the information thus obtained. Likewise, however, it is also possible to first detect the objects based on the stereo data and on the basis of the data obtained from the optical flow, and then to merge the object data determined in the process.
  • Another embodiment differs from the aforementioned embodiment in that the coverage area 205 is evaluated only on the basis of the stereo algorithm and not on the basis of the optical flow. Thus, not all possible information regarding environmental area 205 is available. However, since optical flow data generally arises wherever something moves in a recorded image and relevant objects in the central camera detection region 202 hardly move in relation to a normal driving style in general, the evaluation based on the stereo algorithm usually suffices in order to be able to evaluate the surrounding area 205 with sufficient accuracy.
  • the evaluation of the video data by means of the stereo algorithm can be limited to a partial area 501 of the entire coverage area of the camera detection areas 202, 203, 204.
  • the TeN region 501 can extend over a smaller angular range than the entire overlap region 205.
  • the partial region 501 can be selected freely.
  • an evaluation based on the optical flow, as for the subregions 206, preferably takes place for these regions. 207 of the outer camera detection areas 203, 204, which are not part of the coverage area 205.
  • an evaluation based on the optical flow can be performed.
  • these components are also basically freely selectable.
  • areas can be configured in which an additional evaluation based on the optical flow takes place.
  • These areas are also referred to below as multiple evaluation areas.
  • a multiple evaluation area is provided which comprises a contiguous area. Likewise, however, multiple separate multiple evaluation areas may be configured.
  • the partial area 501 of the overlapping area 205 in which a stereoscopic evaluation of the video data is undertaken, and / or the multiple evaluation areas can be changed dynamically by the evaluation device 104 in one embodiment.
  • the adaptation is made in particular during a cornering of the vehicle 201.
  • the subarea 501 or a multiple evaluation area is expanded and / or shifted in a curve-inward direction.
  • objects that are positioned with respect to the vehicle 201 in such a way that they could be relevant when cornering can be better detected. As shown in FIG.
  • the partial area 501 or a multiple evaluation area is shifted to the right in the case of a right turn of the vehicle 201, so that a partial area 601 is formed in which a stereoscopic image evaluation is performed.
  • an extension to the right can be provided.
  • a shift or extension to the left occurs.
  • Multiple evaluation ranges can be adjusted in an analogous way.
  • a cornering of the vehicle 201 can be determined by the evaluation device 104, for example based on signals of a steering angle sensor, with which the Radeinschlagwinkel the steerable vehicle wheels can be determined, or by means of a position determination device, with the position and direction of movement of the vehicle 201 can be determined.
  • This can be a satellite-supported position-determining device, which can be part of a navigation system of the vehicle.
  • the extent of expansion and / or displacement is determined by the evaluation device 104 in one embodiment as a function of the wheel steering angle of the steerable wheels of the vehicle 201 or in dependence on the curve radius.
  • the Radeinschlagwinkel is determined by means of the steering angle sensor.
  • the curve radius can be determined by the evaluation device 104 on the basis of the wheel steering angle or with the aid of the position determination device.
  • the vehicle 201 has, in addition to the cameras 101, 102, 103, one or more beam sensors for detecting objects in the vehicle environment. These are sensors that emit radiation in a surrounding area. The radiation is partially reflected by objects located in the surrounding area and the reflected radiation is detected in the beam sensor. From the detected radiation, the relative position of an object with respect to the vehicle 201 and in particular the distance of the object from the vehicle 201 can be determined. Furthermore, the relative speed of the object with respect to the vehicle can be determined. Examples of such beam sensors are radar and lidar sensors.
  • the data obtained by the evaluation device 104 by means of the cameras 101, 102, 103 from objects located in the surroundings of the vehicle 201 can be combined in this embodiment with data obtained by means of the existing beam sensors.
  • the distance between the vehicle 201 and those objects can be determined which are recognized in the video data only by an evaluation of the optical flow.
  • the additional detection of the objects by means of the cameras 101, 102, 103 has the particular advantage that a classification of the detected objects can be made on the basis of the video data.
  • the fusion of the data recorded by means of the cameras 101, 102, 103 on the one hand and the available beam sensors on the other hand can be performed both on the measurement data level and on the object level.

Abstract

The invention relates to a method for optically detecting an area surrounding a vehicle (201), in which method a region (202, 203, 204) of the area surrounding the vehicle, which region is to be optically detected, is recorded using a camera (101, 102, 103). The method is distinguished in that the surrounding region which is to be optically detected is recorded by means of more than one camera (101, 102, 103) with a camera detection region (202, 203, 204) in each case, wherein an overlap region (205) is formed by means of overlapping subregions of a plurality of camera detection regions (202, 203, 204), and wherein the overlap region (205) is evaluated at least partially by means of a stereoscopic evaluation method, and other subregions of the camera detection regions (202, 203, 204) are evaluated by means of a further evaluation method. The invention also relates to an apparatus which is suitable for carrying out the method, and a vehicle which comprises the apparatus.

Description

Verfahren und Vorrichtung zum optischen Erfassen einer Fahrzeugumgebung Method and device for optically detecting a vehicle environment
Technisches GebietTechnical area
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur optischen Erfassung der Umgebung eines Fahrzeugs. Darüber hinaus betrifft die Erfindung ein Fahrzeug, insbesondere ein Kraftfahrzeug, das die Vorrichtung umfasst.The invention relates to a method and a device for optically detecting the surroundings of a vehicle. Moreover, the invention relates to a vehicle, in particular a motor vehicle, comprising the device.
Hintergrund der ErfindungBackground of the invention
Moderne Kraftfahrzeuge verfügen oftmals über Umfeldsensoren, mit denen Ob- jekte erfasst werden können, die sich in einem Umfeldbereich des Fahrzeugs befinden. Die Umfeldsensoren können beispielsweise Bestandteil von Sicherheitssystemen eines Fahrzeugs sein, welche mittels der Umfeldsensoren Objekte bzw. Hindernisse in der Fahrzeugumgebung erfassen, mit denen das Fahrzeug kollidieren könnte. Im Falle einer möglichen Kollision werden von derartigen Sicherheitssystemen Maßnahmen zur Vermeidung der Kollision und/oder zur Verringerung von Kollisionsfolgen durchgeführt.Modern motor vehicles often have environmental sensors that can be used to detect objects that are located in an environment of the vehicle. The environment sensors may be part of safety systems of a vehicle, for example, which detect by means of environmental sensors objects or obstacles in the vehicle environment with which the vehicle could collide. In the event of a possible collision, measures for avoiding the collision and / or for reducing collision sequences are carried out by such security systems.
Als Umfeldsensoren können insbesondere Kameras eingesetzt werden, deren Bilder eine Erkennung und Klassifizierung von erfassten Objekten in der Umge- bung des Fahrzeugs gestatten. Durch die Verwendung von Stereokameras ist es zudem möglich, die räumliche Lage von Objekten in Bezug auf das Fahrzeug zu ermitteln. Insbesondere die Erfassung und Auswertung von Bilddaten eines großen Umgebungsbereichs ist jedoch in der Regel aufwendig und ressourcenintensiv. Dies gilt in besonderem Maße, wenn eine stereoskopische Auswertung der Bilddaten vorgesehen ist. In particular, cameras can be used as environmental sensors, whose images allow recognition and classification of detected objects in the surroundings of the vehicle. By using stereo cameras, it is also possible to determine the spatial position of objects in relation to the vehicle. In particular, the collection and evaluation of image data However, a large environmental area is usually expensive and resource intensive. This is especially true if a stereoscopic evaluation of the image data is provided.
Darstellung der ErfindungPresentation of the invention
Es ist eine Aufgabe der vorliegenden Erfindung, eine möglichst effiziente Um- felderfassung anhand von Bilddaten in einem möglichst großen Erfassungsbereich zu ermöglichen.It is an object of the present invention to enable a field detection which is as efficient as possible on the basis of image data in as large a detection range as possible.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Ausführungsformen des Verfahrens und der Vorrichtung sind in den abhängigen Ansprüchen angegeben.The object is achieved by a method having the features of patent claim 1 and by a device having the features of patent claim 9. Embodiments of the method and apparatus are given in the dependent claims.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum optischen Erfassen einer Umgebung eines Fahrzeugs vorgeschlagen, bei welchem ein optisch zu erfassender Bereich der Fahrzeugumgebung mit einer Kamera aufgenommen wird. Das Verfahren zeichnet sich dadurch aus, dass der optisch zu erfassende Umgebungsbereich mittels mehr als einer Kamera mit jeweils einem Kameraerfassungsbereich aufgenommen wird, wobei mittels sich überdeckender Teilbereiche mehrere Kameraerfassungsbereiche ein Überdeckungsbereich gebildet wird und wobei der Überdeckungsbereich zumindest teilweise mittels eines stereoskopischen Auswerteverfahrens und übrige Teilbereich der Kameraerfassungsbereiche mittels eines weiteren Auswerteverfahrens ausgewertet werden.According to a first aspect of the invention, a method is proposed for optically detecting an environment of a vehicle, in which an area of the vehicle surroundings to be detected optically is recorded with a camera. The method is characterized in that the surrounding area to be detected optically is recorded by means of more than one camera, each with a camera detection area, wherein a covering area is formed by overlapping partial areas, and wherein the covering area is at least partially formed by means of a stereoscopic evaluation method and remaining partial area of the camera Camera detection areas are evaluated by means of a further evaluation.
Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum optischen Erfassen einer Umgebung eines Fahrzeugs bereitgestellt, mit der ein optisch zu erfassender Bereich der Fahrzeugumgebung mit einer Kamera aufgenommen werden kann. Die Vorrichtung umfasst mehrere Kameras mit jeweils einem Kameraerfassungsbereich, wobei die Kameras derart angeordnet sind, dass mittels sich überdeckender Teilbereiche mehrerer Kameraerfassungsbereiche ein Überdeckungsbereich gebildet wird. Ferner weist die Vorrichtung ei- ne Auswerteeinrichtung auf, die dazu ausgebildet ist, den Überdeckungsbereich zumindest teilweise mittels eines stereoskopischen Auswerteverfahrens und übrige Teilbereiche der Kameraerfassungsbereiche mittels eines weiteren Auswerteverfahrens auszuwerten.According to a further aspect of the invention, an apparatus for optically detecting an environment of a vehicle is provided with which an area of the vehicle environment to be detected optically can be recorded with a camera. The device comprises a plurality of cameras each having a camera detection area, wherein the cameras are arranged such that an overlapping area is formed by means of overlapping partial areas of a plurality of camera detection areas. Furthermore, the device has an ne evaluation device, which is adapted to evaluate the coverage area at least partially by means of a stereoscopic evaluation and remaining parts of the camera detection areas by means of a further evaluation.
Dadurch, dass der Umgebungsbereich in dem Überdeckungsbereich mit mehreren Kameras aufgenommen wird, können vorteilhaft Stereobilder des Überdeckungsbereichs erfasst werden, so dass mittels eines stereoskopischen Auswerteverfahrens ein dreidimensionales Modell der Fahrzeugumgebung er- zeugt werden kann. Dies erlaubt es, die relative Lage von erfassten Objekten in Bezug auf das Fahrzeug, insbesondere den Abstand zwischen dem Fahrzeug und den Objekten, mit hoher Genauigkeit zu bestimmen. Der Überdeckungsbereich bildet jedoch lediglich einen Teilbereich des gesamten optisch erfassten Umgebungsbereichs. In den übrigen Teilbereichen, die jeweils nur mittels einer Kamera erfasst werden, erfolgt die Bildauswertung anhand eines weiteren Auswerteverfahrens. Dieses kann einfacher und insbesondere ressourcenschonender ausgeführt werden als das stereoskopische Auswerteverfahren, bei dem mehrere Einzelbilder desselben Bereichs berücksichtigt werden. Damit kann insgesamt ein großer Umgebungsbereich des Fahrzeugs erfasst und sehr effi- zient ausgewertet werden.Because the surrounding area is recorded in the overlapping area with a plurality of cameras, stereo images of the overlapping area can advantageously be detected so that a three-dimensional model of the vehicle surroundings can be generated by means of a stereoscopic evaluation method. This makes it possible to determine the relative position of detected objects with respect to the vehicle, in particular the distance between the vehicle and the objects, with high accuracy. However, the coverage area forms only a partial area of the entire optically detected surrounding area. In the remaining sub-areas, which are only recorded by means of a camera, the image evaluation is carried out on the basis of a further evaluation method. This can be carried out in a simpler and, in particular, resource-saving manner than the stereoscopic evaluation method, in which several individual images of the same area are taken into account. As a result, a large surrounding area of the vehicle can be recorded and evaluated very efficiently.
In einer Ausgestaltung des Verfahrens und der Vorrichtung sind drei Kameras vorgesehen, wobei der Überdeckungsbereich aufgrund einer Überlappung der Kameraerfassungsbereiche äußerer Kameras mit dem Kameraerfassungsbe- reich einer mittleren Kamera und/oder aufgrund einer Überlappung der Kameraerfassungsbereiche der äußeren Kameras ausgebildet wird. Ein Vorteil einer Konfiguration mit drei Kameras besteht darin, dass mithilfe von zwei Kameras ein großer Umgebungsbereich abgedeckt und durch eine geeignete Anordnung und Ausrichtung der dritten Kamera gezielt ein Überdeckungsbereich erzeugt werden kann, ohne den insgesamt erfassten Umgebungsbereich einschränken zu müssen. Eine weitere Ausgestaltung des Verfahrens und der Vorrichtung sieht vor, dass die Teilbereiche, in denen sich die Kameraerfassungsbereiche nicht überdecken, bezüglich der Fahrzeuglängsrichtung seitlich und/oder nach vorne an den Überdeckungsbereich anschließen. Hierdurch wird erreicht, dass der optisch erfasste Umgebungsbereich über den Überdeckungsbereich hinaus weitere besonders wichtige Umfeldbereiche des Fahrzeugs umfasst, insbesondere Bereiche seitlich und/oder vor dem Überdeckungsbereich. In diesen Bereichen können sich Objekte aufhalten, die eine potentielle Gefahrenquelle für das Fahrzeug bilden, wenn es sich in Fahrzeuglängsrichtung nach vorne bewegt.In one embodiment of the method and the device, three cameras are provided, the overlapping area being formed on the basis of an overlapping of the camera detection areas of external cameras with the camera detection area of a middle camera and / or on the basis of an overlapping of the camera detection areas of the outer cameras. An advantage of a three-camera configuration is that two cameras can cover a large area of the surrounding area, and a suitable area and coverage of the third camera can be used to selectively create a coverage area without having to limit the total area of coverage captured. A further embodiment of the method and the device provides that the partial areas in which the camera detection areas do not overlap adjoin the covering area laterally and / or forwards with respect to the vehicle longitudinal direction. In this way, it is achieved that the optically detected surrounding area beyond the coverage area comprises further particularly important surrounding areas of the vehicle, in particular areas laterally and / or in front of the coverage area. In these areas, objects may be present that form a potential source of danger to the vehicle when it moves forward in the vehicle longitudinal direction.
Eine Weiterbildung des Verfahrens und der Vorrichtung umfasst, dass die übrigen Teilbereiche anhand eines optischen Flusses ausgewertet werden. Der optische Fluss umfasst die Bewegungsrichtung und -geschwindigkeit von BiId- punkten, die erfassten Objekten zugeordnet sind. Insbesondere Objekte, die im seitlichen Umfeldbereich des Fahrzeugs angeordnet sind, haben dabei oftmals eine besonders hohe Relativgeschwindigkeit in Bezug auf das Fahrzeug und können daher besonders gut anhand des optischen Flusses erkannt werden. Ein Beispiel für derartige Objekte sind Fußgänger, die sich neben der Fahrbahn des Fahrzeugs bewegen, sich von der Seite annähernde Fahrzeuge oder seitlich des Fahrschlauchs stehende Objekte.A further development of the method and the device comprises that the remaining subareas are evaluated on the basis of an optical flow. The optical flow includes the direction and speed of movement of points associated with detected objects. In particular, objects which are arranged in the lateral surrounding area of the vehicle often have a particularly high relative speed with respect to the vehicle and can therefore be recognized particularly well by means of the optical flow. An example of such objects are pedestrians moving near the lane of the vehicle, vehicles approaching the side, or objects standing on the side of the lane.
Eine Ausführungsform des Verfahrens und der Vorrichtung zeichnet sich dadurch aus, dass der mittels des stereoskopischen Auswerteverfahrens ausge- wertete Teil des Überdeckungsbereichs zumindest teilweise zusätzlich mittels des weiteren Auswerteverfahrens ausgewertet wird. Hierdurch kann eine besonders hohe Informationsdichte für die Umgebungsbereiche erzeugt werden, die sowohl anhand des stereoskopischen als auch anhand des weiteren Auswerteverfahrens ausgewertet werden. Eine weitere Ausgestaltung des Verfahrens und der Vorrichtung sieht vor, dass der mittels des stereoskopischen Auswerteverfahrens ausgewertete Teil des Überdeckungsbereichs dynamisch verändert wird.An embodiment of the method and the apparatus is characterized in that the part of the overlapping area evaluated by means of the stereoscopic evaluation method is at least partially additionally evaluated by means of the further evaluation method. In this way, a particularly high information density for the surrounding areas can be generated, which are evaluated both on the basis of the stereoscopic and on the basis of the further evaluation method. A further embodiment of the method and the device provides that the part of the overlapping area evaluated by means of the stereoscopic evaluation method is changed dynamically.
Ferner ist in einer Ausgestaltung des Verfahrens und der Vorrichtung vorgesehen, dass der Bereich des mittels des stereoskopischen Auswerteverfahrens ausgewerteten Teils des Überdeckungsbereichs, der zusätzlich mittels des weiteren Auswerteverfahrens ausgewertet wird, dynamisch verändert wird.Furthermore, in one embodiment of the method and the device, it is provided that the region of the part of the overlap region evaluated by means of the stereoscopic evaluation method, which is additionally evaluated by means of the further evaluation method, is changed dynamically.
Durch eine dynamische Anpassung des Teils des Überdeckungsbereichs, in dem eine stereoskopische Auswertung der Bilddaten vorgenommen wird, bzw. des Teils, in dem sowohl eine stereoskopische Auswertung als auch eine Auswertung nach dem weiteren Auswerteverfahren vorgenommen wird, kann erreicht werden, dass diese Teile trotz einer eingeschränkten Größe in verschie- denen Fahrsituationen besonders relevante Bereiche der Fahrzeugumgebung abdecken.By a dynamic adaptation of the part of the overlapping area in which a stereoscopic evaluation of the image data is made, or the part in which both a stereoscopic evaluation and an evaluation is carried out according to the further evaluation, it can be achieved that these parts despite a limited size in different driving situations cover particularly relevant areas of the vehicle environment.
Eine Anpassung ist dabei vor allem dann vorteilhaft, wenn die Fahrtrichtung des Fahrzeugs geändert wird, da in diesem Fall oftmals andere Umgebungsberei- che des Fahrzeugs besonders relevant sind als bei einer Geradeausfahrt. Hierbei handelt es sich vor allem um Bereiche, die seitlich von dem Fahrzeug in Richtung der geänderten Fahrtrichtung angeordnet sind. Daher ist eine Ausführungsform des Verfahrens und der Vorrichtung dadurch gekennzeichnet, dass die dynamische Veränderung bei einer Kurvenfahrt des Fahrzeugs vorgenom- men wird und derart erfolgt, dass der Teil oder Bereich im Wesentlichen in einer kurveninnere Richtung erweitert und/oder verschoben wird.An adaptation is advantageous above all when the direction of travel of the vehicle is changed, since in this case other surrounding areas of the vehicle are often particularly relevant than when traveling straight ahead. These are in particular areas that are arranged laterally of the vehicle in the direction of the changed direction of travel. Therefore, an embodiment of the method and the device is characterized in that the dynamic change is made when cornering the vehicle and takes place in such a way that the part or region is expanded and / or displaced essentially in a curve-internal direction.
Neben dem Verfahren und der Vorrichtung stellt die Erfindung zudem ein Fahrzeug, insbesondere ein Kraftfahrzeug, bereit, welches eine Vorrichtung der zu- vor beschriebenen Art umfasst. In einer Ausgestaltung des Fahrzeugs sind die Kameras der Vorrichtung innerhalb eines oberen Drittels eines Windschutzscheibenbereichs und vorzugsweise innerhalb eines wischbaren Windschutzscheibenbereichs angeordnet. Vorzugsweise befinden sich die Kameras dabei im Inneren des Fahrzeugs. Durch eine derartige Anordnung der Kameras wird erreicht, dass das vordere Umfeld des Fahrzeugs erfasst werden kann. Zudem sind die Kameras gegen äußere Einflüsse weitgehend geschützt. Durch eine Anordnung im oberen Windschutzscheibenbereich ist eine gute Übersicht über den optisch zu erfassenden Umgebungsbereich sichergestellt, und der Sichtbereich eines Fahrers des Fahr- zeugs und/oder einer Beifahrers wird nicht kritisch eingeschränkt.In addition to the method and the device, the invention additionally provides a vehicle, in particular a motor vehicle, which comprises a device of the type described above. In one embodiment of the vehicle, the cameras of the device are located within an upper third of a windshield area, and preferably within a wipeable windshield area. Preferably, the cameras are inside the vehicle. Such an arrangement of the cameras ensures that the front environment of the vehicle can be detected. In addition, the cameras are largely protected against external influences. An arrangement in the upper windshield area ensures a good overview of the visually detectable surrounding area, and the field of vision of a driver of the vehicle and / or a passenger is not critically restricted.
Im Hinblick auf die Erfassung von Stereobildern ist es vorteilhaft, dass sich die Kameras in möglichst geringem Maße gegeneinander dekalibrieren, das heißt, ihre relative Lage zueinander verändern. Dies könnte beispielsweise aufgrund von Temperaturausdehnungen von Kameraträgern und/oder Verwindungen des Fahrzeugs hervorgerufen werden. Zur Vermeidung einer Dekalibrierung der Kameras beinhaltet eine Weiterbildung der Erfindung, dass das Fahrzeug eine Dekalibrierungssicherung umfasst, wobei die Kameras derart an der Dekalibrie- rungssicherung montiert sind, dass Bewegungen der Kameras relativ zueinan- der minimiert werden. Bei der Dekalibrierungssicherung kann es sich beispielsweise um einen verwindungssteifen Träger handeln, an dem die Kameras gemeinsam montiert sind.With regard to the acquisition of stereo images, it is advantageous for the cameras to decalibrate against each other to the least extent possible, that is, to change their relative position to one another. This could be caused for example by temperature expansions of camera carriers and / or twists of the vehicle. In order to avoid decalibration of the cameras, a refinement of the invention includes that the vehicle comprises a decalibration fuse, the cameras being mounted on the decalibration fuse in such a way that movements of the cameras relative to one another are minimized. The decalibration protection can be, for example, a torsion-resistant carrier on which the cameras are mounted together.
Die zuvor genannten und weitere Vorteile, Besonderheiten und zweckmäßige Weiterbildungen der Erfindung werden auch anhand der Ausführungsbeispiele deutlich, die nachfolgend unter Bezugnahme auf die Figuren beschrieben werden.The above and other advantages, features and expedient developments of the invention will become apparent from the embodiments, which are described below with reference to the figures.
Kurze Beschreibung der FigurenBrief description of the figures
Von den Figuren zeigt: Fig. 1 ein schematisches Blockdiagramm mit Komponenten eines Systems zum optischen Erfassen einer Fahrzeugumgebung,From the figures shows: 1 is a schematic block diagram showing components of a system for optically detecting a vehicle environment;
Fig. 2 eine schematische Veranschaulichung der Kameraerfassungsbereiche der in dem System enthaltenen Kameras in einer Ausgestaltung,2 shows a schematic illustration of the camera detection areas of the cameras contained in the system in an embodiment,
Fig. 3 eine schematische Veranschaulichung der Kameraerfassungsbereiche der in dem System enthaltenen Kameras in einer weiteren Ausgestal- tung,3 shows a schematic illustration of the camera detection areas of the cameras contained in the system in a further embodiment,
Fig. 4 eine schematische Veranschaulichung der Kameraerfassungsbereiche der in dem System enthaltenen Kameras in einer noch weiteren Ausgestaltung,4 shows a schematic illustration of the camera detection areas of the cameras contained in the system in a still further embodiment,
Fig. 5 eine schematische Veranschaulichung der Kameraerfassungsbereiche der in dem System enthaltenen Kameras, sowie eines Teilbereichs eines Überdeckungsbereichs der Kameraerfassungsbereiche, für den eine stereoskopische Bildauswertung vorgenommen wird und5 shows a schematic illustration of the camera detection areas of the cameras contained in the system, as well as of a partial area of an overlapping area of the camera detection areas for which a stereoscopic image evaluation is performed and
Fig. 6 eine schematische Veranschaulichung der Kameraerfassungsbereiche der in dem System enthaltenen Kameras sowie eines bei einer Kurvenfahrt angepassten Teilbereich eines Überdeckungsbereichs der Kameraerfassungsbereiche, für den eine stereoskopische Bildauswertung vor- genommen wird.6 shows a schematic illustration of the camera detection areas of the cameras contained in the system and of a partial area, adapted for cornering, of an overlapping area of the camera detection areas for which a stereoscopic image evaluation is undertaken.
Darstellung von AusführungsbeispielenRepresentation of embodiments
In Figur 1 ist in einer schematischen Darstellung ein optisches Erfassungssys- tem eines Fahrzeugs 201 dargestellt, mit dem Objekte im Umfeld des Fahrzeugs 201 erfasst werden können. Das System verfügt in der dargestellten Ausgestaltung über drei Kameras 101 , 102, 103, die Bilder eines zu erfassenden Umgebungsbereichs des Fahrzeugs 201 aufnehmen. Vorzugsweise sind die Kameras 101 , 102, 103 als Videokameras ausgestaltet, welche Videodaten bereitstellen, die fortlaufend hintereinander aufgenommene Bilder des Umge- bungsbereichs beinhalten.1 shows a schematic representation of an optical detection system of a vehicle 201, with which objects in the environment of the vehicle 201 can be detected. The system features in the illustrated Embodiment via three cameras 101, 102, 103, the images of an area to be detected surrounding area of the vehicle 201 record. The cameras 101, 102, 103 are preferably designed as video cameras which provide video data which continuously includes images of the surrounding area taken in succession.
Die Kameras sind in einer Ausgestaltung im Inneren des Fahrgastraums des Fahrzeugs 201 angeordnet. Dabei können die Kameras 101 , 102, 103 vor der Windschutzscheibe an einer oberen Querverbindung der A-Säulen montiert sein. Hierdurch wird die Sicht der Fahrzeuginsassen durch die Windschutzscheibe nicht oder nur wenig eingeschränkt. Die Befestigung der Kameras 101 , 102, 103 ist so ausgeführt, dass eine Dekalibherung gegeneinander, das heißt eine Veränderung der relativen Lage und/oder Ausrichtung der Kameras 101 , 102, 103 zueinander, vermieden wird. Daher sind die Kameras 101 , 102, 103 in einer Ausgestaltung nicht an der Windschutzscheibe befestigt, da sich die Kameras 101 , 102, 103 durch eine Verwindung oder temperaturabhängigen Ausdehnung der Scheibe gegeneinander dekalibrieren könnten. Die Kameras 101 , 102, 103 können stattdessen an einem speziellen Träger montiert werden. Gleichfalls können die Kameras 101 , 102, 103 direkt an der Querverbindung der A-Säulen angebracht werden, wenn diese Verbindung derart konstruiert ist, dass sie sich bei Fahrwerksverbindungen nicht ebenfalls verwindet und unempfindlich auf Temperaturschwankungen reagiert.The cameras are arranged in one embodiment in the interior of the passenger compartment of the vehicle 201. The cameras 101, 102, 103 may be mounted in front of the windshield at an upper cross-connection of the A-pillars. As a result, the view of the vehicle occupants through the windshield is not or only slightly limited. The attachment of the cameras 101, 102, 103 is designed so that a Dekalibherung against each other, that is, a change in the relative position and / or orientation of the cameras 101, 102, 103 to each other, is avoided. Therefore, in one embodiment, the cameras 101, 102, 103 are not attached to the windshield because the cameras 101, 102, 103 could decalibrate against each other by distortion or temperature dependent expansion of the disk. The cameras 101, 102, 103 may instead be mounted on a special carrier. Likewise, the cameras 101, 102, 103 can be mounted directly on the A-pillar cross-connection, if this connection is designed so that it does not also warp in chassis connections and is insensitive to temperature variations.
Die mittels der Kameras 101 , 102, 103 erfassten Videodaten werden einer Auswerteeinrichtung 104 zugeführt, welche eine Auswertung der Videodaten vornimmt. Die Auswerteeinrichtung 104 ist vorzugsweise Bestandteil eines Steuergeräts des Fahrzeugs 201. Dieses verfügt in einer Ausgestaltung über einen Mikroprozessor zur Ausführung von Programmen und einen nicht flüchtigen Speicher, in dem auf dem Mikroprozessor ausführbare Programme sowie weitere Daten gespeichert werden können. Die Auswerteeinrichtung 104 kann in Form eines oder mehrerer Programme in dem Steuergerät implementiert sein.The video data captured by means of the cameras 101, 102, 103 are fed to an evaluation device 104, which carries out an evaluation of the video data. The evaluation device 104 is preferably part of a control unit of the vehicle 201. In one embodiment, the latter has a microprocessor for executing programs and a non-volatile memory in which executable programs and other data can be stored on the microprocessor. The evaluation device 104 can be implemented in the form of one or more programs in the controller.
Bei der Auswertung werden Objekte, die sich in dem mittels der Kameras 101 , 102, 103 erfassten Umgebungsbereich befinden, identifiziert. Ferner wird die relative Position der Objekte in Bezug auf das Fahrzeug 201 und/oder die relative Geschwindigkeit der Objekte in Bezug auf das Fahrzeug 201 ermittelt. Zudem wird anhand der Videodaten vorzugsweise eine Klassifizierung der erfassten Objekte vorgenommen. Dies kann in einer dem Fachmann an sich bekann- ten Weise mittels eines neuronalen Netzes, einer Support Vector Machine oder einem entsprechenden Derivat ausgeführt werden. Bei den Objekten kann es sich insbesondere um weitere Fahrzeuge oder um Hindernisse handeln, die eine potentielle Gefahrenquelle für das Fahrzeug 201 darstellen bzw. bei der Fahrzeugführung zu beachten sind. Die Ergebnisse der in der Auswerteeinrich- tung 104 vorgenommenen Auswertung der Videodaten können weiteren Systemen des Fahrzeugs 201 bereitgestellt werden, die in den Figuren nicht dargstellt sind. Ein derartiges System kann beispielsweise eine Sicherheitseinrichtung umfassen, die im Falle einer drohenden Kollision des Fahrzeugs 201 mit einem mittels der Kameras 101 , 102, 103 erfassten Objekt Maßnahmen zur Vermeidung der Kollision oder zur Verringerung von Kollisionsfolgen durchführt.In the evaluation, objects that are located in the environmental area detected by the cameras 101, 102, 103 are identified. Further, the relative position of the objects with respect to the vehicle 201 and / or the relative speed of the objects with respect to the vehicle 201 is determined. In addition, a classification of the detected objects is preferably carried out on the basis of the video data. This can be carried out in a manner known per se to the person skilled in the art by means of a neural network, a support vector machine or a corresponding derivative. The objects may be, in particular, other vehicles or obstacles which represent a potential source of danger for the vehicle 201 or should be taken into account in the vehicle guidance. The results of the evaluation of the video data made in the evaluation device 104 can be provided to further systems of the vehicle 201, which are not shown in the figures. Such a system may, for example, comprise a safety device which, in the event of an imminent collision of the vehicle 201 with an object detected by means of the cameras 101, 102, 103, carries out measures for avoiding the collision or for reducing collision sequences.
Wie schematisch in Figur 2 dargestellt, sind die Kameras 101 , 102, 103 nebeneinander angeordnet und erfassen vorzugsweise einen Umgebungsbereich des Fahrzeugs 201 , der vor dem Fahrzeug 201 ausgebildet ist. Hierbei ist der mittle- ren Kamera 101 ein mittlerer Kameraerfassungsbereich 202, der rechten Kamera 102 ein rechter Kameraerfassungsbereich 203 und der linken Kamera ein linker Kameraerfassungsbereich 204 zugeordnet. Gleichfalls kann es auch vorgesehen sein, dass die Kameras 101 , 102, 103 derart ausgerichtet sind, dass die optischen Achsen der äußeren Kameras 102, 103 sich kreuzen, so dass die rechte Kamera 102, wie in Figur 3 dargestellt, einen Kameraerfassungsbereich 204' auf der linken Fahrzeugseite ausbildet und die linke Kamera 103 einen Kameraerfassungsbereich 203' auf der rechten Fahrzeugseite. Die Auswertung der Videodaten kann in diesem Fall in der gleichen Weise vorgenommen werden.As shown schematically in FIG. 2, the cameras 101, 102, 103 are arranged next to each other and preferably capture a surrounding area of the vehicle 201 which is formed in front of the vehicle 201. In this case, the middle camera 101 is assigned a central camera detection area 202, the right camera 102 a right camera detection area 203 and the left camera a left camera detection area 204. Likewise, it can also be provided that the cameras 101, 102, 103 are aligned such that the optical axes of the outer cameras 102, 103 intersect, so that the right camera 102, as shown in Figure 3, a camera detection area 204 'on the left vehicle side forms and the left camera 103 a Camera detection area 203 'on the right side of the vehicle. The evaluation of the video data can be made in this case in the same way.
Je nach Ausgestaltung der verwendeten Kameras 101 , 102, 103, insbesondere je nach Brennweite der verwendeten Objektive an den Kameras 101 , 102, 103 können verschiedenartig gelagerte Umgebungsbereiche vor dem Fahrzeug 201 überwacht werden. Beispielsweise kann ein eher breiter Umgebungsbereich mit einer geringeren Längsausdehnung überwacht werden, wodurch insbesondere der Bereich seitlich von der Fahrspur des Fahrzeugs 201 erfasst werden kann. Gleichfalls kann ein schmalerer, dafür aber weit reichender optisch Umgebungsbereich erfasst werden. Dies ist vor allem bei hohen Geschwindigkeiten des Fahrzeugs 201 vorteilhaft.Depending on the design of the cameras 101, 102, 103 used, in particular depending on the focal length of the lenses used on the cameras 101, 102, 103, variously mounted surrounding areas in front of the vehicle 201 can be monitored. For example, a rather wide surrounding area can be monitored with a smaller longitudinal extent, whereby in particular the area can be detected laterally from the lane of the vehicle 201. Likewise, a narrower, but far reaching optical surrounding area can be detected. This is particularly advantageous at high speeds of the vehicle 201.
Die Kameras 101 , 102, 103 sind darüber hinaus derart ausgerichtet und angeordnet, dass sich mehrere Kameraerfassungsbereiche 202, 203, 204 zumindest teilweise zu einem Überdeckungsbereich 205 überdecken. Für den Überdeckungsbereich 205, in dem Kameraerfassungsbereiche 202, 203, 204 von wenigstens zwei Kameras 101 , 102, 103 überlappen, enthalten die Videodaten Stereobilder, das heißt Bilder desselben Teilbereichs der Fahrzeugumgebung, die gegeneinander verschoben sind. Die Stereodaten ermöglichen eine stereoskopische Bildauswertung mittels eines Stereoalgorithmus, der in der Auswerteeinrichtung 104 durchgeführt wird. Durch die stereoskopische Auswertung, die in einer dem Fachmann an sich bekannten Weise durchgeführt werden kann, kann ein dreidimensionales Umgebungsmodell ermittelt werden. Insbesondere lässt sich der Abstand eines erkannten Objekts zu dem Fahrzeug 201 bestimmen. Durch einen Vergleich von Abständen zu dem Objekt, die in unterschiedlichen Zeitpunkten bestimmt werden, kann die relative Geschwindigkeit des Objekts in Bezug auf das Fahrzeug 201 berechnet werden. In Teilbereichen 206, 207 der Kameraerfassungsbereiche 202, 203, 204, die nicht Bestandteil des Überdeckungsbereichs 205 sind, können keine Stereobilder erfasst werden. Daher nimmt die Auswerteeinrichtung 104 für diese Teilbereiche 206, 207 keine stereoskopische Bildauswertung vor. Stattdessen erfolgt die Bildauswertung in der Auswerteeinrichtung 104 anhand eines anderen Auswerteverfahrens. In einer Ausgestaltung erfolgt die Auswertung anhand eines optischen Flusses, der in einer dem Fachmann an sich bekannten Weise bestimmt werden kann. Der optische Fluss umfasst dabei insbesondere die Bewegungsrichtung und -geschwindigkeit der Bildpunkte einer Bildsequenz und erlaubt die Identifizierung von Objekten innerhalb der Bilder sowie eine Schätzung ihrer Bewegung.Furthermore, the cameras 101, 102, 103 are aligned and arranged such that a plurality of camera detection areas 202, 203, 204 at least partially overlap to an overlapping area 205. For the coverage area 205 in which camera detection areas 202, 203, 204 of at least two cameras 101, 102, 103 overlap, the video data includes stereo images, that is, images of the same partial area of the vehicle surroundings shifted from each other. The stereo data enable a stereoscopic image analysis by means of a stereo algorithm, which is performed in the evaluation device 104. By the stereoscopic evaluation, which can be carried out in a manner known to those skilled in the art, a three-dimensional environment model can be determined. In particular, the distance of a recognized object to the vehicle 201 can be determined. By comparing distances to the object that are determined at different times, the relative speed of the object relative to the vehicle 201 can be calculated. In partial areas 206, 207 of the camera detection areas 202, 203, 204, which are not part of the coverage area 205, stereo images can not be detected. Therefore, the evaluation device 104 does not perform stereoscopic image evaluation for these subareas 206, 207. Instead, the image evaluation in the evaluation device 104 is based on another evaluation method. In one embodiment, the evaluation is based on an optical flow, which can be determined in a manner known to those skilled in the art. In this case, the optical flow in particular includes the direction of movement and the speed of the picture elements of a picture sequence and allows the identification of objects within the pictures as well as an estimate of their movement.
Die anhand von Figur 2 veranschaulichte Anordnung der Kameras 101 , 102, 103 ermöglicht es somit, die relative Lage von Objekten, die sich in dem Über- deckungsbereich 205 befinden, in Bezug auf das Fahrzeug 201 anhand der stereoskopischen Bildauswertung mit einer hohen Genauigkeit zu ermitteln. Objekte, die sich in den seitlichen Teilbereichen 206, 207 der Kameraerfassungsbereiche 203, 204 befinden, die nicht zu dem Überdeckungsbereich 205 gehören, können gleichfalls erfasst werden. Für diese Objekte kann zwar ledig- lieh der optische Fluss bestimmt werden, so dass die relative Lage dieser Objekte in Bezug auf das Fahrzeug 201 höchstens grob geschätzt werden kann. Die Auswertung anhand des optischen Flusses ist jedoch resourcenschonender und ermöglicht aufgrund der seitlichen Anordnung der betreffenden Teilbereiche 206, 207 der Kameraerfassungsbereiche 203, 204 eine sehr frühzeitige Erkennung von Objekten, die sich außerhalb des Überdeckungsbereichs 205 auf das Fahrzeug 201 zu bewegen. Die nicht zu dem Überdeckungsbereich 205 gehörenden Teilbereiche 206, 207 der äußeren Kameraerfassungsbereich 203, 204 stellen damit sozusagen eine Erweiterung des Überdeckungsbereichs dar, in dem eine eingeschränkte Auswertung vorgenommen werden kann. Der Überdeckungsbereich 205 kann sich in seiner Gesamtheit aus mehreren Teilbereichen (der Übersichtlichkeit halber nicht explizit beziffert) zusammensetzen. Bei der in der Figur 2 dargestellten Konfiguration bildet sich beispielsweise ein rechter Teilbereich aus, der aus einer Überdeckung des mittleren Kameraerfassungsbereichs 202 und des rechten Kameraerfassungsbereichs 203 resultiert, sowie ein linker Überdeckungsbereich, der aus einer Überdeckung des mittleren Kameraerfassungsbereichs 202 und des linken Kameraerfassungsbereichs 204 resultiert. Seitlich neben dem Überdeckungsbereich 205 bilden sich ein rechter Teilbereich 206 und ein linker Teilbereich 207 aus, in denen die Fahrzeugumgebung nur mittels einer äußeren Kamera 102, 103 er- fasst werden kann. In den Teilbereichen 206, 207 können somit keine Stereobilder erfasst werden.The arrangement of the cameras 101, 102, 103 illustrated with reference to FIG. 2 thus makes it possible to determine the relative position of objects located in the coverage area 205 with respect to the vehicle 201 with high accuracy on the basis of the stereoscopic image evaluation , Objects located in the lateral portions 206, 207 of the camera detection areas 203, 204 that do not belong to the coverage area 205 may also be detected. Although only the optical flow can be determined for these objects, so that the relative position of these objects with respect to the vehicle 201 can be estimated at most roughly. However, the evaluation based on the optical flow is more resource-conserving and, owing to the lateral arrangement of the relevant subregions 206, 207 of the camera detection regions 203, 204, permits very early detection of objects which move outside of the overlap region 205 onto the vehicle 201. The subregions 206, 207 belonging to the outer camera detection region 203, 204 that do not belong to the overlap region 205 thus represent, as it were, an extension of the overlap region, in which a limited evaluation can be performed. The covering area 205 can be composed in its entirety of a plurality of partial areas (not explicitly numbered for the sake of clarity). For example, in the configuration shown in FIG. 2, a right partial area resulting from overlapping of the central camera detection area 202 and the right camera detection area 203 is formed, and a left coverage area resulting from an overlap of the central camera detection area 202 and the left camera detection area 204 , On the side next to the overlapping area 205, a right subarea 206 and a left subarea 207 are formed, in which the vehicle surroundings can be detected only by means of an external camera 102, 103. Thus, no stereo images can be detected in the subregions 206, 207.
Die in den Figuren 2 und 3 dargestellten Konfigurationen entsprechen Ausges- taltungen, bei welchen der Überdeckungsbereich 205 seitlich erweitert wird. Dies ermöglicht eine besonders frühzeitige Erfassung von Objekten, welche sich von der Seite herkommend auf das Fahrzeug 201 zu bewegen. Durch eine Auswertung der Videodaten bezüglich der Teilbereiche 206, 207 können insbesondere mögliche Kollisionen mit derartigen Objekten frühzeitig erkannt wer- den. Aufgrund der Auswertung anhand des optischen Flusses lassen sich vor allem in den Teilbereichen 206, 207 befindliche Objekte gut erfassen, die eine hohe relative Geschwindigkeit in Bezug auf das Fahrzeug 201 haben. Ein Beispiel für solche Objekte sind Fußgänger, sich von der Seite annähernde Fahrzeuge oder seitlich des Fahrschlauchs stehende Objekte.The configurations illustrated in FIGS. 2 and 3 correspond to arrangements in which the overlapping area 205 is laterally expanded. This allows a particularly early detection of objects, which come from the side on the vehicle 201 to move. By evaluating the video data with respect to the subareas 206, 207, in particular possible collisions with such objects can be detected early. On the basis of the evaluation based on the optical flow, it is easy to detect objects located in the subregions 206, 207, which have a high relative speed with respect to the vehicle 201. An example of such objects are pedestrians, vehicles approaching from the side or objects standing on the side of the driving tube.
In Figur 4 ist eine weitere Konfiguration dargestellt, bei der die äußeren Kameras 102, 103 eine größere Reichweite als die mittlere Kamera 101 besitzen und sich ihre Kameraerfassungsbereiche 203, 204 in einem höheren Maße überlappen als es bei der in Figur 2 gezeigten Konfiguration der Fall ist. Wie in Figur 4 dargestellt, umfasst der Überdeckungsbereich 205 hierbei einen erster Überdeckungsteilbereich 401 , der einen rechten Teilbereich aufweist, welcher aus ei- ner Überdeckung des mittleren Kameraerfassungsbereich 202 und des rechten Kameraerfassungsbereichs 203 resultiert, sowie ein linker Teilbereich, der aus einer Überdeckung des mittleren Kameraerfassungsbereichs 202 und des linken Kameraerfassungsbereichs 204 resultiert. Zudem schließt sich an den Ü- berdeckungsteilbereich 401 in größerer Entfernung von dem Fahrzeug 201 ein weiterer Überdeckungsteilbereich 402 an. Der Überdeckungsteilbereich 402 ergibt sich anhand der Überdeckung des rechten Kameraerfassungsbereichs 203 und des linken Kameraerfassungsbereichs 204, und besitzt eine geringere Querausdehnung als der Überdeckungsbereich 401. Die in der Figur 4 darge- stellte Konfiguration hat vor allem den Vorteil, dass Stereobilder eines besonders großen Umgebungsbereichs erfasst werden können, bzw. die Kameraerfassungsbereiche 202, 203, 204 besonders effizient für die Erfassung von Stereobildern genutzt werden.FIG. 4 shows a further configuration in which the outer cameras 102, 103 have a greater range than the middle camera 101 and their camera detection ranges 203, 204 overlap to a greater extent than is the case in the configuration shown in FIG , As shown in FIG. 4, the overlapping area 205 here comprises a first overlapping partial area 401, which has a right partial area, which consists of an overlap of the central camera detection area 202 and the right camera detection area 203 results, as well as a left partial area resulting from an overlap of the central camera detection area 202 and the left camera detection area 204. In addition, the overlapping portion 401 is adjoined by a further overlapping portion 402 at a greater distance from the vehicle 201. The overlap portion 402 results from the overlap of the right camera detection area 203 and the left camera detection area 204, and has a smaller transverse extent than the overlap area 401. The configuration shown in FIG. 4 has the particular advantage that it captures stereo images of a particularly large surrounding area or the camera detection areas 202, 203, 204 can be used particularly efficiently for acquiring stereo images.
Darüber hinaus sind hinsichtlich der Aufteilung einzelner Teilbereiche der Kameraerfassungsbereiche 202, 203, 204 auf die vorgesehenen Auswerteverfahren, das heißt, auf eine stereoskopische Bildauswertung und auf eine Auswertung anhand des optischen Flusses, verschiedene Ausgestaltungen realisierbar. Einige werden im Folgenden beispielhaft erläutert.In addition, with regard to the division of individual subregions of the camera detection regions 202, 203, 204 into the envisaged evaluation methods, that is, on a stereoscopic image evaluation and an evaluation based on the optical flow, various embodiments can be realized. Some are exemplified below.
In einer Ausführungsform wird der Überdeckungsbereich 205 sowohl anhand eines Stereoalgoritmus als auch zusätzlich anhand des optischen Flusses ausgewertet. Hierdurch steht für den Überdeckungsbereich 205 eine besonders hohe Informationsdichte zur Verfügung. Die Teilbereiche 206, 207 der Kamera- erfassungsbereiche 203, 204, die nicht Teil des Überdeckungsbereichs 205 sind, werden lediglich anhand des optischen Flusses ausgewertet, da für diese Bereiche keine Stereodaten zur Verfügung stehen.In one embodiment, the coverage area 205 is evaluated both on the basis of a stereo algorithm and additionally on the basis of the optical flow. As a result, a particularly high information density is available for the coverage area 205. The subareas 206, 207 of the camera detection areas 203, 204, which are not part of the coverage area 205, are only evaluated on the basis of the optical flow, since no stereo data is available for these areas.
Stehen für einen Bereich sowohl Stereodaten zur Verfügung als auch Daten, die aus dem optischen Fluss gewonnen werden, wie es bei der zuvor beschriebenen Ausgestaltung in Bezug auf den Überdeckungsbereich 205 der Fall ist, kann die Auswerteeinhchtung 104 die ermittelten Daten zunächst fusionieren und dann aus den damit gewonnenen Informationen die relevanten Objekte extrahieren. Gleichfalls besteht jedoch auch die Möglichkeit, die Objekte zunächst jeweils anhand der Stereodaten und anhand der aus dem optischen Fluss gewonnen Daten zu detektieren und die dabei ermittelten Objektdaten anschließend zu fusionieren.If stereo data are available for one area as well as data obtained from the optical flow, as is the case with the previously described embodiment with respect to the coverage area 205, For example, the evaluation device 104 can first merge the determined data and then extract the relevant objects from the information thus obtained. Likewise, however, it is also possible to first detect the objects based on the stereo data and on the basis of the data obtained from the optical flow, and then to merge the object data determined in the process.
Ein weiteres Ausführungsbeispiel unterscheidet sich von der zuvor genannten Ausgestaltung dadurch, dass der Überdeckungsbereich 205 nur anhand des Stereoalgorithmus und nicht anhand des optischen Flusses ausgewertet wird. Damit stehen nicht mehr alle möglichen Informationen hinsichtlich Umgebungsbereichs 205 zur Verfügung. Da optische Flussdaten jedoch in der Regel überall dort entstehen, wo sich in einem aufgenommenen Bild etwas bewegt und sich relevante Objekte im mittleren Kameraerfassungsbereich 202 gerade in Bezug auf eine normale Fahrweise in der Regel kaum bewegen, reicht die Auswertung anhand des Stereoalgorithmus in der Regel aus, um den Umgebungsbereich 205 ausreichend genau auswerten zu können.Another embodiment differs from the aforementioned embodiment in that the coverage area 205 is evaluated only on the basis of the stereo algorithm and not on the basis of the optical flow. Thus, not all possible information regarding environmental area 205 is available. However, since optical flow data generally arises wherever something moves in a recorded image and relevant objects in the central camera detection region 202 hardly move in relation to a normal driving style in general, the evaluation based on the stereo algorithm usually suffices in order to be able to evaluate the surrounding area 205 with sufficient accuracy.
Ferner kann sich die Auswertung der Videodaten mittels des Stereoalgorithmus auf einen Teilbereich 501 des gesamten Überdeckungsbereichs der Kameraerfassungsbereiche 202, 203, 204 beschränken. Durch eine Beschränkung der Stereoalgorithmus-Auswertung auf einen Teilbereich 501 des gesamten Überdeckungsbereich können Ressourcen eingespart bzw. kann die Bildauswertung beschleunigt werden. Wie beispielhaft in Figur 5 dargestellt, kann sich der TeN- bereich 501 über einen kleineren Winkelbereich erstrecken als der gesamte Überdeckungsbereich 205. Grundsätzlich ist der Teilbereich 501 jedoch frei wählbar. Für die übrigen Bereiche des Überdeckungsbereichs 205, die nicht Bestandteil des Teilbereichs 501 sind, wird keine stereoskopische Auswertung der Videodaten vorgenommen. Vorzugsweise erfolgt für diese Bereiche jedoch eine Auswertung anhand des optischen Flusses, wie für die Teilbereiche 206, 207 der äußeren Kameraerfassungsbereiche 203, 204, die nicht Bestandteil des Überdeckungsbereichs 205 sind.Furthermore, the evaluation of the video data by means of the stereo algorithm can be limited to a partial area 501 of the entire coverage area of the camera detection areas 202, 203, 204. By restricting the stereo algorithm evaluation to a subarea 501 of the entire coverage area, resources can be saved or the image evaluation can be accelerated. As shown by way of example in FIG. 5, the TeN region 501 can extend over a smaller angular range than the entire overlap region 205. In principle, however, the partial region 501 can be selected freely. For the remaining areas of the coverage area 205, which are not part of the subarea 501, no stereoscopic evaluation of the video data is performed. However, an evaluation based on the optical flow, as for the subregions 206, preferably takes place for these regions. 207 of the outer camera detection areas 203, 204, which are not part of the coverage area 205.
Darüber hinaus kann für Bestandteile des Überdeckungsbereichs 205 bzw. des Teilbereichs 501 des Überdeckungsbereichs 205, in dem eine stereoskopische Auswertung der Videodaten von der Auswerteeinrichtung 104 vorgenommen wird, eine Auswertung anhand des optischen Flusses vorgenommen werden. Diese Bestandteile sind ebenfalls grundsätzlich frei wählbar. Somit können innerhalb des Überdeckungsbereichs 205 oder gegebenenfalls innerhalb des Teilbereichs 501 des Überdeckungsbereichs 205, in dem eine stereoskopische Bildauswertung vorgenommen wird, Bereiche konfiguriert werden, in denen zusätzlich eine Auswertung anhand des optischen Flusses erfolgt. Diese Bereiche werden im Folgenden auch als Mehrfachauswertungsbereiche bezeichnet. Vorzugsweise ist ein Mehrfachauswertungsbereich vorgesehen, der ein zusam- menhängendes Gebiet umfasst. Gleichfalls können jedoch auch mehrere getrennte Mehrfachauswertungsbereiche konfiguriert werden.In addition, for components of the overlap region 205 or of the subregion 501 of the overlap region 205, in which a stereoscopic evaluation of the video data is performed by the evaluation device 104, an evaluation based on the optical flow can be performed. These components are also basically freely selectable. Thus, within the coverage area 205 or, if appropriate, within the subarea 501 of the coverage area 205, in which a stereoscopic image evaluation is undertaken, areas can be configured in which an additional evaluation based on the optical flow takes place. These areas are also referred to below as multiple evaluation areas. Preferably, a multiple evaluation area is provided which comprises a contiguous area. Likewise, however, multiple separate multiple evaluation areas may be configured.
Der Teilbereich 501 des Überdeckungsbereichs 205, in dem eine stereoskopische Auswertung der Videodaten vorgenommen wird, und/oder die Mehrfach- auswertungsbereiche können in einer Ausgestaltung von der Auswerteeinrichtung 104 dynamisch verändert werden. Die Anpassung wird insbesondere während einer Kurvenfahrt des Fahrzeugs 201 vorgenommen. Dabei wird der Teilbereich 501 oder ein Mehrfachauswertungsbereich in eine kurveninnere Richtung erweitert und/oder verschoben. Hierdurch können Objekte besser erfasst werden, die in Bezug auf das Fahrzeug 201 derart positioniert sind, dass sie bei einer Kurvenfahrt relevant sein könnten. Wie in Figur 6 für den Teilbereich 501 dargestellt, wird der Teilbereich 501 oder ein Mehrfachauswertebereich bei einer Rechtskurve des Fahrzeugs 201 nach rechts verschoben, so dass sich eine Teilbereich 601 ausbildet, in dem eine stereoskopische Bildauswertung vorge- nommen wird. Gleichfalls kann eine Erweiterung nach rechts vorgesehen sein. Analog erfolgt bei einer Linkskurve eine Verschiebung oder Erweiterung nach links. Mehrfachauswertebereiche können in analoger Weise angepasst werden.The partial area 501 of the overlapping area 205, in which a stereoscopic evaluation of the video data is undertaken, and / or the multiple evaluation areas can be changed dynamically by the evaluation device 104 in one embodiment. The adaptation is made in particular during a cornering of the vehicle 201. In this case, the subarea 501 or a multiple evaluation area is expanded and / or shifted in a curve-inward direction. As a result, objects that are positioned with respect to the vehicle 201 in such a way that they could be relevant when cornering can be better detected. As shown in FIG. 6 for the partial area 501, the partial area 501 or a multiple evaluation area is shifted to the right in the case of a right turn of the vehicle 201, so that a partial area 601 is formed in which a stereoscopic image evaluation is performed. Likewise, an extension to the right can be provided. Similarly, in a left turn, a shift or extension to the left occurs. Multiple evaluation ranges can be adjusted in an analogous way.
Eine Kurvenfahrt des Fahrzeugs 201 kann von der Auswerteeinrichtung 104 beispielsweise anhand von Signalen eines Lenkwinkelsensors ermittelt werden, mit welcher der Radeinschlagswinkel der lenkbaren Fahrzeugräder bestimmbar ist, oder mithilfe einer Positionsbestimmungseinrichtung, mit der die Position und Bewegungsrichtung des Fahrzeugs 201 bestimmt werden kann. Hierbei kann es sich um eine satellitengestützt arbeitende Positionsbestimmungsein- richtung handeln, die Bestandteil eines Navigationssystems des Fahrzeugs sein kann.A cornering of the vehicle 201 can be determined by the evaluation device 104, for example based on signals of a steering angle sensor, with which the Radeinschlagwinkel the steerable vehicle wheels can be determined, or by means of a position determination device, with the position and direction of movement of the vehicle 201 can be determined. This can be a satellite-supported position-determining device, which can be part of a navigation system of the vehicle.
Das Ausmaß der Erweiterung und/oder Verschiebung wird von der Auswerteinrichtung 104 in einer Ausgestaltung in Abhängigkeit von dem Radeinschlags- winkel der lenkbaren Räder des Fahrzeugs 201 oder in Abhängigkeit von dem Kurvenradius bestimmt. Der Radeinschlagswinkel wird dabei mittels des Lenkwinkelsensors festgestellt. Den Kurvenradius kann die Auswerteeinrichtung 104 anhand des Radeinschlagswinkels oder mithilfe der Positionsbestimmungseinrichtung bestimmen.The extent of expansion and / or displacement is determined by the evaluation device 104 in one embodiment as a function of the wheel steering angle of the steerable wheels of the vehicle 201 or in dependence on the curve radius. The Radeinschlagwinkel is determined by means of the steering angle sensor. The curve radius can be determined by the evaluation device 104 on the basis of the wheel steering angle or with the aid of the position determination device.
In einer Ausführungsform verfügt das Fahrzeug 201 neben den Kameras 101 , 102, 103 über einen oder mehrere Strahlsensoren zur Erfassung von Objekten in der Fahrzeugumgebung. Hierbei handelt es sich um Sensoren, die Strahlung in einem Umgebungsbereich aussenden. Die Strahlung wird von in dem Umge- bungsbereich befindlichen Objekten teilweise reflektiert und die reflektierte Strahlung wird in dem Strahlsensor erfasst. Aus der erfassten Strahlung kann die relative Lage eines Objekts in Bezug auf das Fahrzeug 201 und insbesondere der Abstand des Objekts zu dem Fahrzeug 201 bestimmt werden. Ferner kann die Relativgeschwindigkeit des Objekts in Bezug auf das Fahrzeug ermit- telt werden. Beispiele für derartige Strahlsensoren sind Radar- und Lidarsenso- ren. Die von der Auswerteeinrichtung 104 mittels der Kameras 101 , 102, 103 gewonnen Daten von im Umfeld des Fahrzeugs 201 befindlichen Objekten können in dieser Ausgestaltung mit Daten kombiniert werden, die mittels der vorhande- nen Strahlsensoren gewonnen werden. Auf diese Weise lässt sich sie Zuverlässigkeit und Genauigkeit der Objekterfassung verbessern. Insbesondere kann auf diese Weise der Abstand zwischen dem Fahrzeug 201 und solchen Objekten bestimmt werden, die in den Videodaten lediglich durch eine Auswertung des optischen Flusses erkannt werden. Die zusätzliche Erfassung der Objekte mittels der Kameras 101 , 102, 103 hat dabei insbesondere den Vorteil, dass anhand der Videodaten eine Klassifizierung der erfassten Objekte vorgenommen werden kann. Die Fusion der mittels der Kameras 101 , 102, 103 einerseits und den vorhanden Strahlsensoren andererseits erfassten Daten kann sowohl auf Messdatenebene als auch auf Objektebene durchgeführt werden.In one embodiment, the vehicle 201 has, in addition to the cameras 101, 102, 103, one or more beam sensors for detecting objects in the vehicle environment. These are sensors that emit radiation in a surrounding area. The radiation is partially reflected by objects located in the surrounding area and the reflected radiation is detected in the beam sensor. From the detected radiation, the relative position of an object with respect to the vehicle 201 and in particular the distance of the object from the vehicle 201 can be determined. Furthermore, the relative speed of the object with respect to the vehicle can be determined. Examples of such beam sensors are radar and lidar sensors. The data obtained by the evaluation device 104 by means of the cameras 101, 102, 103 from objects located in the surroundings of the vehicle 201 can be combined in this embodiment with data obtained by means of the existing beam sensors. In this way, they can improve reliability and accuracy of object detection. In particular, in this way the distance between the vehicle 201 and those objects can be determined which are recognized in the video data only by an evaluation of the optical flow. The additional detection of the objects by means of the cameras 101, 102, 103 has the particular advantage that a classification of the detected objects can be made on the basis of the video data. The fusion of the data recorded by means of the cameras 101, 102, 103 on the one hand and the available beam sensors on the other hand can be performed both on the measurement data level and on the object level.
Obwohl die Erfindung in den Zeichnungen und der vorausgegangenen Darstellung im Detail beschrieben wurde, sind die Darstellungen illustrativ bzw. beispielhaft und nicht einschränkend zu verstehen; insbesondere ist die Erfindung nicht auf die erläuterten Ausführungsbeispiele beschränkt. Weitere Varianten der Erfindung und ihre Ausführung ergeben sich für den Fachmann aus der vorangegangenen Offenbarung, den Figuren und den Patentansprüchen.Although the invention has been described in detail in the drawings and the foregoing description, the illustrations are to be considered as illustrative and not restrictive; In particular, the invention is not limited to the illustrated embodiments. Other variants of the invention and their execution will become apparent to those skilled in the art from the foregoing disclosure, the drawings and the claims.
In den Patentansprüchen verwendete Begriffe wie "umfassen", "aufweisen", "beinhalten", "enthalten" und dergleichen schließen weitere Elemente oder Schritte nicht aus. Die Verwendung des unbestimmten Artikels schließt eine Mehrzahl nicht aus. Eine einzelne Einrichtung kann die Funktionen mehrerer in den Patentansprüchen genannten Einheiten beziehungsweise Einrichtungen ausführen.Terms used in the claims, such as "comprising," "comprising," "including," "containing," and the like, do not exclude other elements or steps. The use of the indefinite article does not exclude a majority. A single device can perform the functions of several units or devices mentioned in the claims.
In den Patentansprüchen angegebene Bezugszeichen sind nicht als Beschränkungen der eingesetzten Mittel und Schritte anzusehen. Reference signs indicated in the claims should not be regarded as limitations on the means and steps employed.

Claims

Patentansprüche claims
1. Verfahren zum optischen Erfassen einer Umgebung eines Fahrzeugs (201 ), bei welchem ein optisch zu erfassender Bereich (202, 203, 204) der Fahrzeugumgebung mit einer Kamera (101 , 102, 103) aufgenommen wird, dadurch gekennzeichnet, dass der optisch zu erfassende Umgebungsbereich mittels mehr als einer Kamera (101 , 102, 103) mit jeweils einem Kameraerfassungsbereich (202, 203, 204) aufgenommen wird, wobei mittels sich überdeckender Teilbereiche mehrerer Kameraerfassungsbereiche (202, 203, 204) ein Überdeckungsbereich (205) gebildet wird und wobei der Überdeckungsbereich (205) zumindest teilweise mittels eines stereoskopischen Auswerteverfahrens und übrige Teilbereiche der Kameraerfassungsbereiche (202, 203, 204) mittels eines weiteren Auswerteverfahrens ausgewertet werden.1. A method for optically detecting an environment of a vehicle (201), in which an optically detectable area (202, 203, 204) of the vehicle surroundings with a camera (101, 102, 103) is recorded, characterized in that the optically detecting surrounding area by means of more than one camera (101, 102, 103), each with a camera detection area (202, 203, 204) is recorded, wherein by means of overlapping portions of a plurality of camera detection areas (202, 203, 204) a coverage area (205) is formed and wherein the overlapping region (205) is at least partially evaluated by means of a further evaluation method by means of a stereoscopic evaluation method and remaining subregions of the camera detection regions (202, 203, 204).
2. Verfahren nach Anspruch 1 , bei dem drei Kameras (101 , 102, 103) vorgesehen sind, wobei der Überdeckungsbereich (205) aufgrund einer Überlappung der Kameraerfassungsbereiche (203, 204) äußerer Kameras (102, 103) mit dem Kameraerfassungsbereich (202) einer mittleren Kamera (101 ) und/oder aufgrund einer Überlappung der Kameraerfassungsbereiche (203, 204) der äußeren Kameras (102, 103) ausgebildet wird.2. The method of claim 1, wherein three cameras (101, 102, 103) are provided, wherein the overlap area (205) due to an overlap of the camera detection areas (203, 204) outer cameras (102, 103) with the camera detection area (202). a middle camera (101) and / or due to an overlap of the camera detection areas (203, 204) of the outer cameras (102, 103) is formed.
3. Verfahren Anspruch 1 oder 2, bei dem die Teilbereiche, in denen sich die Kameraerfassungsbereiche (202, 203, 204) nicht überdecken, bezüglich der Fahrzeuglängsrichtung seitlich und/oder nach vorne an den Überdeckungsbereich (205) anschließen.3. The method claim 1 or 2, wherein the sub-areas in which the camera detection areas (202, 203, 204) do not overlap, with respect to the vehicle longitudinal direction laterally and / or forward to the coverage area (205).
4. Verfahren nach einem der vorangegangenen Ansprüche, bei dem die übrigen Teilbereiche anhand eines optischen Flusses ausgewertet werden. 4. The method according to any one of the preceding claims, wherein the remaining portions are evaluated based on an optical flow.
5. Verfahren nach einem der vorangegangenen Ansprüche, bei dem der mittels des stereoskopischen Auswerteverfahrens ausgewertete Teil (501 , 601 ) des Überdeckungsbereichs (205) zumindest teilweise zusätzlich mittels des weiteren Auswerteverfahrens ausgewertet wird.5. The method according to any one of the preceding claims, wherein the evaluated by means of the stereoscopic evaluation method part (501, 601) of the overlap region (205) is evaluated at least partially additionally by means of the further evaluation method.
6. Verfahren nach einem der vorangegangenen Ansprüche, bei dem der mittels des stereoskopischen Auswerteverfahrens ausgewertete Teil (501 , 601 ) des Überdeckungsbereichs (205) dynamisch verändert wird.6. The method according to any one of the preceding claims, wherein the evaluated by means of the stereoscopic evaluation method part (501, 601) of the overlap region (205) is dynamically changed.
7. Verfahren nach Anspruch 5 oder 6, bei dem der Bereich des mittels des stereoskopischen Auswerteverfahrens ausgewerteten Teils (501 , 601 ) des Überdeckungsbereichs (205), der zusätzlich mittels des weiteren Auswerteverfahrens ausgewertet wird, dynamisch verändert wird.7. The method according to claim 5, wherein the region of the part (501, 601) of the overlapping region (205) evaluated by means of the stereoscopic evaluation method, which is additionally evaluated by means of the further evaluation method, is changed dynamically.
8. Verfahren nach Anspruch 6 oder 7, bei dem die dynamische Veränderung bei einer Kurvenfahrt des Fahrzeugs (201 ) vorgenommen wird und derart erfolgt, dass der Teil (501 , 601 ) oder Bereich im Wesentlichen in eine kurveninnere Richtung erweitert und/oder verschoben wird.8. The method of claim 6 or 7, wherein the dynamic change in a cornering of the vehicle (201) is carried out and takes place such that the part (501, 601) or area is expanded and / or shifted substantially in a curve inner direction ,
9. Vorrichtung zum optischen Erfassen einer Umgebung eines Fahrzeugs (201 ), mit der ein optisch zu erfassender Bereich der Fahrzeugumgebung mit einer Kamera (6, 7, 8) aufgenommen werden kann, umfassend9. A device for optically detecting an environment of a vehicle (201), with which an optically detectable area of the vehicle surroundings can be recorded with a camera (6, 7, 8)
- mehrere Kameras (101 , 102, 103) mit jeweils einem Kameraerfassungsbereich (202, 203, 204), wobei die Kameras (101 , 102, 103) derart angeordnet sind, dass mittels sich überdeckender Teilbereiche mehrerer Kameraerfassungsbereiche (202, 203, 204) ein Überdeckungsbereich (205) gebildet wird und- a plurality of cameras (101, 102, 103) each having a camera detection area (202, 203, 204), wherein the cameras (101, 102, 103) are arranged such that by means of overlapping partial areas of a plurality of camera detection areas (202, 203, 204) a coverage area (205) is formed and
- eine Auswerteeinrichtung (104), die dazu ausgebildet ist, den Überdeckungsbereich (205) zumindest teilweise mittels eines stereoskopischen Auswerteverfahrens und übrige Teilbereiche der Kameraerfassungsbereiche (202, 203, 204) mittels eines weiteren Auswerteverfahrens auszuwerten. an evaluation device (104) which is designed to evaluate the overlapping region (205) at least partially by means of a stereoscopic evaluation method and remaining subareas of the camera detection regions (202, 203, 204) by means of a further evaluation method.
10. Fahrzeug (201 ), insbesondere Kraftfahrzeug, umfassend eine Vorrichtung nach Anspruch 10.10. Vehicle (201), in particular motor vehicle, comprising a device according to claim 10.
11. Fahrzeug (201 ) nach Anspruch 11 , bei dem die Kameras (101 , 102, 103) der Vorrichtung innerhalb eines oberen Drittels eines Windschutzscheibenbereichs und vorzugsweise innerhalb eines wischbaren Windschutzscheibenbereichs angeordnet sind.The vehicle (201) of claim 11, wherein the cameras (101, 102, 103) of the apparatus are disposed within an upper third of a windshield area, and preferably within a wipeable windshield area.
12. Fahrzeug (201 ) nach Anspruch 11 oder 12, umfassend eine Dekalibrierungssi- cherung, wobei die Kameras (101 , 102, 103) derart an der Dekalibrierungssiche- rung montiert sind, dass Bewegungen der Kameras (101 , 102, 103) relativ zueinander minimiert werden. 12. Vehicle (201) according to claim 11 or 12, comprising a decalibration protection, wherein the cameras (101, 102, 103) are mounted on the decalibration guard such that movements of the cameras (101, 102, 103) relative to each other be minimized.
PCT/EP2008/067397 2007-12-17 2008-12-12 Method and apparatus for optically detecting an area surrounding a vehicle WO2009077445A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102007060702 2007-12-17
DE102007060702.6 2007-12-17
DE102008061749.0 2008-12-12
DE102008061749A DE102008061749A1 (en) 2007-12-17 2008-12-12 Method and device for optically detecting a vehicle environment

Publications (1)

Publication Number Publication Date
WO2009077445A1 true WO2009077445A1 (en) 2009-06-25

Family

ID=40512372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/067397 WO2009077445A1 (en) 2007-12-17 2008-12-12 Method and apparatus for optically detecting an area surrounding a vehicle

Country Status (2)

Country Link
DE (1) DE102008061749A1 (en)
WO (1) WO2009077445A1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011082218A1 (en) 2010-09-23 2012-03-29 Continental Teves Ag & Co. Ohg Location determination device in a motor vehicle and information fusion method
DE102011080702B3 (en) 2011-08-09 2012-12-13 3Vi Gmbh Object detection device for a vehicle, vehicle having such an object detection device
DE102011116169A1 (en) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Device for assisting a driver when driving a vehicle or for autonomously driving a vehicle
DE102012201441A1 (en) * 2012-02-01 2013-08-01 Rheinmetall Defence Electronics Gmbh Method and device for driving a vehicle
DE102012215026A1 (en) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a vehicle
DE102014220558A1 (en) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh IMAGING APPARATUS FOR A VEHICLE AND METHOD
DE102016220079B4 (en) 2016-10-14 2023-04-06 Audi Ag Method for determining distance data
DE102021209840A1 (en) 2021-09-07 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating a towing vehicle with a trailer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530420A (en) * 1993-12-27 1996-06-25 Fuji Jukogyo Kabushiki Kaisha Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
WO2003002375A1 (en) * 2001-06-28 2003-01-09 Robert Bosch Gmbh Device for image detecting objects, people or similar in the area surrounding a vehicle
WO2006021171A1 (en) * 2004-08-21 2006-03-02 Adc Automotive Distance Control Systems Gmbh Optical object-recognition system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530420A (en) * 1993-12-27 1996-06-25 Fuji Jukogyo Kabushiki Kaisha Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
WO2003002375A1 (en) * 2001-06-28 2003-01-09 Robert Bosch Gmbh Device for image detecting objects, people or similar in the area surrounding a vehicle
WO2006021171A1 (en) * 2004-08-21 2006-03-02 Adc Automotive Distance Control Systems Gmbh Optical object-recognition system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PELLKOFER M ET AL: "EMS-vision: gaze control in autonomous vehicles", INTELLIGENT VEHICLES SYMPOSIUM, 2000. IV 2000. PROCEEDINGS OF THE IEEE DEARBORN, MI, USA 3-5 OCT. 2000, PISCATAWAY, NJ, USA,IEEE, US, 3 October 2000 (2000-10-03), pages 296 - 301, XP010528953, ISBN: 978-0-7803-6363-2 *
WILLIAMSON T ET AL: "A trinocular stereo system for highway obstacle detection", ROBOTICS AND AUTOMATION, 1999. PROCEEDINGS. 1999 IEEE INTERNATIONAL CO NFERENCE ON DETROIT, MI, USA 10-15 MAY 1999, PISCATAWAY, NJ, USA,IEEE, US, vol. 3, 10 May 1999 (1999-05-10), pages 2267 - 2273, XP010336578, ISBN: 978-0-7803-5180-6, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/iel5/6243/16696/00770443.pdf?tp=&arnumber= 770443&isnumber=16696> *

Also Published As

Publication number Publication date
DE102008061749A1 (en) 2009-06-25

Similar Documents

Publication Publication Date Title
EP1928687B1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
EP3084466B1 (en) Method for detecting a mark applied to an underlying surface, driver assistance device and motor vehicle
WO2009077445A1 (en) Method and apparatus for optically detecting an area surrounding a vehicle
DE102011014699B4 (en) Method for operating a driver assistance system for protecting a motor vehicle against damage and motor vehicle
DE102013205882A1 (en) Method and device for guiding a vehicle around an object
EP3437929A1 (en) Visual system with visual field/view area display depending on the driving situation
DE102011014081A1 (en) Method for detecting a turning maneuver
EP3665502B1 (en) Method for monitoring surroundings of a motor vehicle, sensor controller, driver assistance system, and motor vehicle
EP3044727B1 (en) Method and device for detecting objects from depth-resolved image data
EP2982572B1 (en) Method for assisting a driver of a motor vehicle when driving out of a parking space, driver assistance system, and motor vehicle
DE102009032024A1 (en) A method for determining a position of a trailer attached to a vehicle relative to the vehicle and driver assistance system for a vehicle
DE102017207960A1 (en) METHOD AND DEVICE FOR LOCALLY DETECTED DETECTION FROM A VEHICLE-EXTINGUISHED OBJECT USING A SENSOR BUILT IN A VEHICLE
DE102014224762B4 (en) Method and device for obtaining information about an object in a non-accessible, adjacent surrounding area of a motor vehicle
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
WO2012163631A1 (en) Method for determining a pitching movement in a camera installed in a vehicle, and method for controlling a light emission from at least one headlamp on a vehicle
EP2131598A2 (en) Stereo camera system and method of determining at least one calibration error in a stereo camera system
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102006044864A1 (en) Computerized image processing method for night vision system of e.g. passenger car, involves processing detected night vision image for displaying on display unit, where processing takes place depending on image processing criteria
DE102012220191A1 (en) Method for supporting driver during transverse guide of vehicle, involves carrying out steering intervention during collision of vehicle with recognized objects, and determining vehicle data through forward facing camera
EP3032517B1 (en) Device and method for supporting a driver of a vehicle, in particular a commercial vehicle
EP3048557B1 (en) Method for determining a position of a vehicle characteristic
DE102019102672A1 (en) INTERSENSORY LEARNING
WO2014202496A1 (en) Method for displaying environment information in a vehicle
DE102005024052B4 (en) Method and device for the controlled selection of predictive sensors for a pedestrian protection system of a motor vehicle
EP3428682B1 (en) Method for detecting an obstacle in the vicinity of a motor vehicle, evaluation unit, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08862182

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 08862182

Country of ref document: EP

Kind code of ref document: A1