WO2022179998A1 - Optische baugruppe zur erzeugung einer echtzeit-abbildung und einer echtzeit-zuordnung von umgebungs-objekten sowie fahrzeug mit einer derartigen baugruppe - Google Patents

Optische baugruppe zur erzeugung einer echtzeit-abbildung und einer echtzeit-zuordnung von umgebungs-objekten sowie fahrzeug mit einer derartigen baugruppe Download PDF

Info

Publication number
WO2022179998A1
WO2022179998A1 PCT/EP2022/054305 EP2022054305W WO2022179998A1 WO 2022179998 A1 WO2022179998 A1 WO 2022179998A1 EP 2022054305 W EP2022054305 W EP 2022054305W WO 2022179998 A1 WO2022179998 A1 WO 2022179998A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
cameras
group
optical assembly
groups
Prior art date
Application number
PCT/EP2022/054305
Other languages
English (en)
French (fr)
Inventor
Jens Schick
Original Assignee
Tripleye Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tripleye Gmbh filed Critical Tripleye Gmbh
Priority to EP22709294.7A priority Critical patent/EP4298780A1/de
Priority to US18/278,174 priority patent/US20240147084A1/en
Priority to JP2023551186A priority patent/JP2024509777A/ja
Priority to CN202280016776.5A priority patent/CN116888972A/zh
Publication of WO2022179998A1 publication Critical patent/WO2022179998A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • Optical assembly for generating a real-time image and a real-time association of objects in the environment and vehicle with such an assembly
  • the invention relates to an optical assembly for generating a real-time image and a real-time assignment of objects in the environment. Furthermore, the invention relates to a vehicle with such an optical assembly.
  • DE 10 2017 115 810 A1 discloses a method for autonomous parking of a vehicle and a driver assistance system for carrying out the method.
  • US 2016/0301863 A1 discloses an image processing system for generating a surround view image.
  • DE 10 2018 132 676 A1 discloses a method for locating a vehicle in a surrounding area and a corresponding driving support system.
  • This object is achieved according to the invention by an optical assembly with the features specified in claim 1 len.
  • the provision of a plurality of camera groups, each with at least two and in particular at least three cameras linked to one another by signals significantly improves the possibility of real-time imaging and real-time assignment of objects in the environment, in particular in preparation for autonomous driving.
  • the assignment ensures that different cameras within one of the camera groups and/or different cameras of different camera groups actually image the same object and/or the same object signature. If exactly two cameras are used within a camera group, a triangulation used in the real-time assignment can be carried out with the help of two camera groups, for example by comparing the recording data of the two cameras of one of the camera groups with the recording data of one camera linked together by the second camera group and evaluated during triangulation.
  • Positional deviations between signatures of scenery objects, which result from positional deviations of the cameras among one another, can be precisely recognized and compensated for using a method for spatial image acquisition that uses this optical assembly.
  • the image recording direction can be an optical axis of the respective camera.
  • a group camera angle between the mean values of the image recording directions of neighboring camera groups of between 30° and 100° enables good environmental coverage with the optical construction. group using the smallest possible number of camera groups. In particular, this reduces the effort involved in signal processing of the camera signals.
  • the cameras of the camera groups can have a large aperture or picture angle.
  • a horizontal opening angle of the respective camera can be up to 180° and can also be even larger.
  • the opening angle of the camera can be less than 175°, can be less than 160° and can also be less than 140°.
  • the horizontal opening angle is usually greater than 90°.
  • a vertical opening angle of the respective camera can be greater than 90°. This vertical aperture angle is regularly less than 180°: the respective camera is regularly aligned in such a way that its optical axis forms an angle with a horizontal plane that corresponds to half the vertical aperture angle.
  • the cameras of the camera groups can be designed as fisheye cameras.
  • the single camera angle between the image recording directions of the cameras of exactly one of the camera groups can be in the range between 10° and 20° and can in particular be in the range of 15°. This ensures a good spatial assignment of scenery objects, particularly in a close range around the respective camera group.
  • a respective single-camera angular range can apply to the single-camera angles of adjacent image recording directions of all cameras in a respective camera group and to all cameras in all camera groups, so that the single-camera angular range operation can be used for all cameras in one of the camera groups and/or or can be fulfilled for all cameras of all camera groups.
  • the group camera angle can be in the range between 45° and 75° and in particular can be in the range of 60°. Especially when With a set of fisheye cameras, a large group camera angle can be used.
  • the group camera angle condition can be met for all camera groups of the optical assembly that are adjacent to one another.
  • three of these four cameras of the camera group can define the camera arrangement level of the respective camera group and the fourth camera of the same camera group can be outside of this arrangement level be arranged.
  • the optical assembly has signal processing components that ensure real-time imaging and real-time allocation of the surrounding objects.
  • the optical assembly contains correspondingly powerful data processing module systems, in particular real-time capable processors and real-time capable signal connections.
  • a latency of the optical assembly can be 200 ms and can be smaller, for example 150 ms, 100 ms or 50 ms.
  • An image repetition rate of the optical assembly can be around 10 (10 fps, frames per second).
  • a higher frame rate for example 15, 20, 25 or even higher, can also be implemented.
  • An arrangement of the cameras of one of the camera groups according to claim 2 has proven itself in practice, since unwanted resonance effects in the image and / or unwanted misclassifications, i.e. a faulty assignment in particular of object signatures that actually belong to ver different objects, for same object, are avoided.
  • the triangle, in the corners of which the entrance pupil centers are located, can have two or three different side lengths.
  • a baseline length range according to claim 3 enables good detection of a close range of the respective camera group from a lower limit of, for example, 30 cm or 50 cm. Objects that are close to the camera groups can then also be reliably detected and assigned.
  • Objects are regularly detected and assigned reliably at a distance of at least three times the baseline length.
  • a ratio between a maximum detectable and assignable object distance and a minimum detectable and assignable object distance is typically a factor of 20. If the minimum detectable and assignable object distance is 30 cm, there is a maximum detectable - and assignable object distance of 6 m.
  • Cameras in a camera group can also be in the range between 10 cm and 20 cm or in the range between 10 and 15 cm.
  • the length of the baseline of all camera pairs that are present in the respective camera group can be in such a range.
  • a baseline length between the cameras of different and in particular adjacent camera groups according to claim 4 allows a si chere coverage of a medium distance range, the lower limit with an upper limit of the close-up range, with an individual camera Group can be covered, can overlap.
  • the baseline length between cameras in different camera groups can range between 1 m and 2 m.
  • the length of the baselines between the cameras of all adjacent camera groups of the optical assembly can be in such a range.
  • the baseline length between cameras in different camera groups can be selected depending on the baseline length between the cameras in one and the same camera group in such a way that the object distance ranges for reliable detection and assignment of objects on the one hand have exactly one of the camera groups and on the other hand via the cameras of different camera groups adjoin or overlap with each other.
  • the length of the baseline between cameras of different camera groups can be 2 m, for example, which in turn leads to a minimum reliably detectable and assignable object distance for the cameras of different camera groups of 6 m.
  • the distance ranges of the reliably detectable and assignable object detection of the respective camera groups (Intra) and the different camera groups (Inter) border on one another.
  • a close-up object area can thus be covered by one of the camera groups and a far-area object can be covered via the interaction of at least two camera groups, with the close-up area and the far area being able to directly adjoin one another or overlap with one another.
  • the numbers of camera groups according to claim 5 or 6 have to optimize a horizontal and / or a vertical overall detection ment area of the optical assembly.
  • a horizontal total detection range can be 360°, in particular, so that the entire horizontal area surrounding the optical assembly is detected.
  • a total vertical detection range can be 180° or even larger and can be 220°, for example, when using fisheye cameras.
  • a total vertical detection range of 100° can be used (vertically down to 10° above the horizontal).
  • the horizontal and/or vertical overall detection area can be divided into several solid angle sections.
  • a Grappen mounting body according to claim 7 leads to an advantageous position and orientation s stability of the cameras of each camera group.
  • a Grappen montage body according to claim 8 leads to a camera group which can be adapted to the respective imaging and assignment requirements.
  • the group assembly body can have, for example, a prepared holding mount, two prepared mounts or more than two prepared holding mounts for mounting additional cameras.
  • the respective holding recording can be designed to be complementary to a correspondingly assigned holding position of a camera to be recorded.
  • a fisheye camera is a camera with a fisheye lens.
  • An opening or image angle of such a fisheye lens can be up to 310°.
  • the angle of view of a fisheye lens is usually at least 180° diagonally.
  • a focal length of the fisheye lens can be in the range between 4 mm and 20 mm.
  • a typical focal length is 4.5 mm or in the range between 8 and 10 mm.
  • An imaging function of the fisheye lens can be conformal, equidistant, equal-area or orthographic.
  • the fisheye lens can also have parametric imaging in the form of a non-fundamental imaging function.
  • the number of necessary cameras of the optical assembly to cover required solid angle sections or to cover a required horizontal and/or vertical total detection area can be advantageously small.
  • a double camera according to claim 10 expands the possibilities of the optical assembly.
  • the double camera can have camera optics that are separate from one another but are spatially close to one another, for the RGB sensor on the one hand and for the IR sensor on the other.
  • a distance between the optical axes of the RGB camera optics on the one hand and the IR camera optics on the other hand can be less than 35 mm.
  • the two sensors and/or the two camera optics of the double camera can be mounted on a common carrier. Image information from the double camera can be read out stitched so that, for example, a line from the RGB sensor and then a line from the IR sensor is read.
  • an IR light source can also be used, with which, in particular, a textured IR illumination of the scenery to be recorded can take place.
  • the sensors with the different detection wavelength ranges enable improved hit accuracy when detecting and assigning the surrounding objects.
  • a hybrid camera according to claim 11 also leads to an extension of the possibilities of the optical assembly.
  • the hybrid camera can cover an increased distance range, which ensures an increase in the security of the optical assembly.
  • the close-range optics can be designed as fish-eye optics.
  • the far-range optics can be designed as telephoto optics.
  • the two optics of the hybrid camera can be mounted on a common carrier.
  • the close-range optics can have a double camera with an RGB sensor and with an IR sensor, in particular according to the type of claim 10 .
  • the long-range optics can also have a double camera with an RGB sensor and an IR sensor.
  • a data processing module system ensures efficient real-time detection and real-time assignment of the objects in the environment.
  • the division of the data processing module system into the camera groups, individually assigned group modules, and into a main module assigned to all camera groups, enables a processing organization that enables very fast initial detection and assignment at the group module level, with verification of selected ones at the main module level.
  • Aspects, in particular a verification of dubious assignments at the group module level he can follow.
  • Between the data processing group modules a signal connection between different camera groups to enable a real-time assignment based on the camera data of different camera groups in the group level. An inter-baseline evaluation can thus be carried out at group level.
  • the main module can have a coprocessor or a monitoring processor to ensure correct functioning of the main module.
  • Serial data transfer according to the MIPI/CSI standard can take place between the group modules.
  • the short-range optics on the one hand and the far-range optics on the other hand can be signal-connected with their own data processing group module.
  • More than one data processing group module can also be assigned to one and the same camera group. This is particularly the case when several different camera types are used within a camera group, for example at least two of the following three camera types: single camera, double camera, hybrid camera.
  • At least one redundancy component according to claim 13 increases the fail-safety of the optical assembly.
  • a failsafe redundancy (fall redundancy), a functional redundancy (functional redundancy) and also a form redundancy (form redundancy) can be provided.
  • redundancy component is then technically designed in exactly the same way as a grand component.
  • An example of this is an additional redundancy camera that has the same structure as the originally planned cameras in one of the camera groups.
  • shape redundancy measuring systems with different technologies measure the same thing.
  • An example of such a shape redundancy is the detection of objects on the one hand using a camera sensitive to visible light, for example an RGB camera, and on the other hand using a camera sensitive to infrared light.
  • the different measuring systems are used in particular for imaging and the allocation of the objects depicted.
  • a fail-safe redundancy the determination of a contradiction between two measurements leads to the signaling of an error and to stopping a vehicle with which the optical assembly is equipped, in a safe state. If there is a fail-operational redundancy, the detection of a contradiction between at least three measurements with a vote for two of the same measurements (majority decision) leads to a warning with continuation of an operation carried out on the vehicle. If a component of the assembly fails, a replacement or redundancy component must be available for the failed component so that such a majority decision can continue to be made.
  • a camera group with at least two double cameras, possibly with three or four double cameras, each with an RGB sensor and with an IR sensor, represents the number of RGB sensors on the one hand and independently of this with regard to the number of IR sensors on the other hand, represents a functionally redundant arrangement.
  • the combination of at least one RGB sensor and one IR sensor is form-redundant. Data recorded or processed by the respective redundancy component can only be used once the component to be replaced has been selected. Alternatively, this data of the redundancy component can be used in normal operation to increase mapping and assignment accuracy and/or to increase mapping speed and assignment speed.
  • the advantages of a vehicle according to claim 14 correspond to those that have already been explained above with reference to the optical assembly.
  • the vehicle can be a road vehicle, a rail vehicle, or an aircraft.
  • a takeoff or landing process in particular can be monitored with the aid of real-time imaging and real-time assignment of environmental objects.
  • a baseline meshing of the cameras of the various camera groups can take place in the manner of a dodecahedron or an icosahedron or another surface approximation to a spherical surface or to its sections.
  • Fig. 1 shows a schematic and perspective oblique view from above of a driving tool, designed as a passenger car, with an optical Assembly for generating a real-time mapping and real-time association of objects in the environment;
  • FIG. 2 shows two camera groups of the optical assembly, these camera groups being shown in perspective from a mounting side of a respective group mounting body;
  • Fig. 3 shows a schematic of recording options for the two groups of mounting bodies according to FIG. between entrance pupil centers of these cameras are also shown;
  • FIG. 4 shows a further embodiment of a vehicle, designed as a golf cart, with a further embodiment of the optical assembly for generating a real-time image and real-time association of objects in the surroundings using camera groups with the group assembly bodies according to FIG .2;
  • FIG. 5 shows a schematic plan view of a camera arrangement of the optical assembly according to FIG. 1 or 4, with image recording directions of the cameras of the camera groups of the optical assembly being shown;
  • Fig. 6 is a side view of the image pick-up directions of the optical assembly of Fig. 1 or 4 viewed from VI in Fig. 5;
  • FIG. 8 shows a camera of one of the camera groups, designed as a double camera with an RGB sensor and an IR sensor;
  • FIG. 9 shows a camera of one of the camera groups, designed as a hybrid camera with close-range optics and with long-range optics;
  • FIG. 10 shows, in comparison to FIG. 3, a somewhat more detailed depiction of two camera groups and possible baseline connections between individual cameras in these two camera groups;
  • FIG. 11 shows a top view of an arrangement of a total of six camera groups on a carrier, corresponding to that of FIG. 4;
  • FIG. 12 shows a schematic circuit diagram of an embodiment of the optical assembly, shown as an example for three camera groups, with exemplary signal connections between the cameras designed as double cameras according to FIG the camera groups, between data processing Grappenmodulen (nodes), which are respectively assigned to the camera groups and between a data processing main module, which is assigned to all camera groups, is provided; and
  • FIG 13 shows an embodiment of the optical assembly in a representation similar to FIG Signal processing level is assigned to the data processing group modules.
  • Fig. 1 shows a schematic and perspective view of a vehicle 1 with an optical assembly 2 for generating a real-time image and real-time assignment of objects in the environment of a current environment scenery.
  • the optical assembly 2 puts the vehicle 1 in particular in the position of autonomous locomotion without the intervention of a vehicle driver.
  • the vehicle 1 according to FIG. 1 is a passenger car.
  • a road vehicle for example a truck, or a rail vehicle or aircraft, for example a passenger or cargo plane or a helicopter, in particular a drone, represent examples of a corresponding vehicle.
  • a Cartesian xyz coordinate system is used below to clarify positional relationships.
  • the x-axis runs in the direction of travel of the vehicle 1.
  • the x- and y-axes span a plane parallel to a vehicle footprint, on a flat, horizontal surface, ie a horizontal plane.
  • the z-axis runs vertically upwards perpendicular to the xy-plane.
  • the vehicle 1 has a chassis with wheels la as ground-side chassis components that define a vehicle standing level when the vehicle 1 is stationary, namely the xy plane.
  • the optical assembly 2 has a plurality of camera groups 3, 4, 5, 6, 7 and 8, which are approximately at the level of a circumferential body belt level, which runs at the level of the upper edges of the vehicle fenders, on a frame of the vehicle 1 are attached.
  • the camera groups 3 to 7 are visible in FIG. 1.
  • the camera group 8, which is hidden in the illustration according to FIG. 1, is also indicated schematically.
  • the two camera groups 3 and 4 are mounted on the front of the vehicle at the front corner areas of the body where the front fenders, the hood and the front of the vehicle adjoin each other.
  • the two camera groups 5 and 8 are mounted in the area of a lower end of a B-pillar between the two side vehicle doors.
  • the two camera groups 6, 7 are each mounted in the area of the rear body corners, where the rear fenders, the trunk lid and the rear of the vehicle adjoin one another.
  • the camera groups 3 to 8 are mounted at a distance of at least 50 cm from the vehicle footprint xy.
  • the two camera groups 3 and 4 represent two front camera groups in relation to the direction of travel x of the vehicle 1 and the camera Groups 6 and 7 two rear camera groups.
  • the two camera groups 5 and 8 represent two lateral camera groups in relation to the travel direction x of the vehicle 1. Due to the arrangement of the camera groups 3, 4, 6 and 7 at the corners, these camera groups simultaneously have the function of lateral Camera groups, so the camera groups
  • Each of the camera groups has at least three cameras linked to one another via a respective camera signal connection in the form of a data processing unit 9 (cf. FIG. 2).
  • Fig. 2 shows the two camera groups 7 and 8 of the optical assembly 2 in more detail.
  • the drawing plane of Fig. 2 is parallel to the xz plane and the viewing direction of Fig. 2 falls on an assembly side of the respective camera group 7 , 8.
  • the camera groups 3 to 8 basically have the same structure, so that it is mainly sufficient to describe camera group 7 below as an example.
  • the camera group 7 has a group mounting body 10 for mounting cameras 1b, 12 7 , 13 7 of the camera assembly 7.
  • the cameras 11 to 13 of the respective camera assembly 3 to 8 are each identified below with an index i, namely the reference number of the respective camera group 3 to 8, in order to assign the respective camera 11 to 13 to the respective camera group 3 to 8 to clarify.
  • the group mounting body 10 is designed in such a way that it mounts the cameras 11 to 13 of the respective camera group 3 to 8 with a fixed relative location and relative orientation.
  • the group assembly body 10 also has prepared retaining receptacles 14 7 , 15 7 for mounting additional cameras.
  • the respective camera group 3 to 8 can thus be subsequently expanded by at least one additional camera to be installed.
  • each of the camera groups 3 to 8 has exactly three built-in cameras 11 to 13 and exactly two additional, prepared recordings, so that the respective camera group 3 to 8, depending on the assignment of these prepared camera holding recordings, has two cameras, with three cameras, with four cameras or with five cameras can be equipped.
  • camera groups with three to, for example, ten cameras are possible.
  • Fig. 3 shows for selected cameras, namely the camera 13 7 Kame ra group 7 and the cameras 1 ls, 12s and 13s of the camera group 8, Ver connecting lines between entrance pupil centers EPZ these cameras 11 to 13, also known as Baselines are designated.
  • the entrance pupil centers EPZ of the cameras 1L, 12i, 13i of a camera group i define a camera arrangement plane AE (cf. FIG. 3 right), in which the cameras 1li to 13i of one of the camera groups 3 to 8 are arranged are.
  • the camera arrangement plane AE indicated on the right for the camera group in FIG. 3 does not have to run parallel to the xz plane and does not regularly do so.
  • An angle between the camera arrangement plane AE and one of the main planes xy, xz, yz of the vehicle coordinates xyz is regularly between 10° and 80°.
  • the length of the baselines B between the entrance pupil centers EPZ of two cameras 11, 12; 11, 13; 12, 13 of a camera group 3 to 8 is in the range between 5 cm and 30 cm. Depending on the version of the camera In groups 3 to 8, the length of these baselines B can also be in the range between 10 cm and 20 cm or in the range between 10 cm and 15 cm.
  • intergroup baselines Bij between cameras 11 to 13 of the two camera groups 7, 8 are highlighted in FIG.
  • the lengths of these intergroup baselines Bij lie in the range between 0.5 m and 3 m.
  • This length of the intergroup baselines Bi j is comparable to the distance between the respective neighboring camera groups 3 to 8.
  • the length of the intergroup baselines Bi can vary depending on the arrangement of the camera groups 3 to 8 also in the range between 1 m and 2 m.
  • the length of the baselines Bi j for example between the cameras 1 L, 12s of the camera group 8 and the camera 13 7 of the camera group lies in the range between 0.5 m and 3 m and can for example be in the range between 1 m and 2 m flush.
  • the entrance pupil centers EPZ of the cameras 11 to 13 of one of the camera groups 3 to 8 lie in the corners of a non-equilateral triangle 16.
  • the respective triangle 16 can have two or three different side lengths, i.e. two or three baselines B of different lengths .
  • the baselines B between the cameras 11 to 13 of a camera group 3 to 8 run at an angle to the vehicle arrangement plane xy in the range between 10° and 80°, ie run neither exactly horizontally nor exactly vertically.
  • an angle d between the associated baseline B and the vehicle footprint xy is entered for a camera pairing 12s, 13s. draws. This angle d is around 70°, ie between 10° and 80°.
  • the camera groups 3 to 8 are in turn connected to one another via a group signal connection between the respective data processing units 9 . Neither the camera signal connections nor this group signal connection is actually shown in FIG.
  • One of the cameras 11 to 13 of the respective camera group 3 to 8, for example camera 11, can be defined as the master camera and the other cameras 12, 13 as slave cameras in terms of signal processing via the data processing units 9 .
  • one of the camera groups 3 to 8 can be defined as a master camera group and the others as slave camera groups.
  • FIG. 4 shows a further arrangement s variant of the camera groups 3 to 8 on an embodiment of the vehicle 1 as a golf cart. Camera groups 3 to 6 are visible in Fig. 4.
  • Camera groups 3 to 8 are arranged in the roof area of vehicle 17 according to FIG. 4, with camera groups 3 to 8 being assigned to the directions “front”, “back”, “left side” and “right side” like this , as above in connection with the vehicle 1 of FIG. 1 erläu tert.
  • FIGS. 5 and 6 Image recording directions of the cameras 3 to 8 are illustrated in FIGS. 5 and 6 using the example of the arrangements of the optical assembly 2 according to FIGS.
  • FIG. 5 shows a top view of the vehicle 1 or 17, with only the cameras 3 to 8 being shown, and
  • FIG. 6 shows a corresponding side view.
  • a respective image recording direction 18 of the cameras 11 to 13 is shown double-indexed in the form 18 ⁇ , the index i indicating the assignment of the image recording direction 18 to the respective camera group 3 to 8 and the index j the assignment to the respective camera 11 to 13 of this camera group 3 to 8.
  • Adjacent image recording directions 18i n to 18i 13 of the cameras 11 to 13 of one of the camera groups i have an individual camera angle a to one another which is in the range between 5° and 25° and for example 15°.
  • An average direction value 19 can be assigned to each of the image recording directions 18i n to 18i 13 of the cameras 11 to 13 of one of the camera groups i.
  • the direction of such a directional mean value 19 3 is shown in broken lines in FIGS.
  • This respective mean direction value 19 3 is the mean value of the image recording directions I83 11 to I83 13 .
  • the directional mean values 19i, 19j of the image recording directions of the cameras 11 to 13 of adjacent camera groups i, j assume a group camera angle g (cf. FIG. 5) to one another which is in the range between 30° and 100° and which is approximately 60° in the embodiment according to FIGS.
  • the camera groups can be arranged in such a way that a total horizontal detection range (azimuth angle of polar coordinates) of 360° can be achieved, as is the case with the arrangement of the camera groups 3 to 8 according to FIGS.
  • the arrangement of the camera groups can also be such that a total vertical detection range (polar angle of polar coordinates) of 180° is achieved. This is generally not necessary in the case of land vehicles, which is why this vertical overall detection range is not achieved with the arrangements of the camera groups 3 to 8 according to FIGS. 1 to 6.
  • a vertical overall detection range can be achieved which is greater than 90°, which is greater than 120°, which is greater than 150° and which is in particular 180°.
  • the cameras of the camera groups can, in particular, be designed as fish-eye cameras.
  • Figure 7 shows two groups 7, 8, each with three cameras 11 to 13.
  • the groups 7 on the one hand and 8 on the other hand each have an assigned data processing unit 9h, 9s for processing and evaluating the image data recorded by the associated cameras of the camera group 7, 8 .
  • the two data processing units 9h, 9s are connected to one another via a signal line 21.
  • cameras 1b to 137 of group 7 can be interconnected to capture a three-dimensional scene, so that a 3D capture of this three-dimensional scene is made possible.
  • the image acquisition result for example, from camera 1 ls of the other group 8 can be used, which is made available to the data processing unit 9h of group 7 via the data processing unit 9s of group 8 and the signal line 21.
  • This signal line 21 represents a group signal connection between the camera groups 7 and 8. Due to the spatial distance of the camera 1 ls to the cameras 117 to 13 7 of the group 7, there is a significantly different perspective when imaging the spatial scenery, which improves spatial image acquisition redundancy.
  • Spatial image capture using the cameras of exactly one group 7, 8 is also referred to as intra-image capture.
  • Spatial image acquisition involving the cameras of at least two groups is also referred to as inter-image acquisition.
  • a triangulation determination can be used to determine the distance to the object.
  • the triangulation can, for example, take place independently with the stereo arrangements of the cameras 12s, 13s, the cameras 13s, 1E and the cameras IE, 12s. The triangulation points of these three arrangements must match.
  • a camera group like the groups 7, 8 can be arranged in the form of a triangle, for example in the form of an isosceles triangle. An arrangement of six cameras in the form of a hexagon is also possible.
  • a camera close-up area covered by the respective group 7, 8 can be in the range between 80 cm and 2.5 m, for example.
  • a far range can then also be captured with the image capturing device beyond the close range limit.
  • Such a far range overlaps with the camera close-up range in terms of its lower limit and has an upper limit which is, for example, 50 m, 100 m or even 200 m.
  • Each of the cameras 11 to 13 has a sensor chip which can be in the form of a CCD or CMOS chip.
  • the sensor chip is designed as a two-dimensional pixel array.
  • Each of the pixels may be rectangular or square, with a typical pixel extent at the sensor chip level ranging between 1 mth and 20 mth.
  • Such a typical pixel extent may be in the range between 2 mth and 10 mth and in particular in the range between 3 mth and 5 mth.
  • a relationship between See a lens focal length of a camera lens and the pixel extent can range from 100 to 1,000. In particular, this ratio is in the range between 500 and 700.
  • the camera can provide a resolving power that is better than the pixel extent.
  • a ratio between the achievable resolution and the pixel extent can be in the range between 0.1 and 0.5, for example.
  • a distance error of between 1% and 5% can be tolerated in the area of the respective upper limit of the object distance.
  • an upper object distance limit exclusive use of intra-baselines
  • an upper object distance limit (exclusive use of inter-baselines) of 120 m there is a distance error in the range of 3 m, for example.
  • Fig. 8 shows an embodiment of one of the cameras 11 to 13, which crizspielswei se instead of the (single) camera 1 h according to FIG. 3 or 7 can be used.
  • the camera 1 h is designed as a double camera with an RGB sensor 25 and an IR sensor 26 .
  • the RGB sensor 25 is designed to capture colored information in the visible optical wavelength range. Instead of the RGB sensor 25, a monochrome sensor for the visible wavelength range can also be used.
  • the IR sensor 26 is sensitive to infrared wavelengths beyond the visible wavelength range.
  • the sensors 25 and/or 26 can be designed as CCD sensors or as CMOS sensors.
  • the sensors 25 and/or 26 are designed as array sensors with sensor pixels arranged in rows and columns.
  • the two sensors 25, 26 are on a common carrier 27 installed on it.
  • the two sensors 25, 26 are each equipped with camera optics 28 (for the RGB sensor 25) and 29 (for the IR sensor 26).
  • the two camera optics 28, 29 are separate from one another, but are arranged spatially close to one another.
  • a distance do A between the dashed lines in Fig. 8 indicated optical axes of the two camera optics 28, 29 is at most 35 mm.
  • This distance do A can be between 20 and 30 mm and can also be smaller, for example in the range between 10 mm and 20 mm or in the range between 5 mm and 15 mm.
  • the small distance do A ensures a negligible image offset of the camera optics 28, 29. This facilitates the evaluation of the detection data on the sensors 25, 26.
  • the double camera 1 h has a common camera optics for both sensors 25, 26.
  • the double camera 117 has two signal outputs 30A , 30B for reading out data on the sensors 25, 26 to a data processing module system, which is explained in more detail below in particular.
  • the signal outputs 30 A , 30 B are parallel signal outputs.
  • the double camera 117 or the optical assembly 2 in general can be equipped with an IR light source 31, which illuminates the objects to be detected and associated with the cameras 11 to 13 with IR light.
  • This IR illumination by the IR light source 31 can be an illumination for generating an IR texturing.
  • This IR texturing can be designed so that it does not have a regular pattern. This IR illumination facilitates detection and assignment of the surrounding objects or a detection and assignment of corresponding object features or object signatures.
  • the IR light source 31 can be a laser.
  • the IR light source can create a short exposure of surrounding objects.
  • the respective camera 11 to 13 or the optical assembly 3 in general can be equipped with a narrow-band filter for selecting certain wavelength ranges. This can be used to pre-filter imaging light which reaches sensors 25 and 26, respectively. When using a narrow-band IR filter, ambient light can be effectively filtered, apart from heat sources. A corresponding pre-filtering can alternatively or additionally also take place temporally with the aid of a shutter synchronized in particular with a pulse frequency of the IR light source 31 .
  • an RGBIR sensor can also be used, which is also not shown in the drawing.
  • This RGBIR sensor can be operated with a three-step acquisition sequence. With a long exposure time, an RGB component can be captured. A first IR exposure component can be recorded in a first short exposure step and a second IR exposure component can be recorded in a second brief exposure step. Both IR exposure components can be subtracted from each other.
  • RGBIR Red, green, blue
  • IR infrared wavelengths
  • RGBIR sensor can be operated as follows: At a point in time t1, RGB signals are read in during an exposure time of 10 ms, for example. At a further point in time t2, IR signals are read in with simultaneous IR exposure for a period of less than 1 ms. At a further point in time t3, IR signals are read in without additional IR exposure. The difference in the images at times t2 and t3, apart from an object movement in the interim period, exclusively represents the effect of the IR exposure, i.e. it eliminates daylight or sunlight components.
  • the RGB time t1 should be at or between times t2 and t3.
  • the IR sensor of the double camera like the camera 1 h or an IR sensor part of an RGBIR sensor can have two charge stores. With the aid of such an IR sensor with two charge stores, IR difference images can already be obtained from a charge difference of two charges recorded in quick succession with such a IR sensor can be obtained.
  • a data readout process from the two sensors 25, 26 can be carried out in stitched form, so that, for example, one line of the RGB sensor 25 and then one line of the IR sensor 26 is read out. In this way, RGB and IR information can be assigned to a candidate object point. Alternatively, it is possible to read both sensors 25, 26 sequentially.
  • FIG. 9 shows an embodiment of one of the cameras 11 to 13 as a hybrid camera, which can be used instead of the (single) camera 11s, for example.
  • This hybrid camera 1 ls has close-range optics 32 and long-range optics 33. Close-range optics 32 can be designed as fish-eye optics.
  • the long-range optics 33 can be designed as telephoto optics.
  • the close-range optics 32 is part of a close-range double camera in the manner of the double camera 117, which was explained above with reference to FIG.
  • the far-range optics 33 are part of a double-far-range camera, also with the basic structure corresponding to the double camera 117 of FIG. 8. Accordingly, components in FIG. 9 correspond to those of FIG. 8 , given the same reference numerals.
  • a carrier 27 is assigned to each of the two field optics 32, 33 of the hybrid camera 11s.
  • the two carriers 27 are firmly connected to one another via a rigid connecting component 34 .
  • the rigid connection component 34 ensures that no undesired shifting takes place between the two carriers 27 of the field optics 32, 33.
  • a lateral distance dm between the close-range optics 32 and the far-range optics 33 is less than 50 mm and can be less than 25 mm, less than 20 mm, less than 15 mm or even less than 10 mm. In particular, this distance between the two range optics 32, 33 can be so small that an image offset between the close-range optics 32 and the far-range optics 33 during data evaluation within the optical assembly 2 is not significant.
  • Signal outputs to the sensors 25, 26 of the long-range optics 33 are denoted by 35A and 35B in FIG. 9 and basically correspond to the signal outputs 30A, 30B, which were explained above in connection with FIG.
  • the long-range optics 33 can be designed to detect objects at a distance of between 50 m and 300 m, in particular at a distance of between 80 m and 150 m, for example at a distance of 100 m.
  • the far-range optics 33 enable a higher distance resolution in this larger distance range.
  • the distance range in which the long-range optics 33 offers a high resolution borders on the distance range in which the close-range optics 32 offers a high resolution, either directly on or overlapping with this distance range.
  • a vertical angle between the at least one optical axis of the long-range optics 33 to the horizontal can be smaller than a corresponding angle of the at least one optical axis of the close-range optics 32 to the horizontal.
  • a zoom optic with a focal length that can be specified in a focal length range can be used.
  • the focal length of such a zoom lens system can be predetermined by means of a setting actuator.
  • a control actuator can be equipped with a central control/regulation unit of the optical assembly 2 are in signal connection, with which in turn the data processing module system is in signal connection.
  • Such a zoom camera can ensure intrinsic calibration for different zoom positions.
  • Such a zoom optic can be used in particular for robotic applications of the optical assembly 2 .
  • FIG. 10 shows two camera groups 7, 8 in an example similar to FIG. 7, which can be used instead of the camera groups 3 to 8 explained above.
  • the respective camera groups 7, 8 each have four individual cameras.
  • the respective fourth camera R7 of camera group 7 and R H of camera group 8 is an additional redundancy camera. This can be used to ensure fail-safety of the respective camera group 7, 8, which nominally requires, for example, three functioning individual cameras (fail-operational status).
  • the intra-baselines B between the individual cameras of one of the two camera groups 7, 8 and the inter-baselines B between selected cameras of different of the two camera groups are shown in FIG. 10 corresponding to the representation according to FIG 7, 8. Those baselines that are used in a current object association are highlighted with heavier lines.
  • the two redundancy Cameras R7, Rs are not taken into account in this baseline usage example, so they do not take part in the data processing in this failure-free state.
  • FIG. 11 shows an exemplary arrangement of six camera groups 3 to 8 as components of the optical assembly 2 of the vehicle 1.
  • Each of the individual camera groups 3 to 8 can cover a close range, as already explained above. If one of the camera groups 3 to 8 is equipped with long-range optics 33, this camera group can also cover a long-range individually.
  • An interaction of two particularly adjacent camera groups, for example camera groups 7 and 8, enables long-range evaluation by using the inter-baselines Bi j , as already explained above.
  • the optical assembly can also have at least one lidar sensor, which leads to additional error redundancy for object detection and assignment.
  • the measurement using such a lidar sensor leads to a form redundancy in addition to the optical object distance measurement carried out with the optical assembly 2 .
  • lidar measurement light pulses can be measured to measure a time offset and converted into a distance signal by multiplying them with the speed of light.
  • a phase between a transmitted and a received light intensity wave can be determined in the lidar measurement, which is then converted into a time offset and finally into a distance s value using the speed of light.
  • Fig. 12 shows details of a data processing module system 36 of the optical assembly 2. A total of three camera groups are shown in Fig. 12 using the example of camera groups 3 (front left), 4 (front right) and 5 (middle right) in the arrangement on the vehicle 1, for example, according to FIG. 11.
  • Each of the cameras 1b, . . . R3; 1 U, . . . R4; 115, . . . R5 is listed as a dual camera in accordance with what was discussed above with particular reference to FIGS. 8 and 10.
  • FIG. 1b, . . . R3; 1 U, . . . R4; 115, . . . R5 is listed as a dual camera in accordance with what was discussed above with particular reference to FIGS. 8 and 10.
  • the data processing module system 36 has at least one data processing unit for processing the camera data from the individual cameras in camera groups 3 to 8 for real-time imaging and real-time assignment of the surrounding objects or object features or object signatures.
  • the data processing module system 36 has the camera groups 3 to 8 assigned data processing group modules, which are also referred to as nodes.
  • the camera group 3 is assigned the data processing group modules 37 and 37R .
  • the camera group 4 is assigned the data processing group modules 38, 38R .
  • the camera group 5 is assigned the data processing group modules 39, 39R .
  • the group modules 37 R , 38 R , 39 R are redundancy data processing group modules that are either only used if the group modules 37, 38, 39 to be replaced fail or signal data from the associated cameras of the camera -Process groups 3 to 5 in normal operation to increase the mapping and assignment accuracy and/or assignment speed.
  • the data processing group modules 37 to 39, 37 R to 39 R have the same structure, so that it is sufficient below to essentially describe one of the group modules, which is done using the group module 37 as an example.
  • the data processing group module 37 has a total of six signal inputs 40i to 40 6 , which are combined to form a multi-pole signal input 40 .
  • the signal inputs 40i to 40 3 are connected to the signal outputs 35 A of the cameras I I3 to 13 3 of the camera group 3.
  • the signal input 40 4 is connected to the signal output 35 A of the redundant camera R3 of the camera group 3.
  • the signal inputs 40s and 40 6 are in signal connection with signal outputs 411, 4 h of the data processing group module 38 of the camera group 4.
  • the signal inputs 40i and 40 2 of the group module 37 are in signal connection with the corresponding signal outputs 411, 4 h of this group module 37.
  • an inter-baseline evaluation can be carried out by the data processing module system 36 at the level of the data processing group modules 37, 38, ... .
  • the integration of a main module of the data processing module system 36, which is still to be described, is not required for this.
  • Signal outputs 411, 4h of group module 39 of camera group 5 are also in signal connection with signal inputs 40s, 400 of group module 38 of camera group 4 via corresponding signal connections.
  • a quick inter-baseline calculation at the group level is possible via this direct connection between the signal outputs 4h and signal inputs 40i of the group modules, which are assigned to different camera groups.
  • An additional inter-baseline calculation is also possible at the level of the main data processing modules 42, 42R .
  • the signal outputs of two cameras can be routed to the signal inputs of group module 37 of camera group 3, or the data more or fewer cameras at the group level can be exchanged directly between the groups.
  • Signal connections at the group module level to create a ring of neighboring camera group assignments or a network between the camera groups are also possible. Such networking can be particularly helpful when the optical assembly 2 is used in aviation.
  • the additional redundancy data processing group modules 37 R , 38 R and 39 R which in turn can replace the group modules 37, 38 and 39 in the event of a failure, or alternatively to increase the mapping and assignment accuracy and/or to increase the mapping and assignment calculation speed can be used are constructed in exactly the same way as group modules 37 to 39.
  • the signal inputs 40i to 40 4 , for example, of the redundancy data processing group module 37 R are in signal connection with the signal outputs 35 B of the cameras 113, 123, 13 3 and R3.
  • one of the cameras lli , 12i, 13i, Ri supplies a group module and a redundancy group module via the two signal outputs 35A, 35B .
  • Age- natively instead of, for example, three cameras, each with two signal outputs 35A/B, six cameras, each with one signal output 35, could be used.
  • the signal inputs 40s and 406 of the redundancy data processing group module 37R are connected to the signal outputs 41i, 4h of the redundancy data processing group module 383 of the adjacent camera group 4 in a signal connection.
  • the signal outputs 41i, 4h of the redundancy data processing group module 37R are in turn connected to signal inputs 40 5 , 40 6 of another redundancy data processing basic module (not shown).
  • the signal outputs 4h, 4h of the basic data processing module 37 are in signal connection with signal inputs 40s, 400 of a further basic data processing module (not shown).
  • This signal connection ensures that the respective camera 1 left one of the camera groups 3, 4, 5, ... for internal data processing together with the recording data of the cameras of another camera group 3, 4, 5, ... .
  • the respective data processing group modules for example the data processing group module 37 and the redundancy data processing group module 37R, are each assigned to exactly one of the camera groups, in this case the camera group 3.
  • the data processing module system 36 also includes a main data processing level. This has a data processing main module 42, which is assigned to all camera groups 3 to 5, . . . .
  • the main data processing module 42 is in signal connection with the group modules 37 to 39, ... and 37 R to 39 R , ... via signal connections 43 i, which can be Ethernet signal connections.
  • a data communication between the cameras 1 E to 13i, Ri on the one hand and the group modules 37 to 39, ...; 37 R to 39 R , ... on the other hand and between these group modules 37 to 39, ... ; 37 R to 39 R , ... on the one hand and the data processing main modules 42 can take place according to a MEPI/CSI interface standard.
  • the main data processing module 42 has a main processor 44 and a coprocessor 45.
  • the main processor 44 is verified by the coprocessor 45 and monitored.
  • the main processor 44 reads the results of all group modules 37 to 39, . . . ; 37 R to 39 R , ... via their respective communication interfaces 46 from.
  • the main processor 44 compares the results results of these different group modules 37 to 39, ... and, if necessary, the connected redundancy group modules 37 R to 39 R , so that here, in particular in overlapping areas of the fields of view of the camera groups 3 to 5, ... additional error security is created.
  • the main processor 44 forwards control signals from the results of the acquisition and processing of the data from the group module level to the optical assembly 2 on the one hand and to the unit equipped with it, for example the vehicle 1, on the other.
  • a redundancy data processing main module 42 R is provided in the main level of data processing, which is constructed in the same way as the data processing main module 42 and accordingly with the group modules 37 to 39, . . . ; 37 R to 39 R , ... is connected.
  • the redundancy data processing main module 42 R is used when, for example, the coprocessor 45 of the data processing main module 42 comes to the conclusion that the results of the main pro processor 44 of the data processing main module 42 are not reliable, or if the data processing Main module 42 shuts down for other reasons.
  • this redundancy data processing main module 42 R can also be used in normal operation to increase the mapping and assignment accuracy and/or to increase the mapping and allocation speed can be used and thereby work in parallel with the main data processing module 42 .
  • Corresponding overlapping areas of the detection areas, in particular of neighboring camera groups 3 to 8, can be further evaluated between a smallest relevant object size to be expected and a largest relevant object size to be expected. These size ranges can be specified depending on the application of the optical assembly. When used on a vehicle, a smallest size can have a typical dimension of 5 cm, for example, and a largest object can have the typical dimension of 10 m.
  • a comparison of an object point distribution within a specific object height range can be made. This can be done in a Stixel representation, in which objects are approximated in the form of vertically extended, rod-shaped elements.
  • a comparison of object data captured and mapped in an overlap area between different camera arrays can be made within an area of uncertainty around each 3D data point.
  • the size of the area of uncertainty can be specified depending on the application. Even a minimum number of adjacent data points within assigned object candidates or within corresponding points resulting from the detection and assignment clouds, can also be specified depending on the application.
  • Intra-baseline overlaps of different camera groups whose detection areas overlap (inter/intra) or a comparison between an inter-baseline detection within a camera group and an intra-baseline detection between this camera group can be read out and the neighboring camera group in the overlapping detection area.
  • the object can either be discarded or, in the sense of a conservative, safety approach, be taken into account as an existing object. If no candidate values are detected at all in a specific detection area, ie a camera detection area turns out to be unusually object-free, this unusually object-free area can be interpreted as an obstacle in the sense of a security approach.
  • data processing main module 42 several, for example two, three or four point clouds, which result from the acquisition and allocation of data processing group modules 37 to 39 of adjacent camera groups, can be checked against one another. This results in a further functionally redundant level.
  • Another form-redundant level results from two differently working processors either at the level of the group modules or at the level of the main module.
  • FIG. 13 shows an alternative data processing module system 48 up to and including the level of the group modules. So here the main module level is omitted, which is constructed according to FIG.
  • the camera groups 8 (centre left, cf. Fig. 11), 3 (front left) and 4 are examples (from right) shown.
  • the group modules assigned to camera group 8 are denoted by 37', 37 R ' in FIG. 13 and correspond to group modules 37 and 37 R of camera group 3.
  • hybrid group module 49 To process the signal outputs 35 A , 35 B of the long-range optics 33 of these hybrid cameras R3 11 , lh H are additional hybrid data processing group modules, namely a hybrid group module 49 and a redundant hybrid group module 49 R , the structure of which is fundamental additionally corresponds to the data processing group modules described above in connection with FIG.
  • the signal input 40 2 of the hybrid group module 49 is in signal connection with the signal output 35 A of the long-range optics 33 of the hybrid camera R3 11 .
  • the signal input 40 4 is connected to the signal output 35 A of the long-range optics of the hybrid camera 1 ls H.
  • the signal input 40i of the hybrid group module 49 is connected to the signal output 4h of the group module 38 of the camera group 4 in signal connection.
  • the signal output 4h of the hybrid group module 49 is connected to the signal input 40 4 of the group module 37 of the camera group 3 in signal connection.
  • the signal output 4h of the hybrid group module 49 has a signal connection to the signal input 40s of the group module 37 of the camera group 3.
  • the wiring of the redundancy hybrid group module 49 R is corresponding and is not shown explicitly in FIG.
  • This signal switching of the hybrid group module 49 leads to a corresponding integration of the hybrid cameras R3 11 and 1 ls H of the camera groups 3 and 4 for the detection and evaluation of inter- and intra-baseline camera pairs, as explained above.
  • the detection data from the long-range optics 33 are also taken into account, compared and used to increase the fail-safety.
  • a redundancy camera namely camera R3 11
  • a hybrid camera is designed as a hybrid camera.
  • a normal operation camera for example one of the cameras II3 to II3 3 in camera group 3, can also be designed as a hybrid camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)

Abstract

Eine optische Baugruppe (2) dient zur Erzeugung einer Echtzeit-Abbildung und einer Echtzeit-Zuordnung von Umgebungs-Objekten. Die optische Baugruppe hat eine Mehrzahl von Kamera-Gruppen (3 bis 8), die jeweils miteinander über eine Kamera-Signalverbindung miteinander verknüpfte Kameras aufweisen, deren Eintrittspupillen-Zentren eine Kamera-Anordnungsebene definieren, in der die Kameras angeordnet sind. Die Kamera-Gruppen (3 bis 8) sind wiederum miteinander über eine Gruppen-Signalverbindung miteinander verknüpft. Benachbarte Bildaufnahmerichtungen (18i j) der Kameras einer der Kamera-Gruppen (3 bis 8) nehmen einen Einzelkamera-Winkel (α) zueinander ein, der im Bereich zwischen 5° und 25° liegt. Ein Richtungs-Mittelwert (19i) der Bildaufnahmerichtungen (18ij) der Kameras einer der Kamera-Gruppen (3 bis 8) nimmt einen Gruppenkamera-Winkel (γ) zu einem Richtungs-Winkelwert (19i+1) der Bildaufnahmerichtungen (18i j) der Kameras einer benachbarten Kamera-Gruppe (3 bis 8) ein, der im Bereich zwischen 30° und 100° liegt. Es resultiert eine optische Baugruppe, deren Sicherheit einer Echtzeit-Erfassung von Umgebungs-Objekten und deren Echtzeit-Zuordnung verbessert und an die Praxis insbesondere der Bilderfassung zur Sicherstellung eines autonomen Fahrens gut angepasst ist.

Description

Optische Baugruppe zur Erzeugung einer Echtzeit-Abbildung und ei ner Echtzeit-Zuordnung von Umgebungs-Objekten sowie Fahrzeug mit einer derartigen Baugruppe
Die vorliegende Patentanmeldung nimmt die Priorität der deutschen Pa tentanmeldung DE 10 2021 201 678.2 in Anspruch, deren Inhalt durch Be zugnahme hierin aufgenommen wird.
Die Erfindung betrifft eine optische Baugruppe zur Erzeugung einer Echt zeit-Abbildung und einer Echtzeit-Zuordnung von Umgebungs-Objekten. Ferner betrifft die Erfindung ein Fahrzeug mit einer derartigen optischen Baugruppe.
Eine optische Baugruppe der eingangs genannten Art sowie ein hiermit ausgerüstetes Fahrzeug ist bekannt aus der WO 2013/020872 AL Die DE 10 2017 115 810 Al offenbart ein Verfahren zum autonomen Parken eines Fahrzeugs sowie ein Fahrassistenzsystem zur Durchführung des Verfah rens. Die US 2016/0301863 Al offenbart ein Bildbearbeitungssystem zur Erzeugung einer Surround-View-Abbildung. Die DE 10 2018 132 676 Al offenbart ein Verfahren zum Lokalisieren eines Fahrzeugs in einer Umge bung sowie ein entsprechendes Fahrunter Stützung s System.
Es ist eine Aufgabe der vorliegenden Erfindung, eine optische Baugruppe der eingangs genannten Art derart weiterzubilden, dass die Sicherheit einer Echtzeit-Erfassung von Umgebungs-Objekten, insbesondere einer Umge bungs-Szenerie, und deren Echtzeit-Zuordnung verbessert und an die Pra xis insbesondere der Bilderfassung zur Sicherstellung eines autonomen Fahrens gut angepasst ist. Diese Aufgabe ist erfindungsgemäß gelöst durch eine optische Baugruppe mit den in Anspruch 1 angegebenen Merkm len.
Erfindungsgemäß wurde erkannt, dass die Bereitstellung mehrerer Kamera- Gruppen mit jeweils mindestens zwei und insbesondere mindestens drei miteinander signalverknüpften Kameras die Möglichkeit einer Echtzeit- Abbildung und Echtzeit-Zuordnung von Umgebungs-Objekten insbesonde re zur Vorbereitung autonomen Fahrens deutlich verbessert. Über die Zu ordnung ist dabei sichergestellt, dass verschiedene Kameras innerhalb einer der Kamera-Gruppen und/oder verschiedene Kameras verschiedener Ka mera-Gruppen tatsächlich das gleiche Objekt und/oder die gleiche Objekt- Signatur abbilden. Soweit genau zwei Kameras innerhalb einer Kamera- Gruppe zum Einsatz kommen, kann eine bei der Echtzeit-Zuordnung zum Einsatz kommende Triangulation unter Zuhilfenahme zweier Kamera- Gruppen beispielsweise dadurch erfolgen, dass Erfassungsdaten der beiden Kameras eine der Kamera-Gruppen mit den Erfassung sdaten einer Kamera der zweiten Kamera-Gruppe miteinander verknüpft und bei der Triangula tion ausgewertet werden.
Lageabweichungen zwischen Signaturen von Szenerie-Objekten, die sich aufgrund von Positionsabweichungen der Kameras untereinander ergeben, können mithilfe eines diese optische Baugruppe nutzenden Verfahrens zur räumlichen Bilderfassung präzise erkannt und kompensiert werden. Bei der Bildaufnahmerichtung kann es sich um eine optische Achse der jeweiligen Kamera handeln.
Ein Gruppenkamera-Winkel zwischen Richtungs-Mittelwerten der Bild aufnahmerichtungen benachbarter Kamera-Gruppen zwischen 30° und 100° ermöglicht eine gute Umgebungsabdeckung mit der optischen Bau- gruppe unter Verwendung einer möglichst geringen Anzahl von Kamera- Gruppen. Dies reduziert insbesondere den Aufwand bei der Signalverarbei tung der Kamerasignale. Die Kameras der Kamera-Gruppen können einen großen Öffnungs- bzw. Bildwinkel aufweisen. Ein horizontaler Öffnungs winkel der jeweiligen Kamera kann bis zu 180° betragen und kann auch noch größer sein. Der Öffnung swinkel der Kamera kann kleiner sein als 175°, kann kleiner sein als 160° und kann auch kleiner sein als 140°. Re gelmäßig ist der horizontale Öffnung swinkel größer als 90°. Ein vertikaler Öffnung swinkel der jeweiligen Kamera kann größer sein als 90°. Dieser vertikale Öffnung swinkel ist regelmäßig kleiner als 180°: Die jeweilige Kamera ist regelmäßig so ausgerichtet, dass ihre optische Achse mit einer Horizontalebene einen Winkel einnimmt, der dem halben vertikalen Öff nungswinkel entspricht. Die Kameras der Kamera-Gruppen können als Fischaugen-Kameras ausgeführt sein.
Der Einzelkamera- Winkel zwischen den Bildaufnahmerichtungen der Ka meras genau einer der Kamera-Gruppen kann im Bereich zwischen 10° und 20° hegen und kann insbesondere im Bereich von 15° hegen. Dies gewähr leistet eine gute räumliche Zuordnung von Szenerie-Objekten insbesondere in einem Nahbereich um die jeweilige Kamera-Gruppe. Ein jeweiliger Ein zelkamera-Winkelbereich kann für die Einzelkamera- Winkel benachbarter Bildaufnahmerichtungen aller Kameras einer jeweiligen Kamera-Gruppe sowie für alle Kameras aller Kamera-Gruppen jeweils zutreffen, sodass die Einzelkamera-Winkelbereichs-Bedienung für alle Kameras einer der Ka mera-Gruppen und/oder für alle Kameras aller Kamera-Gruppen erfüllt sein kann.
Der Gruppenkamera-Winkel kann im Bereich zwischen 45° und 75° hegen und kann insbesondere im Bereich von 60° hegen. Insbesondere beim Ein- satz von Fischaugen-Kameras kann ein großer Grappenkamera-Winkel zum Einsatz kommen. Die Grappenkamera-Winkelbedingung kann für alle zueinander benachbarten Kamera-Gruppen der optischen Baugruppe erfüllt sein.
Falls mehr als drei Kameras, zum Beispiel vier Kameras, zu einer Kamera- Gruppe gehören, können drei dieser vier Kameras der Kamera-Gruppe die Kamera- Anordnungsebene der jeweiligen Kamera-Gruppe definieren und die vierte Kamera derselben Kamera-Gruppe kann außerhalb dieser An ordnungsebene angeordnet sein.
Die optische Baugruppe hat Signalverarbeitungskomponenten, die die Echtzeit- Abbildung und Echtzeit-Zuordnung der Umgebungs-Objekte ge währleisten. Hierzu beinhaltet die optische Baugruppe entsprechend leis tungsfähige Datenverarbeitungsmodulsysteme, insbesondere echtzeitfähige Prozessoren und echtzeitfähige Signalverbindungen. Eine Latenzzeit der optischen Baugruppe kann bei 200 ms liegen und kann kleiner sein, bei spielsweise bei 150 ms, 100 ms oder bei 50 ms liegen. Eine Bildwiederhol rate der optischen Baugruppe kann bei 10 liegen (10 fps, frames per se- cond). Auch eine größere Bildwiederholrate, beispielsweise von 15, 20, 25 oder noch höher kann realisiert sein.
Eine Anordnung der Kameras einer der Kamera-Gruppen nach Anspruch 2 hat sich in der Praxis bewährt, da unerwünschte Resonanzeffekte bei der Abbildung und/oder unerwünschte Fehlzuordnungen, also eine fehlerhafte Zuordnung insbesondere von Objekt- Signaturen, die tatsächlich zu ver schiedenen Objekten gehören, zum gleichen Objekt, vermieden werden. Das Dreieck, in dessen Ecken die Eintrittspupillen-Zentren liegen, kann zwei oder drei unterschiedliche Seitenlängen haben. Ein Baseline-Längenbereich nach Anspruch 3 ermöglicht eine gute Erfas sung eines Nahbereichs der jeweiligen Kamera-Gruppe ab einer Unter grenze von beispielsweise 30 cm oder 50 cm. Auch den Kamera-Gruppen nahe benachbarte Objekte können dann sicher erfasst und zugeordnet wer den.
Regelmäßig ergibt sich eine sichere Erfassung und Zuordnung von Objek ten in einem Abstand, der mindestens das Dreifache der Baseline-Länge beträgt. Bei einer Baseline-Länge von 10 cm ergibt sich beispielsweise ein Mindest-Objektabstand sicher erfass- und zuordenbarer Objekte von 30 cm.
Bei einer gegebenen Baseline-Länge hegt ein Verhältnis zwischen einem maximal erfass- und zuordenbaren Objektabstand und einem minimal er fass- und zuordenbaren Objektabstand typischerweise bei einem Faktor 20. Wenn der minimal erfass- und zuordenbare Objektabstand bei 30 cm hegt, ergibt sich ein maximal erfass- und zuordenbaren Objektabstand von 6 m. Die Länge der Baseline zwischen den Eintrittspupillen-Zentren zweier
Kameras einer Kamera-Gruppe kann auch im Bereich zwischen 10 cm und 20 cm oder im Bereich zwischen 10 und 15 cm hegen. Die Länge der Base- line aller Kamera-Paare, die in der jeweiligen Kamera-Gruppe vorliegen, kann in einem derartigen Bereich hegen.
Eine Baseline-Länge zwischen den Kameras verschiedener und insbeson dere benachbarter Kamera-Gruppen nach Anspruch 4 ermöglicht eine si chere Abdeckung eines mittleren Entfemungsbereichs, dessen Untergrenze mit einer Obergrenze des Nahbereichs, der mit einer individuellen Kamera- Gruppe abgedeckt werden kann, überlappen kann. Die Baseline-Länge zwischen Kameras verschiedener Kamera-Gruppen kann im Bereich zwi schen 1 m und 2 m liegen. Die Länge der Baselines zwischen den Kameras aller benachbarten Kamera-Gruppen der optischen Baugruppe kann in ei nem derartigen Bereich liegen. Die Baseline-Länge zwischen Kameras ver schiedener Kamera-Gruppen kann in Abhängigkeit von der Baseline-Länge zwischen den Kameras ein und derselben Kamera-Gruppe so gewählt wer den, dass die Objekt-Abstandsbereiche zur sicheren Erfass- und Zuordnung von Objekten einerseits über genau eine der Kamera-Gruppen und anderer seits über die Kameras verschiedener Kamera-Gruppen aneinander angren zen oder miteinander überlappen. Bei einer beispielhaften Baseline-Länge zwischen den Kameras genau einer der Kamera-Gruppen von 10 cm und einem sich daraus ergebenden maximalen sicher erfass- und zuordenbaren Objektabstand von 6 m kann die Länge der Baseline zwischen Kameras verschiedener Kamera-Gruppen beispielsweise bei 2 m liegen, was zu ei nem minimalen sicher erfass- und zuordenbaren Objektabstand für die Kameras verschiedener Kamera-Gruppen wiederum von 6 m führt. In die sem Fall grenzen die Abstandsbereiche der sicher erfass- und zuordenbaren Objekterfassung der jeweiligen Kamera-Gruppen (Intra) und der verschie denen Kamera-Gruppen (Inter) also aneinander an.
Über jeweils eine der Kamera-Gruppen kann somit ein Objekt-Nahbereich abgedeckt werden und über das Zusammenspiel mindestens zweier Kame ra-Gruppen kann ein Objekt-Fembereich abgedeckt werden, wobei der Nahbereich und der Fembereich direkt aneinander angrenzen oder mitei nander überlappen können.
Die Anzahlen von Kamera-Gruppen nach Anspruch 5 oder 6 haben sich zur Optimierung eines horizontalen und/oder eines vertikalen Gesamterfas- sungsbereichs der optischen Baugruppe bewährt. Ein horizontaler Ge samterfassungsbereich kann insbesondere bei 360° liegen, sodass die ge samte horizontale Umgebung der optischen Baugruppe erfasst wird. Ein vertikaler Gesamterfassungsbereich kann abhängig von den Objektiven der verwendeten Kameras 180° betragen oder auch größer sein und kann zum Beispiel bei Verwendung von Fischaugen- Kameras zum Beispiel 220° be tragen. Bei Anwendung der optischen Baugruppe in einem PKW kann bei spielsweise ein vertikaler Gesamterfassungsbereich von 100° genutzt wer den (senkrecht nach unten bis 10° über die Horizontale). Der horizontale und/oder der vertikale Gesamterfassungsbereich kann in mehrere Raum winkelabschnitte unterteilt sein.
Ein Grappen-Montagekörper nach Anspruch 7 führt zu einer vorteilhaften Lage- und Orientierung s Stabilität der Kameras der jeweiligen Kamera- Gruppe.
Ein Grappen-Montagekörper nach Anspruch 8 führt zu einer Kamera- Gruppe, die an die jeweiligen Abbildungs- und Zuordnungsanforderangen angepasst werden kann. Der Grappen-Montagekörper kann beispielsweise eine vorbereitete Halte-Aufnahme, zwei vorbereitete Aufnahmen oder auch mehr als zwei vorbereitete Halte-Aufnahmen zur Montage zusätzlicher Kameras aufweisen. Die jeweilige Halte-Aufnahme kann komplementär zu einer entsprechend zugeordneten Halterang einer aufzunehmenden Kamera ausgeführt sein.
Die eingangs genannte Aufgabe ist ebenfalls gelöst durch eine optische Baugruppe mit den im Anspruch 9 angegebenen Merkmalen. Eine Fischaugen- Kamera ist eine Kamera mit einem Fischaugenobjektiv. Ein Öffnungs- bzw. Bildwinkel eines solchen Fischaugenobjektivs kann bis zu 310° betragen. Regelmäßig beträgt der Bildwinkel eines Fischaugenob jektivs mindestens 180° in der Bilddiagonalen. Eine Brennweite des Fisch augenobjektivs kann im Bereich zwischen 4 mm und 20 mm liegen. Eine typische Brennweite liegt bei 4,5 mm oder im Bereich zwischen 8 und 10 mm. Eine Abbildungsfunktion des Fischaugenobjektivs kann winkeltreu, kann äquidistant, kann flächentreu oder kann auch orthografisch sein. Das Fischaugenobjektiv kann auch eine parametrische Abbildung in Form einer nicht-fundamentalen Abbildungsfunktion aufweisen.
Die Merkmale der vorstehend erläuterten optischen Baugruppen können je nach Ausführung auch miteinander kombiniert werden.
Durch den Einsatz von Fischaugen-Kameras kann sich die Zahl der not wendigen Kameras der optischen Baugruppe zur Abdeckung erforderlicher Raumwinkelabschnitte oder zur Abdeckung eines erforderlichen horizonta len und/oder vertikalen Gesamterfassungsbereichs vorteilhaft klein sein.
Eine Doppel-Kamera nach Anspruch 10 erweitert die Möglichkeiten der optischen Baugruppe. Die Doppel-Kamera kann voneinander getrennte, aneinander aber räumlich nahe benachbarte Kameraoptiken für den RGB- Sensor einerseits und für den IR-Sensor andererseits aufweisen. Ein Ab stand zwischen den optischen Achsen der RGB -Kameraoptik einerseits und der IR-Kameraoptik andererseits kann kleiner sein als 35 mm. Die beiden Sensoren und/oder die beiden Kameraoptiken der Doppel-Kamera können auf einem gemeinsamen Träger montiert sein. Ein Auslesen von Bildin formationen der Doppel-Kamera kann gestitcht erfolgen, sodass zum Bei spiel eine Zeile des RGB-Sensors und anschließend eine Zeile des IR- Sensors ausgelesen wird. Zusätzlich zu dem IR-Sensor kann auch noch eine IR-Lichtquelle zum Einsatz kommen, mit der insbesondere eine textu rierte IR-Beleuchtung der zu erfassenden Szenerie erfolgen kann. Die Sen soren mit den unterschiedlichen Erfassungs-Wellenlängenbereichen ermög lichen eine verbesserte Treffergenauigkeit bei der Erfassung und Zuord nung der Umgebungs-Objekte.
Eine Hybrid-Kamera nach Anspruch 11 führt ebenfalls zu einer Erweite rung der Möglichkeiten der optischen Baugruppe. Die Hybrid-Kamera kann einen vergrößerten Entfemungsbereich abdecken, was eine Erhöhung der Sicherheit der optischen Baugruppe gewährleistet. Die Nahbereichs- Optik kann als Fischaugenoptik ausgeführt sein. Die Fembereichs-Optik kann als Teleoptik ausgeführt sein. Die beiden Optiken der Hybrid-Kamera können auf einem gemeinsamen Träger montiert sein. Die Nahbereichs- Optik kann eine Doppel-Kamera mit einem RGB-Sensor und mit einem IR-Sensor insbesondere nach Art des Anspruchs 10 aufweisen. Entspre chend kann auch die Fembereichs-Optik eine Doppel-Kamera mit einem RGB-Sensor und mit einem IR-Sensor aufweisen.
Ein Datenverarbeitungsmodulsystem nach Anspmch 12 gewährleistet eine effiziente Echtzeit-Erfassung und Echtzeit-Zuordnung der Umgebungs- Objekte. Die Aufteilung des Datenverarbeitungsmodulsystems in den Ka mera-Gruppen jeweils einzeln zugeordnete Gmppenmodule und in ein al len Kamera-Gmppen zugeordnetes Hauptmodul ermöglicht eine Verarbei tungsorganisation, die auf Gruppenmodulebene eine sehr schnelle erste Erfassung und Zuordnung ermöglicht, wobei auf der Hauptmodulebene dann noch eine Verifizierung ausgewählter Aspekte, insbesondere eine Ve rifizierung von auf Gruppenmodulebene zweifelhaften Zuordnungen, er folgen kann. Zwischen den Datenverarbeitungs-Gruppenmodulen kann eine Signal Verbindung zwischen verschiedenen Kameragrappen zur Er möglichung einer Echtzeit-Zuordnung auf Grundlage der Kameradaten verschiedener Kameragrappen in der Grappenebene vorliegen. Auf Grap- penebene kann somit eine Inter-Baseline-Auswertung erfolgen. Das Hauptmodul kann einen Coprozessor bzw. einen Überwachungsprozessor zur Sicherstellung einer korrekten Funktion des Hauptmoduls aufweisen. Zwischen den Grappenmodulen kann ein serieller Datentransfer nach dem Standard MIPI/CSI erfolgen. Soweit eine Hybrid-Kamera zum Einsatz kommt, können die Nahbereichs-Optik einerseits und die Fembereichs- Optik andererseits mit einem eigenen Datenverarbeitungs-Grappenmodul in Signal Verbindung stehen. Auch mehr als ein Datenverarbeitungs- Grappenmodul kann ein und derselben Kameragrappe zugeordnet sein. Dies ist insbesondere dann der Fall, wenn innerhalb einer Kamera-Gruppe mehrere verschiedene Kameratypen zum Einsatz kommen, beispielsweise mindestens zwei der drei nachfolgenden Kameratypen: Einzel-Kamera, Doppel-Kamera, Hybrid-Kamera.
Mindestens eine Redundanz-Komponente nach Anspruch 13 erhöht die Fehlersicherheit der optischen Baugruppe. Es kann eine Ausfallsicherheits- Redundanz (fall redundancy), eine Funktional-Redundanz (functional re- dundancy) und auch eine Form-Redundanz (form redundancy) bereitge stellt werden.
Bei Vorliegen einer Funktional-Redundanz hegen mehrere Messsysteme mit gleicher Technologie vor, die dasselbe messen. Die Redundanz- Komponente ist dann technisch genauso ausgelegt wie eine Grand- Komponente. Ein Beispiel hierfür ist eine zusätzliche Redundanz-Kamera, die genauso aufgebaut ist wie die ursprünglich vorgesehenen Kameras ei ner der Kamera-Gruppen. Bei Vorliegen einer Form-Redundanz messen Messsysteme mit unter schiedlicher Technologie dasselbe. Ein Beispiel für eine solche Form- Redundanz ist die Erfassung von Objekten einerseits mithilfe einer für sichtbares Licht empfindlichen Kameras, zum Beispiel mit einer RGB- Kamera, und mit einer für infrarotes Licht empfindlichen Kamera. Die un terschiedlichen Messsysteme kommen dabei insbesondere bei der Abbil dung sowie der Zuordnung der abgebildeten Objekte zum Einsatz. Bei Vorliegen einer Fail- Safe-Redundanz führt das Feststellen eines Wi derspruchs zwischen zwei Messungen zur Signalisierung eines Fehlers und zum Anhalten eines Fahrzeugs, mit dem die optische Baugruppe ausgerüs tet ist, in einen sicheren Zustand. Bei Vorliegen einer Fail-Operational-Redundanz führt das Feststellen eines Widerspruchs zwischen mindestens drei Messungen mit Votum für zwei gleiche Messungen (Mehrheitsentscheid) zu einer Warnung mit Fortset zung einer durchgeführten Operation des Fahrzeugs. Soweit eine Kompo nente der Baugruppe ausfällt, muss eine Ersatz- bzw. Redundanz- Komponente für die ausgefallene Komponente vorhanden sein, damit wei terhin eine derartige Mehrheitsentscheidung getroffen werden kann.
Eine Kamera-Gruppe mit mindestens zwei Doppel-Kameras, ggf. mit drei oder vier Doppel-Kameras, jeweils mit einem RGB-Sensor und mit einem IR-Sensor stellen hinsichtlich der mehreren RGB-Sensoren einerseits sowie unabhängig hiervon hinsichtlich der mehreren IR-Sensoren andererseits eine funktional redundante Anordnung dar. Die Kombination mindestens jeweils eines RGB-Sensors und eines IR-Sensors ist form-redundant. Von der jeweiligen Redundanz-Komponente erfasste bzw. verarbeitete Da ten können erst bei einer Auswahl der zu ersetzenden Komponente zum Einsatz kommen. Alternativ können diese Daten der Redundanz- Komponente im Normalbetrieb zur Erhöhung einer Abbildungs- und Zu ordnungsgenauigkeit und/oder zur Erhöhung einer Abbildungs- und Zu ordnungsgeschwindigkeit herangezogen werden.
Die Vorteile eines Fahrzeugs nach Anspruch 14 entsprechen denen, die vorstehend unter Bezugnahme auf die optische Baugruppe bereits erläutert wurden. Bei dem Fahrzeug kann es sich um ein Straßen-, um ein Schienen oder um ein Luftfahrzeug handeln. Beim Einsatz der optischen Baugruppe in einem Luftfahrzeug kann mithilfe der Echtzeit- Abbildung und Echtzeit- Zuordnung von Umgebungs-Objekten insbesondere ein Start- oder Lande vorgang überwacht werden. Zur Abdeckung eines möglichst großen Raumwinkels kann eine Baseline-Vemetzung der Kameras der verschiede nen Kamera-Gruppen nach Art eines Dodekaeders oder eines Ikosaeders oder einer anderen Flächenannäherang an eine Kugeloberfläche bezie hungsweise an deren Abschnitte erfolgen.
Ein schräger Baseline-Verlauf nach Anspruch 15, der weder genau hori zontal noch genau vertikal zur Fahrzeug- Anordnungsebene verläuft, ver meidet eine unerwünschte Resonanz bei der Abbildung beziehungsweise eine unerwünschte Fehlzuordnung von Umgebungs-Objekten.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. In dieser zeigen:
Fig. 1 schematisch und perspektivisch schräg von oben ein Fahr zeug, ausgeführt als Personenkraftwagen, mit einer optischen Baugruppe zur Erzeugung einer Echtzeit- Abbildung und Echtzeit-Zuordnung von Umgebungs-Objekten;
Fig. 2 zwei Kamera-Gruppen der optischen Baugruppe, wobei diese Kamera-Gruppen von einer Montageseite eines jeweiligen Gruppen-Montagekörpers her perspektivisch gesehen darge stellt sind;
Fig. 3 schematisch Aufnahmemöglichkeiten der beiden Gruppen- Montagekörper nach Fig. 2 zur Kameramontage zweier Ka mera-Gruppen, wobei die bei der dargestellten Ausführung für die Kameramontage verwendeten Halte-Aufnahmen her vorgehoben sind und wobei für einige der verwendeten Ka meras Verbindungslinien (Baselines) zwischen Eintrittspupil- len-Zentren dieser Kameras ebenfalls dargestellt sind;
Fig. 4 eine weitere Ausführung eines Fahrzeugs, ausgeführt als Golf-Cart, mit einer weiteren Ausführung der optischen Bau gruppe zur Erzeugung einer Echtzeit- Abbildung und Echtzeit- Zuordnung von Umgebungs-Objekten unter Verwendung von Kamera-Gruppen mit den Gruppen-Montagekörpem nach Fig. 2;
Fig. 5 eine schematische Aufsicht auf eine Kamera- Anordnung der optischen Baugruppe nach Fig. 1 oder 4, wobei Bildaufnah merichtungen der Kameras der Kamera-Gruppen der opti schen Baugruppe gezeigt sind; Fig. 6 eine Seitenansicht der Bildaufnahmerichtungen der optischen Baugruppe nach Fig. 1 oder 4, gesehen aus Blickrichtung VI in Fig. 5; Fig. 7 in einer zu Fig. 3 ähnlichen Darstellung zwei Kamera- Gruppen der optischen Baugruppe mit zusätzlichen Signal verarbeitungskomponenten;
Fig. 8 eine Kamera einer der Kamera-Gruppen, ausgeführt als Dop pel-Kamera mit einem RGB-Sensor und mit einem IR- Sensor;
Fig. 9 eine Kamera einer der Kamera-Gruppen, ausgeführt als Hyb- rid-Kamera mit einer Nahbereichs-Optik und mit einer Fem- bereichs-Optik;
Fig. 10 in einer im Vergleich zu Fig. 3 etwas detaillierteren Darstel lung zweier Kamera-Gruppen sowie mögliche Baseline- Verbindungen zwischen einzelnen Kameras dieser beiden Kamera-Gruppen;
Fig. 11 eine Aufsicht auf eine Anordnung von insgesamt sechs Ka mera-Gruppen an einem Träger, entsprechend derjenigen nach Fig. 4;
Fig. 12 schematisch ein Schaltschema einer Ausführung der opti schen Baugruppe, exemplarisch dargestellt für drei Kamera- Gruppen, wobei beispielhafte Signalverbindungen zwischen den als Doppel-Kameras nach Fig. 8 ausgeführten Kameras der Kamera-Gruppen, zwischen Datenverarbeitungs- Grappenmodulen (nodes), die jeweils den Kamera-Gruppen zugeordnet sind sowie zwischen einem Datenverarbeitungs- Hauptmodul, das allen Kamera-Gruppen zugeordnet ist, dar gestellt sind; und
Fig. 13 in einer zu Fig. 12 ähnlichen Darstellung eine Ausführung der optischen Baugruppe, wobei jeweils eine Kamera von zwei der drei dargestellten Kamera-Gruppen als Hybrid-Kamera nach Fig. 9 ausgeführt ist, wobei diesen Hybrid-Kameras ein zusätzliches DatenverarbeitungsGruppenmodul auf einer Sig nalverarbeitungsebene der Datenverarbeitungs- Gruppenmodule zugeordnet ist.
Fig. 1 zeigt schematisch und perspektivisch ein Fahrzeug 1 mit einer opti schen Baugruppe 2 zur Erzeugung einer Echtzeit-Abbildung und Echtzeit- Zuordnung von Umgebungs-Objekten einer aktuellen Umgebungs- Szenerie. Die optische Baugruppe 2 versetzt das Fahrzeug 1 insbesondere in die Lage einer autonomen Fortbewegung ohne Eingriff eines Fahrzeug führers.
Beim Fahrzeug 1 nach Fig. 1 handelt es sich um einen Personenkraftwa gen. Auch eine andere Ausführung eines Straßenfahrzeugs, beispielsweise ein LKW, oder auch ein Schienen- oder Luftfahrzeug, beispielsweise ein Passagier- oder Lastflugzeug oder auch ein Helikopter, insbesondere auch eine Drohne, stellen Beispiele für ein entsprechendes Fahrzeug dar.
Zur Verdeutlichung von Lagebeziehungen wird nachfolgend ein kartesi sches xyz-Koordinatensystem verwendet. In der perspektivischen Fig. 1 verläuft die x-Achse in Fahrtrichtung des Fahrzeugs 1. Die x- und y- Achse spannen eine Ebene parallel zu einer Fahrzeug- Aufstandsebene auf, auf ebenem, horizontalem Untergrund, also eine horizontale Ebene. Die z- Achse verläuft senkrecht zu der xy-Ebene vertikal nach oben.
Das Fahrzeug 1 hat ein Fahrwerk mit Rädern la als bodenseitigen Fahr werkskomponenten, die bei ruhendem Fahrzeug 1 eine Fahrzeug- Auf standsebene, nämlich die xy-Ebene definieren.
Die optische Baugruppe 2 hat eine Mehrzahl von Kamera-Gruppen 3, 4, 5, 6, 7 und 8, die in etwa auf Höhe einer umlaufenden Karosserie-Gürtel- ebene, die auf Höhe von Oberkanten der Fahrzeug-Kotflügel verläuft, an einem Rahmen des Fahrzeugs 1 angebracht sind. Sichtbar sind in der Fig. 1 die Kamera-Gruppen 3 bis 7. Die in der Darstellung nach Fig. 1 an sich verdeckte Kamera-Gruppe 8 ist ebenfalls schematisch angedeutet.
Die beiden Kamera-Gruppen 3 und 4 sind vorne am Fahrzeug an den bei den vorderen Karosserie-Eckbereichen angebracht, wo die vorderen Kot flügel, die Motorhaube und die Fahrzeugfront jeweils aneinander angren zen. Die beiden Kamera-Gruppen 5 und 8 sind im Bereich eines unteren Abschlusses einer B-Säule zwischen jeweils den beiden seitlichen Fahr zeugtüren angebracht. Die beiden Kamera-Gruppen 6, 7 sind jeweils im Bereich hinterer Karosserieecken angebracht, wo die hinteren Kotflügel, die Kofferraumklappe und eine Fahrzeug-Rückseite aneinander angrenzen. Die Kamera-Gruppen 3 bis 8 sind mit einem Abstand von mindesten 50 cm zur Fahrzeug- Aufstandsebene xy angebracht.
Die beiden Kamera-Gruppen 3 und 4 stellen in Bezug auf die Fahrtrichtung x des Fahrzeugs 1 zwei vordere Kamera-Gruppen dar und die Kamera- Gruppen 6 und 7 zwei hintere Kamera-Gruppen. Die beiden Kamera- Gruppen 5 und 8 stellen in Bezug auf die Fahrtrichtung x des Fahrzeugs 1 zwei seitliche Kamera-Gruppen dar. Aufgrund der eckseitigen Anordnung der Kamera-Gruppen 3, 4, 6 und 7 haben diese Kamera-Gruppen gleichzei tig die Funktion seitlicher Kamera-Gruppen, sodass die Kamera-Gruppen
3, 8 und 7 auch als linksseitige Kamera-Gruppen und die Kamera-Gruppen
4, 5 und 6 auch als rechtzeitige Kamera-Gruppen des Fahrzeugs 1 bezeich net werden.
Jede der Kamera-Gruppen hat mindestens drei über jeweils eine Kamera- Signalverbindung in Form einer Datenverarbeitungseinheit 9 (vgl. Fig. 2) miteinander verknüpfte Kameras.
Fig. 2 zeigt stärker im Detail die beiden Kamera-Gruppen 7 und 8 der opti schen Baugruppe 2. Die Zeichenebene der Fig. 2 ist parallel zur xz-Ebene und die Blickrichtung der Fig. 2 fällt auf eine Montageseite der jeweiligen Kamera-Gruppe 7, 8. Die Kamera-Gruppen 3 bis 8 sind grundsätzlich gleich aufgebaut, sodass es nachfolgend hauptsächlich genügt, beispielhaft die Kamera-Gruppe 7 zu beschreiben. Die Kamera-Gruppe 7 hat einen Gruppen-Montagekörper 10 zur Montage von Kameras lb, 127, 137 der Kamera-Baugruppe 7.
Die Kameras 11 bis 13 der jeweiligen Kamera-Baugruppe 3 bis 8 werden nachfolgend jeweils mit einem Index i, nämlich der Bezugsziffer der jewei ligen Kamera-Gruppe 3 bis 8 bezeichnet, um die Zuordnung der jeweiligen Kamera 11 bis 13 zur jeweiligen Kamera-Gruppe 3 bis 8 zu verdeutlichen.
Der Gruppen-Montagekörper 10 ist so ausgeführt, dass er die Kameras 11 bis 13 der jeweiligen Kamera-Gruppe 3 bis 8 mit zueinander fester Relativ- Lage und Relativ-Orientierang trägt. Der Grappen-Montagekörper 10 hat zusätzlich zu Aufnahmen für die Kameras 11 bis 13 auch noch vorbereitete Halte-Aufnahmen 147, 157 zur Montage zusätzlicher Kameras. Die jeweili ge Kamera-Gruppe 3 bis 8 kann somit nachträglich um mindestens eine weitere zu montierende Kamera erweitert werden. Im dargestellten Ausfüh rungsbeispiel hat jede der Kamera-Gruppen 3 bis 8 genau drei verbaute Kameras 11 bis 13 und genau zwei zusätzliche, vorbereitete Aufnahmen, sodass die jeweilige Kamera-Gruppe 3 bis 8 je nach Belegung dieser vor bereiteten Kamera-Halte-Aufnahmen mit zwei Kameras, mit drei Kameras, mit vier Kameras oder mit fünf Kameras bestückt werden kann. Je nach Ausführung des Gruppen-Montagekörpers 10 sind Kamera-Gruppen mit drei bis beispielsweise zehn Kameras möglich.
Fig. 3 zeigt für ausgewählte Kameras, nämlich die Kamera 137 der Kame ra-Gruppe 7 und die Kameras 1 ls, 12s und 13s der Kamera-Gruppe 8, Ver bindungslinien zwischen Eintrittspupillen-Zentren EPZ dieser Kameras 11 bis 13, die auch als Baselines bezeichnet werden. Die Eintrittspupillen- Zentren EPZ der Kameras 1 L, 12i, 13i einer Kamera-Gruppe i definieren eine Kamera-Anordnungsebene AE (vgl. Fig. 3 rechts), in der die Kameras 1 li bis 13i einer der Kamera-Gruppen 3 bis 8 angeordnet sind. Die in der Fig. 3 rechts für die Kamera-Gruppe angedeutete Kamera-Anordnungs ebene AE muss nicht parallel zur xz-Ebene verlaufen und tut dies regelmä ßig auch nicht. Regelmäßig beträgt ein Winkel zwischen der Kamera- Anordnungsebene AE und einer der Hauptebenen xy, xz, yz der Fahrzeug- Koordinaten xyz zwischen 10° und 80°.
Die Länge der Baselines B zwischen den Eintrittspupillen-Zentren EPZ zweier Kameras 11, 12; 11, 13; 12, 13 einer Kamera-Gruppe 3 bis 8 liegt im Bereich zwischen 5 cm und 30 cm. Je nach Ausführung der Kamera- Gruppe 3 bis 8 kann die Länge dieser Baselines B auch im Bereich zwi schen 10 cm und 20 cm oder im Bereich zwischen 10 cm und 15 cm liegen.
Zusätzlich sind in der Fig. 3 noch Intergruppen-Baselines Bij zwischen Kameras 11 bis 13 der beiden Kamera-Gruppen 7, 8 hervorgehoben. Die Längen dieser Intergruppen-Baselines Bij hegt im Bereich zwischen 0,5 m und 3 m. Diese Länge der Intergruppen-Baselines Bij ist vergleichbar zum Abstand der jeweils benachbarten Kamera-Gruppen 3 bis 8. Die Länge der Intergruppen-Baselines Bi kann je nach Anordnung der Kamera-Gruppen 3 bis 8 auch im Bereich zwischen 1 m und 2 m hegen.
Die Länge der Baselines Bij zum Beispiel zwischen den Kameras 1 L, 12s der Kamera-Gruppe 8 und der Kamera 137 der Kamera-Gruppe hegt im Bereich zwischen 0,5 m bis 3 m und kann beispielsweise im Bereich zwi schen 1 m und 2 m hegen.
Die Eintrittspupillen-Zentren EPZ der Kameras 11 bis 13 einer der Kame ra-Gruppen 3 bis 8 hegen in den Ecken eines nicht gleichseitigen Dreiecks 16. Das jeweilige Dreieck 16 kann zwei oder drei unterschiedliche Seiten längen, also zwei oder drei unterschiedlich lange Baselines B aufweisen.
Die Baselines B zwischen den Kameras 11 bis 13 einer Kamera-Gruppe 3 bis 8 verlaufen unter einem Winkel zur Fahrzeug- Anordnungsebene xy im Bereich zwischen 10° und 80°, verlaufen also weder genau horizontal noch genau vertikal.
In der Fig. 3 ist für eine Kamera-Paarung 12s, 13s ein Winkel d zwischen der zugehörigen Baseline B und der Fahrzeug- Aufstandsebene xy einge- zeichnet. Dieser Winkel d liegt bei etwa 70°, liegt also zwischen 10° und 80°.
Die Kamera-Gruppen 3 bis 8 sind miteinander wiederum über eine Grup- pen-Signalverbindung zwischen den jeweiligen Datenverarbeitungseinhei ten 9 verbunden. Weder die Kamera- Signalverbindungen noch diese Grup- pen-Signalverbindung ist in der Fig. 2 tatsächlich dargestellt.
Eine der Kameras 11 bis 13 der jeweiligen Kamera-Gruppe 3 bis 8, bei spielsweise die Kamera 11, kann, was die Signalverarbeitung über die Da tenverarbeitungseinheiten 9 angeht, als Master-Kamera definiert sein und die anderen Kameras 12, 13 als Slave-Kameras.
Eine der Kamera-Gruppen 3 bis 8 kann, was die Signalverarbeitung über die Datenverarbeitungseinheiten 9i angeht, als Master-Kamera-Gruppe de finiert sein und die anderen als Slave-Kamera-Gruppen.
Fig. 4 zeigt eine weitere Anordnung s Variante der Kamera-Gruppen 3 bis 8 an einer Ausführung des Fahrzeugs 1 als Golf-Cart. Sichtbar sind in der Fig. 4 die Kamera-Gruppen 3 bis 6.
Komponenten und Funktionen, die denjenigen entsprechen, die vorstehend unter Bezugnahme auf die Fig. 1 bis 3 bereits erläutert wurden, tragen die gleichen Bezugsziffem und werden nicht nochmals im Einzelnen disku tiert.
Die Kamera-Gruppen 3 bis 8 sind beim Fahrzeug 17 nach Fig. 4 im Dach bereich angeordnet, wobei die Zuordnung der Kamera- Gruppen 3 bis 8 zu den Richtungen „vorne“, „hinten“, „linksseitig“ und „rechtsseitig“ so ist, wie vorstehend im Zusammenhang mit dem Fahrzeug 1 nach Fig. 1 erläu tert.
Bildaufnahmerichtungen der Kameras 3 bis 8 sind in den Fig. 5 und 6 am Beispiel der Anordnungen der optischen Baugruppe 2 nach Fig. 1 und 4 veranschaulicht. Fig. 5 zeigt dabei eine Aufsicht auf das Fahrzeug 1 bzw. 17, wobei lediglich die Kameras 3 bis 8 dargestellt sind, und Fig. 6 zeigt eine entsprechende Seitenansicht.
In den Fig. 5 und 6 ist eine jeweilige Bildaufnahmerichtung 18 der Kame ras 11 bis 13 doppelt indiziert in der Form 18^ dargestellt, wobei der Index i die Zuordnung der Bildaufnahmerichtung 18 zur jeweiligen Kamera- Gruppe 3 bis 8 und der Index j die Zuordnung zur jeweiligen Kamera 11 bis 13 dieser Kamera-Gruppe 3 bis 8 wiedergibt.
Benachbarte Bildaufnahmerichtungen 18in bis 18i13 der Kameras 11 bis 13 einer der Kamera-Gruppen i haben einen Einzelkamera- Winkel a zueinan der, der im Bereich zwischen 5° und 25° und beispielsweise bei 15° liegt.
Typischerweise deckt jede der Kamera-Gruppen i (i = 3 bis 8) über die Bildaufnahmerichtungen 18in bis 18i13 einen Gesamt-Bildaufnahmewinkel ß von typischerweise 30° ab.
Den Bildaufnahmerichtungen 18in bis 18i13 der Kameras 11 bis 13 einer der Kamera-Gruppen i kann jeweils ein Richtungs-Mittelwert 19 zugeord net werden. Für die Kamera-Gruppe 3 ist in den Figuren 5 und 6 die Rich tung eines solchen Richtungs-Mittelwertes 193 gestrichelt dargestellt. Die ser jeweilige Richtungs-Mittelwert 193 ist der Mittelwert der Bildaufnah merichtungen I8311 bis I8313. Die Richtungs-Mittelwerte 19i, 19j der Bildaufnahmerichtungen der Kame ras 11 bis 13 benachbarter Kamera-Gruppen i, j nehmen einen Gruppen kamera-Winkel g (vgl. Fig. 5) zueinander ein, der im Bereich zwischen 30° und 100° liegt und der bei der Ausführung nach den Fig. 5 und 6 etwa bei 60° liegt.
Bei einer nicht dargestellten Ausführung der optischen Baugruppe 2 kön nen auch weniger als sechs Kamera-Gruppen vorliegen, beispielsweise drei Kamera-Gruppen, vier Kamera-Gruppen oder fünf Kamera-Gruppen. Auch mehr als sechs Kamera-Gruppen sind möglich.
Die Kamera-Gruppen können so angeordnet sein, dass ein horizontaler Ge samterfassungsbereich (Azimutwinkel von Polarkoordinaten) von 360° erreichbar ist, wie dies bei der Anordnung der Kamera-Gruppen 3 bis 8 nach den Figuren 1 bis 6 der Fall ist. Die Anordnung der Kamera-Gruppen kann auch so sein, dass ein vertikaler Gesamterfassungsbereich (Polarwin kel von Polarkoordinaten) von 180° erreicht wird. Dies ist bei Landfahr zeugen regelmäßig nicht erforderlich, weswegen dieser vertikale Gesamter- fassungsbereich bei den Anordnungen der Kamera-Gruppen 3 bis 8 nach den Fig. 1 bis 6 nicht erzielt wird. Bei Anordnungen von Kamera-Gruppen insbesondere für Luftfahrzeuge kann ein vertikaler Gesamterfassungsbe reich erreicht werden, der größer ist als 90°, der größer ist als 120°, der größer ist als 150° und der insbesondere 180° beträgt. Die Kameras der Kamera-Gruppen können insbesondere als Fischaugen- Kameras ausgeführt sein.
Anhand der Figur 7 wird nachfolgend ein Verfahren zur Erzeugung einer redundanten Abbildung eines Messobjekts erläutert. Komponenten und Funktionen, die denjenigen entsprechen, die vorstehend unter Bezugnahme auf die Fig. 1 bis 6 bereits erläutert wurden, tragen die gleichen Bezugszif- fem und werden nicht nochmals im Einzelnen diskutiert.
Figur 7 zeigt hierzu zwei Gruppen 7, 8 zu je drei Kameras 11 bis 13. Die Gruppen 7 einerseits und 8 andererseits haben jeweils eine zugeordnete Datenverarbeitungseinheit 9h, 9s zur Verarbeitung und Auswertung der von den zugehörigen Kameras der Kamera-Gruppe 7, 8 erfassten Bilddaten.
Die beiden Datenverarbeitungseinheiten 9h, 9s stehen über eine Signallei tung 21 miteinander in Signal Verbindung.
Zur Erfassung einer räumlichen Szenerie können beispielsweise die Kame ras 1 b bis 137 der Gruppe 7 miteinander zusammengeschalten werden, sodass eine 3D-Erfassung dieser räumlichen Szenerie ermöglicht ist. Zur Erschaffung einer zusätzlichen Redundanz dieser räumlichen Bilderfassung kann das Bilderfassungsergebnis beispielsweise der Kamera 1 ls der weite ren Gruppe 8 herangezogen werden, welches der Datenverarbeitungsein heit 9h der Gruppe 7 über die Datenverarbeitungseinheit 9s der Gruppe 8 und die Signalleitung 21 zur Verfügung gestellt wird. Diese Signalleitung 21 stellt eine Gruppen-Signalverbindung zwischen den Kamera-Gruppen 7 und 8 dar. Aufgrund der räumlichen Entfernung der Kamera 1 ls zu den Kameras 117 bis 137 der Gruppe 7 ergibt sich ein bei der Abbildung der räumlichen Szenerie deutlich anderer Blickwinkel, was die Redundanz der räumlichen Bilderfassung verbessert.
Eine räumliche Bilderfassung mit Hilfe der Kameras genau einer Gruppe 7, 8 wird auch als Intra-Bilderfassung bezeichnet. Eine räumliche Bilderfas sung unter Einbeziehung der Kameras von mindestens zwei Gruppen wird auch als Inter-Bilderfassung bezeichnet. Zur Objekt-Entfernungsbestimmung kann, nach erfolgter Erfassung und Zuordnung der Objekte eine Triangulationsbestimmung herangezogen werden. Die Triangulation kann beispielsweise mit den Stereo- Anordnungen der Kameras 12s, 13s, der Kameras 13s, 1 E und der Kameras IE, 12s jeweils unabhängig erfolgen. Die Triangulationspunkte dieser drei Anordnungen müssen jeweils übereinstimmen.
Eine Kamera-Gruppe nach Art der Gruppen 7, 8 kann in Form eines Drei- ecks, zum Beispiel in Form eines gleichschenkligen Dreiecks angeordnet sein. Auch eine Anordnung von sechs Kameras in Form eines Hexagons ist möglich.
Ein durch die jeweilige Gruppe 7, 8 abgedeckter Kamera-Nahbereich kann beispielsweise im Bereich zwischen 80 cm und 2,5 m hegen. Über die Hin zunahme mindestens einer Kamera der jeweils anderen Gruppe kann dann über die Nahbereichs-Grenze hinaus auch ein Fembereich mit der Bilder- fassungs-Vorrichtung erfasst werden. Ein derartiger Fembereich überlappt hinsichtlich seiner Untergrenze mit dem Kamera-Nahbereich und hat eine Obergrenze, die beispielsweise bei 50 m, bei 100 m oder auch bei 200 m liegt.
Jede der Kameras 11 bis 13 hat einen Sensorchip, der als CCD- oder CMOS-Chip ausgebildet sein kann. Der Sensorchip ist als zweidimensiona- les Pixel-Array ausgestaltet. Jedes der Pixel kann rechteckig oder quadra tisch mit einer typischen Pixelerstreckung in der Sensorchip-Ebene im Be reich zwischen 1 mth und 20 mth ausgeführt sein. Eine derartige typische Pixelerstreckung kann im Bereich zwischen 2 mth und 10 mth und insbe sondere im Bereich zwischen 3 mth und 5 mth hegen. Ein Verhältnis zwi- sehen einer Linsenbrennweite einer Kameralinse und der Pixelerstreckung kann im Bereich zwischen 100 und 1.000 liegen. Dieses Verhältnis liegt insbesondere im Bereich zwischen 500 und 700.
Die Kamera kann ein Auflösungsvermögen bereitstellen, welches besser ist als die Pixelerstreckung. Ein Verhältnis zwischen der erreichbaren Auflö sung und der Pixelerstreckung kann beispielsweise im Bereich zwischen 0,1 und 0,5 liegen.
Im Bereich der jeweiligen Obergrenze des Objektabstands kann ein Ab standsfehler im Bereich zwischen 1 % und 5 % toleriert werden. Bei einer Objektabstands-Obergrenze (ausschließliche Verwendung von Intra- Baselines) von 6 m ergibt dies beispielsweise einen Abstandsfehler von 15 mm. Bei einer Objektabstands-Obergrenze (ausschließliche Verwendung von Inter-Baselines) von 120 m ergibt sich ein Abstandsfehler beispiels weise im Bereich von 3 m.
Fig. 8 zeigt eine Ausführung einer der Kameras 11 bis 13, die beispielswei se anstelle der (Einzel-)Kamera 1 h nach Fig. 3 bzw. 7 eingesetzt werden kann. Die Kamera 1 h ist als Doppel-Kamera mit einem RGB-Sensor 25 und einem IR-Sensor 26 ausgeführt. Der RGB-Sensor 25 ist ausgelegt zur Erfassung farbiger Information im sichtbaren optischen Wellenlängenbe reich. Anstelle des RGB-Sensors 25 kann auch ein Monochrom- Sensor für den sichtbaren Wellenlängenbereich zum Einsatz kommen. Der IR-Sensor 26 ist für infrarote Wellenlängen jenseits des sichtbaren Wellenlängenbe reichs empfindlich. Die Sensoren 25 und/oder 26 können als CCD- Sensoren oder als CMOS-Sensoren ausgeführt sein. Die Sensoren 25 und/oder 26 sind als Array- Sensoren mit zeilen- und spaltenweise angeord neten Sensorpixeln ausgeführt. Die beiden Sensoren 25, 26 sind auf einem gemeinsamen Träger 27 mon tiert. Die beiden Sensoren 25, 26 sind jeweils mit einer Kameraoptik 28 (für den RGB-Sensor 25) und 29 (für den IR-Sensor 26) ausgerüstet. Die beiden Kameraoptiken 28, 29 sind voneinander getrennt, aber räumlich zueinander nahe benachbart angeordnet. Ein Abstand doA zwischen den in der Fig. 8 gestrichelt angedeuteten optischen Achsen der beiden Kamera optiken 28, 29 beträgt höchstens 35 mm. Dieser Abstand doA kann im Be reich zwischen 20 und 30 mm hegen und kann auch kleiner sein, bei spielsweise im Bereich zwischen 10 mm und 20 mm oder auch im Bereich zwischen 5 mm und 15 mm. Der kleine Abstand doA sorgt für einen ver nachlässigbaren Bildversatz der Kameraoptiken 28, 29. Dies erleichtert die Auswertung der Erfassungsdaten auf den Sensoren 25, 26. Bei einer alter nativen, nicht dargestellten Ausführung, hat die Doppel-Kamera 1 h eine gemeinsame Kameraoptik für beide Sensoren 25, 26.
Die Doppel-Kamera 1 17 hat zwei Signalausgänge 30A, 30B zum Auslesen von Daten auf den Sensoren 25, 26 hin zu einem Datenverarbeitungsmo dulsystem, welches insbesondere nachstehend noch näher erläutert wird. Bei den Signalausgängen 30A, 30B handelt es sich um parallele Signalaus gänge.
Zusätzlich kann die Doppel-Kamera 117 oder auch generell die optische Baugruppe 2 mit einer IR-Lichtquelle 31 ausgestattet sein, die die mit den Kameras 11 bis 13 zu erfassenden und zuzuordnenden Objekte mit IR- Licht beleuchtet. Bei dieser IR-Beleuchtung durch die IR-Lichtquelle 31 kann es sich um eine Beleuchtung zur Erzeugung einer IR-Texturierung handeln. Diese IR-Texturierung kann so gestaltet sein, dass sie kein regel mäßiges Muster aufweist. Diese IR-Beleuchtung erleichtert eine Erfassung und Zuordnung der Umgebungs-Objekte bzw. eine Erfassung und Zuord nung entsprechender Objektmerkmale bzw. Objektsignaturen.
Bei der IR-Lichtquelle 31 kann es sich um einen Laser handeln. Die IR- Lichtquelle kann eine kurze Belichtung von Umgebungs-Objekten bewerk stelligen. Die jeweilige Kamera 11 bis 13 oder auch generell die optische Baugruppe 3 kann mit einem schmalbandigen Filter zur Auswahl bestimm ter Wellenlängenbereiche ausgerüstet sein. Hierüber kann eine Vorfilterung von Abbildungslicht erfolgen, welches auf die Sensoren 25 bzw. 26 ge langt. Bei Verwendung eines schmalbandigen IR-Filters kann, abgesehen von Wärmequellen, Umgebungslicht effektiv gefiltert werden. Eine ent sprechende Vorfilterung kann alternativ oder zusätzlich auch zeitlich mit hilfe eines insbesondere mit einer Pulsfrequenz der IR-Lichtquelle 31 syn chronisierten Shutters geschehen.
Anstelle einer Doppel-Kamera nach Art der Kamera 1 U nach Fig. 8 mit getrennten Sensoren 25, 26 kann auch ein RGBIR-Sensor zum Einsatz kommen, was in der Zeichnung ebenfalls nicht dargestellt ist. Dieser RGBIR-Sensor kann mit einer Dreischritt-Erfassungssequenz betrieben werden. Mit langer Belichtungszeit kann dabei ein RGB-Anteil erfasst werden. Im Rahmen eines ersten kurzen Belichtungsschritts kann ein erster IR-Belichtungsanteil erfasst und in einem zweiten kurzzeitigen Belich- tungsschritt ein zweiter IR-Belichtungsanteil erfasst werden. Beide IR- Belichtungsanteile können voneinander abgezogen werden.
Ein entsprechender RGBIR-Sensor ist grundsätzlich bekannt aus dem Fachprospekt „RGB+IR Technology“, abrufbar unter www.framos.com. Mit einem derartigen RGBIR- Sensor können mit genau einem Sensor Ar- ray sowohl sichtbare Wellenlängen (RGB, rot grün blau) als auch infrarote Wellenlängen (IR) gemessen werden.
Ein derartiger RGBIR-Sensor kann wie folgt betrieben werden: Zu einem Zeitpunkt tl werden RGB-Signale während einer Belichtungszeit von zum Beispiel 10 ms eingelesen. Zu einem weiteren Zeitpunkt t2 werden IR- Signale mit gleichzeitiger IR-Belichtung während einer Zeitspanne kleiner als 1 ms eingelesen. Zu einem weiteren Zeitpunkt t3 werden IR-Signale ohne zusätzliche IR-Belichtung eingelesen. Die Differenz der Bilder zu den Zeitpunkten t2 und t3 stellt, abgesehen von einer Objektbewegung im Zwi schenzeitraum, ausschließlich die Wirkung der IR-Belichtung dar, elimi niert also Tages- oder Sonnenlichtanteile. Der RGB-Zeitpunkt tl sollte auf oder zwischen den Zeitpunkten t2 und t3 liegen.
Der IR-Sensor der Doppel-Kamera nach Art der Kamera 1 h oder ein IR- Sensoranteil eines RGBIR-Sensors kann zwei Ladungsspeicher aufweisen. Unter Zuhilfenahme eines derartigen IR-Sensors mit zwei Ladungsspei- chem können IR-Differenz-Bilder entsprechend dem, was vorstehend im Zusammenhang mit den Bildern zum Zeitpunkt t2 und t3 ausgeführt wurde, bereits aus einer Ladungsdifferenz von zwei kurz nacheinander aufge nommenen Ladungen mit einem derartigen IR-Sensor gewonnen werden.
Ein Datenauslesevorgang der beiden Sensoren 25, 26 kann in gestitchter Lorm erfolgen, sodass zum Beispiel eine Zeile des RGB-Sensors 25 und anschließend eine Zeile des IR-Sensors 26 ausgelesen wird. Auf diese Wei se können einem Kandidaten-Objektpunkt RGB- und IR- Informationen zugewiesen werden. Altemativ ist es möglich, beide Sensoren 25, 26 sequenziell auszulesen.
Fig. 9 zeigt eine Ausführung einer der Kameras 11 bis 13 als Hybrid- Kamera, die anstelle beispielsweise der (Einzel-)Kamera 1 ls zum Einsatz kommen kann. Diese Hybrid-Kamera 1 ls hat eine Nahbereichs-Optik 32 und eine Fembereichs-Optik 33. Die Nahbereichs-Optik 32 kann als Fisch augenoptik ausgeführt sein. Die Fembereichs-Optik 33 kann als Teleoptik ausgeführt sein.
Die Nahbereichs-Optik 32 ist Bestandteil einer Nahbereichs-Doppel- Kamera nach Art der Doppel-Kamera 117, die vorstehend unter Bezug nahme auf die Fig. 8 erläutert wurde. Die Fembereichs-Optik 33 ist Be standteil einer Doppel-Fembereichs-Kamera ebenfalls mit dem grundsätz lichen Aufbau entsprechend der Doppel-Kamera 117 nach Fig. 8. Entspre chend sind in der Fig. 9 für Komponenten, die diejenigen der Fig. 8 ent sprechen, gleiche Bezugsziffem vergeben. Den beiden Bereichs-Optiken 32, 33 der Hybrid-Kamera lls ist jeweils ein Träger 27 zugeordnet. Die beiden Träger 27 sind über eine starre Verbindungskomponente 34 mitei nander fest verbunden. Die starre Verbindungskomponente 34 stellt sicher, dass keine unerwünschte Verlagemng zwischen den beiden Trägem 27 der Bereichs-Optiken 32, 33 stattfindet.
Ein Lateralabstand dm zwischen der Nahbereichs-Optik 32 und der Fem bereichs-Optik 33 ist kleiner als 50 mm und kann kleiner sein als 25 mm, kleiner als 20 mm, kleiner als 15 mm oder auch kleiner als 10 mm. Dieser Abstand zwischen den beiden Bereichs-Optiken 32, 33 kann insbesondere so klein sein, dass ein Bildversatz zwischen der Nahbereichs-Optik 32 und der Fembereichs-Optik 33 bei der Datenauswertung innerhalb der opti schen Baugruppe 2 nicht ins Gewicht fällt. Signalausgänge zu den Sensoren 25, 26 der Fembereichs-Optik 33 sind in der Fig. 9 mit 35A und 35B bezeichnet und entsprechen grundsätzlich den Signalausgängen 30A, 30B, die oben im Zusammenhang mit Fig. 8 erläutert wurden.
Die Fembereichs-Optik 33 kann zur Erfassung von Objekten in einem Ab stand im Bereich zwischen 50 m und 300 m ausgeführt sein, insbesondere im Abstandsbereich zwischen 80 m und 150 m, beispielsweise im Ab- standsbereich von 100 m.
Die Fembereichs-Optik 33 ermöglicht eine höhere Distanzauflösung in diesem größeren Abstandsbereich. Der Abstandsbereich, in dem die Fern- bereichs-Optik 33 eine hohe Auflösung bietet, grenzt an den Abstandsbe- reich, an dem die Nahbereichs-Optik 32 eine hohe Auflösung bietet, ent weder unmittelbar an oder überlappt mit diesem Abstandsbereich.
Ein Vertikalwinkel zwischen der mindestens einen optischen Achse der Fembereich-Optik 33 zur Horizontalen kann kleiner sein als ein entspre- ehender Winkel der mindestens einen optischen Achse der Nahbereichs- Optik 32 zur Horizontalen.
Anstelle der Nahbereichs-Optik 32 und/oder der Fembereichs-Optik 33 und generell anstelle festbrennweitiger Kameraoptiken nach Art der Kame- raoptiken 28 und 29 kann eine Zoom-Optik mit in einem Brennweitenbe reich vorgebbarer Brennweite zum Einsatz kommen. Die Brennweite einer derartigen Zoom-Optik kann mithilfe eines Stellaktors aktorisch vorgebbar sein. Ein derartiger Stellaktor kann mit einer zentralen Steuer-/Regeleinheit der optischen Baugruppe 2 in Signal Verbindung stehen, mit der wiederum das Datenverarbeitungsmodulsystem in Signal Verbindung steht.
Eine derartige Zoom-Kamera kann eine intrinsische Kalibrierung für ver schiedene Zoom-Positionen gewährleisten.
Eine derartige Zoom-Optik kann insbesondere für Robotic-Anwendungen der optischen Baugruppe 2 zum Einsatz kommen.
Fig. 10 zeigt beispielhaft und in einer beispielsweise der Fig. 7 ähnlichen Darstellung zwei Kamera-Gruppen 7, 8, die beispielsweise anstelle der vorstehend erläuterten Kamera-Gruppen 3 bis 8 zum Einsatz kommen kön nen. Schematisch sind die jeweils vier Einzelkameras I I7, 127, 137, R7 so wie 118, 12s, 13s und RH in der Fig. 10 jeweils oben als eine schematische Kamera-Gruppe 7, 8 nochmals zusammengefasst.
Die jeweiligen Kamera-Gruppen 7, 8 haben also jeweils vier einzelne Ka meras. Bei der jeweils vierten Kamera R7 der Kamera-Gruppe 7 und RH der Kamera-Gruppe 8 handelt es sich um eine zusätzliche Redundanz-Kamera. Hierüber lässt sich eine Ausfallsicherheit der jeweiligen Kamera-Gruppe 7, 8, die nominell beispielsweise drei funktionierende einzelne Kameras be nötigt, sicherstellen (fail-operational-status).
Dargestellt sind in der Fig. 10 entsprechend der Darstellung nach Fig. 7 wiederum die Intra-Baselines B zwischen den einzelnen Kameras jeweils einer der beiden Kamera-Gruppen 7, 8 und die Inter-Baselines B zwi schen ausgewählten Kameras verschiedener der beiden Kamera-Gruppen 7, 8. Diejenigen Baselines, die bei einer aktuellen Objektzuordnung genutzt werden, sind durch stärkere Linien hervorgehoben. Die beiden Redundanz- Kameras R7, Rs finden bei diesem Baseline-Nutzungsbeispiel keine Be rücksichtigung, nehmen an der Datenverarbeitung in diesem ausfallfreien Zustand also nicht Teil.
Fig. 11 zeigt in einer Darstellung entsprechend den Fig. 1 und 4 eine bei spielhafte Anordnung von sechs Kamera-Gruppen 3 bis 8 als Bestandteile der optischen Baugruppe 2 des Fahrzeugs 1. Jede der einzelnen Kamera- Gruppen 3 bis 8 kann einen Nahbereich abdecken, wie vorstehend bereits erläutert. Soweit eine der Kamera-Gruppen 3 bis 8 mit einer Fembereichs- Optik 33 ausgerüstet ist, kann diese Kamera-Gruppe auch individuell einen Fembereich abdecken. Ein Zusammenspiel zweier insbesondere benach barter Kamera-Gruppen, beispielsweise der Kamera-Gruppen 7 und 8, er möglicht eine Fembereichs- Auswertung durch Einsatz der Inter-Baselines Bij, wie vorstehend bereits erläutert.
Zusätzlich zu optikbasierten Kameras kann die optische Baugruppe auch mindestens einen Lidar-Sensor aufweisen, was für die Objekterfassung und -Zuordnung zu einer zusätzlichen Fehlerredundanz führt. Die Messung mithilfe eines derartigen Lidar-Sensors führt zu einer Form-Redundanz in Ergänzung der mit der optischen Baugruppe 2 durchgeführten optischen Objekt-Entfernungsmessung. Bei der Lidar-Messung können Lichtimpulse zur Messung eines Zeitversatzes gemessen und durch Multiplikation mit der Lichtgeschwindigkeit in ein Entfernung ssignal überführt werden. Al ternativ oder zusätzlich kann bei der Lidar-Messung eine Phase zwischen einer gesendeten und einer empfangenen Lichtintensitätswelle ermittelt werden, die dann in einen Zeitversatz und schließlich mithilfe der Lichtge schwindigkeit in einen Entfernung s wert umgerechnet wird. Fig. 12 zeigt Details eines Datenverarbeitungsmodulsystem 36 der opti schen Baugruppe 2. Gezeigt sind in der Fig. 12 insgesamt drei Kamera- Gruppen am Beispiel der Kamera-Gruppen 3 (vorne links), 4 (vorne rechts) und 5 (Mitte rechts) in der Anordnung am Fahrzeug 1 beispielsweise ge mäß Fig. 11.
Jede der Kameras 1 b, . . . R3; 1 U, . . . R4; 115, . . . R5 ist als Doppel-Kamera entsprechend dem aufgeführt, was vorstehend insbesondere unter Bezug nahme auf die Fig. 8 und 10 erläutert wurde.
Das Datenverarbeitungsmodulsystem 36 hat mindestens eine Datenverar beitungseinheit zur Verarbeitung der Kameradaten der Einzelkameras der Kamera-Gruppen 3 bis 8 zur Echtzeit-Abbildung und Echtzeit-Zuordnung der Umgebungs-Objekte bzw. von Objektmerkmalen oder Objektsignatu- ren.
Das Datenverarbeitungsmodulsystem 36 hat den Kamera-Gruppen 3 bis 8 zugeordnete Datenverarbeitungs-Gruppenmodule, die auch als nodes be zeichnet werden. Der Kamera-Gruppe 3 sind dabei die Datenverarbeitungs- Gruppenmodule 37 und 37R zugeordnet. Der Kamera-Gruppe 4 sind die Datenverarbeitungs-Gruppenmodule 38, 38R zugeordnet. Der Kamera- Gruppe 5 sind die Datenverarbeitungs-Gruppenmodule 39, 39R zugeordnet. Bei den Gruppenmodulen 37R, 38R, 39R handelt es sich jeweils um Redun- danz-Datenverarbeitungs-Gruppenmodule, die entweder erst bei einem Ausfall der zu ersetzenden Gruppenmodule 37, 38, 39 zum Einsatz kom men oder Signaldaten der zugeordneten Kameras der Kamera-Gruppen 3 bis 5 im Normalbetrieb zur Erhöhung der Abbildungs- und Zuordnungs genauigkeit und/oder Zuordnungsgeschwindigkeit verarbeiten. Die Datenverarbeitungs-Grappenmodule 37 bis 39, 37R bis 39R sind gleich aufgebaut, sodass es nachfolgend genügt, im Wesentlichen eines der Grap- penmodule zu beschreiben, was am Beispiel des Grappenmoduls 37 er folgt. Das Datenverarbeitungs-Grappenmodul 37 hat insgesamt sechs Sig naleingänge 40i bis 406, die zu einem mehrpoligen Signaleingang 40 zu sammengefasst sind. Die Signaleingänge 40i bis 403 sind mit den Signal ausgängen 35A der Kameras I I3 bis 133 der Kamera-Gruppe 3 verbunden. Der Signaleingang 404 ist mit dem Signalausgang 35A der Redundanz- Kamera R3 der Kamera-Gruppe 3 verbunden. Die Signaleingänge 40s und 406 stehen in Signalverbindung mit Signalausgängen 411, 4 h des Daten- verarbeitungs-Grappenmoduls 38 der Kamera-Gruppe 4.
Die Signaleingänge 40i und 402 des Grappenmoduls 37 stehen in Signal verbindung mit den entsprechenden Signalausgängen 411, 4 h dieses Grap penmoduls 37.
Über die Signal Verbindung zwischen verschiedenen Gruppenmodulen, in diesem Fall zwischen den Gruppenmodulen 37 und 38 über die Signalaus gänge 411, 4 h des Datenverarbeitungs-Grappenmoduls 38 der Kamera- Gruppe 4 mit den Signaleingängen 40s und 40Ö des Datenverarbeitungs- Grappenmoduls 37 der Kamera-Gruppe 3, kann eine inter-Baseline- Auswertung durch das Datenverarbeitungsmodulsystem 36 auf Ebene der Datenverarbeitungs-Grappenmodule 37, 38, ... erfolgen. Die Einbindung eines noch zu beschreibenden Hauptmoduls des Datenverarbeitungsmodul systems 36 ist hierzu nicht erforderlich.
Über entsprechende Signalverbindungen stehen auch Signalausgänge 411, 4h des Grappenmoduls 39 der Kamera-Gruppe 5 mit Signaleingängen 40s, 40Ö des Grappenmoduls 38 der Kamera-Gruppe 4 in Signal Verbindung. Über diese Direktverbindung zwischen den Signalausgängen 4 h und Sig naleingängen 40i der Grappenmodule, die verschiedenen Kamera-Gruppen zugeordnet sind, ist eine schnelle Inter-Baseline-Berechnung auf der Grap- penebene möglich. Eine zusätzliche Inter-Baseline-Berechnung ist zudem auf Ebene der Datenverarbeitungs-Hauptmodule 42, 42R möglich.
Hierbei können, wie in der Ausführung nach Fig. 12, die Signalausgänge zweier Kameras, zum Beispiel der Kameras 1 U, 124 der Kamera-Gruppe 4 hin zu den Signaleingängen des Grappenmoduls 37 der Kamera-Gruppe 3 geführt werden, oder auch die Daten mehr oder weniger Kameras auf der Grappenebene direkt zwischen den Gruppen ausgetauscht werden. Auch Signalverbindungen auf der Grappenmodulebene zur Erzeugung eines Rings benachbarter Kamera-Grappenzuordnungen oder auch eines Netzes zwischen den Kamera-Gruppen sind möglich. Eine derartige Vernetzung kann insbesondere dann hilfreich sein, wenn die optische Baugruppe 2 in der Luftfahrt eingesetzt wird.
Die zusätzlichen Redundanz-Datenverarbeitungs-Grappenmodule 37R, 38R und 39R, die wiederum bei einem Ausfall die Grappenmodule 37, 38 und 39 ersetzen können oder alternativ zur Erhöhung der Abbildungs- und Zu ordnungsgenauigkeit und/oder zur Erhöhung der Abbildungs- und Zuord nungsgeschwindigkeit herangezogen werden können, sind genauso aufge baut wie die Grappenmodule 37 bis 39.
Die Signaleingänge 40i bis 404 beispielsweise des Redundanz- Datenverarbeitungs-Grappenmoduls 37R stehen mit den Signalausgängen 35B der Kameras 113, 123, 133 und R3 in Signalverbindung. Jeweils eine der Kameras lli, 12i, 13i, Ri versorgt über die beiden Signalausgänge 35A, 35B also jeweils ein Grappenmodul und ein Redundanz-Grappenmodul. Alter- nativ könnten auch anstelle von beispielsweise drei Kameras mit jeweils zwei Signalausgängen 35A/B auf sechs Kameras mit jeweils einem Signal ausgang 35 zum Einsatz kommen.
Die Signaleingänge 40s und 406 des Redundanz-Datenverarbeitungs- Gruppenmoduls 37R stehen mit den Signalausgängen 41i, 4h des Redun- danz-Datenverarbeitungs-Gruppenmoduls 383 der benachbarten Kamera- Gruppe 4 in Signal Verbindung. Die Signalausgänge 41i, 4 h des Redun- danz-Datenverarbeitungs-Gruppenmoduls 37R stehen ihrerseits mit Signal eingängen 405, 406 eines weiteren, nicht dargestellten Redundanz- Datenverarbeitungs-Grundmoduls in Signal Verbindung.
Die Signalausgänge 4h, 4h des Datenverarbeitungs-Grundmoduls 37 ste hen mit Signaleingängen 40s, 40Ö eines weiteren, nicht dargestellten Da- tenverarbeitungs-Grundmoduls in Signal Verbindung.
Durch diese Signalverschaltung ist gewährleistet, dass die jeweilige Kame ra 1 li eine der Kamera-Gruppen 3, 4, 5, ... zur Inter-Datenverarbeitung zusammen mit den Erfassungsdaten der Kameras einer anderen Kamera- Gruppe 3, 4, 5, ... herangezogen werden kann.
Die jeweiligen Datenverarbeitungs-Gruppenmodule, zum Beispiel das Da tenverarbeitungs-Gruppenmodul 37 und das Redundanz- Datenverarbeitungs-Gruppenmodul 37R sind jeweils genau einer der Kame ra-Gruppen, in diesem Fall der Kamera-Gruppe 3 zugeordnet.
Die Datenverarbeitungs-Gruppenmodule 37 bis 39, ... sowie die Redun- danz-Datenverarbeitungs-Gruppenmodule 37R bis 39R, ... stellen eine ers- te, schnelle Signalverarbeitungsebene des Datenverarbeitungsmodulsys tems 36 zur Verfügung.
Auf dieser schnellen Datenverarbeitungs-Gruppenebene der Gruppenmo- dule 37 bis 39, ... bzw. 37R bis 39R, ... findet die Erfassung und Zuord nung der Objektbilder in Form von beispielsweise Punktewolken in Echt zeit statt. Auf dieser Gruppenmodul-Ebene wird somit geklärt, welche sig nifikanten Objekte vorhanden sind, welchen Abstand diese Objekte von den Kamera-Gruppen haben und ob sich diese Objekte relativ zu den Ka mera-Gruppen bewegen und falls ja, mit welcher Geschwindigkeit.
Zum Datenverarbeitungsmodulsystem 36 gehört weiterhin eine Datenver arbeitungs-Hauptebene. Diese weist auf ein Datenverarbeitungs- Hauptmodul 42, das allen Kamera-Gruppen 3 bis 5, ... zugeordnet ist. Das Datenverarbeitungs-Hauptmodul 42 steht über Signalverbindungen 43 i, bei denen es sich um Ethernet- Signalverbindungen handeln kann, mit den Gruppenmodulen 37 bis 39, ... und 37R bis 39R, ... in Signal Verbindung.
Eine Datenkommunikation zwischen den Kameras 1 E bis 13i, Ri einerseits und den Gruppenmodulen 37 bis 39, ... ; 37R bis 39R, ... andererseits sowie zwischen diesen Gruppenmodulen 37 bis 39, ... ; 37R bis 39R, ... einerseits und den Datenverarbeitungs-Hauptmodulen 42 kann nach einem MEPI/CSI-Interface-Standard erfolgen.
Das Datenverarbeitungs-Hauptmodul 42 hat einen Hauptprozessor 44 und einen Coprozessor 45. Der Hauptprozessor 44 wird vom Coprozessor 45 verifiziert und überwacht. Der Hauptprozessor 44 liest die Ergebnisse aller Gruppenmodule 37 bis 39, . . . ; 37R bis 39R, ... über deren jeweilige Kom munikations-Interfaces 46 aus. Der Hauptprozessor 44 vergleicht die Er- gebnisse dieser verschiedenen Grappenmodule 37 bis 39, ... sowie ggf. der zugeschalteten Redundanz-Grappenmodule 37R bis 39R, sodass hierüber, insbesondere in Überlappungsbereichen der Sichtfelder der Kamera- Gruppen 3 bis 5, ... eine zusätzliche Fehlersicherheit geschaffen ist. Zu dem leitet der Hauptprozessor 44 aus den Ergebnissen, die die Erfassung und die Verarbeitung der Daten aus der Gruppenmodul-Ebene ergibt, Steu erungssignale einerseits an die optische Baugruppe 2 und andererseits an die hiermit ausgerüstete Einheit, zum Beispiel an das Fahrzeug 1 weiter.
Zusätzlich ist in der Hauptebene der Datenverarbeitung noch ein Redun- danz-Datenverarbeitungs-Hauptmodul 42R vorgesehen, das genauso aufge baut ist wie das Datenverarbeitungs-Hauptmodul 42 und entsprechend mit den Gruppenmodulen 37 bis 39, ... ; 37R bis 39R, ... verschaltet ist. Das Redundanz-Datenverarbeitungs-Hauptmodul 42R kommt dann zum Ein satz, wenn beispielsweise der Coprozessor 45 des Datenverarbeitungs- Hauptmoduls 42 zu dem Ergebnis kommt, dass Ergebnisse des Hauptpro zessors 44 des Datenverarbeitungs-Hauptmoduls 42 nicht zuverlässig sind, oder wenn sich das Datenverarbeitungs-Hauptmodul 42 aus sonstigen Gründen abschaltet. Alternativ zu einem reinen Ausfall-Ersatz des Daten verarbeitungs-Hauptmoduls 42 durch das Redundanz-Datenverarbeitungs- Hauptmodul 42R kann dieses Redundanz-Datenverarbeitungs-Hauptmodul 42R auch im Normalbetrieb zur Erhöhung der Abbildungs- und Zuord nungsgenauigkeit und/oder zur Erhöhung der Abbildungs- und Zuord nungsgeschwindigkeit herangezogen werden und dabei parallel zum Da- tenverarbeitungs-Hauptmodul 42 arbeiten.
Über die vorstehend erläuterte Überlappung der Erfassungsbereiche insbe sondere benachbarter Kamera-Gruppen 3 bis 8 ist ein Vergleich überlap pender Erfassungsdaten und ein Vergleich von Intra- und Inter-Baseline- Erfassungen innerhalb des Datenverarbeitungsmodulsystems 36 möglich. Beispielsweise bis zu vier Überlappungsvergleiche der Erfassung ein und desselben Objekts mittels entsprechend vier verschiedenen Inter- und Intra- Baselines kann dabei durchgeführt werden, was zu einer entsprechenden Fehlerredundanz führt. Diese zusätzliche Fehlerredundanz kann zu einer Verringerung eines geforderten Zertifizierungs-Aufwandes hinsichtlich der Fehlertoleranz führen.
Entsprechende Überlappbereiche der Erfassungsbereiche insbesondere be nachbarter Kamera-Gruppen 3 bis 8 können zwischen einer kleinsten zu erwartenden relevanten Objektgröße und einer größten zu erwartenden re levanten Objektgröße weiter ausgewertet werden. Diese Größenbereiche können je nach Anwendung der optischen Baugruppe vorgegeben werden. Bei der Anwendung an einem Fahrzeug kann eine kleinste Größe bei spielsweise eine typische Dimension von 5 cm haben und eine größte Ob jektgröße die typische Dimension von 10 m.
Es kann dabei ein Vergleich einer Objektpunkte Verteilung innerhalb eines bestimmten Objekthöhenbereiches erfolgen. Dies kann in einer Stixel- Darstellung geschehen, bei der Objekte in Form von in vertikaler Richtung ausgedehnten, stabförmigen Elementen angenähert werden.
Ein Vergleich von Objektdaten, die in einem Überlappbereich zwischen verschiedenen Kamera-Gruppierungen erfasst und zugeordnet wurden, kann innerhalb eines Unsicherheitsbereichs um jeden 3D-Datenpunkt her um erfolgen. Die Größe des Unsicherheitsbereichs kann je nach Anwen dungsfall vorgegeben werden. Auch eine minimale Anzahl benachbarter Datenpunkte innerhalb zugeordneter Objektkandidaten bzw. innerhalb ent sprechender, bei der Erfassung und Zuordnung sich ergebender Punkte- wolken, kann ebenfalls je nach Anwendung vorgegeben werden. Ausgele sen werden können Intra-Baseline-Überlappungen verschiedener Kamera- Gruppen, deren Erfassungsbereiche sich überlappen (Inter/Intra) oder auch ein Vergleich zwischen einer Inter-Baseline-Erfassung innerhalb einer Kamera-Gruppe und einer Intra-Baseline-Erfassung zwischen dieser Ka meragruppe und der benachbarten Kamera-Gruppe im überlappenden Er fassungsbereich. Soweit bei einem derartigen Überlappungs-Vergleich kei ne Verifizierung eines Objektkandidaten stattfindet, kann das Objekt ent weder verworfen werden oder im Sinne eines konservatives, Sicherheitsan satzes als existierendes Objekt berücksichtigt werden. Soweit in einem be stimmten Erfassungsbereich überhaupt keine Kandidatenwerte erfasst wer den, also sich ein Kamera-Erfassungsbereich als ungewöhnlich objektfrei herausstellt, kann dieser ungewöhnlich objektfreie Bereich im Sinne eines Sicherheitsansatzes als Hindernis interpretiert werden.
Im Datenverarbeitungs-Hauptmodul 42 können mehrere, beispielsweise zwei, drei oder vier Punktewolken, die sich nach Erfassung und Zuordnung von Datenverarbeitungs-Gruppenmodulen 37 bis 39 benachbarter Kamera- Gruppen ergeben, gegeneinander geprüft werden. Hierüber ergibt sich eine weitere funktional-redundante Stufe. Eine weitere form-redundante Stufe ergibt sich aus zwei unterschiedlich arbeitenden Prozessoren entweder auf Ebene der Gruppenmodule oder auf Ebene des Hauptmoduls.
Fig. 13 zeigt ein alternatives Datenverarbeitungsmodulsystem 48 bis ein schließlich der Ebene der Gruppenmodule. Hier ist also die Hauptmodul ebene weggelassen, die entsprechend der Fig. 12 aufgebaut ist.
Beim Datenverarbeitungsmodulsystem 48 nach Fig. 13 sind beispielhaft die Kamera-Gruppen 8 (Mitte links, vgl. Fig. 11), 3 (vorne links) und 4 (vome rechts) dargestellt. Die Grappenmodule, die der Kamera-Gruppe 8 zugeordnet sind, sind in der Fig. 13 mit 37‘, 37R‘ bezeichnet und entspre chen den Gruppenmodulen 37 und 37R der Kamera-Gruppe 3.
Die jeweils einander zugewandten Doppel-Kameras R3 und ID der Kame ra-Gruppen 3 und 4 sind bei der Ausführung nach Fig. 13 ersetzt durch Hybrid-Kameras R3 11, lhH entsprechend der Hybrid-Kamera, die vorste hend unter Bezugnahme auf die Fig. 9 erläutert wurde.
Zum Verarbeiten der Signalausgänge 35A, 35B der Fembereichs-Optik 33 dieser Hybrid-Kameras R311, lhH dienen zusätzliche Hybrid- Datenverarbeitungs-Gruppenmodule, nämlich ein Hybrid-Gruppenmodul 49 und ein Redundanz-Hybrid-Gruppenmodul 49R, deren Aufbau grund sätzlich den vorstehend im Zusammenhang mit der Fig. 12 beschriebenen Datenverarbeitungs-Gruppenmodule entspricht. Der Signaleingang 402 des Hybrid-Gruppenmoduls 49 steht mit dem Signalausgang 35A der Fernbe- reichs-Optik 33 der Hybrid-Kamera R311 in Signal Verbindung. Der Signal eingang 404 steht mit dem Signalausgang 35A der Fembereichs-Optik der Hybrid-Kamera 1 lsH in Signal Verbindung. Der Signaleingang 40i des Hyb rid-Gruppenmoduls 49 steht mit dem Signalausgang 4 h des Gruppenmo duls 38 der Kamera-Gmppe 4 in Signal Verbindung. Der Signalausgang 4h des Hybrid-Gruppenmoduls 49 steht mit dem Signaleingang 404 des Grup penmoduls 37 der Kamera-Gmppe 3 in Signal Verbindung. Der Signalaus gang 4 h des Hybrid-Gruppenmoduls 49 steht mit dem Signaleingang 40s des Gmppenmoduls 37 der Kamera-Gmppe 3 in Signal Verbindung.
Die Verdrahtung des Redundanz-Hybrid-Gmppenmoduls 49R ist entspre chend und ist in der Fig. 13 nicht explizit dargestellt. Diese Signalverschaltung des Hybrid-Grappenmoduls 49 führt zu einer entsprechenden Einbindung der Hybrid-Kameras R311 und 1 lsH der Kamera-Gruppen 3 und 4 zur Erfassung und Auswertung von Inter- und Intra- Baseline-Kamerapaaren, wie vorstehend erläutert. Hierbei werden zusätz- lieh die Erfassungsdaten der Fembereichs-Optiken 33 berücksichtigt, verglichen und zur Erhöhung der Fehlersicherheit herangezogen.
Bei der Ausführung nach Fig. 13 ist eine Redundanz-Kamera, nämlich die Kamera R311 als Hybrid-Kamera ausgeführt. Dies ist natürlich nur dann sinnvoll, wenn die Redundanz-Kamera tatsächlich dauerhaft zur Datenerfassung und Auswertung herangezogen wird und nicht nur beim Ausfall einer der anderen Kameras. Anstelle einer Redundanzkamera kann auch eine Normalbetriebs-Kamera, zum Beispiel eine der Kameras II3 bis 133 der Kamera-Gruppe 3 als Hybrid-Kamera ausgeführt sein.

Claims

Patentansprüche
1. Optische Baugruppe (2) zur Erzeugung einer Echtzeit- Abbildung und einer Echtzeit-Zuordnung von Umgebungs-Objekten - mit einer Mehrzahl von Kamera-Gruppen (3 bis 8), die jeweils mindestens zwei miteinander über eine Kamera-Signalverbindung miteinander verknüpfte Kameras (11 bis 13) aufweisen, deren Ein- trittspupillen-Zentren (EPZ) eine Kamera- Anordnungsebene (AE) definieren, in der die Kameras (11 bis 13) angeordnet sind, - wobei die Kamera-Gruppen (3 bis 8) wiederum miteinander über eine Gruppen-Signalverbindung (21) miteinander verknüpft sind, wobei benachbarte Bildaufnahmerichtungen (18) der Kameras (11 bis 13) einer der Kamera-Gruppen (3 bis 8) einen Einzelkamera- Winkel (a) zueinander einnehmen, der im Bereich zwischen 5° und 25° liegt, wobei ein Richtungs-Mittelwert (19) der Bildaufnahmerichtungen
(18) der Kameras (11 bis 13) einer der Kamera-Gruppen (3 bis 8) einen Gruppenkamera-Winkel (g) zu einem Richtung s -Mittelwert
(19) der Bildaufnahmerichtungen (18) der Kameras (11 bis 13) ei- ner benachbarten Kamera-Gruppe (3 bis 8) einnimmt, der im Be reich zwischen 30° und 100° liegt.
2. Optische Baugruppe nach Anspruch 1, gekennzeichnet durch drei Kameras (11 bis 13) einer der Kamera-Gruppen (3 bis 8), deren Ein- zelpupillen-Zentren (EPZ) in den Ecken eines nicht gleichseitigen
Dreiecks liegen.
3. Optische Baugruppe nach Anspruch 1 oder 2, gekennzeichnet durch eine Länge einer Verbindungslinie (Baseline, B) zwischen den Ein- trittspupillen-Zentren (EPZ) zweier Kameras (11, 12; 11, 13; 12, 13) einer Kamera-Gruppe (3 bis 8) im Bereich von 5 cm bis 30 cm.
4. Optische Baugruppe nach einem der Ansprüche 1 bis 3, gekennzeich net durch eine Länge einer Baseline ( B , j ) zwischen Kameras (1 1, bis 13i, llj bis 13j) verschiedener Kamera-Gruppen (3 bis 8) im Bereich von 0,5 m bis 3 m.
5. Optische Baugruppe nach einem der Ansprüche 1 bis 4, gekennzeich net durch mindestens drei Kamera-Gruppen (3 bis 8).
6. Optische Baugruppe nach Anspruch 5, gekennzeichnet durch mindes tens sechs Kamera-Gruppen (3 bis 8).
7. Optische Baugruppe nach einem der Ansprüche 1 bis 6, gekennzeich net durch einen Grappen-Montagekörper (10) zur Montage der Kame ras (11 bis 13) einer Kamera-Gruppe (3 bis 8), wobei der Grappen- Montagekörper (10) derart ausgeführt ist, dass er die Kameras (11 bis 13) der Kamera-Gruppe (3 bis 8) mit zueinander fester relativer Lage und Orientierung trägt.
8. Optische Baugruppe nach Anspruch 7, dadurch gekennzeichnet, dass der Grappen-Montagekörper (10) vorbereitete Halte- Aufnahmen (14, 15) zur Montage zusätzlicher Kameras aufweist, sodass die Kamera- Gruppe (3 bis 8) nachträglich um mindestens eine weitere zu montie rende Kamera erweiterbar ist.
9. Optische Baugruppe (2) zur Erzeugung einer Echtzeit-Abbildung und einer Echtzeit-Zuordnung von Umgebungs-Objekten, mit einer Mehr- zahl von über eine Kamera-Signalverbindung miteinander verknüpften Kameras (11 bis 13), die als Fischaugen-Kameras ausgeführt sind.
10. Optische Baugruppe nach einem der Ansprüche 1 bis 9, dadurch ge kennzeichnet, dass mindestens eine der Kameras (11 bis 13) als Dop pel-Kamera mit einem RGB-Sensor (25) und mit einem IR-Sensor (26) ausgeführt ist.
11. Optische Baugruppe nach einem der Ansprüche 1 bis 10, dadurch ge kennzeichnet, dass mindestens eine der Kameras (11 bis 13) als Hyb- rid-Kamera mit einer Nahbereichs-Optik (32) und mit einer Fembe- reichs-Optik (33) ausgeführt ist.
12. Optische Baugruppe nach einem der Ansprüche 1 bis 11, gekenn zeichnet durch ein Datenverarbeitungsmodulsystem (36; 48) mit min destens einer Datenverarbeitungseinheit zur Verarbeitung der Kamera daten zur Echtzeit- Abbildung und Echtzeit-Zuordnung der Umge bungs-Objekte, wobei das Datenverarbeitungsmodulsystem (36; 48) jeweils mindestens ein Datenverarbeitungs-Gruppenmodul (37, 38, 39, . . . ; 37R, 38R, 39R, ...; 37‘, 37, 49, 38, ...; 37R‘, 37R, 49R, 38R, ...) auf weist, das genau einer der Kamera-Gruppen (3 bis 8) zugeordnet ist und dessen Daten verarbeitet, und jeweils mindestens ein Datenverar beitungs-Hauptmodul (42; 42R) aufweist, das allen Kamera-Gruppen (3 bis 8) zugeordnet ist.
13. Optische Baugruppe nach einem der Ansprüche 1 bis 11, gekenn zeichnet durch mindestens eine zusätzliche Redundanz-Kamera (R,; R3 11) als Be standteil einer der Kamera-Gruppen (3 bis 8) und/oder mindestens ein Redundanz-Datenverarbeitungs-Grappenmodul (37R, 38R, 39R, . . . ; 49R) und/oder mindestens ein Redundanz-Datenverarbeitungs-Hauptmodul (42R). 14. Fahrzeug (1; 17) mit einer optischen Baugruppe (2) nach einem der
Ansprüche 1 bis 13 mit einem Fahrwerk mit bodenseitigen Fahrwerks komponenten (la), die bei ruhendem Fahrzeug (1; 17) eine Fahrzeug- Aufstandsebene (xy) definieren, gekennzeichnet durch eine Anbrin gung der Kamera-Gruppen (3 bis 8) der optischen Baugruppe (2) in ei- nem Abstand von mindestens 50 cm zur Fahrzeug- Aufstandsebene
(xy)·
15. Fahrzeug nach Anspruch 14, dadurch gekennzeichnet, dass die Base lines (B) zwischen den Kameras (11 bis 13) einer Kamera-Gruppe (3 bis 8) unter einem Winkel zur Fahrzeug- Aufstandsebene (xy) im Be reich zwischen 10° und 80° verlaufen.
PCT/EP2022/054305 2021-02-23 2022-02-22 Optische baugruppe zur erzeugung einer echtzeit-abbildung und einer echtzeit-zuordnung von umgebungs-objekten sowie fahrzeug mit einer derartigen baugruppe WO2022179998A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22709294.7A EP4298780A1 (de) 2021-02-23 2022-02-22 Optische baugruppe zur erzeugung einer echtzeit-abbildung und einer echtzeit-zuordnung von umgebungs-objekten sowie fahrzeug mit einer derartigen baugruppe
US18/278,174 US20240147084A1 (en) 2021-02-23 2022-02-22 Optical assembly for generating a real-time image and a real-time assignment of environmental objects, and vehicle comprising such an assembly
JP2023551186A JP2024509777A (ja) 2021-02-23 2022-02-22 環境物体のリアルタイム画像及びリアルタイム割り当てを生成するための光学アセンブリ、及びそのようなアセンブリを備える車両
CN202280016776.5A CN116888972A (zh) 2021-02-23 2022-02-22 用于生成环境对象的实时图像和实时分配的光学组件以及包括这样组件的车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021201678.2A DE102021201678A1 (de) 2021-02-23 2021-02-23 Optische Baugruppe zur Erzeugung einer Echtzeit-Abbildung und einer Echtzeit-Zuordnung von Umgebungs-Objekten sowie Fahrzeug mit einer derartigen Baugruppe
DE102021201678.2 2021-02-23

Publications (1)

Publication Number Publication Date
WO2022179998A1 true WO2022179998A1 (de) 2022-09-01

Family

ID=80685168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/054305 WO2022179998A1 (de) 2021-02-23 2022-02-22 Optische baugruppe zur erzeugung einer echtzeit-abbildung und einer echtzeit-zuordnung von umgebungs-objekten sowie fahrzeug mit einer derartigen baugruppe

Country Status (6)

Country Link
US (1) US20240147084A1 (de)
EP (1) EP4298780A1 (de)
JP (1) JP2024509777A (de)
CN (1) CN116888972A (de)
DE (1) DE102021201678A1 (de)
WO (1) WO2022179998A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013020872A1 (de) 2011-08-09 2013-02-14 3Vi Gmbh Objekterfassungsvorrichtung für ein fahrzeug, fahrzeug mit einer derartigen objekterfassungsvorrichtung sowie verfahren zur ermittlung einer relativen lagebeziehung von stereokameras zueinander
US20160301863A1 (en) 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image
DE102017115810A1 (de) 2017-07-13 2019-01-17 Valeo Schalter Und Sensoren Gmbh Autonomes Parken eines Fahrzeugs basierend auf einem befahrbaren Bereich
US20190082114A1 (en) * 2017-09-11 2019-03-14 Samsung Electronics Co., Ltd. Apparatus and method for processing image received through a plurality of cameras
US20190364206A1 (en) * 2018-05-25 2019-11-28 Aquifi, Inc. Systems and methods for multi-camera placement
DE102018132676A1 (de) 2018-12-18 2020-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013020872A1 (de) 2011-08-09 2013-02-14 3Vi Gmbh Objekterfassungsvorrichtung für ein fahrzeug, fahrzeug mit einer derartigen objekterfassungsvorrichtung sowie verfahren zur ermittlung einer relativen lagebeziehung von stereokameras zueinander
US20160301863A1 (en) 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image
DE102017115810A1 (de) 2017-07-13 2019-01-17 Valeo Schalter Und Sensoren Gmbh Autonomes Parken eines Fahrzeugs basierend auf einem befahrbaren Bereich
US20190082114A1 (en) * 2017-09-11 2019-03-14 Samsung Electronics Co., Ltd. Apparatus and method for processing image received through a plurality of cameras
US20190364206A1 (en) * 2018-05-25 2019-11-28 Aquifi, Inc. Systems and methods for multi-camera placement
DE102018132676A1 (de) 2018-12-18 2020-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung

Also Published As

Publication number Publication date
US20240147084A1 (en) 2024-05-02
DE102021201678A1 (de) 2022-08-25
CN116888972A (zh) 2023-10-13
JP2024509777A (ja) 2024-03-05
EP4298780A1 (de) 2024-01-03

Similar Documents

Publication Publication Date Title
DE102020206759A1 (de) Verfahren und Verarbeitungssystem zur Aktualisierung eines ersten Bildes, das von einer ersten Kamera erzeugt wird, basierend auf einem zweiten Bild, das von einer zweiten Kamera erzeugt wird
DE60119708T2 (de) Vorrichtung und verfahren zum kalibrieren der relativlage zweier messeinrichtungen eines messsystems
EP3513161A1 (de) Fahrzeugprüfstand zum kalibrieren und/oder testen von systemen eines fahrzeugs, die wenigstens eine kamera umfassen sowie verfahren zur durchführung der kalibrierung und/oder tests von systemen eines fahrzeugs, die wenigstens eine kamera umfassen
DE102011080702B3 (de) Objekterfassungsvorrichtung für ein Fahrzeug, Fahrzeug mit einer derartigen Objekterfassungsvorrichtung
DE102015104453A1 (de) Stereobildverarbeitungsvorrichtung für ein Fahrzeug
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
EP3421189A1 (de) Verfahren zum überwachen einer maschine
EP3376213A1 (de) Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
DE102004033114A1 (de) Verfahren zur Kalibrierung eines Abstandsbildsensors
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE112007001977T5 (de) Verfahren zur Generierung dreidimensionaler Modelldaten und Vorrichtung zur Generierung dreidimensionaler Modelldaten
EP2603767A1 (de) Verfahren zum kalibrieren eines messsystems und vorrichtung zum durchführen des verfahrens
DE19525561C2 (de) 3D-Meßvorrichtung
WO2019110156A1 (de) Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
DE102019120796A1 (de) Fahrzeugfahrumgebungs-Detektionsvorrichtung und Fahrzeugfahr-Steuersystem
DE102017003634A1 (de) Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren
WO2019193207A1 (de) Mobile vorrichtung und verfahren zum erfassen eines objektraums
DE102021103774A1 (de) Fahrzeugsensorfusion
DE102014113372B4 (de) Filtervorrichtung
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
EP3572971B1 (de) Absichern eines überwachungsbereichs mit mindestens einer maschine
WO2022179998A1 (de) Optische baugruppe zur erzeugung einer echtzeit-abbildung und einer echtzeit-zuordnung von umgebungs-objekten sowie fahrzeug mit einer derartigen baugruppe
DE112020000909T5 (de) Objektpositionsdetektionsvorrichtung, fahrsteuersystem und fahrsteuerverfahren
DE202012102541U1 (de) 3D-Kamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22709294

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18278174

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023551186

Country of ref document: JP

Ref document number: 202280016776.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022709294

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022709294

Country of ref document: EP

Effective date: 20230925