WO2019110156A1 - Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann - Google Patents

Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann Download PDF

Info

Publication number
WO2019110156A1
WO2019110156A1 PCT/EP2018/074182 EP2018074182W WO2019110156A1 WO 2019110156 A1 WO2019110156 A1 WO 2019110156A1 EP 2018074182 W EP2018074182 W EP 2018074182W WO 2019110156 A1 WO2019110156 A1 WO 2019110156A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
points
coordinate system
qak
qbk
Prior art date
Application number
PCT/EP2018/074182
Other languages
English (en)
French (fr)
Inventor
Thomas Wolf
Finn Schaeper
Original Assignee
Wabco Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wabco Gmbh filed Critical Wabco Gmbh
Publication of WO2019110156A1 publication Critical patent/WO2019110156A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D53/00—Tractor-trailer combinations; Road trains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a method for determining a bending angle of a vehicle combination, a determination device for carrying out the method and a vehicle combination.
  • a buckling angle between the two units is determined, wherein the buckling angle indicates the angle between the respective longitudinal axes of the two units.
  • the kink angle may be used to estimate a direction of travel of the trailer relative to the towing vehicle, and a change in kink angle over time to estimate the driving dynamics of the trailer during cornering for a stability control.
  • WO 2016/025120 A1 it is described to define a compensation straight line in a camera-based image of a rear side of a semitrailer and to determine an angle by which this straight line deviates from a horizontal, wherein the straight line of compensation lies on a horizontal straight ahead. From geometric considerations, the angle of articulation can be determined from this angle.
  • DE 10 2010 006 521 A1 states that object points are sought on two temporally successive camera images that correspond to each other, and from this a dynamic or a motion information of the respective object point is determined. In addition, a silhouette of the trailer can be determined and from there the kink angle.
  • the invention has for its object to provide a method with which a camera-based determination of a bending angle can be done easily and safely.
  • a further object of the invention is to specify a determination device and a vehicle combination with which the method can be carried out.
  • each of the first imaging points is assigned an object point on the semitrailer.
  • Each object point is further assigned a second imaging point in a second image section of the second image, which is also determined.
  • each object point on the trailer is assigned an imaging point in the respective image sections.
  • depth information relating to the respective object point can be extracted, this taking place with the aid of the epipolar geometry, in which the imaging points linked to one another via the object point can be correlated with one another. Since the two imaging points depict the same object point from slightly offset viewing angles, a depth information relative to the object point, in particular a distance of the object point on the trailer to the stereo camera system, can be determined.
  • a straight line of equalization can be laid through the two object points, which characterizes an orientation of the semitrailer in the vehicle environment.
  • the object points are distributed on a sidewall of the semitrailer when the stereo camera system is arranged laterally of the towing vehicle, for example in the area of a side mirror.
  • a detection range of the stereo camera system is aligned with the side wall of the Auflieger when the vehicle-team is in a cornering. The orientation of the side wall during cornering can then be determined via the object points or the compensation straight line.
  • the bend angle can be determined from a compensation angle between the straight line and the zugfahr- tow fixed reference axis, when the vehicle combination is in cornering, ie the tractor not parallel is aligned to the trailer.
  • the articulation angle is thus defined as an angular offset of the towing vehicle relative to the semi-trailer about the vertical axis, where at the articulation angle, for example, from the angle between the longitudinal center axis of the towing vehicle, which can be used as zug povertyfest reference axis, and the longitudinal center axis of the trailer follows, with this angle being approximately 0 ° when driving straight ahead.
  • the kink angle can be determined.
  • it is thus not only information in the plane which results from the two-dimensional image that is resorted to, but additionally information relating to the position of the object point on the semitrailer in space.
  • a straight line can be defined which characterizes the orientation of the semi-trailer in the room or in the vehicle environment.
  • the orientation of the straight line for straight travel which serves as a reference for cornering, can be determined, for example, in a calibration process in which a calibration compensation angle between the balance line and the zug21festen reference axis is detected and this calibration compensation angle when moving into a Cornering for determining the actual kink angle from the then existing compensation angle is included. It is thus also possible to use train vehicle-fixed reference axles which do not correspond to the towing vehicle longitudinal center line. It is preferably provided that the compensation straight line and the reference vehicle-fixed reference axis are determined or defined in the same coordinate system, preferably in a first vehicle coordinate system fixed to the towing vehicle.
  • the data expenditure can be minimized, since simple geometric considerations are to be made for determining the compensation angle and accordingly only the compensation straight line, which is first determined in a camera-third third coordinate system via the stereo camera system, is to be transformed into the first coordinate system , Alternatively, the vehicle-fixed reference axis can also be transformed into the third coordinate system in order to determine the compensation angle therein.
  • the traction vehicle-fixed reference axis is an x-axis or a y-axis of the first coordinate system, so that the articulation angle is substantially equal to the compensation angle between the compensation straight line and the x-axis of the first Coordinate system as a reference axis or the kink angle is 90 ° minus the compensation angle between the compensation line and the y-axis of the first coordinate system as a reference axis.
  • the vehicle-fixed reference axis which is preferably a vehicle longitudinal center axis, is already defined by the coordinate system. After a transformation of the balancing straight line into the towing vehicle-fixed first coordinate system, the reference axis is thus not complex to determine or parameterize, and the compensation angle can be determined simply and with little effort.
  • the object points for determining the straight line are described in a plane, wherein the plane is aligned perpendicular to a vertical axis, wherein the trailer is pivoted in a cornering relative to the towing vehicle about this vertical axis.
  • the object points thus become one reduced three-dimensional space into a two-dimensional space.
  • the data outlay can advantageously be further minimized without significantly impairing the accuracy, since the coordinates of the object point in the vertical direction provide no further information with regard to the orientation of the semitrailer during cornering and thus for the calculation or the Formation of the best-fit line can be neglected.
  • the plane is spanned by a description in the first coordinate system by the x-axis and the y-axis of the first coordinate system.
  • the depth information with respect to an object point is given by an object distance, wherein the object distance between the respective object point and a second connection line is measured, wherein the second connection line runs between projection centers of the two cameras.
  • the orientation of the trailer information can be determined, which describes the respective object point in space, preferably in the third coordinate system of the stereo camera system, this information can be determined due to the slightly offset viewing angle of the cameras.
  • the principle of Epipolargeometrie is preferably used.
  • the object distance of the respective object point is determined as a function of a focal length of the cameras, a distance between the projection centers of the cameras and a disparity between the respective first imaging points and second imaging points.
  • rectification is understood as meaning a transformation of the image sections or of individual image points of the image sections, thereby achieving that the cameras are virtually rotated relative to one another in a non-parallel orientation, so that these or their
  • Image sensors are parallel to each other, so that above the object distance can be determined in a simple manner from geometric considerations.
  • the imaging points of the image section are thus transformed into rectified image sections with rectified imaging points.
  • the disparity with respect to an object point follows from a difference between image distances in the two rectified image sections, the image distances being a distance of the respective rectified imaging point to the projection center of the respective camera in the rectified image specify section.
  • the rectified imaging points are first determined in a rectified fourth coordinate system, wherein the rectified fourth coordinate system results by recertifying a fourth coordinate system and the fourth coordinate system is in each case assigned to an image sensor of the respective camera and pixels coordinates are assigned to the respective image sensor, wherein the image distances from the x-coordinates of the rectified imaging points in the rectified fourth coordinate system follow.
  • the respective image section is extended over the entire image or a part of the image, wherein the Image section is chosen such that the trailer is ent hold in the image section, wherein in the first image section substantially the same part of the trailer is shown as in the second image section.
  • the computational outlay for the processing of data for determining the object points or the compensation straight line can be minimized by selecting the image section accordingly and thereby limiting the number of imaging points or object points to be considered.
  • the at least two first imaging points in the first image section are determined by detecting first features in the first image section, for example in edge detection, wherein the first feature is characterized by a change in intensity in the first image section
  • the intensity changes in the first image section may be caused by a rear edge of the trailer and / or a crease on a side wall of the trailer and / or a shading on the side wall of the trailer and / or a pattern on the side wall of the trailer Semitrailer, wherein approximately the same intensity changes also result at the at least two second imaging points in the second image section.
  • the at least two second imaging points are determined by a comparison of intensities at first pixels in the first image section and second pixels in the second image section.
  • second image points are searched for on a second epipolar line, which have the same intensity distribution as the first image points assigned to the first image points on a first epipolar line in the first image section.
  • the second imaging points in the second image section can advantageously be found by a simple comparison of intensities of the first image section, after the first imaging points have been found, for example, in FIG the edge detection in the first image section are already detected.
  • a determination device for carrying out the described method for determining the bending angle, in particular during cornering, wherein the detection device is signal-transmitting connected to the stereo camera system for recording camera signals, wherein the images and / or image sections can be transmitted via the camera signals.
  • a vehicle combination of a towing vehicle and a semi-trailer wherein the semi-trailer is pivotable about a vertical axis and about a bending angle to the towing vehicle and on the towing vehicle, a stereo camera system is arranged, which is a recording of a first image and a second image from a detection range of the stereo camera system and allowed sig sanctiond connected to a detection device for performing the described method sig.
  • Fig. 1a is a schematic plan view of a vehicle combination
  • Fig. 1b is a detail view of a stereo camera system Fig. 1a;
  • FIGS. 2a-d show different views for the definition of coordinate systems
  • 3 an exemplary illustration of a vehicle environment detected by a camera of the stereo camera system with a trailer of the vehicle combination; 4 shows a geometric view of the stereo camera system for recording an object point;
  • FIG. 7 is a flow chart according to an embodiment of the invention.
  • a vehicle combination 100 comprising a traction vehicle 101 and a trailer 102 is shown in a plan view.
  • the vehicle combination 100 is in a driving situation in which a certain bending angle d between the towing vehicle 101 and the semi-trailer 102 sets. This is the case, for example, during cornering 200, in which the semitrailer 102 pivots about a vertical axis H coinciding with a king pin 103 as a fulcrum about the towing vehicle 101.
  • a stereo camera system 1 is provided in the vehicle combination 100, which has two cameras 2a, 2b arranged laterally on the towing vehicle 101, for example in the region of a rearview mirror 3 of the towing vehicle 101 and at a distance A from one another are arranged (see Fig. 1 b).
  • a stereo camera system 1 is thus formed with the two cameras 2 a, 2 b, with which a spatial image of a vehicle environment U in a detection area 4 is made possible so that depth information from objects in the detection area 4 can be extracted.
  • the detection area 4 is in this case to the rear in the vehicle environment U, ie aligned in the direction of the trailer 102, so the semitrailer 102 can be detected at least partially, in particular during cornering 200.
  • the bending angle d can be determined from camera signals S2a, S2b, which are output by the individual cameras 2a, 2b, in a determination device 5 as follows:
  • a coordinate system fixed to the towing vehicle is provided as a first coordinate system K 1, with a first coordinate origin U 1 of the first coordinate system K 1 in this embodiment at the intersection of a vehicle longitudinal center plane 6 with a front axle 7 of the towing vehicle 101 is located.
  • the first coordinate system K1 is clamped in Cartesian coordinates x1, y1, z1, wherein the vehicle longitudinal center plane 6 is spanned by the x1 -z1 axes and the y1 axis runs along the front axis 7.
  • a second coordinate system K2 is given by a camera-fixed coordinate system, wherein the camera-fixed coordinate system is assigned to the stereo camera system 1 as a whole and a second coordinate origin U2 of the second coordinate system K2 is arranged by way of example in a first projection center 8a of the first camera 2a. Starting from this second coordinate origin U2, the second coordinate system K2 is clamped in Cartesian coordinates x2, y2, z2 as shown in FIG. 2b.
  • a third coordinate system K3 is given by a semitrailer-fixed coordinate system, wherein a third coordinate origin U3 of the third coordinate system K3 in the center of the kingpin 103 of the bearing Gers 102, as shown in Fig. 2c, and is spanned by Cartesian coordinates x3, y3, z3.
  • the z3-axis in the kingpin 103 coincides here with the vertical axis H, around which the trailer 102 rotates when cornering.
  • a fourth coordinate system K4a, K4b is given by a Cartesian coordinate system in the plane of an image sensor 9a, 9b of the respective camera 2a, 2b, each image sensor 9a, 9b being assigned a fourth coordinate system K4a, K4b.
  • the fourth coordinate system K4a, K4b is a two-dimensional coordinate system with Cartesian coordinates x4a, y4a or x4b, y4b.
  • individual pixels 11 ai, 11 bi, with i 1,...
  • pixels of the respective image sensor 9a, 9b are assigned coordinates x4a, y4a or x4b, y4b.
  • each pixel 11ai is assigned a photodiode which generates a specific charge depending on the incidence of light, the charge or a variable proportional thereto being the first image value 12ai of the respective first pixel 11 ai can be issued.
  • the first image value 12ai thus represents, for example, an intensity I which adjusts on the respective first image point 11 ai on the basis of the imaging of the vehicle environment U on the first image sensor 9 a.
  • a first image 50a of the vehicle environment U can be created by the respective first image values 12ai, wherein the first image 50a can also be described in the fourth coordinate system K4a.
  • the respective image values 12ai, 12bi can be transmitted with the assignment to the respective coordinates x4a, y4a or x4b, y4b in order to be able to further process the resulting image 50a, 50b.
  • the buckling angle d to be determined corresponds to the angle by which the third coordinate system K3 is rotated relative to the first coordinate system K1 about the z3-axis or the vertical axis H or the angle between the x1 -axis and the x3-axis or the y1 - Axis and the y3 axis in FIG.
  • FIG. 3 an exemplary driving situation is shown for this purpose, which is recorded by one of the two cameras 2 a, 2 b, since the semi-trailer 102 is located in the detection area 4 of the stereo camera system 1 during cornering 200.
  • To minimize the processed data to determine the bending angle d only pixels 11 ai, 11 bi in one certain image portion 10a, 10b of Figure 50a, 50b of the respective camera 2a, 2b considered, wherein the trailer 102 is shown in the image portion 10a, 10b at least partially.
  • the image sections 10a, 10b can in this case be determined as a function of an expected region of the respective image 50a, 50b, in which the buckling trailer 102 is normally imaged during cornering 200, or via an edge detection E, in which the each image 50a, 50b is scanned for edges that may be considered to belong to the trailer 102.
  • the image portion 10a, 10b is then correspondingly set in an area around these detected edges, so that the trailer 102 can be detected sufficiently.
  • the image sections 10a, 10b of the two cameras 2a, 2b correspond to one another here, whereby it is to be understood that approximately the same area of the vehicle surroundings U is picked up by the second camera 2b as by the first camera 2a , wherein only slightly offset viewing angles due to the distance A between the cameras 2a, 2b are present.
  • the selection of the image sections 10a, 10b thus takes place for both images 50a, 50b on the basis of the same criteria, so that in both image sections 10a, 10b is contained in approximately the same area of the trailer 102 and thus a depth information of certain selected object points Pk on the trailer 102 can be derived. If a minimization of the computational effort is not required, the image sections 10a, 10b can also be extended over the entire image 50a, 50b.
  • the selection of the image sections 10a, 10b takes place, for example, in the determination device 5, which selects the corresponding image section 10a, 10b from the camera signals S2a, S2b or the images 50a, 50b contained therein for further processing.
  • the depth information can be obtained from individual selected object points Pk.
  • the image sections 10a, 10b in the determination device 5 are processed in a stereo algorithm SA as follows:
  • the stereo algorithm SA searches in the two image sections 10a,
  • Mbk can be characterized in particular by intensity changes dl between adjacent pixels 11 ai, 11 bi in the respective image sections 10 a, 10 b. 3, for example, from the image of a rear edge 102a of the trailer 102, by folding 102b in a side wall 102c of the trailer 102, by shading 102d on the side wall 102c, or by imaged patterns 102e, which are respectively imaged with different intensities I on the image sensors 9a, 9b, since these differ from the image of the side wall 102c and can be identified as features Mak, Mbk.
  • Each identified feature Mak, Mbk is thereby described by an object point Pk directly on the trailer 102, each object point Pk being imaged on an imaging point Qak, Qbk on the respective image sensor 9a, 9b, the imaging points Qak, Qbk being a subset of the pixels 11 ai, 11 bi of the respective image sensor 9 a, 9 b (see Fig. 4).
  • the features Mak, Mbk or the associated imaging points Qak, Qbk can for example be identified in an edge detection E, for example in a Canny algorithm, in the image sections 10a, 10b.
  • the object points Pk in the region of the pattern 102e on the side wall 102c in the image section 10a, 10b as features Mak, Mbk or imaging points Qak, Qbk are detected on the respective image sensor 9a, 9b, wherein the number k of the detected features Mak, Mbk in the region of the pattern 102e depends on the resolution or the setting of the Edge detection E is.
  • a corresponding object point Pk in the vehicle environment U is associated with a specific first mapping point Qak in the first image section 10a, eg a point of the pattern 102e on the trailer 102, from which an intensity change dl was detected by the edge detection E.
  • a first connecting line V1 is formed between the respective object point Pk and the first projection center 8a of the first camera 2a and between the two projection centers 8a, 8b of the two cameras 2a, 2b a second connecting line V2.
  • the two connecting lines V1, V2 span an epipolar plane 13, which intersects the two image sensors 9a, 9b in each case in an epipolar line 14a, 14b.
  • the already identified first imaging point Qak in the first image section 10a lies on the first epipolar line 14a of the first image sensor 9a.
  • the second epipolar line 14b of the second image sensor 9b is scanned for this second imaging point Qbk.
  • intensities I or associated second image values 12 bi are determined. If these match or are similar to the intensities I or the first image values 12ai on the first epipolar line 14a at the first imaging point Qak, it can be concluded that the respective object point Pk at the corresponding second pixel 11b1 on the second sensor 9b so that the second imaging point Qbk can be identified.
  • first image values 12ai of direct adjacent first pixels 11 ai around the first imaging point Qak with second image values 12bi of second pixels 11 bi directly adjacent to second pixels 11 bi on the second epipolar line 14b are compared with each other to identify the second imaging point Qbk in the second image portion 10b.
  • the distance A between the cameras 2 a, 2 b or the projection centers 8 a, 8 b of the cameras 2 a, 2 b must be determined precisely and a calibration of the cameras 2 a, 2 b carried out so that the epipolar plane 13 as well as the epipolar lines 14a, 14b can be clearly determined.
  • a depth information relating to the camera-second coordinate system K2 can be assigned to the associated object point Pk, for which the mapping points Qak, Qbk and follows to be correlated:
  • the two image sections 10a, 10b are rectified with the respective imaging points Qak, Qbk.
  • the image sections 10a, 10b, together with the fourth coordinate system K4a, K4b, virtually surround the respective projection centers 8a. 8b that, as shown in FIG. 5a, they lie parallel to one another or in a plane, so that rectified image sections 16a, 16b are formed.
  • the rotation takes place via a defined projection matrix, which also transforms the imaging points Qak, Qbk into rectified imaging points Qak_r, Qbk_r.
  • the projection centers 8a, 8b are preferably located centrally in the respective rectified image section 16a, 16b.
  • an object distance APk can be determined as depth information for the respective object point Pk, wherein the object distance APk is the distance in the space between the object point Pk and the second connection line V2 between the two projection centers 8a , 8b indicates.
  • Fig. 5b illustrates the situation of Fig. 5a in a plan view, i. the y4a_r and y4b_r axes protrude from FIG. 5b and the rectified image sections 16a, 16b intersect the plane of the figure vertically.
  • the object distance APk is thus the z2 coordinate of the depth-resolved object point Pk in the second coordinate system K2 whose second origin U2 has been determined in the first projection center 8a of the first camera 2a.
  • the object distance APk follows by triangulation, taking into account the set of rays:
  • the image distances Fak, Fbk give the distance between the respective projection center 8a, 8b and the rectified imaging point Qak_r, Qbk_r in the respective rectified image section 16a, 16b in the x4a_r or x4b_r direction of the respective one rectified fourth coordinate system K4a_r, K4b_r.
  • the imaging distances Fak, Fbk after the rectification of the image sections 10a, 10b are obtained from the coordinate values x4a_r and x4b_r of the respective rectified imaging point Qak_r, Qbk_r with knowledge of the position of the projection centers 8a, 8b (preferably centrally) in the respective rectified fourth coordinate system K4a_r, K4b_r, the position of the projection centers 8a , 8b follows from a calibration.
  • the focal length B indicates the distance of the projection centers 8a, 8b to the image sensor 9a, 9b or to the rectified image section 16a, 16b in the z2 direction, wherein the focal length B is identical here for both cameras 2a, 2b. If different camera parameters are present for the two cameras 2a, 2b, the determination of the image distances Fak, Fbk must be adapted accordingly.
  • the respective object point Pk in the second coordinate system K2 can be represented as follows, provided that the second origin U2 lies in the first projection center 8a :
  • the coordinates x2, y2, z2 of the object point Pk determined in the second coordinate system K2 can be transformed into the train system fixed first coordinate system K1 according to simple geometric considerations with a further mapping matrix, so that the orientation of the can be determined by the object points Pk described side wall 102c in the first coordinate system K1.
  • the z1 coordinate of the object point Pk in the first coordinate system K1 can be neglected when the trailer 102 rotates about the vertical axis H, or this z1 coordinate does not provide any further information regarding an orientation of the side wall 102c or the rotation of the semitrailer 102 can supply the vertical axis H, only the x1, y1 coordinates of the object point Pk in the first coordinate system K1 are considered in the following.
  • a reduction of the object points Pk into the two-dimensional space or into a plane 30 takes place, which is spanned by the x1, y1 axes of the first coordinate system K1 according to this embodiment.
  • the y1 axis of the first coordinate system K1 can also be selected as the reference axis C1, in which case the bend angle d follows from 90 ° -g.
  • the compensation angle g can be determined mathematically from geometrical considerations, if a corresponding vectorial representation in the first coordinate system K1 is applied for the compensation straight line C.
  • the equalizer C is chosen such that a sum of all distances of the object points Pk to the equalization line C is minimized (least squares optimization) and the balancing line C passes through a center of gravity of the point cloud 15.
  • a calibration can also be carried out in advance, during which during a straight-ahead travel 201 a compensation straight line C passes through the detected object points Pk is placed on the trailer 102 and a calibration-compensation angle gK between the balancing line C and the respective zughusfesten reference axis C1 is determined.
  • This calibration compensation angle gK is then determined as a reference angle and deducted from the determined during cornering 200 compensated compensation angle g to obtain the bending angle d.
  • FIG. 8 it can be provided according to FIG. 8, in an imaging method with only one camera, for example the first camera 2 a, to estimate a bending angle d from the first imaging points Qak. Accordingly, it is provided to first determine the trailing edge 102a of the trailer 102 in an edge detection E as described above, and to determine this trailing edge 102a first imaging points Qak on the first
  • Assign image sensor 9a which map the respective object points Pk on the rear edge 102a.
  • an imaging angle n (see FIG. 8) can be determined by geometrical considerations which determines the (azimuth) angle of an object point Pk at the rear edge 102a in the x2-z2 plane (see Fig. 2b) of the camera-second coordinate system K2.
  • the distance L is thus the distance between the two straight lines 102a and 150 on the image sensor 9a, which can be determined directly from the x4a, y4a coordinates of the respectively associated first image points Qak after the two straight lines 102a, 150 are detected.
  • the cutting line 150 is hereby formed by object points Pk on the trailer sidewall 102c, whose coordinates lie on the y2-axis of the camera-fixed second coordinate system K2.
  • the cutting line 150 can be defined in the second or fourth Koo rdinatensystem K2, K4a.
  • the trailing edge 102a follows from edge detection E.
  • the value of the point coordinate Pz2 can thus be obtained via the calibration, and the point coordinate Px2 can also be obtained via the above ratio tan (n), so that the object point Pk at the trailing edge 102a is known in the coordinates of the second coordinate system K2.
  • the point coordinates Px2, Pz2 can be in the second coordinate system K2 via a Representation of coordinate systems in the semi-fixed third coordinate system K3. This is done by transforming the point coordinates Px2, Pz2 via a transformation matrix T into the point coordinates Py3, Px3:
  • T is a 4x4 transformation matrix
  • Px3, Py3 Tx (L2, L3)
  • T is a 4x4 transformation matrix
  • Px3, Py3 is a vector with the point coordinates of the object point Pk at the trailing edge 102a in the third coordinate system K3 specify.
  • the transformation matrix T is formed from two matrices, one of the matrices transforming the points of the camera-second coordinate system K2 into the first coordinate system K1 fixed to the towing vehicle, and the other matrix transforming the points of the third coordinate system K3 fixed in the first coordinate system K1.
  • Both matrices are rotary matrices, since on the one hand there is a rotation between K1 and K2 around the installation angle n1 and between K1 and K3 a rotation about the required bending angle d. Accordingly, the transformation matrix T results from geometrical considerations:
  • Such a calculation can follow not only for the rear edge 102a, but also for other structures on the side wall 102c of the trailer 102, for which the point coordinates in the third coordinate system K3 are known and which can be detected by the camera 2a.
  • the method according to the invention can be carried out according to FIG. 7, for example, as follows:
  • the two cameras 2a, 2b will form images 50a, 50b are received via the respective image sensor 9a, 9b and output via the camera signals S2a, S2b to the determination device 5.
  • a second step St2 the images 50a, 50b are processed in the stereo algorithm SA as described above, wherein for this purpose in a first optional intermediate step St2a image sections 10a, 10b of the images 50a, 50b are selected in which the semitrailer 102 is shown.
  • a second intermediate step St2b features Mak, Mbk from the two image sections 10a, 10b are subsequently detected, for example in an edge detection E, and the imaging points Qak, Qbk are determined with the aid of the epipolar geometry for each feature Mak, Mbk in both image sections 10a, 10b.
  • the rectified image sections 16a, 16b are formed in a third intermediate step St2c, and in a fourth intermediate step St2d the object distances APk of the object points Pk assigned to the features Mak, Mbk are determined from the rectified imaging points Qak_r, Qbk_r in the rectified image section 16a, 16b.
  • the object point Pk is determined in a following step St2e in the camera-fixed second coordinate system K2 together with depth information.
  • the stereo algorithm SA for extracting a depth information of object points Pk associated with features Mak, Mbk from the two images 50a, 50b is thus completed.
  • the stereo algorithm SA is executed for a given number k of detected features Mak, Mbk, the number k being able to be limited in advance to determine the speed of the processing.
  • a third step St3 the object points Pk determined in the stereo algorithm SA are transferred from the camera-mounted second Koo rdinatensystem K2 in the zugGermanfeste first coordinate system K1.
  • the object points Pk in the first coordinate system K1 are reduced to a plane in the x1, y1 coordinates, ie the coordinate parallel to the vertical axis H, about which the trailer 102 rotates, is omitted.
  • a point cloud 15 is formed in a fifth step, through which a compensation straight line C is laid.
  • a final sixth step St6 the compensation angle g between the straight line C, which is approximately parallel to the x3 axis of the trailer 103, and the reference axis C1, which is formed for example by the x1 -axis of the first coordinate system K1, determined. If necessary, taking into account the calibration compensation angle gK, this compensation angle g corresponds to the bending angle d if it is assumed that the object points Pk are distributed uniformly on the side wall 102c of the trailer 102 and the side wall 102c is approximately parallel to the x3- Axle of the semi-trailer fixed third coordinate system K3 runs.
  • the articulation angle d can be determined by the determining device 5 in the vehicle combination 100 for a corresponding application, e.g. a stability system (ESC, EBS, etc.) or navigation.
  • a buckling speed vd and / or a buckling acceleration ad can be determined from the time behavior of the bending angle d in order to be able to conclude the behavior of the vehicle combination 100 during a cornering.
  • the method starts from before in order to allow a constant query of the bending angle d at certain time intervals.
  • K4a, K4b fourth coordinate system (image sensor 9a, 9b) K4a_r, K4b_r rectified fourth coordinate system
  • x4a_r, y4a_r; x4b_, y4b_r coordinates of the respective rectified fourth coordinate system K4a_r; K4b_r

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Knickwinkels (d) eines Fahrzeug-Gespanns (100), wobei an einem Zugfahrzeug (101) ein Stereo-Kamerasystem (1) angeordnet ist, mit mindestens den folgenden Schritten: - Erstellen einer ersten Abbildung mit einer ersten Kamera (2a) des Stereo-Kamerasystems (1) und einer zweiten Abbildung mit einer zweiten Kamera (2b) des Stereo-Kamerasystems (1); - Ermitteln von mindestens zwei ersten Abbildungspunkten in einem Bildabschnitt der ersten Abbildung, wobei jedem der ersten Abbildungspunkte jeweils ein Objektpunkt am Auflieger (102) zugeordnet ist, wobei dem jeweiligen Objektpunkt weiterhin ein zweiter Abbildungspunkt in einem zweiten Bildabschnitt der zweiten Abbildung zugeordnet ist und dieser zweite Abbildungspunkt ebenfalls ermittelt wird; - Extrahieren von Tiefeninformationen zu den mindestens zwei Objektpunkten aus den jeweils zugeordneten ersten Abbildungspunkten und zweiten Abbildungspunkten; - Ermitteln einer durch die mindestens zwei Objektpunkte beschriebenen Ausgleichsgeraden anhand der Tiefeninformationen sowie anhand der Abbildungspunkte; und - Ermitteln des Knickwinkels (d) in Abhängigkeit eines Ausgleichswinkels zwischen der Ausgleichsgerade und einer zugfahrzeugfesten Bezugsachse (x1).

Description

Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
Die Erfindung betrifft ein Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, eine Ermittlungseinrichtung zur Durchführung des Verfahrens sowie ein Fahrzeug-Gespann.
Um ein Fahrverhalten eines Fahrzeug-Gespanns aus einem Zugfahr- zeug und einem Auflieger, die über einen Königszapfen miteinander ver- schwenkbar verbunden sind, zu erfassen, sind mehrere Sensoren im Fahr- zeug-Gespann möglich. Um im Speziellen das Schwenkverhalten des Auflie- gers gegenüber dem Zugfahrzeug während einer Kurvenfahrt erfassen zu können, wird herkömmlicherweise ein Knickwinkel zwischen beiden Einhei- ten bestimmt, wobei der Knickwinkel den Winkel zwischen den jeweiligen Längsachsen der beiden Einheiten angibt. Der Knickwinkel kann beispiels- weise zur Abschätzung einer Fahrrichtung des Aufliegers gegenüber dem Zugfahrzeug verwendet werden und eine Änderung des Knickwinkels über die Zeit zum Abschätzen der Fahrdynamik des Anhängers während einer Kurvenfahrt für eine Stabilitätsregelung.
Zur Messung des Knickwinkels sind kamerabasierte Lösungen bekannt, bei denen eine Abbildung der Kamera auf Kanten oder Ecken untersucht wird und über eine Verschiebung der Kanten oder Ecken aus einer Aus- gangslage auf einen Knickwinkel geschlossen wird. So wird beispielsweise in DE 10 2014 007 900 A1 beispielsweise eine hintere Kante des Aufliegers von einer Kamera erfasst und eine Verschiebungsstrecke der hinteren Kante zu einer längs ausgerichteten Ausgangslage erfasst. Daraus kann aus geo- metrischen Betrachtungen auf den Knickwinkel geschlossen werden. Weiterhin ist gemäß WO 2006/042665 A1 vorgesehen, über einen bild- gebenden Sensor Linien zu ermitteln, die an den Kanten des Aufliegers vor- beiführen und aus den Winkeln dieser Linien in Abhängigkeit der Abmessun- gen des Aufliegers den Knickwinkel zu ermitteln.
In WO 2016/025120 A1 ist beschrieben, eine Ausgleichsgerade in eine kamerabasiert ermittelte Abbildung einer Hinterseite eines Aufliegers zu le- gen und einen Winkel zu ermitteln, um der diese Ausgleichsgerade von einer Horizontalen abweicht, wobei die Ausgleichsgerade bei einer Geradeausfahrt auf der Horizontalen liegt. Aus geometrischen Betrachtungen lässt sich aus diesem Winkel der Knickwinkel ermitteln.
DE 10 2010 006 521 A1 gibt an, dass auf zwei zeitlich aufeinanderfol- genden Kamerabildern Objektpunkte gesucht werden, die miteinander kor- respondieren, und daraus eine Dynamik bzw. eine Bewegungsinformation des jeweiligen Objektpunktes ermittelt wird. Darüber kann eine Silhouette des Aufliegers ermittelt werden und daraus der Knickwinkel.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, mit dem eine kamerabasierte Ermittlung eines Knickwinkels einfach und si- cher erfolgen kann. Weiterhin ist Aufgabe der Erfindung eine Ermittlungsein- richtung und ein Fahrzeug-Gespann anzugeben, mit dem das Verfahren durchführbar ist.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 , eine Ermitt- lungseinrichtung nach Anspruch 16 und ein Fahrzeug-Gespann nach An- spruch 17 gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.
Erfindungsgemäß ist demnach vorgesehen, mit zwei Kameras eines Stereo-Kamerasystems zwei Abbildungen zu erstellen, die ein Fahrzeug- Umfeld in einem Erfassungsbereich des Stereo-Kamerasystems wiederge- ben, wobei die Abbildung vorzugsweise zum selben Zeitpunkt erstellt wer- den. In einem ersten Bildabschnitt einer ersten Abbildung werden anschlie- ßend mindestens zwei erste Abbildungspunkte ermittelt, wobei jedem der ersten Abbildungspunkte jeweils ein Objektpunkt am Auflieger zugeordnet ist. Jedem Objektpunkt ist weiterhin ein zweiter Abbildungspunkt in einem zwei- ten Bildabschnitt der zweiten Abbildung zugeordnet, der ebenfalls ermittelt wird. Somit ist jedem Objektpunkt am Auflieger ein Abbildungspunkt in den jeweiligen Bildabschnitten zugeordnet.
Aus den Abbildungspunkten auf den beiden Bildabschnitten können Tie- fen Informationen bezüglich des jeweiligen Objektpunktes extrahiert werden, wobei dies mithilfe der Epipolargeometrie stattfindet, bei der die jeweils mit- einander über den Objektpunkt verknüpften Abbildungspunkte miteinander korreliert werden können. Da die beiden Abbildungspunkte denselben Ob- jektpunkt aus leicht versetzten Blickwinkeln abbilden, kann eine Tiefen infor- mation bezüglich des Objektpunktes, insbesondere ein Abstand des Objekt- punktes am Auflieger zum Stereo-Kamerasystem, ermittelt werden.
Werden für mindestens zwei Objektpunkte Tiefen Informationen auf die- se Weise ermittelt, kann erfindungsgemäß eine Ausgleichsgerade durch die beiden Objektpunkte gelegt werden, die eine Orientierung des Aufliegers im Fahrzeug-Umfeld charakterisiert. Zu erwarten ist hierbei, dass die Objekt- punkte auf einer Seitenwand des Aufliegers verteilt sind, wenn das Stereo- Kamerasystems seitlich des Zugfahrzeuges, beispielswiese im Bereich eines Seitenspiegels, angeordnet ist. Dazu ist vorzugsweise vorgesehen, dass ein Erfassungsbereich des Stereo-Kamerasystems auf die Seitenwand des Auf- liegers ausgerichtet ist, wenn sich das Fahrzeug-Gespann in einer Kurven- fahrt befindet. Über die Objektpunkte bzw. die Ausgleichsgerade kann dann die Orientierung der Seitenwand während einer Kurvenfahrt ermittelt werden. In Kenntnis der Orientierung der Ausgleichsgerade relativ zu einer zug- fahrzeugfesten Bezugsachse bei Geradeausfahrt, kann der Knickwinkel aus einem Ausgleichswinkel zwischen der Ausgleichsgeraden und der zugfahr- zeugfesten Bezugsachse ermittelt werden, wenn sich das Fahrzeug- Gespann in einer Kurvenfahrt befindet, d.h. das Zugfahrzeug nicht parallel zum Auflieger ausgerichtet ist. Der Knickwinkel ist somit definiert als ein Win- kelversatz des Zugfahrzeuges relativ zum Auflieger um die Hochachse, wo bei der Knickwinkel beispielsweise aus dem Winkel zwischen der Längsmit- telachse des Zugfahrzeuges, die als zugfahrzeugfeste Bezugsachse ange- setzt werden kann, und der Längsmittelachse des Aufliegers folgt, wobei die- ser Winkel bei einer Geradeausfahrt in etwa 0° beträgt.
Somit kann durch Aufnahme von zwei Abbildungen in einfacher Weise mit einem Stereo-Kamerasystem aus gewonnen Tiefen Informationen der Knickwinkel ermittelt werden. Gegenüber dem Stand der Technik wird somit nicht nur auf Informationen in der Ebene, die aus der zweidimensionalen Ab- bildung hervorgehen, zurückgriffen, sondern zusätzlich auf Informationen bezüglich der Lage des Objektpunktes am Auflieger im Raum. Dadurch lässt sich eine Ausgleichsgerade festlegen, die die Orientierung des Aufliegers im Raum bzw. im Fahrzeug-Umfeld charakterisiert.
Die Orientierung der Ausgleichsgerade bei einer Geradeausfahrt, die als Bezug für die Kurvenfahrt dient, kann beispielsweise in einem Kalibrier- vorgang ermittelt werden, in dem ein Kalibrier-Ausgleichswinkel zwischen der Ausgleichsgerade und der zugfahrzeugfesten Bezugsachse erfasst wird und dieser Kalibrier-Ausgleichswinkel beim Übergang in eine Kurvenfahrt zur Er mittlung des tatsächlichen Knickwinkels aus dem dann vorliegenden Aus- gleichwinkel mit einbezogen wird. Somit können auch zugfahrzeugfeste Be- zugsachsen verwendet werden, die nicht der Zugfahrzeuglängsmittelachse entsprechen. Vorzugsweise ist vorgesehen, dass die Ausgleichsgerade und die zug- fahrzeugfeste Bezugsachse in demselben Koordinatensystem ermittelt bzw. festgelegt werden, vorzugsweise in einem zugfahrzeugfesten ersten Koordi- natensystem. Dadurch kann der Datenaufwand minimiert werden, da zur Er mittlung des Ausgleichswinkels einfache geometrische Betrachtungen anzu- stellen sind und demnach lediglich die Ausgleichsgerade, die zunächst in einem kamerafesten dritten Koordinatensystem über das Stereo- Kamerasystem ermittelt wird, in das erste Koordinatensystem zu transformie- ren ist. Alternativ kann auch die fahrzeugfeste Bezugsachse in das dritte Ko- ordinatensystem transformiert werden, um darin den Ausgleichswinkel zu ermitteln.
Um diesen Vorgang weiter zu optimieren, kann vorgesehen sein, dass die zugfahrzeugfeste Bezugsachse eine x-Achse oder eine y-Achse des ers- ten Koordinatensystems ist, so dass der Knickwinkel im Wesentlichen gleich dem Ausgleichswinkel zwischen der Ausgleichsgeraden und der x-Achse des ersten Koordinatensystems als Bezugsachse ist oder der Knickwinkel 90° minus dem Ausgleichswinkel zwischen der Ausgleichsgeraden und der y- Achse des ersten Koordinatensystems als Bezugsachse beträgt. Dadurch ist die fahrzeugfeste Bezugsachse, die vorzugsweise eine Fahrzeuglängsmittel- achse ist, bereits durch das Koordinatensystem festgelegt. Nach einer Trans- formation der Ausgleichsgeraden in das zugfahrzeugfeste erste Koordinaten- system ist die Bezugsachse somit nicht erst aufwändig zu ermitteln bzw. zu parametrieren und der Ausgleichswinkel kann einfach und mit wenig Auf- wand ermittelt werden.
Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass die Objektpunkte zum Ermitteln der Ausgleichsgerade in einer Ebene beschrie- ben werden, wobei die Ebene senkrecht zu einer Hochachse ausgerichtet ist, wobei der Auflieger in einer Kurvenfahrt relativ zum Zugfahrzeug um diese Hochachse verschwenkt wird. Die Objektpunkte werden somit aus einem dreidimensionalen Raum in einen zweidimensionalen Raum reduziert.
Dadurch kann der Datenaufwand vorteilhafterweise weiterhin minimiert wer- den, ohne dabei die Genauigkeit maßgeblich zu beeinträchtigen, da die Ko- ordinate des Objektpunktes in Hochrichtung keine weitere Information bezüg- lich der Orientierung des Aufliegers bei einer Kurvenfahrt liefert und somit für die Berechnung bzw. die Bildung der Ausgleichsgerade vernachlässigt wer- den kann. Vorzugsweise wird die Ebene bei einer Beschreibung im ersten Koordinatensystem durch die x-Achse und die y-Achse des ersten Koordina- tensystems aufgespannt.
Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass die Tie- fen Information bezüglich eines Objektpunktes durch einen Objektabstand gegeben ist, wobei der Objektabstand zwischen dem jeweiligen Objektpunkt und einer zweiten Verbindungslinie gemessen wird, wobei die zweite Verbin- dunglinie zwischen Projektionszentren der beiden Kameras verläuft. Somit kann zur Ermittlung der Orientierung des Aufliegers eine Information ermittelt werden, die den jeweiligen Objektpunkt im Raum, vorzugsweise im dritten Koordinatensystem des Stereo-Kamerasystems, beschreibt, wobei diese In- formation aufgrund des leicht versetzten Blickwinkels der Kameras ermittelt werden kann. Dazu wird vorzugsweise auf das Prinzip der Epipolargeometrie zurückgegriffen.
Um dies zu erreichen, kann vorzugsweise vorgesehen sein, dass der Objektabstand des jeweiligen Objektpunktes in Abhängigkeit einer Brennwei- te der Kameras, eines Abstandes zwischen den Projektionszentren der Ka- meras und einer Disparität zwischen den jeweiligen ersten Abbildungspunk- ten und zweiten Abbildungspunkten ermittelt wird. Mithilfe einer Triangulation sowie unter Rückgriff auf die Strahlensätze ist es somit aus geometrischen Betrachtungen in einfacher Weise möglich, aus den beiden Abbildungen über die Abbildungspunkte den Objektabstand als Tiefen Information zu den jewei- ligen Objektpunkten zu ermitteln.
Um dies zu ermöglichen, ist je nach Aufbau des Stereo-Kamerasystems vorgesehen, dass die Bildabschnitte zum Ermitteln der Disparität rektifiziert werden. Unter Rektifizieren wird hierbei eine Transformation der Bildab- schnitte bzw. einzelner Bildpunkte der Bildabschnitte verstanden, wobei dadurch erreicht wird, dass die Kameras bei einer nicht-parallelen Ausrich- tung zueinander virtuell gedreht werden, so dass diese bzw. deren
Bildsensoren parallel zueinander liegen, so dass darüber der Objektabstand in einfacher Weise aus geometrischen Betrachtungen ermittelt werden kann. Die Abbildungspunkte des Bildabschnittes werden somit in rektifizierte Bild abschnitte mit rektifizierten Abbildungspunkten transformiert.
Vorzugsweise ist dazu weiterhin vorgesehen, dass die Disparität bezüg- lich eines Objektpunktes aus einem Unterschied zwischen Abbildungsab- ständen in den beiden rektifizierten Bildabschnitten folgt, wobei die Abbil- dungsabstände einen Abstand des jeweiligen rektifizierten Abbildungspunk- tes zum Projektionszentrum der jeweiligen Kamera in dem rektifizierten Bild abschnitt angeben.
Dies kann in vorteilhafter Weise dadurch erfolgen, dass die rektifizierten Abbildungspunkte zunächst in einem rektifizierten vierten Koordinatensystem ermittelt werden, wobei das rektifizierte vierte Koordinatensystem durch Rek- tifizieren eines vierten Koordinatensystems hervorgeht und das vierte Koor- dinatensystem jeweils einem Bildsensor der jeweiligen Kamera zugeordnet ist und Bildpunkten des jeweiligen Bildsensors Koordinaten zuordnet, wobei die Abbildungsabstände aus den x-Koordinaten der rektifizierten Abbildungs- punkte im rektifizierten vierten Koordinatensystem folgen.
Vorzugsweise ist vorgesehen, dass der jeweilige Bildabschnitt über die gesamte Abbildung oder einen Teil der Abbildung ausgedehnt ist, wobei der Bildabschnitt derartig gewählt wird, dass der Auflieger im Bildabschnitt ent halten ist, wobei in dem ersten Bildabschnitt im Wesentlichen derselbe Teil des Aufliegers dargestellt ist wie im zweiten Bildabschnitt. Somit kann je nach Anwendung der Rechenaufwand für die Verarbeitung von Daten zum Ermitteln der Objektpunkte bzw. der Ausgleichsgerade minimiert werden, indem der Bildabschnitt entsprechend gewählt wird und dadurch die Anzahl an zu betrachtenden Abbildungspunkte bzw. Objektpunkten eingeschränkt wird.
Vorzugsweise ist weiterhin vorgesehen, dass die mindestens zwei ers- ten Abbildungspunkte im ersten Bildabschnitt ermittelt werden durch Erfas- sen von ersten Merkmalen in dem ersten Bildabschnitt, beispielsweise in ei- ner Kantenerkennung, wobei das erste Merkmal durch eine Intensitätsände- rung im ersten Bildabschnitt charakterisiert wird und die Intensitätsänderun- gen im ersten Bildabschnitt beispielsweise verursacht werden durch eine hin tere Kante des Aufliegers und/oder eine Falte an einer Seitenwand des Auf- liegers und/oder einer Schattierung an der Seitenwand des Aufliegers und/oder einem Muster an der Seitenwand des Aufliegers, wobei sich in etwa dieselben Intensitätsänderungen auch an den mindestens zwei zweiten Ab- bildungspunkten im zweiten Bildabschnitt ergeben.
Vorzugsweise ist weiterhin vorgesehen, dass die mindestens zwei zwei- ten Abbildungspunkte durch einen Vergleich von Intensitäten an ersten Bild- punkten im ersten Bildabschnitt und zweiten Bildpunkten im zweiten Bildab- schnitt ermittelt werden. Dazu werden im zweiten Bildabschnitt zweite Bild punkte auf einer zweiten Epipolarlinie gesucht, die dieselbe Intensitätsvertei- lung aufweisen wie den ersten Abbildungspunkten zugeordnete erste Bild punkte auf einer ersten Epipolarlinie im ersten Bildabschnitt. Somit können die zweiten Abbildungspunkte im zweiten Bildabschnitt vorteilhafterweise durch einen einfachen Vergleich von Intensitäten des ersten Bildabschnittes gefunden werden, nachdem die ersten Abbildungspunkte beispielsweise in der Kantenerkennung im ersten Bildabschnitt bereits erfasst sind.
Erfindungsgemäß ist eine Ermittlungseinrichtung zur Durchführung des beschriebenen Verfahrens zum Ermitteln des Knickwinkels insbesondere während einer Kurvenfahrt vorgesehen, wobei die Ermittlungseinrichtung mit dem Stereo-Kamerasystem signalübertragend verbunden ist zur Aufnahme von Kamerasignalen, wobei über die Kamerasignale die Abbildungen und/oder die Bildabschnitte übertragen werden können.
Weiterhin ist erfindungsgemäß ein Fahrzeug-Gespann aus einem Zug- fahrzeug und einem Auflieger vorgesehen, wobei der Auflieger um eine Hochachse und um einen Knickwinkel um das Zugfahrzeug verschwenkbar ist und am Zugfahrzeug ein Stereo-Kamerasystem angeordnet ist, das eine Aufnahme einer ersten Abbildung und einer zweiten Abbildung aus einem Erfassungsbereich des Stereo-Kamerasystems erlaubt und das mit einer Ermittlungseinrichtung zur Durchführung des beschriebenen Verfahrens sig nalleitend verbunden ist.
Die Erfindung wird im Folgenden anhand der beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 a eine schematische Draufsicht auf ein Fahrzeug-Gespann;
Fig. 1 b eine Detailansicht eines Stereo-Kamerasystems Fig. 1 a;
Fig. 2a-d unterschiedliche Ansichten zur Definition von Koordinatensyste- men;
Fig. 3 eine beispielhafte Abbildung eines mit einer Kamera des Stereo- Kamerasystems erfassten Fahrzeug-Umfeldes mit einem Auflie- ger des Fahrzeug-Gespanns; Fig. 4 eine geometrische Ansicht des Stereo-Kamerasystems zur Auf- nahme eines Objektpunktes;
Fig. 5a, 5b geometrische Ansichten zur Ermittlung von Tiefen Informationen des Objektpunktes;
Fig. 6 eine Punktewolke aus Objektpunkten zur Ermittlung eines
Knickwinkels des Fahrzeug-Gespanns; und
Fig. 7 ein Flussdiagramm gemäß einer Ausführungsform der Erfindung.
Gemäß Figur 1 a ist ein Fahrzeug-Gespann 100 aus einem Zugfahrzeug 101 und einem Auflieger 102 in einer Draufsicht dargestellt. Das Fahrzeug- Gespann 100 befindet sich in einer Fahrsituation, in der sich ein bestimmter Knickwinkel d zwischen dem Zugfahrzeug 101 und dem Auflieger 102 ein- stellt. Dies ist beispielsweise während einer Kurvenfahrt 200 der Fall, in der sich der Auflieger 102 um eine mit einem Königszapfen 103 als Drehpunkt zusammenfallende Hochachse H um das Zugfahrzeug 101 verschwenkt.
Zum Messen dieses Knickwinkels d ist im Fahrzeug-Gespann 100 ein Stereo-Kamerasystem 1 vorgesehen, das zwei seitlich am Zugfahrzeug 101 angeordnete Kameras 2a, 2b aufweist, die beispielsweise im Bereich eines Rückspiegels 3 des Zugfahrzeuges 101 und dabei in einem Abstand A zuei- nander angeordnet sind (s. Fig. 1 b). Mit den beiden Kameras 2a, 2b wird somit ein Stereo-Kamerasystem 1 ausgebildet, mit dem eine räumliche Ab- bildung eines Fahrzeug-Umfeldes U in einem Erfassungsbereich 4 ermög- licht wird, so dass Tiefen Informationen von Objekten im Erfassungsbereich 4 extrahiert werden können. Der Erfassungsbereich 4 ist hierbei nach hinten in das Fahrzeug-Umfeld U, d.h. in Richtung des Aufliegers 102 ausgerichtet, so dass der Auflieger 102 insbesondere während der Kurvenfahrt 200 zumin- dest teilweise erfasst werden kann.
Der Knickwinkel d kann aus Kamerasignalen S2a, S2b, die von den einzelnen Kameras 2a, 2b ausgegeben werden, in einer Ermittlungseinrich- tung 5 wie folgt ermittelt werden:
Zunächst sind unterschiedliche Koordinatensysteme K1 , K2, K3, K4a, K4b festzulegen, um aus geometrischen Betrachtungen den Knickwinkel d zu erhalten. Demnach ist gemäß Fig. 2a als ein erstes Koordinatensystem K1 ein zugfahrzeugfestes Koordinatensystem vorgesehen, wobei ein erster Ko- ordinatenursprung U 1 des ersten Koo rd i n a te n syste m s K1 in diesem Ausfüh- rungsbeispiel im Schnittpunkt einer Fahrzeuglängsmittelebene 6 mit einer Vorderachse 7 des Zugfahrzeuges 101 liegt. Ausgehend von diesem ersten Koordinatenursprung U1 wird das erste Koordinatensystem K1 in kartesi- schen Koordinaten x1 , y1 , z1 aufgespannt, wobei die Fahrzeuglängsmittel- ebene 6 durch die x1 -z1 -Achsen aufgespannt wird und die y1 -Achse entlang der Vorderachse 7 verläuft.
Ein zweites Koordinatensystem K2 ist durch ein kamerafestes Koordina- tensystem gegeben, wobei das kamerafeste Koordinatensystem dem Stereo- Kamerasystem 1 als Ganzes zugeordnet ist und ein zweiter Koordinatenur- sprung U2 des zweiten Koordinatensystems K2 beispielhaft in einem ersten Projektionszentrum 8a der ersten Kamera 2a angeordnet ist. Ausgehend von diesem zweiten Koordinatenursprung U2 wird das zweite Koordinatensystem K2 in kartesischen Koordinaten x2, y2, z2 wie in Fig. 2b dargestellt aufge- spannt.
Ein drittes Koordinatensystem K3 ist durch ein aufliegerfestes Koordina- tensystem gegeben, wobei ein dritter Koordinatenursprung U3 des dritten Koordinatensystems K3 im Mittelpunkt des Königszapfens 103 des Auflie- gers 102, wie in Fig. 2c dargestellt, liegt und durch kartesische Koordinaten x3, y3, z3 aufgespannt wird. Die z3-Achse im Königszapfen 103 fällt hierbei mit der Hochachse H zusammen, um die sich der Auflieger 102 bei einer Kurvenfahrt dreht.
Ein viertes Koordinatensystem K4a, K4b ist durch ein kartesisches Ko- ordinatensystem in der Ebene eines Bildsensors 9a, 9b der jeweiligen Kame- ra 2a, 2b gegeben, wobei jedem Bildsensor 9a, 9b jeweils ein viertes Koordi- natensystem K4a, K4b zugeordnet ist. Das vierte Koordinatensystem K4a, K4b ist gemäß Fig. 2d ein zweidimensionales Koordinatensystem mit kartesi- schen Koordinaten x4a, y4a bzw. x4b, y4b. Über das vierte Koordinatensys- tem K4a, K4b werden einzelnen Bildpunkten 11 ai, 11 bi, mit i=1 ,... bzw. Pi- xeln des jeweiligen Bildsensors 9a, 9b Koordinaten x4a, y4a bzw. x4b, y4b zugeordnet.
Im Betrieb des Stereo-Kamerasystems 1 wird das Fahrzeug-Umfeld U im Erfassungsbereich 4 durch die Optik der ersten Kamera 2a auf den ersten Bildpunkten 11 ai des ersten Bildsensors 9a abgebildet, so dass je nach Art des ersten Bildsensors 9a am jeweiligen ersten Bildpunkt 11 ai ein erster Bildwert 12ai mit i=1 ,... erzeugt wird. Bei einem CCD-Sensor als erster Bildsensor 9a ist beispielsweise jedem Bildpunkt 11 ai eine Fotodiode zuge- ordnet, die je nach Lichteinfall durch die Abbildung eine bestimmte Ladung erzeugt, wobei die Ladung oder eine dazu proportionale Größe als erster Bildwert 12ai des jeweiligen ersten Bildpunktes 11 ai ausgegeben werden kann. Der erste Bildwert 12ai repräsentiert somit beispielsweise eine Intensi- tät I, die sich auf dem jeweiligen ersten Bildpunkt 11 ai aufgrund der Abbil- dung des Fahrzeug-Umfeldes U auf dem ersten Bildsensor 9a einstellt. Somit kann durch die jeweiligen ersten Bildwerte 12ai eine erste Abbildung 50a des Fahrzeug-Umfeldes U erstellt werden, wobei sich die erste Abbildung 50a auch im vierten Koordinatensystem K4a beschreiben lässt. Entsprechend wird das Fahrzeug-Umfeld U im Erfassungsbereich 4 des Stereo-Kamerasystems 1 durch die Optik der zweiten Kamera 2b auf den zweiten Bildpunkten 11 bi mit i=1 des zweiten Sensors 9b abgebildet und jedem zweiten Bildpunkt 11 bi ein jeweiliger zweiter Bildwert 12bi mit i=1 zugeordnet, so dass eine zweite Abbildung 50b des Fahrzeug-Umfeldes U erzeugt wird, die sich im vierten Koordinatensystem K4b darstellen lässt. Über die Kamerasignale S2a, S2b können die jeweiligen Bildwerte 12ai, 12bi mit der Zuordnung zu den jeweiligen Koordinaten x4a, y4a bzw. x4b, y4b übertragen werden, um die daraus resultierende Abbildung 50a, 50b weiter- verarbeiten zu können.
Der zu ermittelnde Knickwinkel d entspricht dem Winkel, um den das dritte Koordinatensystems K3 relativ zum ersten Koordinatensystem K1 um die z3-Achse bzw. die Hochachse H verdreht ist bzw. dem Winkel zwischen der x1 -Achse und der x3-Achse oder der y1 -Achse und der y3-Achse in Fig.
1. Dieser Winkel bzw. der Knickwinkel d kann aus den Kamerasignalen S2a, S2b der beiden Kameras 2a, 2b ermittelt werden, wenn die Einbauorientie- rung der Kameras 2a, 2b in den Koordinaten x1 , y1 , z1 des ersten Koordina- tensystems K1 bekannt ist und sich der Auflieger 102 im Erfassungsbereich 4 des Stereo-Kamerasystems 1 befindet. Dies erfolgt durch Auswertung der beiden über die Kamerasignale S2a, S2b übertragenen Abbildungen 50a, 50b, die aufgrund des Abstandes A zwischen den Kameras 2a, 2b aus leicht versetzten Blickwinkeln aufgenommen werden, so dass sich festgelegte Ob- jektpunkte Pk mit k=1 ,... am Auflieger 102 mit einer Tiefen Information be- stimmen lassen.
In Fig. 3 ist dazu eine beispielhafte Fahrsituation gezeigt, die von einer der beiden Kameras 2a, 2b aufgenommen wird, da sich der Auflieger 102 während einer Kurvenfahrt 200 im Erfassungsbereich 4 des Stereo- Kamerasystems 1 befindet. Zur Minimierung der verarbeiteten Daten werden zur Ermittlung des Knickwinkels d lediglich Bildpunkte 11 ai, 11 bi in einem bestimmten Bildabschnitt 10a, 10b der Abbildung 50a, 50b der jeweiligen Kamera 2a, 2b betrachtet, wobei der Auflieger 102 in dem Bildabschnitt 10a, 10b zumindest ausschnittsweise abgebildet ist. Die Bildabschnitte 10a, 10b können hierbei in Abhängigkeit eines zu erwartenden Bereiches der jeweili- gen Abbildung 50a, 50b festgelegt werden, in dem der einknickende Auflie- ger 102 normalerweise bei einer Kurvenfahrt 200 abgebildet ist, oder aber über eine Kantenerkennung E, in der die jeweilige Abbildung 50a, 50b nach Kanten abgesucht wird, die als dem Auflieger 102 zugehörig angesehen werden können. Der Bildabschnitt 10a, 10b wird dann entsprechend in einem Bereich um diese erfassten Kanten festgelegt, so dass der Auflieger 102 in ausreichendem Maße erfasst werden kann.
Die Bildabschnitte 10a, 10b der beiden Kameras 2a, 2b korrespondie- ren hierbei miteinander, wobei darunter zu verstehen ist, dass von der zwei- ten Kamera 2b in etwa derselbe Bereich des Fahrzeug-Umfeldes U aufge- nommen wird wie von der ersten Kamera 2a, wobei lediglich leicht versetzte Blickwinkel aufgrund des Abstandes A zwischen den Kameras 2a, 2b vorlie- gen. Die Auswahl der Bildabschnitte 10a, 10b erfolgt somit für beide Abbil- dungen 50a, 50b aufgrund derselben Kriterien, so dass in beiden Bildab- schnitten 10a, 10b in etwa derselbe Bereich des Aufliegers 102 enthalten ist und sich somit eine Tiefen Information von bestimmten ausgewählten Objekt- punkten Pk am Auflieger 102 herleiten lässt. Ist eine Minimierung des Re- chenaufwandes nicht erforderlich, können die Bildabschnitte 10a, 10b auch über die gesamte Abbildung 50a, 50b ausgedehnt sein.
Die Auswahl der Bildabschnitte 10a, 10b erfolgt beispielsweise in der Ermittlungseinrichtung 5, die aus den Kamerasignalen S2a, S2b bzw. den darin enthaltenen Abbildungen 50a, 50b den entsprechenden Bildabschnitt 10a, 10b für die weitere Verarbeitung auswählt. Durch Korrelation der beiden aufgenommenen Bildabschnitte 10a, 10b können die Tiefen Informationen von einzelnen ausgewählten Objektpunkten Pk gewonnen werden. Dazu werden die Bildabschnitte 10a, 10b in der Ermittlungseinrichtung 5 in einem Stereo-Algorithmus SA wie folgt verarbeitet:
Der Stereo-Algorithmus SA sucht in den beiden Bildabschnitten 10a,
10b jeweils nach bestimmten Merkmalen Mak, Mbk, k = 1 , ..., die Objekt- punkten Pk am Auflieger 102 zugeordnet sind, wobei die Merkmale Mak,
Mbk insbesondere durch Intensitätsänderungen dl zwischen benachbarten Bildpunkten 11 ai, 11 bi in den jeweiligen Bildabschnitten 10a, 10b charakteri- siert werden können. Intensitätsänderungen dl ergeben sich in den Bildab schnitten 10a, 10b gemäß Fig. 3 beispielsweise aus der Abbildung einer hin teren Kante 102a des Aufliegers 102, durch Falten 102b in einer Seitenwand 102c des Aufliegers 102, durch Schattierungen 102d auf der Seitenwand 102c oder durch abgebildete Muster 102e, die jeweils mit unterschiedlichen Intensitäten I auf den Bildsensoren 9a, 9b abgebildet werden, da sich diese von der Abbildung der Seitenwand 102c unterscheiden, und darüber als Merkmale Mak, Mbk identifizierbar sind. Als Intensitätsänderung dl wird somit eine erfassbare Änderung in der Intensität I zwischen Pixeln bzw. Bildpunk- ten 11 ai, 11 bi in einem bestimmten Bereich des jeweiligen Bildabschnittes 10a, 10b verstanden, die aufgrund von Strukturänderungen an der Seiten- wand 102c des Aufliegers 102 auftreten.
Jedes identifizierte Merkmal Mak, Mbk wird dabei durch einen Objekt- punkt Pk direkt am Auflieger 102 beschrieben, wobei jeder Objektpunkt Pk auf einem Abbildungspunkt Qak, Qbk auf dem jeweiligen Bildsensor 9a, 9b abgebildet wird, wobei die Abbildungspunkte Qak, Qbk eine Teilmenge der Bildpunkte 11 ai, 11 bi des jeweiligen Bildsensors 9a, 9b darstellen (s. Fig. 4). Die Merkmale Mak, Mbk bzw. die zugehörigen Abbildungspunkte Qak, Qbk können beispielsweise in einer Kantenerkennung E, beispielsweise in einem Canny-Algorithmus, in den Bildabschnitten 10a, 10b identifiziert werden. Derartig können wie in Fig. 4 dargestellt beispielsweise die Objektpunkte Pk im Bereich des Musters 102e auf der Seitenwand 102c im Bildabschnitt 10a, 10b als Merkmale Mak, Mbk bzw. Abbildungspunkte Qak, Qbk auf dem je- weiligen Bildsensor 9a, 9b erfasst werden, wobei die Anzahl k der erkannten Merkmale Mak, Mbk im Bereich des Musters 102e abhängig von der Auflö- sung bzw. der Einstellung der Kantenerkennung E ist.
Weitere Merkmale Mak, Mbk ergeben sich aus dem Bereich der Falte 102b in der Seitenwand 102c, der im Bildabschnitt 10a, 10b liegt, aus dem Bereich der Schattierung 102d, der im Bildabschnitt 10a, 10b liegt, sowie aus dem Bereich des Musters 102e, der im Bildabschnitt 10a, 10b liegt. Somit können über den gesamten jeweiligen Bildabschnitt 10a, 10b mehrere
Merkmale Mak, Mbk bzw. Abbildungspunkte Qak, Qbk erfasst werden, wobei diese Objektpunkte Pk idealerweise auf der gesamten Seitenwand 102c des Aufliegers 102 verteilt sind. Aus den Tiefeninformationen zu diesen Objekt- punkten Pk, kann auf die Orientierung der Seitenwand 102c im Fahrzeug- Umfeld U bzw. relativ zum Zugfahrzeug 101 und darüber auf den Knickwinkel d geschlossen werden.
Um dies zu erreichen, sind die Merkmale Mak, Mbk bzw. die Abbil- dungspunkte Qak, Qbk aus den Bildabschnitten 10a, 10b beider Kameras 2a, 2b zu korrelieren:
Wurde demnach auf die oben beschriebene Weise in dem ersten Bildab- schnitt 10a ein bestimmtes erstes Merkmal Mak identifiziert und diesem ers- ten Merkmal Mak ein erster Abbildungspunkt Qak auf dem ersten Bildsensor 9a zugeordnet, so wird der diesem ersten Abbildungspunkt Qak zugehörige Objektpunkt Pk am Auflieger 102 anschließend im zweiten Bildabschnitt 10b der zweiten Abbildung 50b ebenfalls gesucht, d.h. dem jeweiligen Objekt- punkt Pk wird ein zweiter Abbildungspunkt Qbk auf dem zweiten Bildsensor 9b zugeordnet. Diese Zuordnung wird für jedes in dem ersten Bildabschnitt 10a erkannten ersten Merkmals Mak mit dem laufenden Index k durchge- führt. Diese Zuordnung erfolgt nach dem Prinzip der Epipolargeometrie, die in Fig. 4 anhand eines Objektpunktes Pk bzw. eines Merkmals Mak, Mbk per- spektivisch veranschaulicht ist. Demnach ist einem bestimmten ersten Abbil- dungspunkt Qak im ersten Bildabschnitt 10a ein entsprechender Objektpunkt Pk im Fahrzeug-Umfeld U zugeordnet, z.B. ein Punkt des Muster 102e am Auflieger 102, aus dem eine Intensitätsänderung dl von der Kantenerken- nung E erfasst wurde. Um diesen Objektpunkt Pk im zweiten Bildabschnitt 10b der zweiten Abbildung 50b in Form eines zweiten Abbildungspunktes Qbk bzw. eines zweiten Merkmals Mbk zu finden, wird zwischen dem jeweili- gen Objektpunkt Pk und dem ersten Projektionszentrum 8a der ersten Kame- ra 2a eine erste Verbindungslinie V1 gezogen und zwischen den beiden Pro- jektionszentren 8a, 8b der beiden Kameras 2a, 2b eine zweite Verbindungs- linie V2. Die beiden Verbindungslinien V1 , V2 spannen eine Epipolarebene 13 auf, die die beiden Bildsensoren 9a, 9b jeweils in einer Epipolarlinie 14a, 14b schneidet. Der bereits identifizierte erste Abbildungspunkt Qak in dem ersten Bildabschnitt 10a liegt dabei auf der ersten Epipolarlinie 14a des ers- ten Bildsensors 9a.
Um den dem Objektpunkt Pk zugeordneten zweiten Abbildungspunkt Qbk auf dem zweiten Bildsensor 9b zu finden, wird die zweite Epipolarlinie 14b des zweiten Bildsensors 9b nach diesem zweiten Abbildungspunkt Qbk abgesucht. Dazu werden beispielsweise für die zweiten Bildpunkte 11 bi auf dem zweiten Bildsensor 9b, die auf der zweiten Epipolarlinie 14b liegen, In- tensitäten I bzw. damit zusammenhängende zweite Bildwerte 12bi ermittelt. Stimmen diese mit den Intensitäten I bzw. den ersten Bildwerten 12ai auf der ersten Epipolarlinie 14a beim ersten Abbildungspunkt Qak überein oder sind diesen ähnlich, so kann darauf geschlossen werden, dass der jeweilige Ob- jektpunkt Pk am entsprechenden zweiten Bildpunkt 11 bi auf dem zweiten Sensor 9b abgebildet wird, so dass darüber der zweite Abbildungspunkt Qbk identifiziert werden kann. Ist eine eindeutige Zuordnung darüber nicht mög- lich, können alternativ oder ergänzend auch erste Bildwerte 12ai von direkt benachbarten ersten Bildpunkten 11 ai um den ersten Abbildungspunkt Qak mit zweiten Bildwerten 12bi von zweiten Bildpunkten 11 bi direkt benachbart zu zweiten Bildpunkten 11 bi auf der zweiten Epipolarlinie 14b miteinander verglichen werden, um den zweiten Abbildungspunkt Qbk im zweiten Bildab- schnitt 10b zu identifizieren.
Um diesen Vorgang ausführen zu können, ist der Abstand A zwischen den Kameras 2a, 2b bzw. den Projektionszentren 8a, 8b der Kameras 2a, 2b genau zu ermitteln, sowie eine Kalibrierung der Kameras 2a, 2b durchzufüh- ren, so dass die Epipolarebene 13 sowie die Epipolarlinien 14a, 14b in ein- deutiger Weise ermittelt werden können.
Nachdem die Abbildungspunkte Qak, Qbk eines erkannten Merkmals Mak, Mbk für beide Bildabschnitte 10a, 10b erfasst wurden, kann dem zuge- hörigen Objektpunkt Pk eine Tiefen Information bezüglich des kamerafesten zweiten Koordinatensystems K2 zugeordnet werden, wobei dazu die Abbil- dungspunkte Qak, Qbk wie folgt miteinander korreliert werden:
Zunächst werden die beiden Bildabschnitte 10a, 10b mit den jeweiligen Abbildungspunkten Qak, Qbk rektifiziert. Dazu werden die Bildabschnitte 10a, 10b mitsamt des vierten Koordinatensystems K4a, K4b virtuell derartig um die jeweiligen Projektionszentren 8a. 8b gedreht, dass diese wie in Fig. 5a perspektivisch dargestellt parallel zueinander bzw. in einer Ebene liegen, so dass rektifizierte Bildabschnitte 16a, 16b gebildet werden. Die Drehung erfolgt über eine festgelegte Projektionsmatrix, die auch die Abbildungspunk- te Qak, Qbk entsprechend in rektifizierte Abbildungspunkte Qak_r, Qbk_r transformiert. Dadurch wird simuliert, dass die beiden Kameras 2a, 2b exakt parallel zueinander ausgerichtet sind, wobei daraus auch folgt, dass die Epi polarlinien 14a, 14b aufeinanderliegen und die rektifizierten Abbildungspunk- te Qak_r, Qbk_r somit in derselben Bildzeile des jeweiligen Bildsensors 9a, 9b liegen. Gleichzeitig liegen die Projektionszentren 8a, 8b vorzugsweise mittig im jeweiligen rektifizierten Bildabschnitt 16a, 16b. Den rektifizierten Abbildungspunkten Qak_r, Qbk_r kann in den rektifizierten Bildabschnitten 16a, 16b jeweils eine rektifizierte Koordinate x4a_r, x4b_r bzw. y4a_r, y4b_r in einem rektifizierten vierten Koordinatensystem K4a_r, K4b_r zugeordnet werden, wobei die rektifizierten Abbildungspunkte Qak_r, Qbk_r in diesem dieselben vertikalen Koordinaten aufweisen, d.h. y4a_r = y4b_r.
Damit kann nun wie in Fig. 5b dargestellt ein Objekt-Abstand APk als Tiefen Information zum jeweiligen Objektpunkt Pk ermittelt werden, wobei der Objekt-Abstand APk den Abstand im Raum zwischen dem Objektpunkt Pk und der zweiten Verbindungslinie V2 zwischen den beiden Projektionszen- tren 8a, 8b angibt. Fig. 5b stellt hierbei die Situation aus Fig. 5a in einer Draufsicht dar, d.h. die y4a_r- bzw. y4b_r-Achsen ragen aus der Fig. 5b her- aus und die rektifizierten Bildabschnitt 16a, 16b schneiden die Figurenebene senkrecht. Der Objekt-Abstand APk ist somit die z2-Koordinate des tiefen- aufgelösten Objektpunktes Pk im zweiten Koordinatensystem K2, dessen zweiter Ursprung U2 im ersten Projektionszentrum 8a der ersten Kamera 2a festgelegt wurde. Der Objekt-Abstand APk folgt durch eine Triangulation un- ter Berücksichtigung des Strahlensatzes aus:
APk = A x B / Wk, mit einer Brennweite B sowie einer dem Objektpunkt Pk zugeordneten Dispa- rität Wk mit k = 1 , ..., wobei die Disparität Wk aus einer Differenz von Abbil- dungsabständen Fak, Fbk mit k=1 , ... folgt aus Wk = Fak - Fbk. Die Abbil- dungsabstände Fak, Fbk geben hierbei gemäß Fig. 5b den Abstand zwi- schen dem jeweiligen Projektionszentrum 8a, 8b und dem rektifizierten Ab- bildungspunkt Qak_r, Qbk_r im jeweiligen rektifizierten Bildabschnitt 16a, 16b in der x4a_r bzw. x4b_r-Richtung des jeweiligen rektifizierten vierten Koordi- natensystems K4a_r, K4b_r an. Die Abbildungsabstände Fak, Fbk können gemäß dieser Ausführung nach der Rektifizierung der Bildabschnitte 10a, 10b aus den Koo rdinatenwerten x4a_r bzw. x4b_r des jeweiligen rektifizier- ten Abbildungspunktes Qak_r, Qbk_r unter Kenntnis der Lage der Projekti- onszentren 8a, 8b (vorzugsweise mittig) im jeweiligen rektifizierten vierten Koordinatensystem K4a_r, K4b_r gewonnen werden, wobei die Lage der Projektionszentren 8a, 8b aus einer Kalibrierung folgt. Die Brennweite B gibt den Abstand der Projektionszentren 8a, 8b zum Bildsensor 9a, 9b bzw. zum rektifizierten Bildabschnitt 16a, 16b in z2-Richtung an, wobei die Brennweite B hier für beide Kameras 2a, 2b identisch ist. Liegen für die beiden Kameras 2a, 2b unterschiedliche Kameraparameter vor, ist die Ermittlung der Abbil- dungsabstände Fak, Fbk entsprechend anzupassen.
Mit diesem Objekt- Ab stand APk bzw. der z2-Koordinate im zweiten Koordi- natensystem K2 lässt sich der jeweilige Objektpunkt Pk im zweiten Koordina- tensystem K2 unter der Voraussetzung, dass der zweite Ursprung U2 im ers- ten Projektionszentrum 8a liegt, folgendermaßen darstellen:
(x2, y2, z2)Pk = APk x T x (x4a_r/B, y4a_r/B, 1 ), wobei T eine T ransformationsmatrix angibt, die die rektifizierten Koordinaten x4a_r, y4a_r des Objektpunktes Pk aus dem rektifizierten vierten Koordina- tensystem K4a_r zunächst in das vierte Koordinatensystem K4a und an- schließend in das kamerafeste zweite Koordinatensystem K2 mit dem zwei- ten Ursprung U2 im ersten Projektionszentrum 8a transformiert. Die Trans- formationsmatrix T besteht somit aus zwei Abbildungsmatrizen, wobei die eine Abbildungsmatrix (invers) auch für die Rektifizierung des Bildabschnittes 10a, 10b in den rektifizierten Bildabschnitt 16a, 16b angewendet wird und die andere Abbildungsmatrix (K4a => K2) aus einem Kalibriervorgang der Kame- ras 2a, 2b folgt.
Aufgrund der bekannten Einbauposition und des Einbauwinkels der Kameras 2a, 2b am Zugfahrzeug 101 und somit der Lage des kamerafesten zweiten Koordinatensystems K2 im ersten Koo rdinatensystem K1 können die im zweiten Koo rdinatensystem K2 ermittelten Koordinaten x2, y2, z2 des Ob- jektpunktes Pk in das zugfahrzeugfeste erste Koordinatensystem K1 nach einfachen geometrischen Betrachtungen mit einer weiteren Abbildungsmatrix transformiert werden, so dass daraus die Orientierung der durch die Objekt- punkte Pk beschriebenen Seitenwand 102c im ersten Koordinatensystem K1 ermittelt werden kann. Da die z1 -Koordinate des Objektpunktes Pk im ersten Koordinatensystem K1 bei einer Drehung des Aufliegers 102 um die Hoch- achse H vernachlässigt werden kann bzw. diese z1 -Koordinate keine weitere Information bezüglich einer Orientierung der Seitenwand 102c bzw. der Dre- hung des Aufliegers 102 um die Hochachse H liefern kann, werden im Fol- genden lediglich die x1 , y1 -Koordinaten des Objektpunktes Pk im ersten Ko- ordinatensystem K1 betrachtet. Somit findet eine Reduzierung der Objekt- punkte Pk in den zweidimensionalen Raum bzw. in eine Ebene 30 (s. Fig. 6) statt, die gemäß diesem Ausführungsbeispiel durch die x1 , y1 -Achsen des ersten Koordinatensystems K1 aufgespannt wird.
Für die weitere Betrachtung werden nach der beschriebenen Systema- tik unterschiedliche Merkmale Mak, Mbk in den Bildabschnitten 10a, 10b der beiden Kameras 2a, 2b des Stereo-Kamerasystems 1 und für diese Merkma- le Mak, Mbk die x1 , y1 -Koordinaten der jeweils zugehörigen Objektpunkte Pk im ersten Koordinatensystem K1 erfasst. Wenn sich die zugehörigen Objekt- punkte Pk entlang der Seitenwand 102c des Aufliegers 102 im Bildabschnitt 10a, 10b in etwa gleichmäßig verteilen, entsteht eine in Fig. 6 dargestellte Punktwolke 15 von auf den zweidimensionalen Raum bzw. in die Ebene 30 reduzierten Objektpunkten Pk im ersten Koordinatensystem K1 mit den Ko- ordinaten x1 , y1 , wobei die Objektpunkte Pk die Orientierung der Seitenwand 102c des Aufliegers 102 im ersten Koordinatensystem K1 repräsentieren.
Aufgrund von Rauscheinflüssen und Ungenauigkeiten sowie ggf. Un- ebenheiten in der Seitenwand 102c wird diese durch die Punktewolke 15 nicht exakt in einer Gerade abgebildet. Aufgrund dessen wird eine Regressi- onsgerade bzw. Ausgleichsgerade C durch die Punktewolke 15 gelegt. Ist die Seitenwand 102c des Aufliegers 102 parallel oder zumindest im Wesentli- chen parallel zur x3-Achse des dritten Koordinatensystems K3 ausgerichtet, folgt der Knickwinkel d unmittelbar aus einem Ausgleichswinkel g zwischen der Ausgleichsgerade C und einer Bezugsachse C1 , die gemäß diesem Aus- führungsbeispiel der x1 -Achse des ersten Koordinatensystems K1 (s. Fig. 1 a und Fig. 6) entspricht. Alternativ kann auch die y1 -Achse des ersten Koordi- natensystems K1 als Bezugsachse C1 gewählt werden, wobei dann der Knickwinkel d entsprechend aus 90° - g folgt. Der Ausgleichswinkel g kann hierbei mathematisch aus geometrischen Betrachtungen ermittelt werden, wenn für die Ausgleichsgerade C eine entsprechende vektorielle Darstellung im ersten Koordinatensystem K1 angesetzt wird.
Die Ausgleichsgerade C wird derartig gewählt, dass eine Summe aller Abstände der Objektpunkte Pk zur Ausgleichsgeraden C minimiert ist (Least Squares Optimierung) und die Ausgleichsgerade C durch einen Schwerpunkt der Punktewolke 15 verläuft.
Verläuft die Seitenwand 102c nicht in einer Ebene bzw. weist der Auf- lieger 102 keine Seitenwand 102c auf (z.B. Autotransporter), kann auch vor- ab eine Kalibrierung durchgeführt werden, in der während einer Geradeaus- fahrt 201 eine Ausgleichsgerade C durch die erfassten Objektpunkte Pk am Auflieger 102 gelegt wird und ein Kalibrier-Ausgleichswinkel gK zwischen der Ausgleichsgerade C und der jeweiligen zugfahrzeugfesten Bezugsachse C1 ermittelt wird. Dieser Kalibrier-Ausgleichswinkel gK wird anschließend als Bezugswinkel festgelegt und von dem während einer Kurvenfahrt 200 ermit telten Ausgleichswinkel g abgezogen, um den Knickwinkel d zu erhalten.
Weiterhin kann gemäß Fig. 8 vorgesehen sein, in einem abbildenden Verfahren mit lediglich einer Kamera, beispielsweise der ersten Kamera 2a, aus den ersten Abbildungspunkten Qak einen Knickwinkel d abzuschätzen. Demnach ist vorgesehen, zunächst die hintere Kante 102a des Aufliegers 102 in einer Kantenerkennung E wie oben beschrieben zu ermitteln und die- ser hinteren Kante 102a erste Abbildungspunkte Qak auf dem ersten
Bildsensor 9a zuzuordnen, die die jeweiligen Objektpunkte Pk auf der hinte- ren Kante 102a abbilden.
Da die Einbauposition der ersten Kamera 2a am Fahrzeug-Gespann 100 bekannt ist, kann durch geometrische Betrachtungen ein Abbildungswin- kel n (s. Fig. 8) ermittelt werden, der den (Azimut-)Winkel eines Objektpunk- tes Pk an der hinteren Kante 102a in der x2-z2-Ebene (s. Fig. 2b) des kame- rafesten zweiten Koordinatensystems K2 angibt. Dieser Abbildungswinkel n folgt aus n = arctan (L/B) (Lochkameramodell), wobei L die in Fig. 3 darge- stellte Strecke auf dem ersten Bildsensor 9a im vierten Koordinatensystem K4a zwischen der abgebildeten hinteren Kante 102a und einer Schnittlinie 150 angibt und B die Brennweite der ersten Kamera 2a ist. Die Strecke L ist somit der Abstand zwischen den beiden Geraden 102a und 150 auf dem Bildsensor 9a, der unmittelbar aus den x4a, y4a-Koordinaten der jeweils zu- geordneten ersten Abbildungspunkte Qak ermittelt werden kann, nachdem die beiden Geraden 102a, 150 erfasst sind.
Die Schnittlinie 150 wird hierbei durch Objektpunkte Pk auf der Auflie- ger-Seitenwand 102c gebildet, deren Koordinaten auf der y2-Achse des ka- merafesten zweiten Koordinatensystems K2 liegen. Darüber kann die Schnittlinie 150 im zweiten bzw. vierten Koo rdinatensystem K2, K4a festge- legt werden. Die hintere Kante 102a folgt aus der Kantenerkennung E.
Für den berechneten Abbildungswinkel n kann über tan(n) = Px2/Pz2 nun das Verhältnis der Werte der beiden Punktkoordinaten Px2 und Pz2 (s. Fig. 8) im zweiten Koordinatensystem K2 ermittelt werden. Um daraus die absoluten Werte der Punktkoordinaten Px2, Pz2 zu ermitteln, wird zunächst über eine vorab durchgeführte Kalibrierung die Höhe L6 (s. Fig. 3) der hinte- ren Kante 102a im vierten Koordinatensystem K4a abgeschätzt. Diese ändert sich je nach Abstand der hinteren Kante 102 relativ zur ersten Kamera 2a, d.h. in Abhängigkeit der Punktekoordinate Pz2. Über die Kalibrierung kann somit der Wert der Punktekoordinate Pz2 erhalten werden und über das obi- ge Verhältnis tan(n) auch die Punktekoordinate Px2, so dass der Objektpunkt Pk an der hinteren Kante 102a in den Koordinaten des zweiten Koordinaten- systems K2 bekannt ist.
In Kenntnis der Abmessungen L2, L3 des Aufliegers 102 sowie des Einbauwinkels n1 der ersten Kamera 2a und den Versätzen L1 , L4, L5 der Koordinatenursprünge U1 , U2, U3 zueinander, lassen sich die Punktkoordi- naten Px2, Pz2 im zweiten Koordinatensystem K2 über eine Verkettung von Koordinatensystemen im aufliegerfesten dritten Koordinatensystem K3 dar- stellen. Dies erfolgt durch eine Transformation der Punktekoordinaten Px2, Pz2 über eine T ransformationsmatrix T in die Punktekoordinaten Py3, Px3:
(Pz2, Px2) = T x (Px3, Py3) = T x (L2, L3) wobei T eine 4x4 T ransformationsmatrix und (Px3, Py3) einen Vektor mit den Punktekoordinaten des Objektpunktes Pk an der hinteren Kante 102a im dritten Koordinatensystem K3 angeben. Die T ransformationsmatrix T wird hierbei gebildet aus zwei Matrizen, wobei eine der Matrizen die Punkte des kamerafesten zweiten Koordinatensystems K2 in das zugfahrzeugfeste erste Koordinatensystem K1 transformiert und die andere Matrix die Punkte des aufliegerfesten dritten Koordinatensystems K3 in das erste Koordinaten- system K1. Beide Matrizen sind Drehmatrizen, da zum einen eine Verdre- hung zwischen K1 und K2 um den Einbauwinkel n1 vorliegt und zwischen K1 und K3 eine Verdrehung um den gesuchten Knickwinkel d. Über die T ransformationsmatrix T ergibt sich demnach aus geometri- schen Betrachtungen:
Figure imgf000027_0001
/ L2 cos(nl— d) + L 3 sin(nl— d) + (LI— 4) cos(nl)— L5 sin(nl) \ \—L2 sin(nl— d) + L3 cos(nl— d)— (LI— 4) sin(nl)— LS cos(nl)/
In dieser Gleichung ist lediglich der Knickwinkel d unbekannt, so dass folgt:
Figure imgf000027_0002
wobei
kt = (LI — L ) cos(nl)— LS sin(nl) fc2 = —(LI— 14) sin(nl)— LS cos(nl)
Eine derartige Berechnung kann nicht nur für die hintere Kante 102a er folgen, sondern auch für weitere Strukturen auf der Seitenwand 102c des Aufliegers 102, für die die Punktekoordinaten im dritten Koordinatensystem K3 bekannt sind und die von der Kamera 2a erfassbar sind.
Das erfindungsgemäße Verfahren kann gemäß Fig. 7 beispielsweise wie folgt ausgeführt werden:
Nachdem die Ermittlungseinrichtung 5 zur Ermittlung des Knickwinkels d in einem anfänglichen Schritt StO initialisiert wurde und ggf. auch eine Ka- librierung durch Ermitteln eines Kalibrier-Ausgleichswinkels gK stattgefunden hat, werden in einem ersten Schritt St1 von den beiden Kameras 2a, 2b Ab- bildungen 50a, 50b über den jeweiligen Bildsensor 9a, 9b aufgenommen und über die Kamerasignale S2a, S2b an die Ermittlungseinrichtung 5 ausgege- ben.
In einem zweiten Schritt St2 werden die Abbildungen 50a, 50b in dem Stereo-Algorithmus SA wie oben beschrieben verarbeitet, wobei dazu in ei- nem ersten optionalen Zwischenschritt St2a Bildabschnitte 10a, 10b der Ab- bildungen 50a, 50b ausgewählt werden, in denen der Auflieger 102 abgebil- det ist. In einem zweiten Zwischenschritt St2b werden anschließend Merkma- le Mak, Mbk aus den beiden Bildabschnitten 10a, 10b beispielsweise in einer Kantenerkennung E erfasst und die Abbildungspunkte Qak, Qbk mit Hilfe der Epipolargeometrie zu jedem Merkmal Mak, Mbk in beiden Bildabschnitten 10a, 10b ermittelt. Anschließend werden in einem dritten Zwischenschritt St2c die rektifizierten Bildabschnitte 16a, 16b gebildet und in einem vierten Zwischenschritt St2d die Objekt-Abstände APk der den Merkmalen Mak, Mbk zugeordneten Objektpunkte Pk aus den rektifizierten Abbildungspunkten Qak_r, Qbk_r im rektifizierten Bildabschnitt 16a, 16b ermittelt. Daraus wird der Objektpunkt Pk in einem folgenden Schritt St2e im kamerafesten zweiten Koordinatensystem K2 samt Tiefen Information ermittelt. Der Stereo- Algorithmus SA zum Extrahieren einer Tiefen Information von den Merkmalen Mak, Mbk zugeordneten Objektpunkten Pk aus den beiden Abbildungen 50a, 50b ist damit abgeschlossen. Der Stereo-Algorithmus SA wird für eine belie bige Anzahl k an erkannten Merkmalen Mak, Mbk ausgeführt, wobei die An- zahl k vorab begrenzt werden kann, um die Geschwindigkeit der Bearbeitung festzulegen.
In einem dritten Schritt St3 werden die im Stereo-Algorithmus SA ermit- telten Objektpunkte Pk aus dem kamerafesten zweiten Koo rdinatensystem K2 in das zugfahrzeugfeste erste Koordinatensystem K1 überführt. In einem vierten Schritt St4 werden die Objektpunkte Pk im ersten Koordinatensystem K1 auf eine Ebene in den x1 , y1 -Koordinaten reduziert, d.h. die Koordinate parallel zur Hochachse H, um die sich der Auflieger 102 dreht, entfällt. Aus allen reduzierten Objektpunkten Pk wird in einem fünften Schritt eine Punk- tewolke 15 gebildet, durch die eine Ausgleichsgerade C gelegt wird. In einem abschließenden sechsten Schritt St6 wird der Ausgleichswinkel g zwischen der Ausgleichsgerade C, die in etwa parallel zur x3-Achse des Aufliegers 103 liegt, und der Bezugsachse C1 , die beispielsweise durch die x1 -Achse des ersten Koordinatensystems K1 gebildet wird, ermittelt. Dieser Ausgleichswin- kel g entspricht ggf. unter Berücksichtigung des Kalibrier-Ausgleichswinkels gK dem Knickwinkel d, wenn davon ausgegangen wird, dass die Objektpunk- te Pk gleichmäßig auf der Seitenwand 102c des Aufliegers 102 verteilt sind und die Seitenwand 102c in etwa parallel zur x3-Achse des aufliegerfesten dritten Koordinatensystems K3 verläuft.
Der Knickwinkel d kann von der Ermittlungseinrichtung 5 im Fahrzeug- Gespann 100 für eine entsprechende Anwendung, z.B. ein Stabilitätssystem (ESC, EBS, etc.) oder eine Navigation, bereitgestellt werden. Insbesondere kann aus dem zeitlichen Verhalten des Knickwinkels d auch eine Knick- Geschwindigkeit vd und/oder eine Knick-Beschleunigung ad ermittelt werden, um auf das Verhalten des Fahrzeug-Gespanns 100 während einer Kurven- fahrt schließen zu können.
Nach dem sechsten Schritt St6 beginnt das Verfahren von vor, um eine ständige Abfrage des Knickwinkels d in bestimmten Zeitintervallen zu ermög- lichen.
Bezugszeichenliste (Bestandteil der Beschreibung)
1 Stereo-Kamerasystem
2a, 2b Kamera
3 Rückspiegel
4 Erfassungsbereich
5 Ermittlungseinrichtung
6 Fahrzeuglängsmittelebene
7 Fahrzeugachse
8a, 8b Projektionszentrum der jeweiligen Kamera 2a, 2b 9a erster Bildsensor der ersten Kamera 2a
9b zweiter Bildsensor der zweiten Kamera 2b
10a erster Bildabschnitt
10b zweiter Bildabschnitt
1 1 ai erste Bildpunkte des ersten Bildsensors 9a
1 1 bi zweite Bildpunkte des zweiten Bildsensors 9b
12ai erste Bildwerte der jeweiligen ersten Bildpunkte 1 1 ai 12bi zweite Bildwerte der jeweiligen zweiten Bildpunkte 1 1 bi 13 Epipolarebene
14a erste Epipolarlinie des ersten Bildsensors 9a
14b zweite Epipolarlinie des zweiten Bildsensors 9b
15 Punktewolke
16a erster rektifizierter Bildabschnitt
16b zweiter rektifizierter Bildabschnitt
30 Ebene
50a erste Abbildung
50b zweite Abbildung
100 Fahrzeug-Gespann
101 Zugfahrzeug
102 Auflieger
102a hintere Kante des Aufliegers 102 102b Falte an der Seitenwand 102c
102c Seitenwand des Aufliegers 102
102d Schattierungen an der Seitenwand 102c
102e Muster an der Seitenwand 102c
103 Königszapfen/Drehpunktl 50 Schnittlinie
200 Kurvenfahrt
201 Geradeausfahrt
A Abstand zwischen den Projektionszentren 8a, 8b
APk Objekt-Abstand
ad Knick-Beschleunigung
B Brennweite
C Ausgleichsgerade
C1 Bezugsachse
d Knickwinkel
dl Intensitätsänderung
E Kantenerkennung
Fak, Fbk Abbildungsabstände
g Ausgleichswinkel
gK Kalibrier-Ausgleichswinkel
H Hochachse
I Intensität
K1 erstes Koordinatensystem (zugfahrzeugfest)
K2 zweites Koordinatensystem (kamerafest)
K3 drittes Koordinatensystem (aufliegerfest)
K4a, K4b viertes Koordinatensystem (Bildsensor 9a, 9b) K4a_r, K4b_r rektifiziertes viertes Koordinatensystem
L Abstand zwischen den Geraden 102a, 150
L1 , L4, L5 Versätzen zwischen KoordinatenursprüngenL2, L3
Abmessungen des Aufliegers 102
L6 Höhe der hinteren Kante 102a Mak, Mbk Merkmale im jeweiligen Bildabschnitt 10a, 10b n Abbildungswinkel
n1 Einbauwinkel der Kamera 2a
Pk Objektpunkt
Pz2, Px2 Punktekoordinaten im zweiten Koordinatensystem K2 Px3, Py3 Punktekoordinaten im dritten Koordinatensystem K3 Qak erster Abbildungspunkt
Qbk zweiter Abbildungspunkt
Qak_r rektifizierter erster Abbildungspunkt
Qbk_r rektifizierter zweiter Abbildungspunkt
S2a, S2b Kamerasignale
SA Stereo-Algorithmus
T T ransformationsmatrix
u Fahrzeug-Umfeld
U1 erster Koordinatenursprung in K1
U2 zweiter Koordinatenursprung in K2
U3 dritter Koordinatenursprung in K3
V1 , V2 Verbindungslinien
vd Knick-Geschwindigkeit
Wk Disparität bezüglich des Objektpunktes Pk
x1 , y1 , z1 Koordinaten des ersten Koordinatensystems K1 x2, y2, z2 Koordinaten des zweiten Koordinatensystems K2 x3, y3, z3 Koordinaten des dritten Koordinatensystems K3 x4a, y4a; x4b, y4b Koordinaten des jeweiligen vierten Koordinatensystems
K4a; K4b
x4a_r, y4a_r; x4b_ , y4b_r Koordinaten des jeweiligen rektifizierten vierten Koordinatensystems K4a_r; K4b_r

Claims

Patentansprüche
1. Verfahren zum Ermitteln eines Knickwinkels (d) eines Fahrzeug-
Gespanns (100) aus einem Zugfahrzeug (101 ) und einem Auflieger (102), wobei an dem Zugfahrzeug (101 ) ein Stereo-Kamerasystem (1 ) aus zwei Kameras (2a, 2b) angeordnet ist, wobei dem Zugfahrzeug (101 ) ein ers- tes Koordinatensystem (K1 ) und dem Stereo-Kamerasystem (1 ) ein zwei- tes Koordinatensystem (K2) zugeordnet ist, mit mindestens den folgen- den Schritten:
- Erstellen einer ersten Abbildung (50a) mit einer ersten Kamera (2a) des Stereo-Kamerasystems (1 ) und einer zweiten Abbildung (50b) mit einer zweiten Kamera (2b) des Stereo-Kamerasystems (1 ) (St1 );
- Ermitteln von mindestens zwei ersten Abbildungspunkten (Qak) in ei- nem Bildabschnitt (10a) der ersten Abbildung (50a), wobei jedem der ers- ten Abbildungspunkte (Qak) jeweils ein Objektpunkt (Pk) am Auflieger (102) zugeordnet ist,
wobei dem jeweiligen Objektpunkt (Pk) weiterhin ein zweiter Abbildungs- punkt (Qbk) in einem zweiten Bildabschnitt (10b) der zweiten Abbildung (50b) zugeordnet ist und dieser zweite Abbildungspunkt (Qbk) ebenfalls ermittelt wird (St2, St2b);
- Extrahieren von Tiefen Informationen (APk) zu den mindestens zwei Ob- jektpunkten (Pk) aus den jeweils zugeordneten ersten Abbildungspunkten (Qak) und zweiten Abbildungspunkten (Qbk) (St2c, St2d);
- Ermitteln einer durch die mindestens zwei Objektpunkte (Pk) beschrie- benen Ausgleichsgeraden (C) anhand der Tiefen Informationen (APk) so- wie anhand der Abbildungspunkte (Qak, Qbk) zum Ermitteln einer Orien- tierung des Aufliegers (102) (St2e, St3, St4, St5); und
- Ermitteln des Knickwinkels (d) in Abhängigkeit eines Ausgleichswinkels (g) zwischen der Ausgleichsgerade (C) und einer zugfahrzeugfesten Be- zugsachse (C1 , x1 ; y1 ) (St6).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Aus- gleichsgerade (C) und die zugfahrzeugfeste Bezugsachse (C1 , x1 ; y1 ) im ersten Koordinatensystem (K1 ) des Zugfahrzeuges (101 ) ermittelt wer den.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zugfahr- zeugfeste Bezugsachse (C1 ) eine x-Achse (x1 ) oder eine y-Achse (y1 ) des ersten Koordinatensystems (K1 ) ist, so dass der Knickwinkel (d) gleich dem Ausgleichswinkel (g) zwischen der Ausgleichsgeraden (C) und der x-Achse (x1 ) des ersten Koordinatensystems (K1 ) als Bezugsachse (C1 ) ist oder der Knickwinkel (d) 90° minus dem Ausgleichswinkel (g) zwischen der Ausgleichsgeraden (C) und der y-Achse (y1 ) des ersten Koordinatensystems (K1 ) als Bezugsachse (C1 ) beträgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die Objektpunkte (Pk) zum Ermitteln der Ausgleichsgerade (C) in einer Ebene (30) beschrieben werden, wobei die Ebene (30) senk- recht zu einer Hochachse (H) ausgerichtet ist, wobei der Auflieger (102) in einer Kurvenfahrt (200) relativ zum Zugfahrzeug (101 ) um diese Hoch- achse (H) verschwenkt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die Tiefen Information bezüglich eines Objektpunktes (Pk) durch einen Objektabstand (APk) gegeben ist, wobei der Objektabstand (APk) zwischen dem jeweiligen Objektpunkt (Pk) und einer zweiten Ver- bindungslinie (V2) gemessen wird, wobei die zweite Verbindunglinie (V2) zwischen Projektionszentren (8a, 8b) der beiden Kameras (2a, 2b) ver- läuft.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Objekt- abstand (APk) des jeweiligen Objektpunktes (Pk) in Abhängigkeit einer Brennweite (B) der Kameras (2a, 2b), eines Abstandes (A) zwischen den Projektionszentren (8a, 8b) der Kameras (2a, 2b) und einer Disparität (Wk) zwischen den jeweiligen ersten Abbildungspunkten (Qak) und zwei- ten Abbildungspunkten (Qbk) ermittelt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Bildab- schnitte (10a, 10b) zum Ermitteln der Disparität (Wk) rektifiziert werden, wobei die Abbildungspunkte (Qak, Qbk) des Bildabschnittes (10a, 10b) dazu in rektifizierte Bildabschnitte (16a, 16b) mit rektifizierten Abbildungs- punkten (Qak_r, Qbk_r) transformiert werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Disparität (Wk) bezüglich eines Objektpunktes (Pk) aus einem Unterschied zwi- schen Abbildungsabständen (Fak, Fbk) in den beiden rektifizierten Bild- abschnitten (16a, 16b) folgt, wobei die Abbildungsabstände (Fak, Fbk) ei- nen Abstand des jeweiligen rektifizierten Abbildungspunktes (Qak_r, Qbk_r) zum Projektionszentrum (8a, 8b) der jeweiligen Kamera (2a, 2b) angeben.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die rektifizier ten Abbildungspunkte (Qak_r, Qbk_r) in einem rektifizierten vierten Koor- dinatensystem (K4a_r, K4b_r) ermittelt werden, wobei das rektifizierte vierte Koordinatensystem (K4a_r, K4b_r) durch Rektifizieren eines vierten Koordinatensystems (K4a, K4b) hervorgeht, wobei das vierte Koordina- tensystem (K4a, K4b) jeweils einem Bildsensor (9a, 9b) der jeweiligen Kamera (2a, 2b) zugeordnet ist und Bildpunkten (11 ai, 11 bi) des jeweili gen Bildsensors (9a, 9b) Koordinaten (x4a, y4a, x4b, y4b) zuordnet, wo bei die Abbildungsabstände (Fak, Fbk) aus den x-Koordinaten (x4a_r, x4b_r) der rektifizierten Abbildungspunkte (Qak_r, Qbk_r) im rektifizierten vierten Koordinatensystem (K4a_r, K4b_r) folgen.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass der rektifizierte Abbildungspunkt (Qak_r, Qbk_r) im rektifizierten vierten Koordinatensystem (K4a_r, K4b_r) über eine Transformations- matrix (T) in Abhängigkeit des ermittelten Objektabstandes (APk) in das kamerafeste zweite Koordinatensystem (K2) transformiert wird zum tie- fenaufgelösten Beschreiben des Objektpunktes (Pk) im zweiten Koordina- tensystem (K2).
11.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass der jeweilige Bildabschnitt (10a, 10b) über die gesamte Abbildung (50a, 50b) oder einen Teil der Abbildung (50a, 50b) ausge- dehnt ist und der Bildabschnitt (10a, 10b) derartig gewählt wird, dass der Auflieger (102) im Bildabschnitt (10a, 10b) enthalten ist, wobei in dem ersten Bildabschnitt (10a) im Wesentlichen derselbe Teil des Aufliegers (102) dargestellt ist wie im zweiten Bildabschnitt (10b).
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die mindestens zwei ersten Abbildungspunkte (Qak) im ersten Bildabschnitt (10a) ermittelt werden durch Erfassen von mindes- tens zwei ersten Merkmalen (Mak) in dem ersten Bildabschnitt (10a), wo bei die mindestens zwei ersten Merkmale (Mak) durch eine Intensitätsän- derung (dl) im ersten Bildabschnitt (10a) charakterisiert werden und sich dieselben Intensitätsänderungen (dl) auch an den mindestens zwei zwei- ten Abbildungspunkten (Qbk) im zweiten Bildabschnitt (10b) ergeben.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die mindestens zwei ersten Abbildungspunkte (Qak) durch eine Kantenerkennung (E) im ersten Bildabschnitt (10a) ermittelt werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die mindestens zwei zweiten Abbildungspunkte (Qbk) durch einen Vergleich von Intensitäten (I) an ersten Bildpunkten (11 ai) im ersten Bildabschnitt (10a) und zweiten Bildpunkten (11 bi) im zweiten Bildabschnitt (10b) ermittelt werden, wobei die zweiten Abbildungspunkte (Qbk) den zweiten Bildpunkten (11 bi) im zweiten Bildabschnitt (10b) zu- geordnet sind, die auf einer zweiten Epipolarlinie (14b) im zweiten Bildab- schnitt (10b) liegen und die dieselbe Intensität (I) aufweisen wie die den ersten Abbildungspunkten (Qak) zugeordneten ersten Bildpunkten (11 ai) im ersten Bildabschnitt (10a), wobei die ersten Abbildungspunkte (Qak) auf einer ersten Epipolarlinie (14a) im ersten Bildabschnitt (10a) liegen und den ersten Abbildungspunkten (Qak) die zweite Epipolarlinie (14b) im zweiten Bildabschnitt (14b) zugeordnet wird.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass bei der Ermittlung des Knickwinkels (d) ein Kalibrier- Ausgleichswinkel (gK) berücksichtigt wird, der den Ausgleichswinkel (g) zwischen der Ausgleichsgerade (C) und der zugfahrzeugfesten Bezugs- achse (C1 ) bei einer Geradeausfahrt (201 ) angibt.
16. Ermittlungseinrichtung (5) zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wobei die Ermittlungseinrichtung (5) mit dem Stereo-Kamerasystem (1 ) verbunden ist zur Aufnahme von Kamera- signalen (S2a, S2b), wobei über die Kamerasignale (S2a, S2b) die Abbil dung (50a, 50b) und/oder der Bildabschnitt (10a, 10b) übertragen werden, und die Ermittlungseinrichtung (5) ausgebildet ist,
- mindestens zwei erste Abbildungspunkte (Qak) in dem Bildabschnitt (10a) der ersten Abbildung (50a) zu ermitteln, wobei jedem der ersten Abbildungspunkte (Qak) jeweils ein Objektpunkt (Pk) am Auflieger (102) zugeordnet ist, wobei dem jeweiligen Objektpunkt (Pk) weiterhin ein zwei- ter Abbildungspunkt (Qbk) in einem zweiten Bildabschnitt (10b) der zwei- ten Abbildung (50b) zugeordnet ist und dieser zweite Abbildungspunkt (Qbk) ebenfalls ermittelt werden kann; - Tiefen Informationen (APk) zu den mindestens zwei Objektpunkten (Pk) aus den jeweils zugeordneten ersten Abbildungspunkten (Qak) und zwei- ten Abbildungspunkten (Qbk) zu extrahieren;
- eine durch die mindestens zwei Objektpunkte (Pk) beschriebene Aus- gleichsgerade (C) anhand der Tiefen Informationen (APk) sowie anhand der Abbildungspunkte (Qak, Qbk) zu ermitteln; und
- den Knickwinkel (d) in Abhängigkeit eines Ausgleichswinkels (g) zwi- schen der Ausgleichsgerade (C) und einer zugfahrzeugfesten Bezugs- achse zu ermitteln.
17. Fahrzeug-Gespann (100) aus einem Zugfahrzeug (101 ) und einem Auf- lieger (102), wobei der Auflieger (102) um eine Hochachse (H) des Zug- fahrzeuges (101 ) verschwenkbar ist und dabei einen Knickwinkel (d) zum Zugfahrzeug (101 ) bildet, und am Zugfahrzeug (101 ) ein Stereo- Kamerasystem (1 ) angeordnet ist, das eine Aufnahme einer ersten Abbil dung (50a) und einer zweiten Abbildung (50b) aus einem Erfassungsbe- reich (4) des Stereo-Kamerasystems (1 ) erlaubt und das mit einer Ermitt- lungseinrichtung (5) nach Anspruch 15 zur Durchführung eines Verfah- rens nach einem der Ansprüche 1 bis 14 verbunden ist.
18. Fahrzeug-Gespann (100) nach Anspruch 16, dadurch gekennzeichnet, dass das Stereo-Kamerasystem (1 ) seitlich am Zugfahrzeug (101 ) ange- ordnet ist, so dass der Auflieger (102) während einer Kurvenfahrt (200) des Fahrzeug-Gespanns (100) zumindest teilweise im Erfassungsbereich (4) des Stereo-Kamerasystems (1 ) liegt.
PCT/EP2018/074182 2017-12-05 2018-09-07 Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann WO2019110156A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017011177.4 2017-12-05
DE102017011177.4A DE102017011177A1 (de) 2017-12-05 2017-12-05 Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann

Publications (1)

Publication Number Publication Date
WO2019110156A1 true WO2019110156A1 (de) 2019-06-13

Family

ID=63586681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/074182 WO2019110156A1 (de) 2017-12-05 2018-09-07 Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann

Country Status (2)

Country Link
DE (1) DE102017011177A1 (de)
WO (1) WO2019110156A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220258800A1 (en) * 2021-02-17 2022-08-18 Robert Bosch Gmbh Method for ascertaining a spatial orientation of a trailer

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020103597A1 (de) * 2020-02-12 2021-08-12 Saf-Holland Gmbh Verfahren und System zum Ermitteln einer Ausrichtung eines Anhängers gegenüber einem Zugfahrzeug
DE102020106302A1 (de) 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020106301A1 (de) * 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102021208819A1 (de) 2021-08-12 2023-02-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Knickwinkels
CN116202424B (zh) * 2023-04-28 2023-08-04 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006042665A1 (de) 2004-10-15 2006-04-27 Daimlerchrysler Ag Verfahren zur bestimmung von deichsel- und trailerwinkel
DE102008013457A1 (de) * 2007-03-21 2008-09-25 Ford Global Technologies, LLC, Dearborn Fahrzeugmanövrierhilfen
DE102010006521A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
JP2013256156A (ja) * 2012-06-11 2013-12-26 Hino Motors Ltd 被牽引車両ホイールベース検出装置及び被牽引車両ホイールベース検出装置を備えた車両制御装置。
DE102014007900A1 (de) 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs
WO2016025120A1 (en) 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006007805B4 (de) * 2006-02-17 2008-01-03 Daimlerchrysler Ag Verfahren zur Bestimmung des Anhängerwinkels zwischen einem Zugfahrzeug und einem dazugehörigen Anhänger
DE102010006323B4 (de) * 2010-01-29 2013-07-04 Continental Teves Ag & Co. Ohg Stereokamera für Fahzeuge mit Anhänger

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006042665A1 (de) 2004-10-15 2006-04-27 Daimlerchrysler Ag Verfahren zur bestimmung von deichsel- und trailerwinkel
DE102008013457A1 (de) * 2007-03-21 2008-09-25 Ford Global Technologies, LLC, Dearborn Fahrzeugmanövrierhilfen
DE102010006521A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
JP2013256156A (ja) * 2012-06-11 2013-12-26 Hino Motors Ltd 被牽引車両ホイールベース検出装置及び被牽引車両ホイールベース検出装置を備えた車両制御装置。
DE102014007900A1 (de) 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs
WO2016025120A1 (en) 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Image rectification - Wikipedia, the free encyclopedia", 12 December 2014 (2014-12-12), XP055208111, Retrieved from the Internet <URL:https://en.wikipedia.org/wiki/Image_rectification> [retrieved on 20150817] *
ANONYMOUS: "Vision-based trailer pose estimation for articulated vehicles", 22 October 2018 (2018-10-22), XP055517763, Retrieved from the Internet <URL:https://www.repository.cam.ac.uk/handle/1810/268169?show=full> [retrieved on 20181022] *
CHRISTOPHER CHARLES DE SAXE: "Vision-based trailer pose estimation for articulated vehicles", 8 November 2017 (2017-11-08), XP055517775, Retrieved from the Internet <URL:https://www.repository.cam.ac.uk/bitstream/handle/1810/268169/deSaxe-2017-PhD.pdf?sequence=1&isAllowed=y> [retrieved on 20181022], DOI: 10.17863/CAM.14370 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220258800A1 (en) * 2021-02-17 2022-08-18 Robert Bosch Gmbh Method for ascertaining a spatial orientation of a trailer

Also Published As

Publication number Publication date
DE102017011177A1 (de) 2019-06-06

Similar Documents

Publication Publication Date Title
WO2019110156A1 (de) Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann
DE102008030555B4 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE112012006147B4 (de) Straßenoberflächen-Zustands-Bestimmungsvorrichtung
DE10246067B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
DE102016122819B9 (de) Fahrzeugfahrtsteuerungsvorrichtung
DE102015107390B4 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
DE102018108027B4 (de) Objekterfassungsvorrichtung
WO2015173092A1 (de) Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
EP2189349A2 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
DE102015107678A9 (de) Surround-View-Kamerasystem (VPM) und Fahrzeugdynamik
DE102016223422A1 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
WO2003002375A1 (de) Vorrichtung zur bilddetetion von gegenstand, personen oder dergleichen im umfeld eines fahrzeuges
DE10251949A1 (de) Fahrdynamikregelung mit Bildsensorsystem
DE102004048400A1 (de) Verfahren für die Erfassung einer optischen Struktur
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
WO2017178232A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines kraftfahrzeugs, recheneinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
DE102018123393A1 (de) Erkennung von Parkflächen
EP2579228A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102015006571A1 (de) Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
EP1352363B1 (de) Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung
DE102016009756A1 (de) Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
DE102011056948A1 (de) Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18769631

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18769631

Country of ref document: EP

Kind code of ref document: A1