WO2020169377A1 - Verfahren zur online-kalibrierung und kalibriereinrichtung - Google Patents

Verfahren zur online-kalibrierung und kalibriereinrichtung Download PDF

Info

Publication number
WO2020169377A1
WO2020169377A1 PCT/EP2020/053267 EP2020053267W WO2020169377A1 WO 2020169377 A1 WO2020169377 A1 WO 2020169377A1 EP 2020053267 W EP2020053267 W EP 2020053267W WO 2020169377 A1 WO2020169377 A1 WO 2020169377A1
Authority
WO
WIPO (PCT)
Prior art keywords
utility vehicle
agricultural
agricultural utility
detection system
calibration
Prior art date
Application number
PCT/EP2020/053267
Other languages
English (en)
French (fr)
Inventor
Zhihu Chen
Marcus Hiemer
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Priority to US17/430,514 priority Critical patent/US20220137633A1/en
Priority to CN202080015601.3A priority patent/CN113454422B/zh
Publication of WO2020169377A1 publication Critical patent/WO2020169377A1/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B76/00—Parts, details or accessories of agricultural machines or implements, not provided for in groups A01B51/00 - A01B75/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for online calibration of a capitafas system of an agricultural vehicle.
  • the invention also relates to a calibration device for carrying out such a method and to an agricultural utility vehicle with such a calibration device.
  • the sensors can be provided at different positions on the agricultural utility vehicle and have different orientations.
  • the invention relates to a method for online calibration of a field detection system of an agricultural utility vehicle.
  • a sensor of the environment detection system can be calibrated online.
  • the environment detection system can be arranged on the agricultural utility vehicle.
  • the environment detection system can have imaging and / or distance measuring sensors. With the imaging sensor system, images of the current surroundings of the agricultural utility vehicle can be recorded. With the distance-measuring sensors, point clouds can be generated in relation to objects currently in the vicinity of the agricultural utility vehicle.
  • the environment detection system can have at least two sensors.
  • the at least two sensors can have at least two of at least one camera, at least one laser scanner, at least one radar device and at least one ultrasonic sensor in any combination.
  • the at least two sensors can be arranged with different orientations on the agricultural utility vehicle. Alternatively or additionally, the at least two sensors can have different or differently arranged detection areas. Alternatively or additionally, the at least two sensors can be arranged at different positions on the agricultural utility vehicle.
  • a relative position of the two sensors to one another can change during operation of the agricultural utility vehicle.
  • An absolute position of the two sensors can also change during the operation of the agricultural utility vehicle.
  • the online calibration of the surroundings detection system can include an online determination of calibration parameters of the surroundings detection system.
  • the online calibration can be carried out as an extrinsic calibration of the environment detection system.
  • the online calibration can include dynamic calibration of the environment detection system.
  • extrinsic calibration parameters of the environment detection system can be established.
  • a relative position or an extrinsic position of at least two sensors of the environment detection system can be determined to one another.
  • an absolute position can also be determined by the at least two sensors of the environment detection system.
  • Intrinsic calibration parameters can be predetermined.
  • the agricultural utility vehicle can be a vehicle which is designed to manage an agricultural area.
  • the agricultural utility vehicle can be, for example, a tractor or an agricultural sprayer.
  • the agricultural utility vehicle can also be designed as an autonomous vehicle or as an autonomously operated vehicle.
  • the method can therefore also be carried out for the automated online calibration of a surroundings detection system of an agricultural utility vehicle that can be operated automatically.
  • the steps of the method are carried out in a company of the agricultural utility vehicle.
  • the steps of the method can thus be carried out in a ferry operation or in a work operation.
  • steps of the method can be carried out while the agricultural utility vehicle is driving.
  • the method can be carried out when the agricultural utility vehicle is in a work deployment on an agricultural area.
  • the agricultural utility vehicle can be stopped to carry out at least one of the steps. Alternatively or additionally, the agricultural utility vehicle can move during at least one step of the steps to be carried out.
  • the agricultural utility vehicle can be put into operation.
  • the method can then be carried out after the agricultural utility vehicle has been started up. After the vehicle and its surroundings detection system have been put into operation, the further steps can be carried out.
  • a first step to be carried out in the operation of the agricultural utility vehicle includes recording the current surroundings of the agricultural utility vehicle with the surroundings sensing system.
  • the current environment of the agricultural utility vehicle can have at least one area of a current environment of an agricultural area.
  • the current environment or the current environment can have objects which can be detected with the environment detection system.
  • the objects can be natural or artificial.
  • Objects that can be natural objects can be soil areas or vegetation areas of the agricultural land.
  • Objects that can be artificial objects can be structures on the agricultural land. For example, processing edges or cut edges on a field and / or buildings can be recorded with the environment detection system.
  • the step of detecting can include detecting line-like objects in the current environment of the agricultural utility vehicle with the environment detection system.
  • a line-like object can, for example, be a track or an edge.
  • Another step to be carried out in the operation of the agricultural utility vehicle includes determining current extrinsic calibration parameters based on the current environment recorded for online calibration of the environment detection system.
  • the current extrinsic calibration parameters can relate to a current relative position of at least two sensors of the environment detection system.
  • the current extrinsic calibration parameters can relate to an absolute position of at least one of the sensors of the environment detection system.
  • the current extrinsic calibration parameters can have relative calibration parameters and / or external calibration parameters.
  • the current extrinsic calibration parameters can change during the operation of the agricultural utility vehicle.
  • a change in constant extrinsic calibration parameters in the operation of the agricultural utility vehicle is determined in the determining step and is taken into account in an online calibration.
  • the step of determining can be carried out based on detected objects in the current environment of the agricultural utility vehicle.
  • the steps to be carried out in the operation of the agricultural utility vehicle can be carried out continuously.
  • the online calibration can thus be carried out as a continuous calibration or constant calibration of the environment detection system while the agricultural utility vehicle is being operated on an agricultural area.
  • changing operational influences in the operation of the agricultural utility vehicle on the environment detection system can thus be taken into account during its calibration.
  • variable relative positions of at least two sensors of the environment detection system can be taken into account during the operation of the agricultural utility vehicle become.
  • an absolute position of at least one sensor of the environment detection system, which varies during operation of the agricultural utility vehicle, can also be taken into account. The method can thus carry out a robust online calibration.
  • a changing relative position of at least two sensors of the environment detection system can have a changing distance between the at least two sensors and / or a changing relative alignment or orientation of the two sensors to one another.
  • a changing absolute position of at least one sensor of the environment detection system can have a changing absolute orientation of the at least one sensor.
  • the absolute orientation can be an orientation of the at least one sensor to a vertical or horizontal spatial direction. In other words, changing poses can be taken into account by at least two surroundings detection sensors.
  • the agricultural utility vehicle can have an agricultural implement.
  • the environment detection system can be arranged on the agricultural utility vehicle and / or on an agricultural device arranged on the agricultural utility vehicle. Sensors of the environment detection system can be arranged accordingly on the agricultural utility vehicle and / or on the agricultural device.
  • the loads can be, for example, weight loads, tensile loads and / or pressure loads. These loads can lead to the changing relative position of the sensors. If the agricultural utility vehicle is a sprayer, a decreasing amount of water in a tank of the sprayer can lead to changing loads during operation of the sprayer. These changing loads can lead to the changing relative position and / or absolute position the sensors of the environment detection system. Also a Water ejection through the nozzles of the sprayer after it has been started up can have the consequences described.
  • At least two sensors of the environment detection system can be arranged on components of the agricultural utility vehicle and / or the agricultural device.
  • the components can be moved towards one another during operation of the agricultural utility vehicle, as a result of which the relative position of the sensors can change.
  • individual components, a running gear and / or a vehicle chassis can be height-adjustable, as a result of which a relative distance between the sensors of the surroundings detection system and a reference point or a reference line on the agricultural utility vehicle or on the agricultural land can change.
  • the reference straight line can be defined by a wheel axis, for example by a rear wheel axis, of the agricultural utility vehicle.
  • such distances can be determined based on the detected surroundings of the surroundings detection system.
  • the step of detecting includes detecting geometric features in the current environment of the agricultural utility vehicle.
  • the objects in the vicinity of the agricultural utility vehicle can have the geometric features.
  • the geometric features can be vectors and / or straight lines of objects in the current environment of the agricultural utility vehicle.
  • a normal vector of a surface of an object, a limiting line between two objects or a symmetry line of an object can be detected.
  • the normal vector can be derived from a point cloud or from several points measured on a surface of an object.
  • a line of symmetry can, for example, be derived from a captured cylindrical object.
  • the geometric features have points. For example, its center point can be derived from a captured spherical object.
  • the current environment By detecting geometric features or parameters of objects in the current environment of the agricultural utility vehicle, the current environment can be recorded more reliably and more precisely. If the geometric features are detected by at least two sensors of the environment detection system, their relative position and thus their current extrinsic calibration parameters can be determined from these. Methods from computer vision, for example from perspective projection, can be used for this.
  • the step of determining current extrinsic calibration parameters can be carried out based on the detected geometric features.
  • the current extrinsic calibration parameters can thus be determined from redundantly detected objects, that is to say objects detected with at least two sensors of the environment detection system.
  • a further embodiment of the method has, as a further step to be carried out during the operation of the agricultural utility vehicle, an extraction of line features from the recorded current environment.
  • the line features can have vectors and / or straight lines of objects in the current environment.
  • the line features can have straight line geometric parameters.
  • the line features can also have geometric parameters of curved lines, for example of circular arcs and / or splines.
  • the step of extracting can include extracting lines in an image of the current environment or in a point cloud of the current environment. Lines can be determined using methods of adjustment calculation. Parameters of a line can thus be parameters of a mathematically overdetermined estimated line.
  • the step of determining can be carried out based on the extracted line features.
  • Lines extracted from the measurement data from at least two sensors of the environment detection system can be superimposed to determine the relative position of the at least two sensors to one another derive.
  • the relative position of sensor coordinate systems of the at least two sensors to one another can thus be determined.
  • the current extrinsic calibration parameters can therefore correspond to current transformation parameters between sensor coordinate systems of the environment detection system.
  • One advantage of the method can therefore be that current extrinsic calibration parameters or current transformation parameters can be determined object-based, that is to say only based on objects in the environment of the agricultural utility vehicle. For this it may not be necessary to attach measurement targets or control points in the vicinity of the agricultural utility vehicle and to record them in a targeted manner by the environment detection system.
  • the environment detection system can be implemented with the method based on the objects already present in the environment of the agricultural utility vehicle.
  • a further embodiment of the method has, as a further step to be carried out during the operation of the agricultural utility vehicle, the determination of a future trajectory of the agricultural utility vehicle.
  • the future trajectory can be a route to be followed by the agricultural utility vehicle in the future.
  • the future trajectory can be specified or derived from the current environment of the agricultural utility vehicle.
  • the future trajectory can also be determined based on a localization or positioning of the agricultural utility vehicle.
  • the route can be calculated in advance based on a current position of the agricultural utility vehicle.
  • the setting can thus include planning a future route.
  • the stipulated future trajectory can also be stipulated based on map information relating to the surroundings of the agricultural utility vehicle.
  • the future trajectory can be selected by a driver of the agricultural utility vehicle or specified by an assistance system of the agricultural utility vehicle.
  • a further step to be carried out during operation of the agricultural utility vehicle is a determination of a curvature of the defined future trajectory. Determining the curvature can have a determination of a future curve radius. As an alternative or in addition, the determination of the curvature can include deriving the curvature from a steering angle specification.
  • the step of determining current extrinsic calibration parameters as a function of the determined curvature can be carried out.
  • the online calibration of the environment detection system can thus be carried out as a function of the curvature of a future trajectory of the agricultural utility vehicle. Influences of cornering on the relative position of sensors in the environment detection system can also be taken into account.
  • a further embodiment of the method has, as a further step to be carried out during the operation of the agricultural utility vehicle, checking whether the certain curvature of the future trajectory is less than a predefined curvature limit value.
  • the step of determining current extrinsic calibration parameters can be carried out if the determined curvature is smaller than the predefined curvature limit value. It can thus be checked in an advantageous manner whether the future route of the agricultural utility vehicle is suitable for the online calibration of the environment detection system.
  • the future trajectory can be suitable for online calibration. If, on the other hand, the curvature of the future trajectory is greater than the previously defined curvature limit value or if it has a curve radius smaller than a predefined curve radius, the future trajectory may not be suitable for online calibration.
  • the online calibration can thus be carried out when the curvature of the future trajectory is smaller than the predefined curvature limit value. In contrast, the online calibration cannot be carried out if the curvature of the future trajectory is greater than the predefined curvature limit value.
  • Geometric features and extractable line features can also be captured with the Curvature of the future trajectory be correlated or conditional. For example, straight lanes or tramlines or processing limits such as cutting edges in the direction of travel in front of the agricultural utility vehicle can be present with a higher probability if the future trajectory has a straight trajectory section.
  • a further embodiment of the method has, as a further step to be carried out during the operation of the agricultural utility vehicle, determining a quality parameter of the extracted line features.
  • the quality parameter can describe a reliability, an accuracy and / or a completeness of a detection of a geometric feature and / or an extracted line feature.
  • the quality parameter can have a measure of a scatter of measurement points along an extracted line.
  • the quality parameter can indicate a measure of the length of an extracted line and / or whether the extracted line has interruptions in which there were no measurement points.
  • the quality parameter of the extracted line features can be derived from calculating the line features or can be recorded directly.
  • the quality parameter can relate to a straight line or a curved line.
  • the quality parameter can also describe the reliability or accuracy of a parameter for a polynomial which can be extracted as a line.
  • a check can be carried out to determine whether the specific quality parameter is greater than a predefined quality limit value.
  • the step of determining current extrinsic calibration parameters can be carried out if the determined quality parameter is greater than the predefined quality limit value.
  • an extracted line feature can be used to determine current extrinsic calibration parameters if it could be determined with sufficient geometric or stochastic reliability.
  • the accuracy of the determined current extrinsic calibration parameters and thus also the accuracy of the online calibration can thus be increased.
  • the agricultural utility vehicle has an agricultural implement.
  • the agricultural device can be moved during the operation of the agricultural utility vehicle, for example, be pulled.
  • the agricultural device can also be provided as an attachment on the agricultural utility vehicle.
  • the agricultural device can be moved relative to the agricultural utility vehicle during operation of the same who. This can change the position of the agricultural implement relative to the agricultural utility vehicle.
  • the environment detection system can have at least one sensor which is arranged on the agricultural device. If the agricultural device moves relative to the utility vehicle or vice versa, current extrinsic calibration parameters can be determined taking such a change in position into account. If there is another sensor of the field detection system on the agricultural utility vehicle, a relative change in position between these two sensors can be taken into account by means of a recalibration.
  • the environment detection system can have at least two sensors which are arranged on the agricultural device.
  • the at least two sensors can be arranged on different components of the agricultural device which can be moved relative to one another. Because the components are relative to one another, current extrinsic calibration parameters can be determined taking into account such a change in position.
  • the steps to be carried out in the operation of the agricultural utility vehicle are carried out during an automated drive of the agricultural utility vehicle.
  • the automated drive of the agricultural utility vehicle can be a remote-controlled drive of the agricultural utility vehicle.
  • the method can thus also be carried out for the remote-controlled online calibration of an environment detection system of the agricultural utility vehicle.
  • the operation of an agricultural utility vehicle in what is known as “precision farming” can thus be carried out at a higher level of autonomy.
  • a calibration of the agricultural utility vehicle can also advantageously be carried out “on the fly” with the method on the agricultural utility vehicle.
  • the online calibration can thus be carried out on an agricultural area without user intervention.
  • a calibration device is disclosed.
  • the calibration device is set up to carry out the steps of the method according to the preceding aspect.
  • the calibration device can be arranged on an agricultural utility vehicle.
  • the calibration device can have interfaces for reading in detection data of a current environment of the agricultural utility vehicle.
  • the calibration device can have at least two sensors for generating such detection data.
  • the calibration device can, for example, have at least two cameras, at least two laser scanners, at least two radar devices and / or at least two ultrasonic sensors.
  • the calibration device can also have at least two different sensors, for example a camera and a laser scanner.
  • the calibration device can also have a determination unit for determining current extrinsic calibration parameters based on the read-in or acquired detection data.
  • the calibration device can also have a localization component for localizing the agricultural utility vehicle.
  • the calibration device can have a route planning component for planning a route to be traveled in the future based on the localization.
  • the invention relates to an agricultural utility vehicle with a calibration device according to the preceding aspect.
  • FIG. 1 shows an agricultural utility vehicle with a calibration device according to a respective embodiment.
  • FIG. 2 shows a flow chart with method steps for carrying out a
  • Figure 3 shows the agricultural utility vehicle on an agricultural
  • Figure 4 shows the agricultural utility vehicle after processing a
  • FIG. 5 shows the agricultural utility vehicle after a turning maneuver before further processing of a further area of the agricultural area for further explanation of the method.
  • FIG. 1 shows an agricultural utility vehicle 10 with an agricultural implement 11 arranged on it.
  • the agricultural device 11 is in this Ausry approximately form on a rear area of the agricultural vehicle 10 is attached.
  • the surroundings detection sensors 13 form the surroundings detection system 12 of the agricultural utility vehicle 10.
  • the two surroundings detection sensors 13 have a respective detection area 21, which in FIG this embodiment are aligned in the direction of travel of the agricultural utility vehicle 10.
  • the detection areas 21 cover a partial area of a surrounding field 20 around the agricultural utility vehicle 10.
  • the detection areas 21 partially overlap.
  • the surroundings detection sensors 13 can be arranged at least partially on the agricultural implement 11.
  • an area detection sensor 13 is arranged on the agricultural utility vehicle 10 and on the agricultural implement 11.
  • the positioning device 16 is set up to determine a current position of the agricultural utility vehicle 10.
  • the calibration device 14 is also connected to the two surroundings detection sensors 13 of the surroundings detection system 12 in order to read out their detection data and, based thereon, to determine extrinsic calibration parameters of the surroundings detection sensors 13 of the surroundings detection system 12.
  • FIG. 2 shows method steps for carrying out a method for online calibration of the environment detection system 12 of the agricultural utility vehicle 10 shown in FIG. 1. The method is carried out while the agricultural utility vehicle 10 is in operation.
  • step SO the agricultural utility vehicle 10 is started up.
  • at least one machine (not shown in the figures) of the agricultural utility vehicle 10 is started.
  • a first method step S1 the agricultural utility vehicle 10 is localized in its surroundings 20.
  • a current position of the agricultural utility vehicle 10 is determined.
  • the future trajectory is defined in order to work on an agricultural area with the agricultural utility vehicle 10.
  • first test step P1 it is checked whether the future trajectory defined in the second procedural step S2 is suitable for carrying out an online calibration of the environment detection system 12.
  • a curvature of the defined future trajectory is considered. If this curvature is smaller than a predetermined curvature limit value, a further subsequent third method step S3 is carried out. If the curvature of the future trajectory is greater than the predetermined curvature limit value, the previous second method step S2 of the trajectory definition is carried out again at a later point in time. At this later point in time, the agricultural utility vehicle 10 has moved on along the future trajectory.
  • the second method step S2 and the first test step P1 are carried out repeatedly until the decision criterion of the first test step P1 is met.
  • the third procedural step S3 is carried out.
  • the environment 20 is detected with the environment detection system 12 or with the environment detection sensors 13 on the agricultural utility vehicle 10.
  • the environment detection system 12 geometric features in the environment 20 of the agricultural utility vehicle 10 are detected in this step.
  • a quality test is carried out on the lines detected in the preceding third method step S3.
  • a reliability value of a geometric parameter defining the lines is used as the decision criterion for this second test step P2. If this reliability value is above a predefined reliability limit value, the method is carried out further with the further fourth method step S4. If the reliability value is below the predefined reliability limit value, the previous third method step S3 is carried out again. The second test step P2 and the third process step S3 are repeated until the decision criterion of the second test step P2 is met.
  • a fourth method step S4 the calibration parameters are determined.
  • current extrinsic calibration parameters of the surroundings detection sensors 13 of the surroundings detection system 12 are determined based on the geometric features detected in the third method step S3.
  • an online calibration of the surroundings detection sensors 13 of the surroundings detection system 12 takes place in a further fifth method step S5.
  • FIG 3 the agricultural utility vehicle 10 with the agricultural Ge advises 1 1 on an unprocessed agricultural area 28 is shown.
  • the area 20 of the agricultural utility vehicle 10 has the unprocessed agricultural usable area 28 at least partially.
  • geometric features 22 are formed on the agricultural area 28.
  • the geometric features 22 formed on the unprocessed agricultural usable area 28 have two lanes 24.
  • the lanes 24 are detected by the surroundings detection system 12 (not shown in FIGS. 3 to 5) in the third method step S3.
  • a future trajectory 30, which was established in the second method step S2, is designed as a straight trajectory 32.
  • the lanes 24 are used to determine the current extrinsic calibration parameters of the environment detection sensors 13 of the environment detection system 12 in the fourth method step S4, since the future trajectory 30 is a straight trajectory 32.
  • FIG. 4 shows the agricultural utility vehicle 10 with its agricultural implement 11 at a later point in time during the processing of the agricultural utility area 28.
  • a processed agricultural area 28 ' In the direction of travel behind the agricultural utility vehicle 10 is now a processed agricultural area 28 '. Since the vehicle is on the edge of the agricultural area 28, it must now perform a turning maneuver after driving the already traveled trajectory 30 '. The The future trajectory 30 to be followed for this is now a curved trajectory 34. Further lanes 24 are now not used to determine the current extrinsic calibration parameters of the surroundings detection sensors 13 of the surroundings detection system 12 in the fourth method step S4, since the future trajectory 30 is a curved trajectory 34 acts.
  • the agricultural utility vehicle 10 is shown with its agricultural implement 11 after driving on the curved trajectory 34 shown in Figure 4 as a traveled trajectory 30 '.
  • the agricultural vehicle in addition to the further lanes 24, there is also a working boundary 26 between the previously worked agricultural area 28 'and the agricultural area 28 that is still unprocessed.
  • the agricultural vehicle is recorded 10 now also the working limit 26 with its surroundings detection system 12 in addition to the lanes 24. Further line features are derived from the recorded lanes 24 and the recorded working limit 26, which are now used to determine current extrinsic calibration parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

Beschrieben ist ein Verfahren zum Online-Kalibrieren eines Umfelderfassungssystems (12) eines landwirtschaftlichen Nutzfahrzeugs (10). Das Verfahren wird im Betrieb des landwirtschaftlichen Nutzfahrzeugs (10) durchgeführt. In einem ersten Schritt wird das aktuelle Umfeld des landwirtschaftlichen Nutzfahrzeugs (10) mit dem Umfelderfassungssystem (12) erfasst. In einem weiteren Schritt werden aktuelle extrinsische Kalibrierparameter basierend auf dem erfassten aktuellen Umfeld (20) bestimmt. Zudem sind eine Kalibriereinrichtung (14) zum Durchführen von diesem Verfahren und ein landwirtschaftliches Nutzfahrzeug (10) mit einer solchen Kalibriereinrichtung (14) beschrieben.

Description

Verfahren zur Online-Kalibrierung und Kalibriereinrichtung
Technisches Gebiet
Die Erfindung bezieht sich auf ein Verfahren zum Online-Kalibrieren eines Umfelderfas sungssystems eines landwirtschaftlichen Nutzfahrzeugs. Die Erfindung bezieht sich zu dem auf eine Kalibriereinrichtung zum Durchführen eines derartigen Verfahrens und auf ein landwirtschaftliches Nutzfahrzeug mit einer solchen Kalibriereinrichtung.
Stand der Technik
Es ist bekannt, auf einem landwirtschaftlichen Nutzfahrzeug Sensoren vorzusehen, um eine Umgebung des landwirtschaftlichen Nutzfahrzeugs zu erfassen. Die Sensoren können an unterschiedlichen Positionen auf dem landwirtschaftlichen Nutzfahrzeug vorgesehen sein und unterschiedliche Ausrichtungen aufweisen.
In der DE 10 2015 1 19 078 A1 ist ein Steuersystem für eine landwirtschaftliche Maschi ne beschrieben, welches eine Kalibrierung von Sensoren vorsieht. Bei der Sensorkalib rierung werden sensorspezifische Korrekturwerte berechnet, welche dann im Betrieb der landwirtschaftlichen Maschine berücksichtigt werden.
Darstellung der Erfindung
Die Erfindung betrifft in einem Aspekt ein Verfahren zum Online-Kalibrieren eines Um felderfassungssystems eines landwirtschaftlichen Nutzfahrzeugs. Mit dem Verfahren kann ein Sensor des Umfelderfassungssystems online kalibriert werden.
Das Umfelderfassungssystem kann auf dem landwirtschaftlichen Nutzfahrzeug ange ordnet sein. Das Umfeld erfassungssystem kann bildgebende und/oder distanzmessen de Sensorik aufweisen. Mit der bildgebenden Sensorik können Bilder eines aktuellen Umfelds des landwirtschaftlichen Nutzfahrzeugs erfasst werden. Mit der distanzmes senden Sensorik können Punktwolken bezogen auf sich aktuell im Umfeld des landwirt schaftlichen Nutzfahrzeugs aufhaltende Objekte erzeugt werden. Das Umfelderfassungssystem kann mindestens zwei Sensoren aufweisen. Die mindes tens zwei Sensoren können mindestens zwei von mindestens einer Kamera, mindes tens einem Laserscanner, mindestens einem Radargerät und mindestens einem Ultra schallsensor in beliebiger Kombination aufweisen. Die mindestens zwei Sensoren kön nen mit verschiedenen Ausrichtungen auf dem landwirtschaftlichen Nutzfahrzeug ange ordnet sein. Alternativ oder zusätzlich können die mindestens zwei Sensoren verschie dene oder verschieden angeordnete Erfassungsbereiche aufweisen. Alternativ oder zusätzlich können die mindestens zwei Sensoren an verschiedenen Positionen auf dem landwirtschaftlichen Nutzfahrzeug angeordnet sein. Eine relative Lage der zwei Senso ren zueinander kann sich während einem Betrieb des landwirtschaftlichen Nutzfahr zeugs ändern. Auch eine absolute Lage der zwei Sensoren kann sich während dem Betrieb des landwirtschaftlichen Nutzfahrzeugs ändern.
Das Online-Kalibrieren des Umfelderfassungssystems kann ein Online-Bestimmen von Kalibrierparametern des Umfelderfassungssystems aufweisen. Das Online-Kalibrieren kann als ein extrinsisches Kalibrieren des Umfelderfassungssystems durch geführt wer den. Das Online-Kalibrieren kann ein dynamisches Kalibrieren des Umfelderfassungs systems aufweisen. Mit anderen Worten können extrinsische Kalibrierparameter des Umfelderfassungssystems festgelegt werden. Dabei kann eine relative Lage bezie hungsweise eine extrinsische Lage von mindestens zwei Sensoren des Umfelderfas sungssystems zueinander bestimmt werden. Zusätzlich kann auch eine absolute Lage von den mindestens zwei Sensoren des Umfelderfassungssystems bestimmt werden. Intrinsische Kalibrierparameter können dagegen vorbestimmt sein.
Das landwirtschaftliche Nutzfahrzeug kann ein Fahrzeug sein, welches zum Bewirt schaften einer landwirtschaftlichen Nutzfläche ausgebildet ist. Bei dem landwirtschaftli chen Nutzfahrzeug kann es sich beispielsweise um einen Traktor oder um einen land wirtschaftlichen Sprayer handeln. Das landwirtschaftliche Nutzfahrzeug kann ferner als ein autonomes Fahrzeug beziehungsweise als ein autonom betreibbares Fahrzeug ausgebildet sein. Das Verfahren kann daher auch zum automatisierten Online- Kalibrieren eines Umfelderfassungssystems eines automatisiert betreibbaren landwirt schaftlichen Nutzfahrzeugs durchgeführt werden. Die Schritte des Verfahrens werden in einem Betrieb des landwirtschaftlichen Nutzfahr zeugs durchgeführt. Die Schritte des Verfahrens können so in einem Fährbetrieb oder in einem Arbeitsbetrieb durchgeführt werden. Mit anderen Worten können Schritte des Verfahrens während einer Fahrt des landwirtschaftlichen Nutzfahrzeugs durchgeführt werden. Das Verfahren kann durchgeführt werden, wenn sich das landwirtschaftliche Nutzfahrzeug auf einer landwirtschaftlichen Nutzfläche in einem Arbeitseinsatz befindet. Das landwirtschaftliche Nutzfahrzeug kann zum Durchführen zumindest eines der Schritte angehalten werden. Alternativ oder zusätzlich kann sich das landwirtschaftliche Nutzfahrzeug während zumindest eines Schrittes der durchzuführenden Schritte bewe gen.
In einem initialen Schritt kann das landwirtschaftliche Nutzfahrzeug in Betrieb genom men werden. Das Verfahren kann dann nach einer Inbetriebnahme des landwirtschaftli chen Nutzfahrzeugs ausgeführt werden. Nachdem das Fahrzeug und dessen Umfelder fassungssystem in Betrieb genommen sind, können die weiteren Schritte ausgeführt werden.
Ein erster im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführender Schritt weist ein Erfassen des aktuellen Umfelds des landwirtschaftlichen Nutzfahrzeugs mit dem Umfelderfassungssystem auf.
Das aktuelle Umfeld des landwirtschaftlichen Nutzfahrzeugs kann zumindest einen Be reich einer aktuellen Umgebung einer landwirtschaftlichen Nutzfläche aufweisen. Das aktuelle Umfeld beziehungsweise die aktuelle Umgebung kann Objekte aufweisen, wel che mit dem Umfelderfassungssystem erfasst werden können. Bei den Objekten kann es sich um natürliche oder künstliche Objekte handeln. Objekte, welche natürliche Ob jekte sein können, können Bodenbereiche oder Vegetationsbereiche der landwirtschaft lichen Nutzfläche sein. Objekte, welche künstliche Objekte sein können, können Bau werke auf der landwirtschaftlichen Nutzfläche sein. So können beispielsweise Bearbei tungskanten oder Schnittkanten auf einem Feld und/oder Bauwerke mit dem Umfelder fassungssystem erfasst werden. Der Schritt des Erfassens kann ein Erfassen von li nienartigen Objekten in dem aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs mit dem Umfelderfassungssystem aufweisen. Ein linienartiges Objekt kann beispiels weise eine Spur oder eine Kante sein.
Ein weiterer im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführender Schritt weist ein Bestimmen von aktuellen extrinsischen Kalibrierparametern basierend auf dem erfassten aktuellen Umfeld für eine Online-Kalibrierung des Umfelderfassungssys tems auf.
Die aktuellen extrinsischen Kalibrierparameter können sich auf eine aktuelle relative Lage von mindestens zwei Sensoren des Umfelderfassungssystems beziehen. Zusätz lich können sich die aktuellen extrinsischen Kalibrierparameter auf eine absolute Lage von mindestens einem der Sensoren des Umfelderfassungssystems beziehen. Die ak tuellen extrinsischen Kalibrierparameter können relative Kalibrierparameter und/oder äußere Kalibrierparameter aufweisen.
Die aktuellen extrinsischen Kalibrierparameter können sich im Betrieb des landwirt schaftlichen Nutzfahrzeugs ändern. Mit anderen Worten wird eine Änderung von in konstanten extrinsischen Kalibrierparametern im Betrieb des landwirtschaftlichen Nutz fahrzeugs im Schritt des Bestimmens bestimmt und bei einer Online-Kalibrierung be rücksichtigt. Der Schritt des Bestimmens kann basierend auf erfassten Objekten im ak tuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs durchgeführt werden.
Die im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritte kön nen kontinuierlich durchgeführt werden. Das Online-Kalibrieren kann somit als ein kon tinuierliches Kalibrieren beziehungsweise konstantes Kalibrieren des Umfelderfas sungssystems während eines Betreibens des landwirtschaftlichen Nutzfahrzeugs auf einer landwirtschaftlichen Nutzfläche durchgeführt werden. Im Gegensatz zu einer Off line-Kalibrierung vor dem Betrieb des landwirtschaftlichen Nutzfahrzeugs können somit sich ändernde Betriebseinflüsse im Betrieb des landwirtschaftlichen Nutzfahrzeugs auf das Umfelderfassungssystem bei dessen Kalibrierung berücksichtigt werden.
Somit können sich im Betrieb des landwirtschaftlichen Nutzfahrzeugs variable relative Lagen von mindestens zwei Sensoren des Umfelderfassungssystems berücksichtigt werden. Zusätzlich kann auch eine sich im Betrieb des landwirtschaftlichen Nutzfahr zeugs variable absolute Lage von mindestens einem Sensor des Umfelderfassungssys tems berücksichtigt werden. Das Verfahren kann somit eine robuste Online-Kalibrierung ausführen.
Eine sich ändernde relative Lage von mindestens zwei Sensoren des Umfelderfas sungssystems kann einen sich ändernden Abstand zwischen den mindestens zwei Sensoren und/oder eine sich ändernde relative Ausrichtung beziehungsweise Orientie rung der beiden Sensoren zueinander aufweisen. Eine sich ändernde absolute Lage von mindestens einem Sensor des Umfelderfassungssystems kann eine sich ändernde absolute Orientierung des mindestens einen Sensors aufweisen. Die absolute Orientie rung kann eine Orientierung des mindestens einen Sensors zu einer vertikalen oder horizontalen Raumrichtung sein. Mit anderen Worten können sich ändernde Posen von mindestens zwei Umfelderfassungssensoren berücksichtigt werden.
Das landwirtschaftliche Nutzfahrzeug kann ein landwirtschaftliches Gerät aufweisen. Das Umfelderfassungssystem kann auf dem landwirtschaftlichen Nutzfahrzeug und/oder auf einem an dem landwirtschaftlichen Nutzfahrzeug angeordneten landwirt schaftlichen Gerät angeordnet sein. Sensoren des Umfelderfassungssystems können entsprechend auf dem landwirtschaftlichen Nutzfahrzeug und/oder auf dem landwirt schaftlichen Gerät angeordnet sein.
Mit dem Verfahren ist es daher in vorteilhafter Weise möglich, im Betrieb des landwirt schaftlichen Nutzfahrzeugs auf diesem auftretende und sich ändernde Belastungen, welche zu einer sich ändernden relativen Lage und/oder absoluten Lage von Sensoren des Umfelderfassungssystems führen können, zu berücksichtigen. Bei den Belastungen kann es sich beispielsweise um Gewichtsbelastungen, Zugbelastungen und/oder Druckbelastungen handeln. Diese Belastungen können zu der sich ändernden relativen Lage der Sensoren führen. Handelt es sich bei dem landwirtschaftlichen Nutzfahrzeug um einen Sprayer, kann eine abnehmende Wassermenge in einem Tank des Sprayers zu sich ändernden Belastungen während eines Betriebs des Sprayers auf diesem füh ren. Diese sich ändernden Belastungen können zu der sich ändernden relativen Lage und/oder absoluten Lage der Sensoren des Umfelderfassungssystems führen . Auch ein Wasserausstoß durch Düsen des Sprayers nach Inbetriebnahme desselben kann die beschriebenen Folgen haben.
Mit dem Verfahren ist es ferner in vorteilhafter Weise möglich, im Betrieb des landwirt schaftlichen Nutzfahrzeugs auf diesem auftretende Erschütterungen oder Temperatur schwankungen, welche auch zu einer sich ändernden relativen Lage und/oder absolu ten Lage von Sensoren des Umfelderfassungssystems führen können, zu berücksichti gen.
Ferner können mindestens zwei Sensoren des Umfelderfassungssystems auf Bauteilen des landwirtschaftlichen Nutzfahrzeugs und/oder des landwirtschaftlichen Geräts ange ordnet sein. Die Bauteile können im Betrieb des landwirtschaftlichen Nutzfahrzeugs zu einander bewegt werden, wodurch sich die relative Lage der Sensoren verändern kann. Beispielsweise können einzelne Bauteile, ein Fahrwerk und/oder ein Fahrzeugchassis höhenverstellbar sein, wodurch sich ein relativer Abstand der Sensoren des Umfelder fassungssystems zu einem Referenzpunkt oder einer Referenzgerade auf dem land wirtschaftlichen Nutzfahrzeug oder auf der landwirtschaftlichen Nutzfläche ändern kann. Die Referenzgerade kann durch eine Radachse, beispielsweise durch eine Hinterrad achse, des landwirtschaftlichen Nutzfahrzeugs definiert sein. In einem weiteren Schritt des Verfahrens können derartige Abstände basierend auf dem erfassten Umfeld des Umfelderfassungssystems bestimmt werden.
Nach einer Ausführungsform des Verfahrens weist der Schritt des Erfassens ein Erfas sen von geometrischen Merkmalen in dem aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs auf. Die Objekte im Umfeld des landwirtschaftlichen Nutzfahrzeugs kön nen die geometrischen Merkmale aufweisen. Bei den geometrischen Merkmalen kann es sich um Vektoren und/oder Geraden von Objekten im aktuellen Umfeld des landwirt schaftlichen Nutzfahrzeugs handeln. Beispielsweise kann ein Normalenvektor einer Fläche eines Objekts, eine Begrenzungsgerade zwischen zwei Objekten oder eine Symmetriegerade eines Objekts erfasst werden. Der Normalenvektor kann aus einer Punktwolke beziehungsweise aus mehreren auf einer Fläche eines Objekts gemesse nen Punkten abgeleitet werden. Eine Symmetriegerade kann beispielsweise aus einem erfassten zylindrischen Objekt abgeleitet werden. Alternativ oder zusätzlich können die geometrischen Merkmale Punkte aufweisen. So kann beispielsweise aus einem erfass ten kugelförmigen Objekt dessen Mittelpunkt abgeleitet werden.
Durch ein Erfassen von geometrischen Merkmalen beziehungsweise Parametern von Objekten im aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs kann das aktuelle Umfeld zuverlässiger und genauer erfasst werden. Werden die geometrischen Merkma le von mindestens zwei Sensoren des Umfelderfassungssystems erfasst, kann aus die sen deren relative Lage und somit deren aktuelle extrinsische Kalibrierparameter be stimmt werden. Hierfür können Methoden aus der Computer Vision, beispielsweise aus der perspektivischen Projektion, angewandt werden.
Gemäß der vorhergehenden Ausführungsform kann der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern basierend auf den erfassten geometrischen Merkmalen durchgeführt werden. Die aktuellen extrinsischen Kalibrierparameter können somit aus redundant erfassten Objekten, das heißt mit mindestens zwei Sensoren des Umfelderfassungssystems erfassten Objekte, bestimmt werden.
Eine weitere Ausführungsform des Verfahrens weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Extrahieren von Li nienmerkmalen aus dem erfassten aktuellen Umfeld auf. Die Linienmerkmale können Vektoren und/oder Geraden von Objekten im aktuellen Umfeld aufweisen. Die Linien merkmale können geometrische Parameter gerader Linien aufweisen. Die Linienmerk male können auch geometrische Parameter gekrümmter Linien, beispielsweise von Kreisbögen und/oder Splines aufweisen. Der Schritt des Extrahierens kann ein Extra hieren von Linien in einem Bild des aktuellen Umfelds oder in einer Punktwolke des ak tuellen Umfelds aufweisen. Linien können mit Methoden der Ausgleichungsrechnung bestimmt werden. Parameter von einer Linie können so Parameter einer mathematisch überbestimmt geschätzten Linie sein.
Gemäß der vorhergehenden Ausführungsform kann der Schritt des Bestimmens basie rend auf den extrahierten Linienmerkmalen durchgeführt werden. Aus den Messdaten von mindestens zwei Sensoren des Umfelderfassungssystems extrahierte Linien kön nen überlagert werden, um die relative Lage der mindestens zwei Sensoren zueinander abzuleiten. Mit anderen Worten kann so die relative Lage von Sensorkoordinatensys temen der mindestens zwei Sensoren zueinander bestimmt werden. Die aktuellen extrinsischen Kalibrierparameter können daher aktuellen Transformationsparametern zwischen Sensorkoordinatensystemen des Umfelderfassungssystems entsprechen.
Ein Vorteil des Verfahrens kann somit darin bestehen, dass aktuelle extrinsische Kalib rierparameter beziehungsweise aktuelle Transformationsparameter objektbasiert, das heißt lediglich basierend auf Objekten im Umfeld des landwirtschaftlichen Nutzfahr zeugs bestimmt werden können. Hierfür kann es nicht erforderlich sein, Messtargets oder Passpunkte im Umfeld des landwirtschaftlichen Nutzfahrzeugs anzubringen und durch das Umfelderfassungssystem gezielt zu erfassen. Mit anderen Worten kann so das Umfelderfassungssystem mit dem Verfahren bereits basierend auf den im Umfeld des landwirtschaftlichen Nutzfahrzeugs ohnehin vorhandenen Objekten durchgeführt werden.
Eine weitere Ausführungsform des Verfahrens weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Festlegen einer zu künftigen Trajektorie des landwirtschaftlichen Nutzfahrzeugs auf. Die zukünftige Trajek- torie kann eine von dem landwirtschaftlichen Nutzfahrzeug in Zukunft abzufahrende Route sein. Die zukünftige Trajektorie kann vorgegeben oder aus dem aktuellen Umfeld des landwirtschaftlichen Nutzfahrzeugs abgeleitet werden. Die zukünftige Trajektorie kann ferner basierend auf einem Lokalisieren beziehungsweise Positionieren des land wirtschaftlichen Nutzfahrzeugs festgelegt werden. Basierend auf einer aktuellen Positi on des landwirtschaftlichen Nutzfahrzeugs kann die Route vorausberechnet werden. Das Festlegen kann somit das Planen einer zukünftigen Route aufweisen. Die festge legte zukünftige Trajektorie kann ferner basierend auf Karteninformationen zum Umfeld des landwirtschaftlichen Nutzfahrzeugs festgelegt werden. Die zukünftige Trajektorie kann von einem Fahrer des landwirtschaftlichen Nutzfahrzeugs gewählt oder von einem Assistenzsystem des landwirtschaftlichen Nutzfahrzeugs vorgegeben werden.
Gemäß dieser Ausführungsform kann als weiterer im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführender Schritt ein Bestimmen einer Krümmung der festgeleg ten zukünftigen Trajektorie durchgeführt werden. Das Bestimmen der Krümmung kann ein Bestimmen von einem zukünftigen Kurvenradius aufweisen. Alternativ oder zusätz lich kann das Bestimmen der Krümmung ein Ableiten der Krümmung aus einer Lenk winkelvorgabe aufweisen.
Ferner kann gemäß dieser Ausführungsform der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern in Abhängigkeit der bestimmten Krümmung durchge führt werden. Das Online-Kalibrieren des Umfelderfassungssystems kann somit in Ab hängigkeit der Krümmung einer zukünftigen Trajektorie des landwirtschaftlichen Nutz fahrzeugs durchgeführt werden. Auch Einflüsse einer Kurvenfahrt auf die relative Lage von Sensoren des Umfelderfassungssystems können so berücksichtigt werden.
Eine weitere Ausführungsform des Verfahrens weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Prüfen auf, ob die be stimmte Krümmung der zukünftigen Trajektorie kleiner als ein vordefinierter Krüm mungsgrenzwert ist, auf. Gemäß dieser Ausführungsform kann der Schritt des Bestim mens von aktuellen extrinsischen Kalibrierparametern durchgeführt werden, wenn die bestimmte Krümmung kleiner als der vordefinierte Krümmungsgrenzwert ist. Somit kann in vorteilhafter Weise geprüft werden, ob die zukünftige Route des landwirtschaftlichen Nutzfahrzeugs für das Online-Kalibrieren des Umfelderfassungssystems geeignet ist.
Ist die Krümmung der zukünftigen Trajektorie kleiner als der vordefinierte Krümmungs grenzwert beziehungsweise weist diese einen größeren Kurvenradius als ein vordefi nierter Kurvenradius auf, kann die zukünftige Trajektorie für das Online-Kalibrieren ge eignet sein. Ist die Krümmung der zukünftigen Trajektorie dagegen größer als der vor definierte Krümmungsgrenzwert beziehungsweise weist diese einen kleineren Kurven radius als ein vordefinierter Kurvenradius auf, kann die zukünftige Trajektorie für das Online-Kalibrieren nicht geeignet sein.
Das Online-Kalibrieren kann somit dann durchgeführt werden, wenn die Krümmung der zukünftigen Trajektorie kleiner als der vordefinierte Krümmungsgrenzwert ist. Dagegen kann das Online-Kalibrieren dann nicht durchgeführt werden, wenn die Krümmung der zukünftigen Trajektorie größer als der vordefinierte Krümmungsgrenzwert ist. Erfassba re geometrische Merkmale und extrahierbare Linienmerkmale können ferner mit der Krümmung der zukünftigen Trajektorie korreliert sein beziehungsweise sich bedingen. So können beispielsweise gerade Fahrspuren beziehungsweise Fahrgassen oder Be arbeitungsgrenzen wie Schnittkanten in Fahrrichtung vor dem landwirtschaftlichen Nutz fahrzeug mit einer höheren Wahrscheinlichkeit vorhanden sein, wenn die zukünftige Trajektorie einen geradlinigen Trajektorienabschnitt aufweist.
Eine weitere Ausführungsform des Verfahrens weist als einen weiteren im Betrieb des landwirtschaftlichen Nutzfahrzeugs durchzuführenden Schritt ein Bestimmen eines Qua litätsparameters der extrahierten Linienmerkmale auf. Der Qualitätsparameter kann eine Zuverlässigkeit, eine Genauigkeit und/ oder eine Vollständigkeit einer Erfassung eines geometrischen Merkmals und/oder eines extrahierten Linienmerkmals beschreiben. So kann der Qualitätsparameter beispielsweise ein Maß für eine Streuung von Messpunk ten entlang einer extrahierten Linie aufweisen. Ferner kann der Qualitätsparameter ein Maß dafür angeben, welche Länge eine extrahierte Linie hat und/oder ob die extrahierte Linie Unterbrechungen aufweist, in welchen keine Messpunkte Vorgelegen haben. Der Qualitätsparameter der extrahierten Linienmerkmale kann aus einem Berechnen der Linienmerkmale abgeleitet werden oder direkt erfasst werden. Der Qualitätsparameter kann sich dabei auf eine gerade Linie oder auf eine gekrümmte Linie beziehen. Bei spielsweise kann der Qualitätsparameter auch die Zuverlässigkeit oder Genauigkeit eines Parameters für ein Polynom beschreiben, welches als Linie extrahiert werden kann.
Gemäß der vorhergehenden Ausführungsform kann im Betrieb des landwirtschaftlichen Nutzfahrzeugs als weiterer Schritt ein Prüfen, ob der bestimmte Qualitätsparameter größer als ein vordefinierter Qualitätsgrenzwert ist, durchgeführt werden. Gemäß der vorhergehenden Ausführungsform kann der Schritt des Bestimmens von aktuellen extrinsischen Kalibrierparametern durchgeführt werden, wenn der bestimmte Qualitäts parameter größer als der vordefinierte Qualitätsgrenzwert ist. Mit anderen Worten kann ein extrahiertes Linienmerkmal für ein Bestimmen von aktuellen extrinsischen Kalibrier parametern verwendet werden, wenn es mit ausreichender geometrischer beziehungs weise stochastischer Zuverlässigkeit bestimmt werden konnte. Somit kann eine Genau igkeit der bestimmten aktuellen extrinsischen Kalibrierparameter und somit auch eine Genauigkeit der Online-Kalibrierung vergrößert werden. Nach einer weiteren Ausführungsform des Verfahrens weist das landwirtschaftliche Nutzfahrzeug ein landwirtschaftliches Gerät auf. Das landwirtschaftliche Gerät kann im Betrieb des landwirtschaftlichen Nutzfahrzeugs von diesem bewegt werden, beispiels weise gezogen werden. Das landwirtschaftliche Gerät kann auch als ein Anbauteil auf dem landwirtschaftlichen Nutzfahrzeug vorgesehen sein. Das landwirtschaftliche Gerät kann relativ zum landwirtschaftlichen Nutzfahrzeug im Betrieb desselben bewegt wer den. Dadurch kann sich die relative Lage des landwirtschaftlichen Geräts zum landwirt schaftlichen Nutzfahrzeug verändern.
Gemäß der vorhergehenden Ausführungsform kann das Umfelderfassungssystem min destens einen Sensor aufweisen, welcher an dem landwirtschaftlichen Gerät angeord net ist. Bewegt sich das landwirtschaftliche Gerät relativ zum Nutzfahrzeug oder umge kehrt, können so aktuelle extrinsische Kalibrierparameter unter Berücksichtigung einer derartigen Lageänderung bestimmt werden. Befindet sich ein weiterer Sensor des Um felderfassungssystems auf dem landwirtschaftlichen Nutzfahrzeug, kann so eine relati ve Lageänderung zwischen diesen beiden Sensoren mittels einer Rekalibrierung be rücksichtigt werden.
Nach einer weiteren Ausführungsform kann das Umfelderfassungssystem mindestens zwei Sensoren aufweisen, welche an dem landwirtschaftlichen Gerät angeordnet sind. Die mindestens zwei Sensoren können an verschiedenen Bauteilen des landwirtschaft lichen Geräts angeordnet sein, welche relativ zueinander bewegt werden können. Be wegen sich die Bauteile relativ zueinander, können so aktuelle extrinsische Kalibrierpa rameter unter Berücksichtigung einer derartigen Lageänderung bestimmt werden.
Nach einer weiteren Ausführungsform des Verfahrens werden die im Betrieb des land wirtschaftlichen Nutzfahrzeugs durchzuführenden Schritte während einer automatisier ten Fahrt des landwirtschaftlichen Nutzfahrzeugs durchgeführt. Bei der automatisierten Fahrt des landwirtschaftlichen Nutzfahrzeugs kann es sich um eine ferngesteuerte Fahrt des landwirtschaftlichen Nutzfahrzeugs handeln. Das Verfahren kann somit auch zum ferngesteuerten Online-Kalibrieren eines Umfelderfassungssystems des landwirtschaft lichen Nutzfahrzeugs durchgeführt werden. Der Betrieb eines landwirtschaftlichen Nutz- fahrzeugs in einem sogenannten„Precision Farming“ kann somit in einem höher Auto- nomielevel durchgeführt werden. Ein Kalibrieren des landwirtschaftlichen Nutzfahrzeugs kann auch in vorteilhafter Weise„on the fly“ mit dem Verfahren auf dem landwirtschaftli chen Nutzfahrzeug durchgeführt werden. Das Online-Kalibrieren kann somit ohne einen Benutzereingriff vor Ort auf einer landwirtschaftlichen Nutzfläche ausgeführt werden.
Offenbart ist in einem weiteren Aspekt eine Kalibriereinrichtung. Die Kalibriereinrichtung ist eingerichtet, die Schritte des Verfahrens nach dem vorhergehenden Aspekt durchzu führen. Die Kalibriereinrichtung kann auf einem landwirtschaftlichen Nutzfahrzeug an geordnet sein.
Die Kalibriereinrichtung kann Schnittstellen zum Einlesen von Erfassungsdaten eines aktuellen Umfelds des landwirtschaftlichen Nutzfahrzeugs aufweisen. Die Kalibrierein richtung kann mindestens zwei Sensoren zum Erzeugen derartiger Erfassungsdaten aufweisen. Die Kalibriereinrichtung kann beispielsweise mindestens zwei Kameras, mindestens zwei Laserscanner, mindestens zwei Radargeräte und/oder mindestens zwei Ultraschallsensoren aufweisen. Die Kalibriereinrichtung kann ferner mindestens zwei verschiedene Sensoren aufweisen, beispielsweise eine Kamera und einen La serscanner. Die Kalibriereinrichtung kann zudem eine Bestimmungseinheit zum Be stimmen aktueller extrinsischer Kalibrierparameter basierend auf den eingelesenen be ziehungsweise erfassten Erfassungsdaten aufweisen.
Die Kalibriereinrichtung kann auch eine Lokalisierungskomponente zum Lokalisieren des landwirtschaftlichen Nutzfahrzeugs aufweisen. Zudem kann die Kalibriereinrichtung eine Routenplanungskomponente zum Planen einer zukünftig abzufahren Route basie rend auf der Lokalisierung aufweisen.
Die Erfindung betrifft in einem weiteren Aspekt ein landwirtschaftliches Nutzfahrzeug mit einer Kalibriereinrichtung nach dem vorhergehenden Aspekt. Kurze Beschreibung der Zeichnungen
Figur 1 zeigt ein landwirtschaftliches Nutzfahrzeug mit einer Kalibriereinrichtung nach einer jeweiligen Ausführungsform.
Figur 2 zeigt ein Ablaufdiagramm mit Verfahrensschritten zum Durchführen eines
Verfahrens zum Online-Kalibrieren eines Umfelderfassungssystems des landwirtschaftlichen Nutzfahrzeugs gemäß einer Ausführungsform des Verfahrens.
Figur 3 zeigt das landwirtschaftliche Nutzfahrzeug auf einer landwirtschaftlichen
Nutzfläche nach einer Inbetriebnahme zur Erläuterung des Verfahrens.
Figur 4 zeigt das landwirtschaftliche Nutzfahrzeug nach einem Bearbeiten eines
Bereichs der landwirtschaftlichen Nutzfläche zur weiteren Erläuterung des Verfahrens.
Figur 5 zeigt das landwirtschaftliche Nutzfahrzeug nach einem Wendemanöver vor einem weiteren Bearbeiten eines weiteren Bereichs der landwirtschaft lichen Nutzfläche zur weiteren Erläuterung des Verfahrens.
Detaillierte Beschreibung von Ausführunqsformen
Figur 1 zeigt ein landwirtschaftliches Nutzfahrzeug 10 mit einem an ihm angeordneten landwirtschaftlichen Gerät 1 1 . Das landwirtschaftliche Gerät 1 1 ist in dieser Ausfüh rungsform an einem Heckbereich des landwirtschaftlichen Nutzfahrzeugs 10 ange hängt.
An einem Frontbereich des landwirtschaftlichen Nutzfahrzeugs 10 sind zwei Umfelder fassungssensoren 13 angeordnet. Die Umfelderfassungssensoren 13 bilden das Um felderfassungssystem 12 des landwirtschaftlichen Nutzfahrzeugs 10. Die beiden Umfel derfassungssensoren 13 weisen einen jeweiligen Erfassungsbereich 21 auf, welche in dieser Ausführungsform in Fahrtrichtung des landwirtschaftlichen Nutzfahrzeugs 10 ausgerichtet sind. Die Erfassungsbereiche 21 erfassen einen Teilbereich eines Um felds 20 um das landwirtschaftliche Nutzfahrzeug 10. Die Erfassungsbereiche 21 über lappen sich teilweise. Alternative oder zusätzlich zu der in Figur 1 gezeigten Ausfüh rungsform sind die Umfelderfassungssensoren 13 zumindest teilweise an dem landwirt schaftlichen Gerät 1 1 anordbar. In einer weiteren in Figur 1 nicht gezeigten Ausfüh rungsform ist jeweils ein Umfelderfassungssensor 13 an dem landwirtschaftlichen Nutz fahrzeug 10 und an dem landwirtschaftlichen Gerät 1 1 angeordnet.
Auf dem landwirtschaftlichen Nutzfahrzeug 10 ist zudem eine Positionierungseinrich tung 16 und eine Kalibriereinrichtung 14 angeordnet, welche miteinander verbunden sind. Die Positionierungseinrichtung 16 ist eingerichtet, eine aktuelle Position des land wirtschaftlichen Nutzfahrzeugs 10 zu bestimmen. Die Kalibriereinrichtung 14 ist auch mit den beiden Umfelderfassungssensoren 13 des Umfelderfassungssystem 12 ver bunden, um deren Erfassungsdaten auszulesen und basierend darauf extrinsische Ka librierparameter der Umfelderfassungssensoren 13 des Umfelderfassungssystems 12 zu bestimmen.
Figur 2 zeigt Verfahrensschritte zum Durchführen eines Verfahrens zum Online- Kalibrieren des Umfelderfassungssystems 12 des in Figur 1 gezeigten landwirtschaftli chen Nutzfahrzeugs 10. Das Verfahren wird während einem Betrieb des landwirtschaft lichen Nutzfahrzeugs 10 durchgeführt.
In einem initialen Verfahrensschritt SO erfolgt eine Inbetriebnahme des landwirtschaftli chen Nutzfahrzeugs 10. Bei der Inbetriebnahme wird mindestens eine Maschine (in den Figuren nicht gezeigt) des landwirtschaftlichen Nutzfahrzeugs 10 gestartet.
In einem ersten Verfahrensschritt S1 erfolgt eine Lokalisierung des landwirtschaftlichen Nutzfahrzeugs 10 in seinem Umfeld 20. In diesem Lokalisierungsschritt wird eine aktu elle Position des landwirtschaftlichen Nutzfahrzeugs 10 bestimmt.
Basierend auf der im ersten Verfahrensschritt S1 bestimmten Position des landwirt schaftlichen Nutzfahrzeugs 10 wird eine zukünftige Trajektorie des landwirtschaftlichen Nutzfahrzeugs 10 in einem zweiten Verfahrensschritt S2 festgelegt. Die zukünftige Trajektorie wird festgelegt, um eine landwirtschaftliche Nutzfläche mit dem landwirt schaftlichen Nutzfahrzeug 10 zu bearbeiten.
In einem darauffolgenden, ersten Prüfschritt P1 wird geprüft, ob die im zweiten Verfah rensschritt S2 festgelegte, zukünftige Trajektorie geeignet ist, eine Online-Kalibrierung des Umfelderfassungssystems 12 durchzuführen. In einem Entscheidungskriterium des ersten Prüfschritts P1 wird eine Krümmung der festgelegten, zukünftigen Trajektorie betrachtet. Ist diese Krümmung kleiner als ein vorbestimmter Krümmungsgrenzwert, wird ein weiterer nachfolgender dritter Verfahrensschritt S3 durchgeführt. Ist die Krüm mung der zukünftigen Trajektorie größer als der vorbestimmte Krümmungsgrenzwert, wird der vorhergehende zweite Verfahrensschritt S2 der Trajektorienfestlegung zu ei nem späteren Zeitpunkt erneut durchgeführt. Zu diesem späteren Zeitpunkt hat sich das landwirtschaftliche Nutzfahrzeug 10 entlang der zukünftigen Trajektorie weiterbewegt. Der zweite Verfahrensschritt S2 und der erste Prüfschritt P1 werden solange wiederholt durchgeführt, bis das Entscheidungskriterium des ersten Prüfschritts P1 erfüllt ist.
Bei erfülltem Entscheidungskriterium des ersten Prüfschritts P1 wird der dritte Verfah rensschritt S3 durchgeführt. In diesem dritten Verfahrensschritt S3 erfolgt eine Umfel derfassung des Umfelds 20 mit der auf dem landwirtschaftlichen Nutzfahrzeug 10 an geordneten Umfelderfassungssystem 12 beziehungsweise mit den Umfelderfassungs sensoren 13. Mit dem Umfelderfassungssystem 12 werden in diesem Schritt geometri sche Merkmale im Umfeld 20 des landwirtschaftlichen Nutzfahrzeugs 10 erfasst.
In einem zweiten Prüfschritt P2 erfolgt eine Qualitätsprüfung der im vorhergehenden dritten Verfahrensschritt S3 erfassten Linien. Als Entscheidungskriterium dieses zweiten Prüfschritts P2 wird ein Zuverlässigkeitswert eines die Linien definierenden geometri schen Parameters verwendet. Ist dieser Zuverlässigkeitswert oberhalb eines vordefi nierten Zuverlässigkeitsgrenzwerts, wird das Verfahren mit dem weiteren vierten Ver fahrensschritt S4 weiter ausgeführt. Befindet sich der Zuverlässigkeitswert unterhalb des vordefinierten Zuverlässigkeitsgrenzwerts wird der vorhergehende dritte Verfah rensschritt S3 erneut durchgeführt. Der zweite Prüfschritt P2 und der dritte Verfahrens- schritt S3 werden solange wiederholt durchgeführt bis das Entscheidungskriterium des zweiten Prüfschritts P2 erfüllt ist.
In einem vierten Verfahrensschritt S4 erfolgt eine Kalibrierparameterbestimmung. In diesem Schritt werden aktuelle extrinsische Kalibrierparameter der Umfelderfassungs sensoren 13 des Umfelderfassungssystems 12 basierend auf den im dritten Verfah rensschritt S3 erfassten geometrischen Merkmalen bestimmt. Basierend auf den in die sem vierten Verfahrensschritt S4 bestimmten extrinsischen Kalibrierparametern erfolgt in einem weiteren fünften Verfahrensschritt S5 eine Online-Kalibrierung der Umfelder fassungssensoren 13 des Umfelderfassungssystems 12.
In Figur 3 ist das landwirtschaftliche Nutzfahrzeug 10 mit dem landwirtschaftlichen Ge rät 1 1 auf einer unbearbeiteten landwirtschaftlichen Nutzfläche 28 gezeigt. Das Um feld 20 des landwirtschaftlichen Nutzfahrzeugs 10 weist die unbearbeitete landwirt schaftliche Nutzfläche 28 zumindest teilweise auf. In Fahrtrichtung vor dem landwirt schaftlichen Nutzfahrzeug 10 sind geometrische Merkmale 22 auf der landwirtschaftli chen Nutzfläche 28 ausgebildet. Die auf der unbearbeiteten landwirtschaftlichen Nutz fläche 28 ausgebildeten geometrischen Merkmale 22 weisen zwei Fahrspuren 24 auf.
Die Fahrspuren 24 werden von dem in den Figuren 3 bis 5 nicht gezeigten Umfelder fassungssystem 12 in dem dritten Verfahrensschritt S3 erfasst. Eine zukünftige Trajek- torie 30, welche im zweiten Verfahrensschritt S2 festgelegt worden ist, ist als eine gera de Trajektorie 32 ausgebildet. Die Fahrspuren 24 werden zum Bestimmen der aktuellen extrinsischen Kalibrierparameter der Umfelderfassungssensoren 13 des Umfelderfas sungssystems 12 im vierten Verfahrensschritt S4 verwendet, da es sich bei der zukünf tigen Trajektorie 30 um eine gerade Trajektorie 32 handelt.
In Figur 4 ist das landwirtschaftliche Nutzfahrzeug 10 mit seinem landwirtschaftlichen Gerät 1 1 zu einem späteren Zeitpunkt beim Bearbeiten der landwirtschaftlichen Nutzflä che 28 gezeigt. In Fahrtrichtung hinter dem landwirtschaftlichen Nutzfahrzeug 10 befin det sich nun eine bearbeitete landwirtschaftliche Nutzfläche 28‘. Da sich das Fahrzeug am Rand der landwirtschaftlichen Nutzfläche 28 befindet, muss es nun nach einem Be fahren der bereit abgefahrenen Trajektorie 30' ein Wendemanöver durchführen. Die hierfür abzufahrende zukünftige Trajektorie 30 ist nun eine gekrümmte Trajektorie 34. Weitere Fahrspuren 24 werden jetzt nicht zum Bestimmen der aktuellen extrinsischen Kalibrierparameter der Umfelderfassungssensoren 13 des Umfelderfassungssys tems 12 im vierten Verfahrensschritt S4 verwendet, da es sich bei der zukünftigen Trajektorie 30 um eine gekrümmte Trajektorie 34 handelt.
In Figur 5 ist das landwirtschaftliche Nutzfahrzeug 10 mit seinem landwirtschaftlichen Gerät 1 1 nach Befahren der in Figur 4 gezeigten gekrümmten Trajektorie 34 als abge fahrene Trajektorie 30' gezeigt. In Fahrtrichtung vor dem landwirtschaftlichen Nutzfahr zeug 10 befinden sich nun neben den weiteren Fahrspuren 24 auch eine Arbeitsgren ze 26 zwischen der zuvor bearbeiteten landwirtschaftlichen Nutzfläche 28' und der wei terhin unbearbeiteten landwirtschaftlichen Nutzfläche 28. Analog zu dem zu Figur 3 Be schriebenen erfasst das landwirtschaftliche Nutzfahrzeug 10 neben den Fahrspuren 24 nun auch die Arbeitsgrenze 26 mit seinem Umfelderfassungssystem 12. Aus den er fassten Fahrspuren 24 und der erfassten Arbeitsgrenze 26 werden weitere Linienmerk male abgeleitet, welche nun zum Bestimmten von aktuellen extrinsischen Kalibrierpa rametern verwendet werden.
Bezuqszeichen
10 landwirtschaftliches Nutzfahrzeug
11 landwirtschaftliches Gerät
12 Umfelderfassungssystem
13 Umfelderfassungssensor
14 Kalibriereinrichtung
16 Positionierungseinrichtung
20 Umfeld
21 Erfassungsbereich
22 geometrische Merkmale
24 Fahrspur
26 Arbeitsgrenze
28 landwirtschaftliche Nutzfläche
28' bearbeitete landwirtschaftliche Nutzfläche
30 zukünftige Trajektorie
30' abgefahrene Trajektorie
32 gerade Trajektorie
34 gekrümmte Trajektorie
P1 Krümmungsprüfung
P2 Qualitätsprüfung
50 Inbetriebnahme
51 Lokalisierung
52 Trajektorienfestlegung
53 Umfelderfassung
54 Kalibrierparameterbestimmung
55 Online-Kalibrierung

Claims

Patentansprüche
1 . Verfahren zum Online-Kalibrieren eines Umfelderfassungssystems (12) eines land wirtschaftlichen Nutzfahrzeugs (10), mit den im Betrieb des landwirtschaftlichen Nutz fahrzeugs (10) durchzuführenden Schritten: Erfassen (S3) des aktuellen Umfelds (20) des landwirtschaftlichen Nutzfahrzeugs (10) mit dem Umfelderfassungssystem (12), und Bestimmen (S4) von aktuellen extrinsischen Kalibrierparametern basierend auf dem erfassten aktuellen Umfeld (20) für eine Online-Kalibrierung (S5) des Umfelderfas sungssystems (12).
2. Verfahren nach Anspruch 1 , wobei der Schritt des Erfassens (S3) ein Erfassen von geometrischen Merkmalen (22) in dem aktuellen Umfeld (20) des landwirtschaftlichen Nutzfahrzeugs (10) aufweist, und der Schritt des Bestimmens (S4) basierend auf den erfassten geometrischen Merkmalen (22) durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, mit dem weiteren Schritt eines Extrahierens von Linienmerkmalen (24, 26) aus dem erfassten aktuellen Umfeld (20), wobei der Schritt des Bestimmens (S4) basierend auf den extrahierten Linienmerkmalen (24, 26) durch geführt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, mit den weiteren Schritten: Festlegen (S2) einer zukünftigen Trajektorie (30) des landwirtschaftlichen Nutzfahr zeugs (10), und Bestimmen einer Krümmung der festgelegten zukünftigen Trajekto rie (30), wobei der Schritt des Bestimmens (S4) von aktuellen extrinsischen Kalibrierpa rametern in Abhängigkeit der bestimmten Krümmung durchgeführt wird.
5. Verfahren nach Anspruch 4, mit dem weiteren Schritt: Prüfen (P1 ), ob die bestimmte Krümmung der zukünftigen Trajektorie (30) kleiner als ein vordefinierter Krümmungs grenzwert ist, wobei der Schritt des Bestimmens (S4) von aktuellen extrinsischen Kalib rierparametern durchgeführt wird, wenn die bestimmte Krümmung kleiner als der vorde finierte Krümmungsgrenzwert ist.
6. Verfahren nach einem der Ansprüche 3 bis 5, mit den weiteren Schritten: Bestimmen eines Qualitätsparameters der extrahierten Linienmerkmale (24, 26), Prüfen (P2), ob der bestimmte Qualitätsparameter größer als ein vordefinierter Qualitätsgrenzwert ist, wobei der Schritt des Bestimmens (S4) von aktuellen extrinsischen Kalibrierparametern durchgeführt wird, wenn der bestimmte Qualitätsparameter größer als der vordefinierte Qualitätsgrenzwert ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das landwirtschaftliche Nutzfahrzeug (10) ein landwirtschaftliches Gerät (11 ) aufweist, und wobei das Umfel derfassungssystem (12) mindestens einen Sensor aufweist, welcher an dem landwirt schaftlichen Gerät (11 ) angeordnet ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Schritte während einer automatisierten Fahrt des landwirtschaftlichen Nutzfahrzeugs (10) durchgeführt werden.
9. Kalibriereinrichtung (14), welche eingerichtet ist, ein Verfahren nach einem der vor hergehenden Ansprüche durchzuführen.
10. Landwirtschaftliches Nutzfahrzeug (10) mit einer Kalibriereinrichtung (14) nach An spruch 9.
PCT/EP2020/053267 2019-02-20 2020-02-10 Verfahren zur online-kalibrierung und kalibriereinrichtung WO2020169377A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/430,514 US20220137633A1 (en) 2019-02-20 2020-02-10 Method for an online calibration, and calibration device
CN202080015601.3A CN113454422B (zh) 2019-02-20 2020-02-10 用于在线校准的方法和校准装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019202299.5A DE102019202299B4 (de) 2019-02-20 2019-02-20 Verfahren zur Online-Kalibrierung und Kalibriereinrichtung
DE102019202299.5 2019-02-20

Publications (1)

Publication Number Publication Date
WO2020169377A1 true WO2020169377A1 (de) 2020-08-27

Family

ID=69650550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/053267 WO2020169377A1 (de) 2019-02-20 2020-02-10 Verfahren zur online-kalibrierung und kalibriereinrichtung

Country Status (4)

Country Link
US (1) US20220137633A1 (de)
CN (1) CN113454422B (de)
DE (1) DE102019202299B4 (de)
WO (1) WO2020169377A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013203549A1 (de) * 2013-03-01 2014-09-04 Robert Bosch Gmbh Verfahren zum Steuern eines landwirtschaftlichen Geräts und einen Marker für eine landwirtschaftliche Nutzfläche
DE102015119078A1 (de) 2015-11-06 2017-05-11 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Regel- oder Steuersystem für eine landwirtschaftliche Maschine
US20180285660A1 (en) * 2015-09-28 2018-10-04 Kyocera Corporation Image processing apparatus, stereo camera apparatus, vehicle, and image processing method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0975209B1 (de) * 1997-04-16 2003-05-21 Carnegie Mellon University Agrar-erntemaschine mit roboter-kontrolle
DE10250694B3 (de) * 2002-10-31 2004-02-12 CNH Österreich GmbH Verfahren zur Steuerung eines landwirtschaftlichen Nutzfahrzeuges
DE102011083965A1 (de) * 2011-10-04 2013-04-04 Robert Bosch Gmbh Vorrichtung und Verfahren zum geometrischen Kalibrieren von mittels eines Sensorsystems eines Fahrzeugs gebildeten Sensordaten
KR102197801B1 (ko) * 2013-10-31 2021-01-04 현대모비스 주식회사 주행 경로 생성 장치 및 방법
US9648300B2 (en) * 2014-05-23 2017-05-09 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US9454153B2 (en) * 2014-11-24 2016-09-27 Trimble Navigation Limited Farm vehicle autopilot with automatic calibration, tuning and diagnostics
DE102014226020A1 (de) * 2014-12-16 2016-06-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung mindestens einer mobilen Sensoreinrichtung
DE102015205088B4 (de) * 2015-03-20 2021-03-04 Kuka Deutschland Gmbh Verfahren zum Ermitteln eines Kalibrierungsparameters eines Fahrzeuges sowie Fahrzeug hierzu
DE102015206605A1 (de) * 2015-04-14 2016-10-20 Continental Teves Ag & Co. Ohg Kalibrierung und Überwachung von Umfeldsensoren mit Hilfe hochgenauer Karten
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
DE102015114883A1 (de) * 2015-09-04 2017-03-09 RobArt GmbH Identifizierung und Lokalisierung einer Basisstation eines autonomen mobilen Roboters
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
AU2017249204B2 (en) * 2016-04-12 2022-03-31 Agjunction Llc Line acquisition path generation using curvature profiles
DE102017208558A1 (de) * 2017-05-19 2018-11-22 Deere & Company Verfahren und landwirtschaftliche Arbeitsmaschine zur Verteilung von Erntegut
US10892752B2 (en) * 2017-07-03 2021-01-12 Mayser Gmbh & Co. Kg Sensor system for protecting movable objects and method for operating a sensor system
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10353399B2 (en) * 2017-07-21 2019-07-16 AI Incorporated Polymorphic path planning for robotic devices
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
US11175132B2 (en) * 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US10778901B2 (en) * 2018-06-27 2020-09-15 Aptiv Technologies Limited Camera adjustment system
US11355536B2 (en) * 2018-07-12 2022-06-07 Sony Semiconductor Solutions Corporation Image sensor, signal processing device, signal processing method, and electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013203549A1 (de) * 2013-03-01 2014-09-04 Robert Bosch Gmbh Verfahren zum Steuern eines landwirtschaftlichen Geräts und einen Marker für eine landwirtschaftliche Nutzfläche
US20180285660A1 (en) * 2015-09-28 2018-10-04 Kyocera Corporation Image processing apparatus, stereo camera apparatus, vehicle, and image processing method
DE102015119078A1 (de) 2015-11-06 2017-05-11 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Regel- oder Steuersystem für eine landwirtschaftliche Maschine

Also Published As

Publication number Publication date
CN113454422B (zh) 2023-10-31
DE102019202299A1 (de) 2020-08-20
DE102019202299B4 (de) 2020-12-31
CN113454422A (zh) 2021-09-28
US20220137633A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
DE102005048136B4 (de) Verfahren zum Bestimmen eines virtuellen Tool-Center-Points
EP3090922B1 (de) Verfahren zur lenkung eines landwirtschaftlichen anhängers und landwirtschaftlicher zugverbund
DE102007016802B3 (de) Verfahren zur Navigation eines selbstfahrenden Bodenbearbeitungsgerätes
EP2260263B1 (de) Fahrwerksvermessungssystem sowie verfahren zum bestimmen der lageparameter von messköpfen eines fahrwerksvermessungssystems
EP3263370A1 (de) Assistenzverfahren und ankuppelassistent zum ankuppeln eines kraftfahrzeuges an einen anhänger
WO2014086446A1 (de) Fahrzeugseitiges verfahren und fahrzeugseitige vorrichtung zum erfassen und anzeigen von parklücken für ein fahrzeug
EP2431708A1 (de) Geodätisches Vermessungssystem mit in einer Fernbedieneinheit integrierter Kamera
DE102009045326B4 (de) Verfahren und System zum Aufbau einer Datenbank zur Positionsbestimmung eines Fahrzeuges mit Hilfe von natürlichen Landmarken
EP2990533A1 (de) Selbstfahrende baumaschine und verfahren zum steuern einer selbstfahrenden baumaschine
EP3475921B1 (de) Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug
DE102020129656A1 (de) Automatisiertes kupplungssystem mit variablen rückfahrwegen
DE102020121899A1 (de) System zum ausrichten einer standort-kennung einer fahrzeugkupplung mit einem anhängerkoppler
DE102016221284A1 (de) Verfahren zum Führen eines Geländefahrzeugs entlang eines kurvenförmigen Weges
DE102008048490A1 (de) Parkassistenzsystem
EP2191340A2 (de) Anordnung zum erfassen einer umgebung
WO2009049750A2 (de) Verfahren zum kalibrieren einer anordnung mit mindestens einer omnidirektionalen kamera und einer optischen anzeigeeinheit
EP2990532B1 (de) Selbstfahrende baumaschine und verfahren zur visualisierung des bearbeitungsumfeldes einer sich im gelände bewegenden baumaschine
DE102020122875A1 (de) Modifizierter lenkwinkel bei abschluss eines kupplungsunterstützungsvorgangs
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
EP3688543B1 (de) Verfahren zur navigation eines roboters und roboter zur ausführung des verfahrens
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
EP3400766A1 (de) Verfahren und vorrichtung zur bestimmung einer neigung eines kippbaren anbaugerätes eines fahrzeugs
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
DE102014111231A1 (de) Verfahren zur Korrektur in einem Speicher eines Arbeitsrechners gespeicherter Positionsdaten
DE102008000837A1 (de) Fahrwerksvermessungssystem sowie Verfahren zum Bestimmen der Lageparameter von Messköpfen eines Fahrwerksvermessungssystems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20706635

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20706635

Country of ref document: EP

Kind code of ref document: A1