WO2019238328A1 - Verfahren zur visualisierung - Google Patents

Verfahren zur visualisierung Download PDF

Info

Publication number
WO2019238328A1
WO2019238328A1 PCT/EP2019/062192 EP2019062192W WO2019238328A1 WO 2019238328 A1 WO2019238328 A1 WO 2019238328A1 EP 2019062192 W EP2019062192 W EP 2019062192W WO 2019238328 A1 WO2019238328 A1 WO 2019238328A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
trajectory
tool
occupant
movement
Prior art date
Application number
PCT/EP2019/062192
Other languages
English (en)
French (fr)
Inventor
Udo Schulz
Thomas Thiel
Stanley Kurian Jose
Martha MELLO CANELADA
Thomas KLIEGL
Hendrik Kurre
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2019238328A1 publication Critical patent/WO2019238328A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image

Definitions

  • Measuring and position systems for construction machines are known in which the positions relative to the cabin of the construction machine can be determined by means of inclination and / or angle sensors, for example on an excavator arm and a bucket of the excavator arm.
  • the positions can be shown to the construction machine operator on a display.
  • Location methods for example GPS are also known which enable an absolute position determination to the environment.
  • the device includes one
  • Control unit and a soil profile determination device determines the vertical movements of the carrier vehicle to be expected on the basis of the floor profile and, in a predictive manner, gives an actuator a control signal in order to continuously guide the device in a predetermined position above the floor profile.
  • Attachments / tools and a wear-reducing and resource-saving use of vehicles and tools The method according to the invention for visualizing operational management and / or a possible collision with an obstacle for an occupant of a vehicle
  • Vehicle provides that at least one predicted trajectory of at least one element of the vehicle is visualized or optically displayed to the occupant. Under a trajectory of an element, a
  • Path of movement of the element can be understood.
  • the prediction or prediction of the trajectory that is to say the prediction or calculation of a future trajectory and / or a future event
  • optical representation or visualization of the trajectory that is to say the
  • the occupant in particular the driver, can anticipate the movement path of the at least one element of the vehicle,
  • the trajectory shows the occupant which future situation will arise if he does not change his vehicle guidance parameters. This means that the trajectory is determined by means of a temporal extrapolation of the current movement data and guidance parameters of the vehicle using a computing unit.
  • a further development of the invention provides that a body element of the body of the vehicle and / or an especially movable tool element of a tool of the vehicle is used as the element of the vehicle.
  • the body of the vehicle means all vehicle parts that do not belong to the tool.
  • the tool can be an attachment or implement of the vehicle.
  • the attachment or working device can be, for example, an excavator arm or an excavator shovel, provided that the vehicle is, for example, a construction machine.
  • the element preferably comprises or is a point on the body or the tool.
  • corner points in particular an outer shell or a circumference, of the body or the excavator bucket mentioned are selected as points for which a respective predicted trajectory is determined.
  • the respective predicted trajectory is visually displayed to the vehicle driver.
  • the element comprises several points of the body and / or the tool.
  • the element comprises several points of the body and / or the tool.
  • several trajectories, one for each of the points are determined and visually displayed to the driver. This makes it easy to adapt the overall trajectory, which is formed from the several individual trajectories, to movements of the tool, for example, in a simple manner. If, for example, the tool is moved outward from the vehicle, the
  • Tool-assigned point with the associated trajectory also moved outwards.
  • the optical visualization makes this easy for the driver or operator of the vehicle to perceive.
  • a three-dimensional trajectory is represented from the multiple points as a driving tube trajectory.
  • Trajectory can be understood as a trajectory of a surface segment.
  • the surface segment can be spanned from several points.
  • the three-dimensional trajectory can be generated by predicting the trajectory of the surface segment.
  • a driving tube is thus generated from the multiple points, which offers the driver an improved sense of space in the trajectory or the predicted overall trajectory.
  • the multiple points make it rectangular Driving tube trajectory generated. This means that the driving tube is rectangular in cross section and thus represents a greatly simplified form of the vehicle with the tool.
  • the travel tube is enlarged or reduced as a function of a movement of the tool element, in particular transversely to a direction of movement of the vehicle or in the cross section of the travel tube.
  • the driving hose in particular a rectangular driving hose, is a function of the tool element position or
  • Tool element movement thus expanded or expanded or contracted or reduced.
  • a tool element movement thus expanded or expanded or contracted or reduced.
  • the length of the driving hose is preferably set to be fixed or dynamic. In the case of a dynamic length, influencing factors such as, for example, the speed of the vehicle, the application of the vehicle, the topology of the surroundings, the dynamics of the surroundings or the like are taken into account in order to set the length of the travel tube.
  • the vehicle can be an agricultural vehicle.
  • the invention also includes, for example, cars, trucks,
  • At least one movement of the vehicle is automatically determined and used in the determination of the trajectory.
  • the dynamics of the respective driving state of the vehicle are included in the determination or determination of the predicted trajectory, that is to say the trajectory is preferably continuously corrected on the basis of the actual conditions or vehicle parameters or environmental parameters.
  • the movement of the vehicle is determined by means of at least one sensor of the vehicle. This enables a particularly precise prediction of the trajectory.
  • the occupant is preferably optically shown an environmental image with the trajectory shown therein.
  • the present vehicle is preferably networked in terms of information technology with the infrastructure and / or at least the vehicles located in the vicinity.
  • the current dynamics or statics of the vehicle and / or reaction times of control systems of the vehicle are preferably taken into account. This improves the prediction of the trajectory.
  • the invention further relates to a device for performing the method explained above.
  • the device comprises a control device for executing or controlling the method.
  • the device can comprise a display unit such as a display or a head-up display for visualization.
  • the invention enables more precise and / or faster and / or safe and / or consumption-optimized driving of the vehicle and / or guidance of a tool of the vehicle. Driving and / or guiding can be done manually by an occupant or automatically.
  • the vehicle and / or tool is / are equipped with sensors that measure the movements of the vehicle and / or tool directly or indirectly.
  • Appropriate variables such as speed, acceleration, yaw rate, steering wheel angle, position and so on are taken into account when generating the trajectory by means of a suitable device, for example a control unit.
  • the invention is not limited to a trajectory of a region / point of the vehicle / tool, but preferably a plurality of trajectories from a plurality of regions of the vehicle are preferably always displayed simultaneously or sequentially.
  • the multiple trajectories related to the points represent a three-dimensional overall trajectory of the vehicle, in particular including the tool, preferably in the manner of a three-dimensional travel tube.
  • the points are preferably chosen in such a way that they outline the outline of the vehicle and the vehicle
  • the cross-section of the travel hose depends on the statics and dynamics of the vehicle as well as the tool or attachment. This can cause a
  • Collision avoidance in space especially perpendicular to the driving level, can be predicted.
  • the occupant is provided with a real or synthetic 3D environment image with the predication of the trajectory of
  • the predicted trajectory of the vehicle in relation to the surroundings is determined in a simplified manner in such a way that it is assumed that the current curvature of the vehicle trajectory over the (possibly uneven) ground is maintained or calculated from the control variables influencing the direction of vehicle movement and a kinematic model of the vehicle trajectory.
  • the predicted trajectory can be compared to the The vehicle can be determined in a simplified manner by assuming that the current curvature of the tool trajectory is maintained over the ground and / or that a tool trajectory is calculated from the control variables influencing the tool movement direction and a kinematic model.
  • a manipulated variable limitation and thus
  • the movement trajectory of the tool over the (possibly uneven) base results from the sum of the trajectories of the vehicle relative to the base and the trajectory of the tool relative to the vehicle. Both can be shown to the occupant (driver / user), for example on a display, preferably by means of differently colored or marked virtual leading lines above the ground and the space or virtually driving ahead “ghost vehicle” and advancing “ghost tool”. This then also shows when the tool or tools will hit a stop / stops and / or when the vehicle leaves the desired “driving tube” or the vehicle would collide with obstacles and / or the at least one tool would collide with obstacles.
  • the occupant (driver / operator) is responsible for timely detection of objects and corrective control and intervention in the system.
  • Warnings can preferably be output automatically.
  • Objects can preferably be recognized and classified by means of machine vision and their trajectory can be displayed with prediction.
  • Tools and / or preferably reaction times of control systems can be shown to the occupant from which point / area of the respective trajectory an intervention must take place at the latest in order to avoid a collision.
  • the system preferably has a semantic and / or global localization.
  • the course / trajectory of the vehicle and / or tool can be recorded in a dynamic 3D map. If vehicle movements and / or tool movements are repeated, the system can recognize this and the occupant can be represented by marked trajectories. If a further repetition of trajectories is desired, the occupant can activate them for automatic guidance, also individually or in sections. This can
  • a start and a destination point can be fixed in a (global or semantic) 3D map or the coordinates from a control system / construction site planning system and so on be further specified.
  • the trajectory planning is based on
  • Route planning and navigation take account of open spaces that can be driven on and / or designated paths and / or lanes and / or obstacles and / or obstacles and / or obstacles identified by object recognition and classification
  • the advantage of visualization on a display or multiple displays is that the occupant can see hidden or hidden or invisible areas in the surroundings and that the occupant can orientate himself solely by means of the visualization, and with foresight.
  • the degree of assistance can preferably be determined by the occupant himself. Alternatively, this can also be done by management or the
  • Planning system can be specified or limited. Does the system recognize external dangers or an inability of the
  • the system can at least temporarily take over and / or ignore and / or limit and / or override the occupant's request, in particular to avoid a collision. For example, if the driver of the vehicle controls the boom of a tool so that it swivels to a height at which there is a risk of a collision with an element from the surroundings of the vehicle, the system limits the maximum pivoting height in such a way that the boom is passed beneath the collision element, or overrides the swivel height in such a way that the boom is raised further beyond the element in order to thereby drive over the element and to avoid a collision.
  • the learning progress of the driver / operator can be determined on the basis of the deviations from recommended and real trajectories.
  • the amount of work time, fuel, distances, speeds, moments, power, energy
  • All data can be calculated, transferred, saved and evaluated online. Evaluations can in turn flow into the optimization of the trajectories / planning
  • the figure shows purely by way of example and schematically a vehicle that can be driven on
  • the vehicle trajectory 2 shows the predictive course of four vehicle outer points, so that a three-dimensional driving tube 3 results in a rectangular cross section.
  • more than four vehicle outer points are selected in order to represent a particularly precise vehicle trajectory 2.
  • fewer than four vehicle outer points are selected, for example only two vehicle outer points, in particular lying in a height plane
  • Vehicle outer point PI and P2 selected to represent a plane vehicle trajectory.
  • the point P3 is assigned to a movable tool of the vehicle, it is also provided that the point P3 is moved as a function of a movement of the tool, so that the base area or basic shape of the travel tube trajectory or the
  • Driving hose 3 changed with.
  • point P3 is shifted outward or inward as shown by arrows in the figure.
  • additional points are taken into account and a polygonal shape with more than four is formed from the rectangular shape of the driving hose Corners is generated, for example, to generate a travel tube trajectory 3 individually adapted to the tool.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Visualisierung einer Betriebsführung und/oder einer möglichen Kollision mit einem Hindernis für einen Insassen eines Fahrzeugs. Dabei ist vorgesehen, dass dem Insassen mindestens eine prädizierte Trajektorie (2) von mindestens einem Element des Fahrzeugs optisch dargestellt wird.

Description

Beschreibung
Titel
Verfahren zur Visualisierung
Stand der Technik
Bekannt sind Mess- und Positionssysteme für Baumaschinen, bei denen mittels Neigungs- und/oder Winkelsensoren zum Beispiel an einem Baggerarm und einer Schaufel des Baggerarms deren Positionen relativ zur Kabine der Baumaschine bestimmt werden können. Die Positionen können auf einem Display dem Baumaschinenfahrer angezeigt werden.
Ferner sind Ortungsverfahren (zum Beispiel GPS) bekannt, die eine absolute Positionsbestimmung zur Umgebung ermöglichen.
Aus der DE Al 10 2014 208 070 ist ein eine Fahrzeugdynamik
berücksichtigendes Kontrollsystem zur Positionssteuerung eines Geräts einer landwirtschaftlichen Arbeitsmaschine bekannt. Das Gerät umfasst eine
Steuereinheit und eine Bodenprofilbestimmungseinrichtung. Die Steuereinheit ermittelt aufgrund des Bodenprofils die zu erwartenden vertikalen Bewegungen des Trägerfahrzeugs und gibt einem Aktor in vorausschauender Weise ein Steuersignal, um das Gerät kontinuierlich in einer vorbestimmten Position über dem Bodenprofil zu führen.
Offenbarung der Erfindung
Ein Fahren eines Fahrzeugs und/oder ein Führen eines Werkzeugs des Fahrzeugs in unstrukturierten Umgebungen ohne zu häufige Wiederholung und/oder Korrektur der Bewegungen und/oder ohne zu Über- oder Untersteuern gelingt nur langjährig erfahrenen Fahrern. Ungeübte Fahrer neigen zum sequentiellen Steuern von Fahrzeug und Werkzeug und/oder müssen Fahrzeug und/oder Werkzeug wiederholt positionieren und/oder ein Über- oder
Untersteuern während des Arbeitens korrigieren. Dabei gleichzeitig auf die statische und dynamische Stabilität des Fahrzeugs/des Werkzeugs zu achten und/oder Kollisionen mit Hindernissen zu vermeiden und/oder den jeweils optimalen Betriebspunkt zu erhalten, überfordert den ungeübten Fahrer/Bediener in der Regel. Die Erfindung ermöglicht eine Optimierung der erwähnten
Arbeitsprozesse bei einer Erhöhung der Sicherheit von
Personen/Fahrern/Bedienern (also Insassen des Fahrzeugs), von
Personen/Gegenständen, die sich im Umfeld des Fahrzeugs und deren
Anbaugeräte/Werkzeuge befinden sowie einen verschleißreduzierenden und ressourcenschonenden Einsatz von Fahrzeugen und Werkzeugen. Das erfindungsgemäße Verfahren zur Visualisierung einer Betriebsführung und/oder einer möglichen Kollision mit einem Hindernis für einen Insassen eines
Fahrzeugs sieht vor, dass dem Insassen mindestens eine prädizierte Trajektorie von mindestens einem Element des Fahrzeugs visualisiert bzw. optisch dargestellt wird. Unter einer Trajektorie eines Elements kann eine
Bewegungsbahn des Elements verstanden werden. Durch die Prädiktion bzw. das Prädizieren der Trajektorie, das heißt das Vorhersagen bzw. Berechnen einer künftigen Trajektorie und/oder eines zukünftigen Ereignisses, und die optische Darstellung bzw. Visualisierung der Trajektorie, also der
vorausschauenden Bewegungsbahn von dem mindestens einem Element des Fahrzeugs, kann der Insasse, insbesondere der Fahrzeugführer,
vorausschauend das Fahrzeug und/oder insbesondere ein Werkzeug des Fahrzeugs führen und hierdurch eine optimale Betriebsführung zum Beispiel ein Über- und Untersteuern, und/oder eine sich anbahnende Kollision mit einem Hindernis verhindern. Die Trajektorie zeigt dem Insassen, welche zukünftige Situation sich einstellen wird, wenn er seine Fahrzeugführungsparameter nicht ändert. Das heißt, die Trajektorie wird mittels zeitlicher Extrapolation der aktuellen Bewegungsdaten und Führungsparameter des Fahrzeugs mittels einer Recheneinheit ermittelt. Durch rechtzeitige, aufgrund der Erfindung mögliche Eingriffe beim Fahren des Fahrzeugs beziehungsweise beim Steuern des Werkzeugs lassen sich die vorstehend erwähnten Nachteile vermeiden. Selbst ungeübte Fahrzeugführer kommen aufgrund der Erfindung in die Lage, eine optimale Betriebsführung und Vermeidung jeglicher Kollisionen zu erreichen. Eine Weiterbildung der Erfindung sieht vor, dass als Element des Fahrzeugs ein Karosserieelement der Karosserie des Fahrzeugs und/oder ein insbesondere bewegbares Werkzeugelement von einem Werkzeug des Fahrzeugs verwendet wird. Mit der Karosserie des Fahrzeugs sind alle Fahrzeugteile gemeint, die nicht zum Werkzeug gehören. Das Werkzeug kann ein Anbaugerät oder Arbeitsgerät des Fahrzeugs sein. Das Anbaugerät bzw. Arbeitsgerät kann beispielsweise ein Baggerarm oder eine Baggerschaufel sein, sofern es sich bei dem Fahrzeug beispielsweise um eine Baumaschine handelt.
Vorzugsweise umfasst bzw. ist das Element ein Punkt der Karosserie oder des Werkzeugs. Beispielsweise werden Eckpunkte, insbesondere einer Außenhülle bzw. eines Umfangs, der Karosserie oder der erwähnten Baggerschaufel als Punkte gewählt, für die eine jeweilige prädizierte Trajektorie ermittelt wird. Die jeweilige prädizierte Trajektorie wird dem Fahrzeugführer optisch dargestellt.
Gemäß einer bevorzugten Weiterbildung der Erfindung werden mehrere Punkte der Karosserie und/oder des Werkzeugs gewählt. Das heißt, das Element umfasst mehrere Punkte der Karosserie und/oder des Werkzeugs. Damit werden mehrere Trajektorien, für jeden der Punkte eine, ermittelt und dem Fahrer optisch dargestellt. Dadurch ist ein einfaches Anpassen der Gesamttrajektorie, die aus den mehreren Einzeltrajektorien gebildet wird, an beispielsweise Bewegungen des Werkzeugs in einfacher Art und Weise möglich. Wird beispielsweise das Werkzeug nach außen von dem Fahrzeug wegbewegt, so wird ein dem
Werkzeug zugeordneter Punkt mit der zugehörigen Trajektorie ebenfalls nach außen bewegt. Durch die optische Visualisierung ist dies für den Fahrer beziehungsweise Bediener des Fahrzeugs einfach wahrnehmbar.
Insbesondere wird aus den mehreren Punkten eine dreidimensionale Trajektorie als Fahrschlauch-Trajektorie dargestellt. Unter einer dreidimensionalen
Trajektorie kann eine Bewegungsbahn eines Flächensegments verstanden werden. Hierbei kann das Flächensegment von mehreren Punkten aufgespannt werden. Durch das Prädizieren der Bewegungsbahn des Flächensegments kann die dreidimensionale Trajektorie erzeugt werden. Es wird somit aus den mehreren Punkten ein Fahrschlauch erzeugt, der dem Fahrer ein verbessertes Raumgefühl der Trajektorie beziehungsweise der prädizierten Gesamttrajektorie bietet. Insbesondere wird durch die mehreren Punkte eine rechteckförmige Fahrschlauch-Trajektorie erzeugt. Das bedeutet, dass der Fahrschlauch im Querschnitt rechteckförmig ausgebildet ist und dadurch eine stark vereinfachte Form des Fahrzeugs mit dem Werkzeug wiedergibt.
Insbesondere wird der Fahrschlauch in Abhängigkeit von einer Bewegung des Werkzeugelements, insbesondere quer zu einer Bewegungsrichtung des Fahrzeugs bzw. im Querschnitt des Fahrschlauchs, vergrößert oder verkleinert. Der Fahrschlauch, insbesondere ein rechteckförmiger Fahrschlauch, wird in Abhängigkeit von der Werkzeugelementstellung beziehungsweise
Werkzeugelementbewegung somit aufgezogen beziehungsweise erweitert oder zusammengezogen beziehungsweise reduziert. Zum Beispiel kann ein
Zusammenklappen des Werkzeugs den Querschnitt des Fahrschlauchs und damit die prädizierte dreidimensionale Trajektorie im Querschnitt verkleinern. Auch ist es denkbar, beim Bewegen des Werkzeugs die Rechteckform in eine Mehreckform zu erweitern, die mehr als vier Ecken aufweist, um eine
Grundfläche des Fahrschlauchs an die Form des Fahrzeugs mit dem Werkzeug bei Bedarf anzupassen. Mit zunehmender Anzahl von Punkten ist eine präzisere Ausbildung der Grundfläche des Fahrschlauchs gewährleistet. Die Länge des Fahrschlauchs wird bevorzugt fest oder dynamisch eingestellt. Bei einer dynamischen Länge sind Einflussfaktoren wie beispielsweise Geschwindigkeit des Fahrzeugs, Einsatzfall des Fahrzeugs, Topologie der Umgebung, Dynamik der Umgebung oder dergleichen berücksichtigt, um die Länge des Fahrschlauchs einzustellen.
Wie bereits erwähnt, kann das Fahrzeug ein landwirtschaftliches Fahrzeug sein. Die Erfindung umfasst jedoch auch zum Beispiel PKWs, LKWs,
Schienenfahrzeuge, Wasserfahrzeuge und so weiter.
Insbesondere ist vorgesehen, dass mindestens eine Bewegung des Fahrzeugs automatisch ermittelt und bei der Bestimmung der Trajektorie verwendet wird. Demzufolge geht die Dynamik des jeweiligen Fahrzustands des Fahrzeugs in die Bestimmung bzw. Ermittlung der prädizierten Trajektorie ein, das heißt, die Trajektorie wird vorzugsweise laufend anhand der tatsächlichen Verhältnisse bzw. Fahrzeugparameter bzw. Umgebungsparameter korrigiert. Insbesondere ist bei der Ermittlung der Bewegung des Fahrzeugs vorgesehen, mindestens eine Geschwindigkeit, mindestens eine Beschleunigung, mindestens eine Gier-Rate, mindestens ein Lenkwinkel und/oder mindestens eine
Ortsposition zu verwenden. Insbesondere wird die Bewegung des Fahrzeugs mittels mindestens eines Sensors des Fahrzeugs ermittelt. Dadurch ist eine besonders präzise Prädiktion der Trajektorie möglich.
Bevorzugt wird dem Insassen ein Umgebungsbild mit der darin dargestellten Trajektorie optisch angezeigt. Kreuzt sich die prädizierte Trajektorie
beispielsweise mit einem aus dem Umgebungsbild ersichtlichen Hindernis, so ist von einer Kollision auszugehen, die aufgrund der erfindungsgemäßen
Vorausschau verhindert werden kann. Alternativ oder zusätzlich wird die
Bewegung mittels mindestens eines Sensors in der Umgebung oder Infrastruktur des Fahrzeugs und/oder mittels mindestens eines Sensors eines anderen, insbesondere in der Umgebung des Fahrzeugs befindlichen Fahrzeugs ermittelt. Dazu ist das vorliegende Fahrzeug bevorzugt informationstechnisch mit der Infrastruktur und/oder zumindest den in der Umgebung befindlichen Fahrzeugen vernetzt.
Bei der erwähnten Betriebsführung und/oder Ermittlung der möglichen Kollision wird vorzugsweise die aktuelle Dynamik oder Statik des Fahrzeugs und/oder Reaktionszeiten von Regelsystemen des Fahrzeugs berücksichtigt. Dadurch wird die Prädiktion der Trajektorie verbessert.
Insbesondere ist es vorteilhaft, wenn dem Insassen angezeigt wird, ab welchem Punkt/Bereich der Trajektorie spätestens ein manueller Eingriff erfolgen muss, um die Kollision zu verhindern. Dem Insassen wird somit deutlich, wieviel Zeit ihm für eine Korrektur zur Verfügung steht, um vorzugsweise behutsam jedoch wirkungsvoll zu reagieren.
Die Erfindung betrifft ferner eine Vorrichtung zur Durchführung des vorstehend erläuterten Verfahrens. Die Vorrichtung umfasst ein Steuergerät zur Ausführung bzw. Steuerung des Verfahrens. Ferner kann die Vorrichtung eine Anzeigeeinheit wie bspw. ein Display oder ein Head-up Display zur Visualisierung umfassen. Durch die Erfindung ist ein genaueres und/oder schnelleres und/oder sicheres und/oder verbrauchsoptimiertes Fahren des Fahrzeugs und/oder Führen eines Werkzeugs des Fahrzeugs ermöglicht. Das Fahren und/oder Führen kann manuell durch einen Insassen oder automatisch erfolgen.
Von Vorzug ist, wenn das Fahrzeug und/oder Werkzeug mit Sensoren ausgestattet ist/sind, die die Bewegungen von Fahrzeug und/oder Werkzeug direkt oder indirekt messen. Mittels einer geeigneten Einrichtung, zum Beispiel eines Steuergeräts, werden entsprechende Größen wie Geschwindigkeit, Beschleunigung, Gier- Rate, Lenkradwinkel, Ortsposition und so weiter bei der Erzeugung der Trajektorie berücksichtigt. Selbstverständlich ist die Erfindung nicht auf eine Trajektorie eines Bereichs/Punktes des Fahrzeugs/des Werkzeugs beschränkt, sondern vorzugsweise werden stets mehrere Trajektorien von mehreren Bereichen des Fahrzeugs vorzugsweise gleichzeitig oder sequenziell dargestellt. Insbesondere wird durch die mehreren auf die Punkte bezogenen Trajektorien eine dreidimensionale Gesamttrajektorie des Fahrzeugs, insbesondere inklusive des Werkzeugs, dargestellt, vorzugsweise in der Art eines dreidimensionalen Fahrschlauchs. Dazu werden die Punkte bevorzugt in der Art gewählt, dass sie die Umrisslinie des Fahrzeugs sowie des
Werkzeugs/Anbaugerätes beschreiben. Dann bilden die daraus abgeleiteten Trajektorien die Umrisslinien des dreidimensionalen Fahrschlauchs. Der
Querschnitt des Fahrschlauchs ist abhängig von der Statik und Dynamik des Fahrzeugs sowie des Werkzeugs oder Anbaugeräts. Dadurch kann eine
Kollisionsvermeidung im Raum insbesondere senkrecht zur Fahrebene prädiziert werden.
Bei einer Kursprädikation bzw. Prädiktion der Trajektorie von Fahrzeug und/oder Werkzeug ohne automatische Zielführung wird dem Insassen ein reales oder synthetisches 3D-Umgebungsbild mit der Prädikation der Trajektorie von
Fahrzeug und/oder Werkzeug zum Beispiel auf einem Display dargestellt. Die prädizierte Trajektorie des Fahrzeugs gegenüber der Umgebung wird dabei vereinfacht derart ermittelt, das angenommen wird, dass die aktuelle Krümmung der Fahrzeugtrajektorie über dem (eventuell unebenen) Grund beibehalten wird oder aus den die Fahrzeugbewegungsrichtung beeinflussenden Steuergrößen und einem kinematischen Modell der Fahrzeugtrajektorie berechnet. Im Hinblick auf ein Werkzeug des Fahrzeugs kann die prädizierte Trajektorie gegenüber dem Fahrzeug vereinfacht derart ermittelt werden, indem angenommen wird, dass die aktuelle Krümmung der Werkzeugtrajektorie über dem Grund beibehalten wird und/oder aber aus dem die Werkzeugbewegungsrichtung beeinflussenden Steuergrößen und einem kinematischen Modell eine Werkzeugtrajektorie berechnet wird. Hierbei kann eine Stellgrößenbegrenzung und damit
Bewegungsbegrenzung der Werkzeugbewegung berücksichtigt werden. Die Bewegungstrajektorie des Werkzeugs über dem (eventuell unebenen) Grund ergibt sich aus der Summe der Trajektorien von Fahrzeug gegenüber dem Grund und der Trajektorie des Werkzeugs gegenüber dem Fahrzeug. Beides kann dem Insassen (Fahrer/Benutzer) zum Beispiel auf einem Display vorzugsweise mittels unterschiedlich farbigen oder markierten virtuell vorauseilenden Linien über dem Grund und dem Raum oder virtuell vorausfahrendem„Geisterfahrzeug“ und vorausbewegtem„Geisterwerkzeug“ angezeigt werden. Dadurch wird dann auch sichtbar, wann das Werkzeug beziehungsweise die Werkzeuge an einen Anschlag/Anschläge fahren werden und/oder wann das Fahrzeug den gewollten „Fahrschlauch“ verlässt beziehungsweise das Fahrzeug mit Hindernissen und/oder das mindestens eine Werkzeug mit Hindernissen kollidieren würden.
Ein rechtzeitiges Erkennen von Objekten und ein korrigierendes Steuern und Eingreifen in das System obliegt dem Insassen (Fahrer/Bediener).
Vorzugsweise können Warnungen maschinell ausgegeben werden.
Vorzugsweise können mittels maschinellem Sehen Objekte erkannt und klassifiziert und deren Trajektorie prädiziert dargestellt werden.
Mit Kenntnis der aktuellen Dynamik und Statik des Fahrzeugs und/oder
Werkzeugs und/oder vorzugsweise von Reaktionszeiten von Regelsystemen kann dem Insassen angezeigt werden, ab welchem Punkt/Bereich der jeweiligen Trajektorie spätestens ein Eingriff erfolgen muss, um eine Kollision zu vermeiden.
Bei einer Kursprädikation bzw. Prädiktion einer Trajektorie von Fahrzeug und/oder Werkzeug mit adaptiver Zielführung verfügt das System vorzugsweise über eine semantische und/oder globale Lokalisierung. So kann der Kurs/die Trajektorie von Fahrzeug und/oder Werkzeug in einer dynamischen 3D-Karte aufgezeichnet werden. Wiederholen sich Fahrzeugbewegungen und/oder Werkzeugbewegungen, so kann das System dies erkennen und dem Insassen durch markierte Trajektorien dargestellt werden. Ist eine weitere Wiederholung von Trajektorien gewollt, so kann der Insasse diese, auch einzeln oder abschnittsweise, für eine automatische Führung aktivieren. Dies kann
vorzugsweise durch Touch auf einem Display und/oder durch
Blickrichtungserkennung und Bestätigung erfolgen.
Erfolgt eine Kursprädikation von Fahrzeug und/oder Werkzeug mit automatischer Zielführung, so kann bei einer vollautomatischen Führung zum Beispiel ein Start- und ein Ziel-Punkt in einer (globalen oder semantischen) 3D-Karte fixiert oder die Koordinaten von einem Steuerungssystem/Baustellenplanungssystem und so weiter vorgegeben werden. Die Trajektorien- Planung erfolgt anhand von
Kinematik, Statik und Dynamik von Fahrzeug und/oder Werkzeug. Die
Routenplanung und Navigation berücksichtigt befahrbare Freiflächen und/oder ausgewiesene Wege und/oder mittels Objekterkennung und Klassifikation erkannte Fahrspuren und/oder erkannte Hindernisse und/oder
Bodenunebenheiten und so weiter.
Denkbar ist auch eine beliebige Kombination der obigen verschiedenen
Möglichkeiten. Dabei ist wichtig, dass dem Insassen angezeigt wird, in welchem Modus sich das Fahrzeug und/oder das Werkzeug befindet und dass er rechtzeitig auf die Übernahme durch ihn beziehungsweise das System hingewiesen wird. Dabei sind Übernahmebestätigungen durch den Insassen denkbar. Auch dies kann durch entsprechend markierte prädizierte Trajektorien angezeigt und dem Insassen signalisiert werden.
Der Vorteil einer Visualisierung auf einem Display oder mehreren Displays ist, dass dem Insassen verstellte beziehungsweise verdeckte beziehungsweise nicht einsehbare Bereiche im Umfeld angezeigt werden können und dass sich der Insasse alleinig mittels der Visualisierung, und hierzu noch vorausschauend, orientieren kann.
Vorzugsweise kann der Grad der Assistenz vom Insassen selbst bestimmt werden. Alternativ kann dies auch durch das Management oder das
Planungssystem vorgegeben oder eingegrenzt werden. Erkennt das System Gefahren von außen oder eine Unfähigkeit des
Fahrers/Bedieners (also des Insassen), so kann das System mindestens zeitweise übernehmen und/oder den Insassenwunsch ignorieren und/oder limitieren und/oder übersteuern, um insbesondere eine Kollision zu vermeiden. Steuert der Fahrer des Fahrzeugs beispielsweise den Ausleger eines Werkzeugs an, so dass dieser in eine Höhe schwenkt, in welcher die Gefahr einer Kollision mit einem Element aus der Umgebung des Fahrzeugs zu befürchten ist, so limitiert das System die maximale Schwenkhöhe derart, dass der Ausleger unterhalb des Kollisionselements vorbeigeführt wird, oder übersteuert die Schwenkhöhe derart, dass der Ausleger weiter über das Element hinausgehoben wird, um dadurch das Element zu überfahren und eine Kollision zu vermeiden.
Anhand der Trajektorien- Planung und der realen Trajektorien als auch über Änderungen der Regelungseingriffe (zum Beispiel Regelabweichungen, I-Anteile und so weiter) können Driften, Offsets, Toleranzen, Alterung, Verschleiß und so weiter des Systems beziehungsweise von Teilen davon erkannt werden und bei Überschreitung von Limits Warnungen und/oder Fehlerspeichereinträge erfolgen.
Um ein bestimmtes (Arbeits-)Ziel zu erreichen, ist die Bewegung von Fahrzeug und/oder Werkzeug erforderlich. Aus der Anzahl möglicher Kombinationen von Fahrzeugbewegung und/oder Werkzeugbewegung lässt sich ein energetisches Optimum für Fahrzeug- und Werkzeugtrajektorie suchen/bestimmen.
Denkbar ist auch eine Optimierung der Trajektorien hinsichtlich
Verschleiß/Alterung.
Anhand der Abweichungen von empfohlenen und realen Trajektorien kann der Lernfortschritt des Fahrers/Bedieners bestimmt werden. Gleichzeitig kann der Arbeitsaufwand (Zeit, Kraftstoff, Wege, Drehzahlen, Momente, Leistungen, Energien) mit dem Arbeitsergebnis in Relation gesetzt werden. Alle Daten lassen sich online berechnen, übertragen, speichern und auswerten. Auswertungen können in die Optimierung der Trajektorien/Planung wiederum einfließen
(lernende Systeme).
Die Figur zeigt rein beispielhaft und schematisch ein befahrbares
Oberflächenprofil 1 mit prädizierter Fahrzeug-Trajektorie 2. Die Figur entspricht der Ansicht auf einem Display, das von dem Insassen des Fahrzeugs
wahrgenommen wird. Die Fahrzeug-Trajektorie 2 zeigt den vorausschauenden Verlauf von vier Fahrzeugaußenpunkten, so dass sich ein dreidimensionaler Fahrschlauch 3 in einem rechteckförmigen Querschnitt ergibt. Optional, jedoch nicht dargestellt, werden mehr als vier Fahrzeugaußenpunkte gewählt, um eine besonders präzise Fahrzeug-Trajektorie 2 darzustellen. Alternativ werden weniger als vier Fahrzeugaußenpunkte gewählt, beispielsweise nur zwei Fahrzeugaußenpunkte, insbesondere in einer Höhen-Ebene liegenden
Fahrzeugaußenpunkt PI und P2, ausgewählt, um eine Ebene Fahrzeug- Trajektorie darzustellen.
Ist beispielsweise der Punkt P3 einem bewegbaren Werkzeug des Fahrzeugs zugeordnet, so ist außerdem vorgesehen, dass der Punkt P3 in Abhängigkeit von einem Bewegen des Werkzeugs mitbewegt wird, sodass sich die Grundfläche beziehungsweise Grundform der Fahrschlauch-Trajektorie beziehungsweise des
Fahrschlauchs 3 mit verändert. Beispielsweise wird der Punkt P3 wie durch Pfeile in der Figur gezeigt, nach außen oder nach innen verschoben. Gemäß einem weiteren Ausführungsbeispiel ist vorgesehen, dass dann, wenn das Werkzeug mit dem Punkt P3 nach außerhalb des Fahrzeugs beziehungsweise in einen Bereich außerhalb des Fahrschlauchs 3 des Fahrzeugs bewegt wird, zusätzliche Punkte berücksichtigt werden und aus der Rechteckform des Fahrschlauchs eine Mehreckform mit mehr als vier Ecken erzeugt wird, um beispielsweise eine an das Werkzeug individuell angepasste Fahrschlauch- Trajektorie 3 zu erzeugen.

Claims

Ansprüche
1. Verfahren zur Visualisierung einer Betriebsführung und/oder einer möglichen Kollision mit einem Hindernis für einen Insassen eines Fahrzeugs, dadurch gekennzeichnet, dass dem Insassen mindestens eine prädizierte Trajektorie (2) von mindestens einem Element des Fahrzeugs optisch dargestellt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Element des Fahrzeugs ein Karosserieelement der Karosserie des Fahrzeugs und/oder ein insbesondere bewegbares Werkzeugelement von einem Werkzeug des Fahrzeugs verwendet wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Element ein Punkt der Karosserie oder des
Werkzeugs umfasst.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Element mehrere Punkte der Karosserie und/oder des Werkzeugs umfasst.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass aus den mehreren Punkten eine dreidimensionale Trajektorie (2) als insbesondere rechteckförmige Fahrschlauch-Trajektorie dargestellt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Fahrschlauch-Trajektorie in Abhängigkeit von einer Bewegung des
Werkzeugelements vergrößert oder verkleinert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug und/oder das Werkzeug automatisch fährt/geführt ist und/oder vom Insassen gesteuert wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug ein landwirtschaftliches Fahrzeug ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens eine Bewegung des Fahrzeugs automatisch ermittelt und bei der Bestimmung der Trajektorie verwendet wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der Bewegung des Fahrzeugs mindestens eine Geschwindigkeit, mindestens eine Beschleunigung, mindestens eine Gier-Rate, mindestens ein Lenkwinkel und/oder mindestens eine
Ortsposition verwendet wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung des Fahrzeugs mittels mindestens eines Sensors des Fahrzeugs und/oder eines Sensors in der Infrastruktur und / oder eines Sensors eines anderen Fahrzeugs ermittelt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem Insassen ein Umgebungsbild mit der darin dargestellten prädizierten Trajektorie optisch gezeigt wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu einer Ermittlung der möglichen Kollision die aktuelle Dynamik und/oder Statik des Fahrzeugs und/oder Reaktionszeiten von
Regelsystemen des Fahrzeugs berücksichtigt wird/werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem Insassen angezeigt wird, ab welchem Punkt/Bereich der Trajektorie spätestens ein manueller Eingriff erfolgen muss, um die Kollision zu verhindern.
15. Vorrichtung zur Visualisierung einer Betriebsführung und/oder einer möglichen Kollision mit einem Hindernis für einen Insassen eines Fahrzeugs, mit einem Steuergerät, das speziell dazu hergerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 14 durchzuführen.
PCT/EP2019/062192 2018-06-12 2019-05-13 Verfahren zur visualisierung WO2019238328A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018209334.2A DE102018209334A1 (de) 2018-06-12 2018-06-12 Verfahren zur Visualisierung
DE102018209334.2 2018-06-12

Publications (1)

Publication Number Publication Date
WO2019238328A1 true WO2019238328A1 (de) 2019-12-19

Family

ID=66589526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/062192 WO2019238328A1 (de) 2018-06-12 2019-05-13 Verfahren zur visualisierung

Country Status (2)

Country Link
DE (1) DE102018209334A1 (de)
WO (1) WO2019238328A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022207654A1 (de) 2022-07-26 2024-02-01 Volkswagen Aktiengesellschaft Erstellung von Fahrbereichen aus Lokalisierungsdaten und Fahrzeugabmessungen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158243A1 (en) * 2010-12-21 2012-06-21 Anthony Pupin Vehicle camera system operable in off-road mode and method
WO2015034876A1 (en) * 2013-09-03 2015-03-12 Agco Corporation System and method for automatically changing machine control state
DE102014208070A1 (de) 2014-04-29 2015-12-17 Deere & Company Die Fahrzeugdynamik berücksichtigendes Kontrollsystem zur Positionssteuerung eines Geräts für ein landwirtschaftliches Arbeitsfahrzeug
CA3029812A1 (en) * 2016-08-31 2018-03-08 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
DE10317044A1 (de) * 2003-04-11 2004-10-21 Daimlerchrysler Ag Freiraumüberwachung bei Kraftfahrzeugen
DE102013001229A1 (de) * 2013-01-25 2014-07-31 Wabco Gmbh Verfahren zum Ermitteln eines Auslöekriteriums für eine Bremsung und ein Notbremssystem zur Durchführung des Verfahrens
DE102014214667A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158243A1 (en) * 2010-12-21 2012-06-21 Anthony Pupin Vehicle camera system operable in off-road mode and method
WO2015034876A1 (en) * 2013-09-03 2015-03-12 Agco Corporation System and method for automatically changing machine control state
DE102014208070A1 (de) 2014-04-29 2015-12-17 Deere & Company Die Fahrzeugdynamik berücksichtigendes Kontrollsystem zur Positionssteuerung eines Geräts für ein landwirtschaftliches Arbeitsfahrzeug
CA3029812A1 (en) * 2016-08-31 2018-03-08 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
WO2018043299A1 (ja) * 2016-08-31 2018-03-08 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法

Also Published As

Publication number Publication date
DE102018209334A1 (de) 2019-12-12

Similar Documents

Publication Publication Date Title
EP2125472B1 (de) Einparkhalbautomat
DE102016214433B4 (de) Ablenkungsfreies Fernsteuern eines Kraftfahrzeugs mit einem Parkassistenzsystem
EP2644477B1 (de) Assistenzvorrichtungen und Verfahren zum Betreiben einer Assistenzvorrichtung zur Fahrtsteuerung eines Zugfahrzeugs mit Anhänger
EP3405376B1 (de) Verfahren und vorrichtung zum zumindest teilweise automatisierten fahren
DE102009008302B4 (de) Verfahren und Vorrichtung zur integrierten Quer- und Längsführung eines Kraftfahrzeugs
EP2378383B1 (de) Verfahren zum Betreiben eines holonomen/omnidirektionalen Flurförderfahrzeugs
EP3479183B2 (de) Verfahren zum betrieb eines kraftfahrzeugs in einer navigationsumgebung und kraftfahrzeug
DE102016220945A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Manövriervorganges eines Kraftfahrzeuges
EP3016837B1 (de) Parkassistenzsystem und verfahren zur steuerung eines parkassistenzsystems für ein fahrzeug
DE102012207269A1 (de) Fahrerloses Transportfahrzeug und Verfahren zum Betreiben eines fahrerlosen Transportfahrzeugs
DE102007029413A1 (de) Verfahren zur Durchführung eines Lenkvorganges in einem Fahrzeug mit Anhänger bei Rückwärtsfahrt
DE102014225383A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs, Kraftfahrzeug
DE102018119867B4 (de) Autonome Verhaltenssteuerung unter Verwendung von Richtlinienauslösung und -ausführung
EP2669109B1 (de) Manöverassistenzsystem
DE102014220144A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102020129110A1 (de) Geführtes coaching für fahrzeugpositionierung zum betreiben eines automatisierten kupplungsmerkmals
DE102016220637A1 (de) Parkassistenzsystem mit über das Lenkrad verschiebbarer Querposition des angezeigten Parkziels
DE102006044179A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei der Durchführung eines Fahrmanövers
DE102015109537B4 (de) Objektvermeidung für ein anhänger-rückfahrassistenzsystem
EP3470247B1 (de) Verfahren zur unterstützung eines kupplungsvorgangs
DE102018200232A1 (de) Verfahren zum Betrieb einer Arbeitsmaschine und Arbeitsmaschine
WO2019238328A1 (de) Verfahren zur visualisierung
EP4211019A1 (de) Einlernen von trajektorien bei einem kraftfahrzeug
DE102019216147B3 (de) Verfahren zur Bestimmung einer Befahrbarkeit eines Bereichs eines Geländes für ein Fahrzeug
DE112019003401B4 (de) Fahrzeugsteuervorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19724775

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19724775

Country of ref document: EP

Kind code of ref document: A1