WO2019238330A1 - Verfahren und einrichtung zum betrieb von autonom betriebenen arbeitsmaschinen - Google Patents

Verfahren und einrichtung zum betrieb von autonom betriebenen arbeitsmaschinen Download PDF

Info

Publication number
WO2019238330A1
WO2019238330A1 PCT/EP2019/062198 EP2019062198W WO2019238330A1 WO 2019238330 A1 WO2019238330 A1 WO 2019238330A1 EP 2019062198 W EP2019062198 W EP 2019062198W WO 2019238330 A1 WO2019238330 A1 WO 2019238330A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine
kinematics
objects
semantic map
collisions
Prior art date
Application number
PCT/EP2019/062198
Other languages
English (en)
French (fr)
Inventor
Udo Schulz
Thomas Thiel
Thomas KLIEGL
Reinhard Weiberle
Ulf Niebling
Stanley Kurian Jose
Hendrik Kurre
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to JP2020569079A priority Critical patent/JP7143451B2/ja
Priority to KR1020207035494A priority patent/KR20210020896A/ko
Publication of WO2019238330A1 publication Critical patent/WO2019238330A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45012—Excavator

Definitions

  • the invention relates to a method and a device for collisionally permitting operation of, in particular, autonomously operating machines, in particular of at least one kinematics or a mobile machine having tools, according to the preambles of the respective
  • the present invention also relates to a computer program, a machine-readable data carrier for storing the computer program and an electronic control device by means of which the method can be carried out.
  • Machines affected here e.g. moving construction machines such as shovel excavators or moving forestry or agricultural machines such as tractors or combine harvesters are becoming increasingly autonomous or by one
  • Driver assistance system supports or operates assisted. An essential prerequisite for this is reliable and predictive detection of an environmental or traffic situation around the machine or the
  • An environment model that is known to be used in this context contains the information necessary for this in order to
  • the environment model thus represents the environment of the vehicle.
  • the environment model has infrastructure elements and / or others Road users, especially vehicles, in the area surrounding the vehicle.
  • the sensor system installed on the vehicle must recognize moving or stationary and stationary objects and decide whether it is necessary to brake and / or to avoid on the basis of trajectory planning and a suitable system intervention, or whether an intervening maneuver is not necessary.
  • vehicle-specific sensors and / or sensors from other vehicles and / or sensors or sensors installed in a fixed location in the environment are compared with existing topography or infrastructure data.
  • Geometric description of a device by quantifying all spatial degrees of freedom of the device.
  • spatially rigid devices e.g. in the case of a motor vehicle
  • the pose also describes the position of each individual articulation of the machine.
  • the term “trajectory” is to be understood in the following as the temporal course of the pose of a particular work machine.
  • the invention is based on the idea of spatial (3D) areas in the
  • a permissible collision can be understood to mean a collision that is desired by an operator of the machine or the kinematics, for example in order to pick up or release material or in an environment of the
  • An impermissible collision can be understood as a collision that is not desired by the operator or that results in an accident with property damage or personal injury.
  • a semantic 3D map is used, which represents a metric map already used in mobile robotics and which, in addition to geometric or topographical information on 3-D measuring points, also contains semantic descriptions of the respective measuring points.
  • a semantic map can be understood to mean a metric or geometric and / or topographic map that has additional information in the form of names or inscriptions of points on the map.
  • Working machine and / or a tool of the working machine in relation to the environment e.g. can be precisely determined using a tool center point (TCP) that defines the pose of the tool.
  • TCP tool center point
  • this enables corresponding automation functions in an autonomously operating or operated machine.
  • the invention proposes a method for collision-permitting operation of work machines affected here, the pose of the machine and / or the kinematics or the tool being based on a
  • Measuring method is determined, wherein the pose of the machine or the kinematics determined in this way is compared with the semantic 3D map, and possible conditionally permissible or impermissible collisions with objects in the vicinity of the machine are reliably detected or ascertained.
  • Measuring method can be the detection of the pose of the machine and / or the
  • Tool based on measurement data generated by means of sensors.
  • the method can be arranged on the machine
  • an environment model for the machine can be created.
  • the method can also be used to identify areas in the semantic map in which the machine may be operated, even in the event of possible collisions with the objects, and areas in the semantic map in which the machine moves with respect to the possible collisions with the objects may be without colliding with the objects.
  • the areas of the semantic map identified in this way can be compared with TCP position data of the kinematics.
  • the objects in the semantic map are classified as conditionally permissible or not permissible with regard to possible collisions with the machine and / or the kinematics.
  • impermissible interactions are recognized on the basis of a planned or predicted movement trajectory of the machine and / or the kinematics with regard to the classified objects in the area of the planned or predicted movement trajectory and that when at least one interaction is detected, a warning message is output to an operator of the machine and / or a collision-preventing intervention in the operation of the machine is carried out.
  • the likewise proposed device takes advantage of the pose data of the machine and / or the kinematics acquired by means of a sensor and / or signal technology, in order to make possible conditionally permissible or not possible on the basis of sensor or pose data of the machine or the kinematics using a semantic 3D map to reliably detect or determine permissible collisions with objects in the vicinity of the machine and to control the machine or actuators arranged on the kinematics of the machine in such a way that permissible collisions with the objects are permitted only to a limited extent.
  • the device can include a localization element for localizing the machine by means of a semantic map, a planning element for planning work tasks and work steps to be performed by the machine, a trajectory planning element for planning, forecasting and monitoring the movement of the machine and / or the kinematics and / or in the Objects surrounding the machine, an environment model based on the semantic map, a scene interpretation element for predicting potential collisions with the at least one object, and an actuation management element for carrying out suitable measures to avoid an impermissible collision with the at least one object.
  • the facility may be a vehicle model related to the
  • the invention can be used in particular in or in a mobile work machine, e.g. a shovel excavator or a mower.
  • the computer program is set up every step of the process
  • the computer program is stored.
  • the electronic control unit is obtained, which is set up to operate or control a machine affected here by means of the proposed method.
  • TCP tool center point
  • Fig. 3 shows an embodiment of the device according to the invention
  • FIG. 1 schematically shows a side section through a bucket excavator to illustrate the determination of a TCP (“Tool Center Point”) by means of displacement sensors arranged on parts of an excavator arm.
  • TCP Tool Center Point
  • the bucket excavator includes an undercarriage 100 and one on the
  • Undercarriage 100 by means of a rotating connection 103 superstructure 105 rotatably mounted.
  • a kinematics in the form of an excavator arm is arranged on the uppercarriage 105, with a first articulated arm 110, one on it
  • third articulated arm 120 On the third articulated arm 120 there is a blade 125, in the upper area of which the TCP 127 is arranged.
  • the first articulated arm 110 is pivotally arranged on the superstructure 105 via a first connecting piece 130 and in turn is pivotably connected to the second articulated arm 115 via a second connecting piece 135.
  • the third articulated arm 120 and the blade 125 are pivotally connected via corresponding connecting pieces 137, 138.
  • the articulated arms 110, 115, 120 are not completely torsionally rigid and the connecting pieces 130, 135, 137, 138 point
  • the articulated arms 1 10, 1 15, 120 and the bucket 125 are operated hydraulically by means of hydraulic cylinders 140, 155, 170, 185, with their connecting pieces 145, 150, 160, 165, 175, 180, 190, 195 also causing articulated play and this leads to further inaccuracies or tolerances when determining the position of the TCP 127.
  • the relative position of the TCP 127 with respect to an uppercarriage 105 of a backhoe shown in FIG. 1 can be measured in different ways. Inertial sensors and rotary encoders can be used for this. However, the position determination is based on the position of kinematic elements using inertial sensors, in particular when the
  • direct measurement methods in which by means of at least one high-frequency signal transmitter or signal receiver and / or by means of at least one optical camera and / or by means of at least one laser range finder and / or by means of at least one
  • walking people, moving vehicles or working machines can be recognized and classified.
  • the recognized objects are preferably recorded in a semantic map, which optionally e.g. can also be georeferenced by means of a global navigation system (GNSS) and additionally by means of so-called “real time kinematics” (RTK).
  • GNSS global navigation system
  • RTK real time kinematics
  • the functions described below identify 210 the respective areas or parts of the semantic map in which the machine may be used (permissible collisions) and areas or parts of the semantic map in which the machine may be moved without collide with objects.
  • the named areas or parts of the semantic map can be compared 220 with TCP position data 225 acquired or determined in the mentioned manner.
  • Movement trajectories also a necessary or meaningful contact with the environment and / or with a workpiece or material to be machined.
  • a wheel loader can drive his shovel into a heap of earth to pick up bulk material, a jackhammer can place his chisel at an obtuse angle on a stony workpiece or working material to chisel off material, or a drill can work vertically into the respective soil.
  • the semantic map identifies those areas / parts that are in the logical context of tool, workpiece and work process. In this way, the approach of the tool along a predicted trajectory to a recognized or classified workpiece and / or plausible interactions and changes to the workpiece from the work process perspective are marked in the semantic map as permissible collision areas.
  • a predicted trajectory may not run through a person or through another work machine, however, a contact between the machine or the tool and the respective object, as described below as part of an existing work process, is permitted.
  • the trajectory of the tool or the machine can be predicted on the basis of the movement dynamics of the machine or the tool and the control commands of the operator. If the predicted trajectory would overlap with the body of a person, the machine or the tool would be stopped immediately or immediately. If the person is now moving and their movement trajectory can be estimated, then this trajectory can be included in the collision management.
  • the machine operator's line of sight can be used to determine whether the operator has perceived the person in the interaction area of his machine and also has an eye on the machine's movement. The classified person is then on an undisguised or uncovered one identified by a corresponding “driver monitoring” camera
  • a camera system also has gesture recognition, this can also be included in collision management.
  • a person instructing the operator of a machine can be in the machine
  • Interaction area e.g. indicate with a hand signal that the target position of a tool or a load to be moved has been reached or that a direction of the tool has to be changed or a load e.g. should be moved up or put down.
  • a change from a bucket to a chisel on an excavator can result in other necessary, permissible or sensible work tasks, environments, scenes, trajectories, controls, collision management and system interventions.
  • the work process or technical relationships mentioned can be determined in advance, for example in a development and application phase, and stored in an existing control unit of the machine.
  • Collision monitoring for controlling and regulating the combine harvester in its environment is carried out using a semantic map.
  • Environment information e.g. the topology, vegetation, living things, weather, movable or immovable objects; current localization or location of the machine and objects in the area, semantic and / or global map information, field maps;
  • Machine and operating material information e.g. Operating points of the machine components, status information, physical quantities;
  • Operator information e.g. the position of the controls on the machine as well as the line of sight / attention / fatigue and the work process intentions of the driver / operator; current time and date.
  • a collision avoidance by means of a semantic map would be realizable in that the combine harvester actively differentiates between harvested material and non-harvested material by means of its sensor system, and if a collision is detected, another harvesting journey is stopped or the respective obstacle avoided.
  • a first permissible collision between the combine and surrounding objects is determined on arrival at a field to be harvested with the fruit still standing.
  • the combine harvester approaches with an attached tool, e.g. a cutting unit, the plants there and trims them with a permissible collision in order to then feed the cut plant parts to the machine's internal processing components. If the combine harvester follows the course of the crop in the field, it will arrive at the end of a lane in the field.
  • Field crop ends there and the machine would have to collide between the cutting unit and surrounding objects, e.g. Hedges or trees, to prevent damage e.g. to avoid on the cutting unit.
  • objects e.g. Hedges or trees
  • the crop is regularly reloaded from a grain tank of the combine harvester onto a transport vehicle. This can be done at a standstill or during the harvest.
  • a unloading or unloading tube is pivoted from a folded state to a transport trailer in order to then reload the material.
  • an impermissible approach between the trailer and the transfer tube can occur at least for a short time.
  • This collision state can also be identified with the described method and the combine harvester can be controlled according to the context in such a way that a collision cannot occur here.
  • Another agricultural application is the necessary collision between one with a tillage implement or one
  • Equipped tractor and the field to be worked For example, a plow or a cultivator is deliberately lowered into the ground with its tines or ploughshare in order to turn or mix the soil.
  • the main thing here is uniform processing and uniform mixing. The task of for that
  • Another application example is the swiveling of two
  • FIG. 3 shows functional elements of a device for the operation of a work machine affected here that permits collisions to a limited extent.
  • a localization element 300 is used to localize using semantic maps, in particular semantic 3D maps, as well as global or GNSS-based localization of a particular machine or machine
  • a maximum equipped device for operating a work machine affected here is described here. Parts and / or multiplications and / or further combinations of the device are conceivable.
  • a second functional element 302 carries out a planning of work tasks and work steps or work processes or parts thereof (so-called “task planning”). The planning is carried out either by the operator 305 and / or a “Building Information Model” (BIM) and / or on the basis of operating and / or work sequences learned in advance.
  • a third functional element 310 carries out planning, prognosis and observation of the movement of machines and / or tools, but also of people (so-called “trajectory planning”).
  • Trajectory planning 310 an environment model 315 based on a semantic 3D map 312 and a scene interpretation 335 predicted potential collisions and implausibilities were recognized and 330 measures were taken with a fifth functional element
  • a vehicle model 325 (“vehicle model”) contains the kinematics and dynamics of the respective mobile machine as well as the control behavior of the machine.
  • the above-mentioned actuator management 330 C, Actuator Management “) takes into account, depending on the operating strategy at hand, a distribution of the longitudinal and transverse movements of the vehicle and tool among the associated ones Actuators.
  • the interactions of machines, tools, workpieces and work objects as well as the associated ones are determined by means of the aforementioned scenic evaluation 335 C, Scene Interpretation “)
  • the described method and the device can also be used in control devices specially developed for this purpose.
  • the described method can be implemented in the form of a control program for an electronic control unit for controlling a machine concerned here or in the form of one or more corresponding electronic control units (ECUs).
  • ECUs electronice control units

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Manipulator (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Einrichtungzum Betrieb einer eine Kinematik (110, 115, 120) aufweisenden Maschine (100, 105), wobei die Poseder Maschine (100, 105) und/oder der Kinematik (110, 115, 120) mittels eines, insbesondere signaltechnischen,Messverfahrens ermittelbar ist, wobei insbesondere vorgesehen ist, dass eine mittels des, insbesondere signaltechnischen,Messverfahrens ermittelte Poseder Maschine (100, 105) und/oder der Kinematik (110, 115, 120) mit einer semantischen Karte (200) verglichen wird (215) und dabei mögliche bedingt zulässige oder nicht zulässige Kollisionen mit Objekten in der Umgebung der Maschine (100, 105) erkannt werden.

Description

Beschreibung
Titel
Verfahren und Einrichtung zum Betrieb von autonom betriebenen
Arbeitsmaschinen
Die Erfindung betrifft ein Verfahren und eine Einrichtung zum Kollisionen bedingt zulassenden Betrieb von insbesondere autonom agierenden Arbeitsmaschinen, insbesondere von wenigstens eine Kinematik bzw. ein Werkzeug aufweisenden mobilen Arbeitsmaschinen, gemäß den Oberbegriffen der jeweiligen
unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung sind auch ein Computerprogramm, ein maschinenlesbarer Datenträger zur Speicherung des Computerprogramms und ein elektronisches Steuergerät, mittels derer das Verfahren durchführbar ist.
Stand der Technik
Hier betroffene Maschinen, z.B. fahrende Baumaschinen wie Schaufelbagger oder fahrende forst- oder landwirtschaftliche Maschinen wie Traktoren oder Mähdrescher, werden zunehmend autonom oder von einem
Fahrerassistenzsystem unterstützt bzw. assistiert betrieben. Eine wesentliche Voraussetzung dafür ist eine zuverlässige und vorausschauende Erkennung einer Umgebungs- bzw. Verkehrssituation um die Maschine bzw. das
entsprechende Fahrzeug herum. Ein dabei bekanntermaßen eingesetztes Umgebungsmodell enthält dazu notwendige Informationen, um eine
Situationsanalyse abzuleiten und eine Manöverplanung durchführen zu können. Das Umgebungsmodell repräsentiert also die Umgebung des Fahrzeugs. Zum Beispiel weist das Umgebungsmodell Infrastrukturelemente und/oder andere Verkehrsteilnehmer, insbesondere Fahrzeuge, in der Umgebung des Fahrzeugs auf. Das auf dem Fahrzeug installierte Sensorsystem muss dazu bewegte bzw. ortsveränderliche und ortsfeste Objekte erkennen und entscheiden, ob es notwendig ist zu bremsen und/oder auf Basis einer Trajektorienplanung und eines geeigneten Systemeingriffs auszuweichen, oder ob ein eingreifendes Manöver nicht erforderlich ist. Zur Erstellung des Umgebungsmodells werden von fahrzeugeigenen Sensoren und/oder von Sensoren anderer Fahrzeuge und/oder von in der Umgebung ortsfest installierten Sensoren bereitgestellte Daten bzw. Informationen mit vorliegenden Topographie- bzw. Infrastrukturdaten abgeglichen.
Der räumliche Zustand einer Arbeitsmaschine lässt sich durch die aus der Robotik bekannte„Pose“ beschreiben. Diese stellt eine vollständige
geometrische Beschreibung einer Vorrichtung dar, indem sie alle räumlichen Freiheitsgrade der Vorrichtung quantifiziert. Bei räumlich starren Vorrichtungen, z.B. bei einem Kraftfahrzeug, sind dies die Position eines Referenzpunktes des Fahrzeugs im Raum sowie die räumliche Orientierung des Fahrzeugs. Bei einer mehrgelenkigen Arbeitsmaschiene beschreibt die Pose zusätzlich die Stellung jedes einzelnen Gelenks der Maschine.
Ausgehend vom Begriff der Pose ist im Folgenden der Begriff der„Trajektorie“ als zeitlicher Verlauf der Pose einer jeweiligen Arbeitsmaschine zu verstehen.
Während bei Fahrzeugen im Straßenverkehr in der Regel jegliche Kollisionen des Fahrzeugs mit seiner Umgebung zu vermeiden sind und Annäherungen an Objekte mit einem Kollisionspotential generell zu Warnungen führen, ergeben sich bei Arbeitsmaschinen und deren Werkzeugen notwendigerweise
prozessbedingte Kontakte mit und in die Arbeitsgegenstände bzw. Werkstücke bzw. Werkstoffe hinein G, gewollte Kollisionen“).
Offenbarung der Erfindung
Der Erfindung liegt die Idee zugrunde, räumliche (3D-) Bereiche in der
Umgebung der Arbeitsmaschine, in denen für einen vorliegenden Arbeitsprozess bedingte Kollisionen zulässig sind sowie Bereiche, in denen Kollisionen z.B. aus Gründen des Personenschutzes nicht zulässig sind, zu erkennen bzw. zu ermiteln. Unter einer zulässigen Kollision kann eine Kollision verstanden werden, die von einem Bediener der Maschine bzw. der Kinematik erwünscht ist, bspw. um Material aufzunehmen oder abzugeben bzw. um eine Umgebung der
Maschine mitels der Kinematik zu bearbeiten. Unter einer nicht zulässigen Kollision kann eine Kollision verstanden werden, die von dem Bediener nicht erwünscht ist bzw. die einen Unfall mit Sach- oder Personenschaden zur Folge hat.
Die Erkenntnis über solche räumlichen Bereiche ermöglicht eine vorhersehbare und damit überprüfbare Interaktion von Maschine und/oder Kinematik bzw.
Werkzeug und/oder Arbeitsgegenstand und/oder Personen in einer Umgebung, welche bevorzugt semantisch repräsentiert wird. Dabei kommt eine semantische 3D-Karte zum Einsatz, welche eine in der mobilen Robotik bereits eingesetzte metrische Karte darstellt und welche neben geometrischen oder topographischen Informationen zu 3 D- Messpunkten zusätzlich semantische Bezeichnungen der jeweiligen Messpunkte enthält. Das heißt, mit anderen Worten, unter einer semantischen Karte kann eine metrische bzw. geometrische und/oder topographische Karte verstanden werden, die zusätzliche Informationen in Form von Bezeichungen bzw. Beschriftungen von Punkten in der Karte aufweist.
Mitels solcher Karten lassen sich Bereiche mit zulässigen Interaktionen von denen mit unzulässigen Interaktionen unterscheiden und darauf basierend Kollisionswarnungen und Systemeingriffe in Arbeitsbereichen und
Arbeitsprozessen realisieren.
Mitels einer geeigneten Anordnung von Sensoren sowie einer geeigneten Zusammenführung entsprechend erfasster Sensorsignale können die räumliche Position und Orientierung, die sog.„Pose“, einer hier betroffenen
Arbeitsmaschine und/oder eines Werkzeugs der Arbeitsmaschine in Bezug auf die Umgebung, z.B. anhand eines die Pose des Werkzeugs definierenden, sogenannten„Tool Center Point“ (TCP), präzise ermitelt werden. Dadurch werden insbesondere entsprechende Automatisierungsfunktionen bei einer autonom agierenden bzw. betriebenen Arbeitsmaschine ermöglicht.
Es ist anzumerken, dass die Bestimmung des TCP bekanntermaßen die
Grundlage nahezu jedes Assistenzsystems für Maschinen mit Manipulator- Kinematik, z.B. für Bagger, Telehandler, Forstmaschinen, Baukräne oder LKW- Ladekrane, darstellt. Zudem ermöglicht die genaue Kenntnis des TCP eine präzise Begrenzung des Arbeitsbereichs der Maschine sowie ein genaues Protokollieren des Baufortschritts insbesondere bei einem automatischen bzw. teilautomatischen Betrieb der Maschine.
Die Erfindung schlägt ein Verfahren zum Kollisionen bedingt zulassenden Betrieb von hier betroffenen Arbeitsmaschinen vor, wobei die Pose der Maschine und/oder der Kinematik bzw. des Werkzeugs anhand eines die
Posenbestimmung durchführenden, insbesondere signaltechnischen,
Messverfahrens ermittelt wird, wobei die so ermittelte Pose der Maschine bzw. der Kinematik mit der semantischen 3D-Karte verglichen wird, und wobei mögliche bedingt zulässige oder nicht zulässige Kollisionen mit Objekten in der Umgebung der Maschine zuverlässig erkannt bzw. ermittelt werden. Das
Messverfahren kann das Erfassen der Pose der Maschine und/oder des
Werkzeugs basierend auf mittels Sensorik erzeugten Messdaten umfassen. Bei dem Verfahren kann mittels an der Arbeitsmaschine angeordneter
Umgebungssensoren und/oder mittels Sensoren anderer Maschinen und/oder mittels ortsfest in der Umgebung der Maschine installierter Sensoren auf der Grundlage einer vorliegenden semantischen Karte ein Umgebungsmodell für die Maschine erstellt werden.
Bei dem Verfahren können zudem Bereiche in der semantischen Karte identifiziert werden, in denen die Maschine auch bei möglichen Kollisionen mit den Objekten zulässig betrieben werden darf, und Bereiche in der semantischen Karte identifiziert werden, in denen die Maschine bezüglich der möglichen Kollisionen mit den Objekten bewegt werden darf, ohne mit den Objekten zu kollidieren. Die so identifizierten Bereiche der semantischen Karte können mit TCP- Positionsdaten der Kinematik abgeglichen werden.
Auch kann bei dem Verfahren vorgesehen sein, dass die Objekte in der semantischen Karte bezüglich möglicher Kollisionen mit der Maschine und/oder der Kinematik als bedingt zulässig oder als nicht zulässig klassifiziert werden. Im Betrieb der Maschine kann ferner vorgesehen sein, dass aufgrund einer geplanten oder prognostizierten Bewegungstrajektorie der Maschine und/oder der Kinematik bezüglich der klassifizierten Objekte im Bereich der geplanten oder prognostizierten Bewegungstrajektorie unzulässige Interaktionen erkannt werden und dass bei wenigstens einer erkannten Interaktion eine Warnmeldung an einen Bediener der Maschine ausgegeben wird und/oder ein kollisionsverhindernder Eingriff in den Betrieb der Maschine vorgenommen wird.
Die ebenfalls vorgeschlagene Einrichtung macht sich mittels einer genannten Sensorik und/oder Signaltechnik erfasste Posedaten der Maschine und/oder der Kinematik zunutze, um anhand von Sensor- bzw. Posedaten der Maschine bzw. der Kinematik mittels einer semantischen 3D- Karte mögliche bedingt zulässige oder nicht zulässige Kollisionen mit Objekten in der Umgebung der Maschine zuverlässig zu erkennen bzw. zu ermitteln und die Maschine bzw. an der Kinematik der Maschine angeordnete Aktuatoren in der Weise anzusteuern, dass nur bedingt zulässige Kollisionen mit den Objekten zugelassen werden.
Die Einrichtung kann ein Lokalisierungselement zur Lokalisierung der Maschine mittels einer semantischen Karte, ein Planungselement zur Planung von seitens der Maschine durchzuführenden Arbeitsaufgaben und Arbeitsschritten, ein Trajektorenplanungselement zur Planung, Prognose und Beobachtung der Bewegung der Maschine und/oder der Kinematik und/oder von in der Umgebung der Maschine angeordneten Objekten, einem auf der semantischen Karte beruhenden Umgebungsmodell, einem Szeneninterpretationselement zum Prognostizieren potentieller Kollisionen mit dem wenigstens einen Objekt, und einem Aktuationsmanagementelement zur Durchführung geeigneter Maßnahmen zur Vermeidung einer nicht zulässigen Kollision mit dem wenigstens einen Objekt aufweisen.
Zudem kann die Einrichtung ein Fahrzeugmodell betreffend die
Bewegungsdynamik der Maschine und das Steuer- und Regelverhalten der Maschine aufweisen bzw. bereitstellen.
Bei der Einrichtung kann ferner vorgesehen sein, dass mittels des
Szeneninterpretationselementes Interaktionen von in der Umgebung der
Maschine befindlichen weiteren Maschinen, Werkzeugen, Werkstücken oder Arbeitsgegenständen sowie damit verbundene Veränderungen in der Umgebung der Maschine prognostiziert, erkannt und/oder plausibilisiert werden. Die Erfindung ermöglicht somit vorteilhaft den autonomen oder automatisierbaren Betrieb einer hier betroffenen Arbeitsmaschine.
Die Erfindung kann insbesondere bei bzw. in einer mobilen Arbeitsmaschine, z.B. einem Schaufelbagger oder einer Mähmaschine, zum Einsatz kommen.
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens
durchzuführen, insbesondere wenn es auf einem Rechengerät oder einem Steuergerät abläuft. Es ermöglicht die Implementierung des Verfahrens auf einem elektronischen Steuergerät, ohne an diesem bauliche Veränderungen vornehmen zu müssen. Hierzu ist der maschinenlesbare Datenträger
vorgesehen, auf welchem das Computerprogramm gespeichert ist. Durch Aufspielen des Computerprogramms auf ein elektronisches Steuergerät wird das elektronische Steuergerät erhalten, welches eingerichtet ist, um eine hier betroffene Maschine mittels des vorgeschlagenen Verfahrens zu betreiben bzw. zu steuern.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Fig. 1 zeigt schematisch einen eine Kinematik aufweisenden Schaufelbagger gemäß dem Stand der Technik, zur Erläuterung der Bestimmung eines „Tool Center Point“ (TCP).
Fig. 2 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens
anhand eines Flussdiagramms.
Fig. 3 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung
anhand eines Blockdiagramms. Beschreibung von Ausführungsbeispielen
Fig. 1 zeigt schematisch einen seitlichen Schnitt durch einen Schaufelbagger zur Illustration der Bestimmung eines genannten TCP („Tool Center Point“) mittels von an Teilen eines Baggerarms angeordneten Wegsensoren.
Der Schaufelbagger umfasst einen Unterwagen 100 sowie einen an dem
Unterwagen 100 über eine Drehverbindung 103 drehbar gelagerten Oberwagen 105. An dem Oberwagen 105 ist eine Kinematik in Form eines Baggerarms angeordnet, und zwar mit einem ersten Gelenkarm 1 10, einem daran
angeordneten zweiten Gelenkarm 115 sowie einen wiederum daran
angeordneten dritten Gelenkarm 120. An dem dritten Gelenkarm 120 befindet sich eine Schaufel 125, in deren oberen Bereich der TCP 127 angeordnet ist. Der erste Gelenkarm 1 10 ist über ein erstes Verbindungsstück 130 schwenkbar an dem Oberwagen 105 angeordnet und über ein zweites Verbindungsstück 135 wiederum mit dem zweiten Gelenkarm 115 schwenkbar verbunden.
Entsprechend sind der dritte Gelenkarm 120 sowie die Schaufel 125 über entsprechende Verbindungsstücke 137, 138 schwenkbar verbunden.
Im Betrieb des Schaufelbaggers sind die Gelenkarme 1 10, 115, 120 nicht völlig verwindungssteif und die Verbindungsstücke 130, 135, 137, 138 weisen
Gelenkspiel auf, so dass es zu nicht vorhersehbaren Ungenauigkeiten bzw. Toleranzen bei der Position der Schaufel 125 und insbesondere des TCP 127 kommt. Zudem werden die Gelenkarme 1 10, 1 15, 120 sowie die Schaufel 125 hydraulisch mittels Hydraulikzylindern 140, 155, 170, 185 betrieben, wobei es an deren Verbindungstücken 145, 150, 160, 165, 175, 180, 190, 195 ebenfalls zu Gelenkspiel und damit zu weiteren Ungenauigkeiten bzw. Toleranzen bei der Positionsbestimmung des TCP 127 kommt.
Die relative Position des TCP 127 in Bezug auf einen Oberwagen 105 eines in Fig. 1 gezeigten Schaufelbaggers kann auf unterschiedliche Weise gemessen werden. So können dazu Inertialsensoren und Drehwinkelgeber eingesetzt werden. Allerdings ist die Posebestimmung anhand der Lage von Kinematik- Elementen mittels Inertialsensoren insbesondere bei Drehungen des
Oberwagens meist relativ ungenau. Bei einem vorliegenden Sichtkontakt zwischen dem jeweiligen Sensor auf dem Oberwagen und dem TCP 127 kann daher auf der Grundlage einer Modellrechnung ein Abgleich zwischen der z.B. über Peilsender erfassten tatsächlichen räumlichen Position des TCP 127 und den über genannte Inertialsensoren und/oder über an hydraulischen Zylindern angeordnete Drucksensoren modellierten Position durchgeführt werden.
Alternativ oder zusätzlich kommen direkte Messverfahren in Betracht, bei denen mittels wenigstens eines hochfrequenten Signalgebers bzw. Signalempfängers und/oder mittels wenigstens einer optischen Kamera und/oder mittels wenigstens eines Laserentfernungsmessers und/oder mittels wenigstens eines
Ultraschallsensors die genaue TCP-Position erfasst wird.
Bei dem im Folgenden anhand des in Fig. 2 gezeigten Flussdiagramms beschriebenen Verfahren zur Erkennung bzw. Ermittlung von möglichen, bedingt zulässigen oder nicht zulässige Kollisionen mit Objekten in der Umgebung einer hier betroffenen Arbeitsmaschine wird zunächst mittels an der Arbeitsmaschine angeordneter Umgebungssensoren 205 und/oder mittels Sensoren anderer Maschinen auf der Grundlage einer Topographie oder Infrastruktur ein 3D- Umgebungsmodell bzw. eine 3D-Umgebungskarte 200 erstellt. Dabei können zusätzlich mittels an sich bekannter Verfahren des maschinellen Sehens oder der Mustererkennung auch ortsfeste Objekte, z.B. Gebäude, Straßen/Wege, Baugrube, Lichtmasten, Bäume oder Baumaterial, und nicht ortsfeste Objekte, z.B. stehende Maschinen, stehende Fahrzeuge oder stehende Personen, sowie bewegliche Objekte, z.B. laufende Personen, fahrende Fahrzeuge oder arbeitende Maschinen, erkannt und klassifiziert werden. Vorzugsweise werden die erkannten Objekte in einer semantische Karte erfasst, die optional z.B. auch noch mittels eines globalen Navigationssystems (GNSS) und zusätzlich mittels einer sogenannten„Real Time Kinematik“ (RTK) georeferenziert sein kann. Die somit vorliegende Arbeitsmaschine kann sich somit eigenständig und/oder assistiert in der semantischen Karte lokalisieren und darin navigieren.
Im Weiteren werden durch die nachfolgend beschriebenen Funktionen die jeweiligen Bereiche bzw. Teile der semantischen Karte identifiziert 210, in denen mit der Maschine gearbeitet werden darf (zulässige Kollisionen) und Bereiche bzw. Teile der semantischen Karte, in denen die Maschine bewegt werden darf, ohne mit Objekten zu kollidieren. Bei einer ggf. wiederholten Prüfung 215 auf mögliche Kollisionen tatsächlich sich ergebenden Kollisionen der Kinematik bzw. des Werkzeugs der Arbeitsmaschine mit Objekten der Umgebung können die genannten Bereiche bzw. Teile der semantischen Karte mit in der genannten Weise erfassten bzw. ermittelten TCP- Positionsdaten 225 verglichen werden 220.
Aufgrund der Bewegungsdynamik der Maschine (bzw. des Fahrzeugs) und ihrer Werkzeuge ergibt sich neben den möglichen und prognostizierbaren
Bewegungstrajektorien auch ein notwendiger bzw. sinnvoller Kontakt mit der Umgebung und/oder mit einem zu bearbeitenden Werkstück bzw. Arbeitsstoff.
So muss z.B. ein Radlader mit seiner Schaufel in einen Erdhaufen fahren können, um Schüttgut aufzunehmen, ein Presslufthammer in einem stumpfen Winkel seinen Meißel auf ein steiniges Werkstück bzw. Arbeitsmaterial aufsetzen können, um Material abzumeißeln, oder ein Bohrer sich senkrecht in das jeweilige Erdreich Vorarbeiten können. Dadurch ergeben sich erforderliche Kontakte mit den betroffenen Objekten (Werkstück oder Arbeitsstoff) sowie von dem Werkzeug bzw. dem jeweiligen Arbeitsprozess abhängige Veränderungen an diesen Objekten, die mittels des hierin beschriebenen Verfahrens und der Einrichtung sicher und zuverlässig erkannt werden können.
In der semantischen Karte werden diejenigen Bereiche/Teile identifiziert, welche sich im logischen Zusammenhang von Werkzeug, Werkstück und Arbeitsprozess befinden. So wird die Annäherung des Werkzeugs entlang einer prognostizierten Trajektorie hin zu einem erkannten bzw. klassifizierten Werkstück und/oder aus Arbeitsprozesssicht plausible Interaktionen und Veränderungen am Werkstück, in der semantischen Karte als zulässige Kollisionsbereiche markiert.
Werden nun im durch die gestrichelte Linie 230 abgegrenzten Betriebsvorgang der Arbeitsmaschine aufgrund einer geplanten bzw. prognostizierten 235 Bewegungstrajektorie sowie der klassifizierten Objekte im Bereich der Trajektorie unzulässige Interaktionen erkannt 240, dann wird gewarnt und/oder eingegriffen 245, um die Maschine und/oder die Kinematik bzw. das Werkzeug zu stoppen und/oder gegenüber dem jeweiligen Objekt auszuweichen. So darf eine prognostizierte Trajektorie zwar nicht durch eine Person oder durch eine andere Arbeitsmaschine hindurch laufen, jedoch ist ein im Folgenden beschriebener im Rahmen eines vorliegenden Arbeitsprozesses gewollter Kontakt zwischen der Maschine bzw. dem Werkzeug und dem jeweiligen Objekt zulässig. Zur Trajektorienplanung kann anhand der Bewegungsdynamik der Maschine bzw. des Werkzeugs sowie der Steuerbefehle des Bedieners die Trajektorie des Werkzeugs bzw. der Maschine prognostiziert werden. Würde die prognostizierte Trajektorie sich mit dem Körper einer Person überschneiden, dann wird die Maschine bzw. das Werkzeug sofort bzw. unmittelbar gestoppt. Bewegt sich nun die Person und lässt sich ihre Bewegungstrajektorie abschätzen, dann kann diese Trajektorie in das Kollisionsmanagement mit einbezogen werden.
Zusätzlich kann mittels eines zusätzlichen sogenannten„Driver Monitoring“- Systems anhand der Blickrichtung des Bedieners der Maschine erkannt werden, ob der Bediener die im Interaktionsbereich seiner Maschine befindliche Person wahrgenommen hat und auch bei der Bewegung der Maschine im Blick hat. Die klassifizierte Person befindet sich dann auf einer durch eine entsprechende „Driver Monitoring“- Kamera erkannten unverstellten bzw. unverdeckten
Verlängerung der Blickrichtung des Bedieners. Ist dies nicht gegeben, kann die Maschine unmittelbar gestoppt werden.
Verfügt ein genanntes Kamerasystem zusätzlich über eine Gestenerkennung, dann kann diese auch in das Kollisionsmanagement einbezogen werden. So kann eine den Bediener einer Maschine einweisende Person in deren
Interaktionsbereich z.B. mit einem Handzeichen anzeigen, dass die Zielposition eines Werkzeugs bzw. einer zu bewegenden Last erreicht ist oder eine Richtung des Werkzeugs zu ändern ist oder eine Last z.B. nach oben bewegt oder abgesetzt werden soll.
Es kann zudem zweckmäßig sein, in der semantischen 3D-Karte den Bereich oberhalb von Personen generell als unzulässigen Bewegungsbereich von Maschinen bzw. Werkzeugen zu markieren.
Wird an der Arbeitsmaschine ein Werkzeug gewechselt, dann wird dies durch die Einrichtung erkannt und beim Kollisionsmanagement berücksichtigt. So kann ein Wechsel von einer Schaufel auf einen Meißel an einem Bagger andere notwendige, zulässige bzw. sinnvolle Arbeitsaufgaben, Umgebungen, Szenen, Trajektorien, Bedienungen, Kollisionsmanagement und Systemeingriffe bewirken. Die genannten arbeitsprozessualen bzw. technischen Zusammenhänge können vorab z.B. in einer Entwicklungs- und Applikationsphase bestimmt und in einer vorliegenden Steuereinheit der Maschine abgespeichert werden.
Im Folgenden wird am Beispiel einer landwirtschaftlichen Arbeitsmaschine, und zwar eines Mähdreschers, beschrieben, wie eine beschriebene
Kollisionsüberwachung zur Steuerung und Regelung des Mähdreschers in seiner Umgebung anhand einer genannten semantischen Karte durchgeführt wird.
Die folgenden von Sensoren oder anderen Quellen bereitgestellten Informationen können bei dieser landwirtschaftlichen Maschine als Grundlage für das
Kollisionsmanagement berücksichtigt werden:
Umfeld- Informationen, z.B. die Topologie, Vegetation, Lebewesen, Wetter, bewegliche bzw. unbewegliche Objekte; aktuelle Lokalisierung bzw. Standort der Maschine sowie von Objekten in der Umgebung, semantische und/oder globale Karteninformationen, Feldkarten;
Erntegut- und Gutflussinformationen um und in der Maschine;
Maschinen- und Betriebsstoffinformationen, z.B. Betriebspunkte der Maschinenkomponenten, Zustandsinformationen, physikalische Größen;
Bedienerinformationen, z.B. die Stellung der Bedienelemente an der Maschine sowie die Blickrichtung/Aufmerksamkeit/Müdigkeit und die arbeitsprozessuale Intentionen des Fahrers/Bedieners; aktuelle Zeit und Datum.
Anhand dieser Informationen werden Schlüsse über den jeweiligen
maschinentechnischen oder arbeitsprozessualen Kontext zur
Kollisionsvermeidung gezogen. Der so ermittelte Kontext wird von der
Einrichtung verwendet, um ihr Verhalten anzupassen. Denn während einer Erntefahrt des Mähdreschers kommt es darauf an, das Erntegut aufzunehmen und zu verarbeiten, ohne für die Maschine potentiell gefährliche Objekte mit dem Erntevorsatz aufzunehmen und in die Verarbeitungskomponenten des
Mähdreschers zu befördern.
In diesem Anwendungsbeispiel wäre eine Kollisionsvermeidung mittels einer semantischen Karte dadurch realisierbar, dass der Mähdrescher mittels seiner Sensorik aktiv zwischen Erntegut und nicht Erntematerial unterscheidet und bei einer Kollisionserkennung eine weitere Erntefahrt stoppt oder dem jeweiligen Hindernis ausweicht. Die aktuellen Analyseergebnisse anhand der
Umgebungsdaten können in die sematische Karte abgespeichert werden, um diese bei einer erneuten Erntefahrt bzw. Bearbeitung des Feldes
wiederverwenden zu können.
Eine erste zulässige Kollision zwischen dem Mähdrescher und Objekten der Umgebung wird bei Ankunft an einem abzuerntenden Feld mit noch stehender Frucht ermittelt. Der Mähdrescher nähert sich dabei mit einem angebauten Werkzeug, z.B. einem Schneidwerk, den dortigen Pflanzen und beschneidet diese mit einer zulässigen Kollision, um die abgeschnittenen Pflanzenteile daraufhin den maschineninternen Verarbeitungskomponenten zuzuführen. Folgt der Mähdrescher dabei dem Früchteverlauf auf dem Feld, dann wird dieser zu einem Zeitpunkt am Ende einer Fahrspur auf dem Feld gelangen. Der
Feldfruchtbestand endet dort und die Maschine müsste an dieser Stelle eine Kollision zwischen dem Schneidwerk und umgebenden Objekten, z.B. Hecken oder Bäumen, verhindern, um Beschädigungen z.B. an dem Schneidwerk zu vermeiden.
Im Verlauf einer Erntefahrt kommt es regelmäßig auch zu einer Umladung des Erntegutes aus einem Korntank des Mähdreschers auf ein Transportfahrzeug. Dies kann im Stillstand oder noch während der Erntefahrt erfolgen. Hierzu wird ein Abtank- bzw. Überladerohr aus einem eingeklappten Zustand zu einem Transportanhänger hin verschwenkt, um daraufhin das Material umzuladen. Während des Schwenkvorganges kann es aufgrund der Bewegungstrajektorie des Überladerohres zumindest für eine kurze Zeit zu einer nicht zulässigen Annäherung zwischen Anhänger und Überladerohr kommen. Auch dieser Kollisionszustand kann mit dem beschriebenen Verfahren erkannt werden und der Mähdrescher entsprechend dem Kontext so angesteuert werden, dass es hierbei nicht zu einer Kollision kommen kann. Ein weiterer Anwendungsfall aus dem Bereich Landwirtschaft ist die notwendige Kollision zwischen einem mit einem Bodenbearbeitungsgerät oder einer
Sähmaschine ausgestatteten Traktor und dem zu bearbeitenden Feld. So wird z.B. ein Pflug oder ein Grubber bewusst mit seinen Zinken bzw. Pflugscharen in den Boden hinein abgesenkt, um eine Wendung bzw. Mischung des Erdreichs zu erreichen. Hierbei kommt es vor allem auf eine gleichmäßig Bearbeitung und gleichmäßige Durchmischung an. Die Aufgabe des für das
Kollisionsmanagement verwendeten Kontextsystems besteht in diesem
Anwendungsfall darin, das Gerät mit einer gleichmäßigen Arbeitstiefe und einer konstanten Geschwindigkeit in dem Bearbeitungsprozess zu halten. Wenn z.B. mehr Pflanzenreste oder ein steiniger bzw. verfestigter Boden im Vorfeld erkannt wird, wird das Bodenbearbeitungsgerät kontextgemäß entweder angehoben oder seine Bewegungsgeschwindigkeit verändert.
Weitere entsprechende oder ähnliche Anwendungsbeispiele sind z.B. in den Bereichen Feldhäcksler, Hoflader, Teleskoplader oder dergleichen denkbar.
Auch im Bereich des Bauwesens kommt es, wie bereits erläutert, bei der Benutzung von Baumaschinen häufig zu gewollten Kollisionen bzw.
Bewegungsmustern, die von einem maschinellen Algorithmus potenziell als Kollision bzw. Gefährdung der eigenen Maschine erkannt werden, obwohl die Bewegung bzw. Annäherung durch den Fahrer der Maschine selbst (bewusst) ausgelöst wurde. So können das hierin beschriebene Verfahren und die
Einrichtung auch bei Baggern und Radladern, die im Arbeitsprozess zum einen eine bewusste Kollision mit einem Erdmaterial bzw. Schüttgut erfordern und die Kollision bzw. das gedachte Eintauchen einer materialtragenden Schaufel mit in einen Transportbehälter erfordern, angewendet werden.
Ein weiteres Anwendungsbeispiel ist das Verschwenken von zwei
Fahrzeugräumen bei der Beladung eines Lkws durch einen Gabelstapler oder einen Teleskoplader. Hierbei wird das zu ladende Gut auf den Zinken des Gabelstaplers in eine Fahrzeughüllkurve des Lkw-Trailers bewegt. Für ein Kollisionswarnsystem würde diese Annäherung eine unzulässige Kollision bedeuten, wobei diese situationsbedingt durch den Fahrer jedoch bewusst herbeigeführt wird. Fig. 3 zeigt Funktionselemente einer Einrichtung zum Kollisionen bedingt zulassenden Betrieb einer hier betroffenen Arbeitsmaschine. Mittels eines Lokalisierungselements 300 erfolgt eine Lokalisierung anhand von semantischen Karten, insbesondere semantischen 3D-Karten, sowie eine globale bzw. auf GNSS basierende Lokalisierung einer jeweiligen Maschine bzw. eines
Werkzeugs der Maschine und/oder von Personen und/oder von
Interaktionsbereichen und/oder von Objekten.
Beschrieben wird hierbei eine maximal ausgestattete Einrichtung zum Betrieb einer hier betroffenen Arbeitsmaschine. So sind Teile und/oder Vervielfachungen und/oder weitere Kombinationen der Einrichtung denkbar.
Ein zweites Funktionselement 302 führt eine Planung von Arbeitsaufgaben und Arbeitsschritten bzw. Arbeitsabläufen oder Teilen davon durch (sog.„Task Planning“). Die Planung erfolgt entweder durch den Bediener 305 und/oder einem„Building Information Model“ (BIM) und/oder anhand von vorab gelernten Bedien- und/oder Arbeitssequenzen. Ein drittes Funktionselement 310 führt eine Planung, Prognose und Beobachtung der Bewegung von Maschinen und/oder Werkzeugen, aber auch von Personen, durch (sog.„Trajektory Planning“).
Anhand eines vierten Funktionselementes 320 werden die in der
Trajektorienplanung 310, einem auf einer semantischen 3D-Karte 312 beruhenden Umgebungsmodell 315 sowie einer Szeneninterpretation 335 prognostizierten potentiellen Kollisionen und Unplausibilitäten erkannt und anhand eines fünften Funktionselementes 330 Maßnahmen durch
Systemeingriffe (sog.„Actuator Management)“ bzw. durch Aktualisierung der Taskplanung 302 und Trajektorienplanung 310 vermieden (sog.„Collision Management“ 320).
Die Interaktionen von Bediener und Bedien- und Anzeigeelementen als auch das Driver Monitoring erfolgen mittels einer Mensch-Maschine Schnittstelle 322. Ein Fahrzeugmodell 325 („Vehicle Model“) beinhaltet die Kinematik und Dynamik der jeweiligen fahrbaren Maschine sowie das Steuer- und Regelverhalten der Maschine. Die genannte Aktuatorverwaltung 330 C, Actuator Management“) berücksichtigt, je nach vorliegender Betriebsstrategie, eine Aufteilung der Längs und Querbewegungen von Fahrzeug und Werkzeug auf die zugehörigen Aktuatoren. Mittels der genannten szenischen Auswertung 335 C, Scene Interpretation“) werden die Interaktionen von Maschinen, Werkzeugen, Werkstücken bzw. Arbeitsgegenständen sowie die damit verbundenen
Veränderungen in der Umgebung bzw. an den Objekten prognostiziert, erkannt und plausibilisiert und entsprechende Hinweise bzw. Anweisungen für das
Kollisionsmanagement und Systemeingriffen 340 mittels des genannten „Actuator Management“ 330 ausgegeben.
Das beschriebene Verfahren bzw. die Einrichtung können auch in eigens dafür entwickelten Steuergeräten zum Einsatz kommen.
Das beschriebene Verfahren kann in Form eines Steuerprogramms für ein elektronisches Steuergerät zur Steuerung einer hier betroffenen Maschine oder in Form einer oder mehrerer entsprechender elektronischer Steuereinheiten (ECUs) realisiert werden.

Claims

Ansprüche
1. Verfahren zum Betreiben einer eine Kinematik (110, 115, 120) aufweisenden Maschine (100, 105), wobei die Pose der Maschine (100, 105) und/oder der Kinematik (1 10, 115, 120) mittels eines, insbesondere signaltechnischen, Messverfahrens ermittelt wird, dadurch gekennzeichnet, dass eine mittels des, insbesondere signaltechnischen, Messverfahrens ermittelte Pose der Maschine (100, 105) und/oder der Kinematik (1 10, 115, 120) mit einer semantischen Karte (200, 312) verglichen wird (215) und dabei mögliche bedingt zulässige oder nicht zulässige Kollisionen mit Objekten in der Umgebung der Maschine (100, 105) erkannt werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mittels an der Arbeitsmaschine angeordneter Umgebungssensoren (205) und/oder mittels Sensoren anderer Maschinen und/oder mittels ortsfest in der Umgebung der Maschine installierter Sensoren auf der Grundlage der vorliegenden semantischen Karte (312) ein Umgebungsmodell (315) für die Maschine (100, 105) erstellt wird (200).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass Bereiche der semantischen Karte (312) identifiziert werden (210), in denen die Maschine (100, 105) auch bei möglichen Kollisionen mit den Objekten zulässig betrieben werden darf, und Bereiche der semantischen Karte (312) identifiziert werden, in denen die Maschine (100, 105) bezüglich der möglichen Kollisionen mit den Objekten bewegt werden darf, ohne mit den Objekten zu kollidieren.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die identifizierten Bereiche der semantischen Karte (312) mit TCP-Positionsdaten (225) der Kinematik (1 10, 115, 120) abgeglichen werden (220).
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Objekte in der semantischen Karte (312) bezüglich möglicher Kollisionen mit der Maschine (100, 105) und/oder der Kinematik (1 10, 115, 120) als bedingt zulässig oder als nicht zulässig klassifiziert werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass im Betrieb der Maschine (100, 105) aufgrund einer geplanten (235) oder prognostizierten Bewegungstrajektorie der Maschine (100, 105) und/oder der Kinematik (110, 1 15, 120) bezüglich der klassifizierten Objekte im Bereich der geplanten (235) oder prognostizierten Bewegungstrajektorie unzulässige Interaktionen erkannt werden (240), und dass bei wenigstens einer erkannten
unzulässigen Interaktion eine Warnmeldung an einen Bediener der
Maschine (100, 105) ausgegeben wird und/oder ein kollisionsverhindernder Eingriff in den Betrieb der Maschine (100, 105) durchgeführt wird (245).
7. Einrichtung zum Betrieb einer eine Kinematik (110, 115, 120) aufweisenden Maschine (100, 105), wobei die Pose der Maschine (100, 105) und/oder der Kinematik (1 10, 115, 120) mittels eines, insbesondere signaltechnischen, Messverfahrens ermittelbar ist, gekennzeichnet durch Rechenmittel zum Vergleichen (215) einer mittels des, insbesondere signaltechnischen, Messverfahrens ermittelten Pose der Maschine (100, 105) und/oder der Kinematik (1 10, 115, 120) mit einer semantischen Karte (312) und zur Erkennung von möglichen, bedingt zulässigen oder nicht zulässigen
Kollisionen mit wenigstens einem in der Umgebung der Maschine (100, 105) angeordneten Objekt.
8. Einrichtung nach Anspruch 7, gekennzeichnet durch ein
Lokalisierungselement (300) zur Lokalisierung der Maschine (100, 105) mittels einer semantischen Karte (312), ein Planungselement (302) zur Planung von seitens der Maschine (100, 105) durchzuführenden
Arbeitsaufgaben und Arbeitsschritten, ein Trajektorenplanungselement (310) zur Planung, Prognose und Beobachtung der Bewegung der Maschine (100, 105) und/oder der Kinematik (1 10, 1 15, 120) und/oder von in der Umgebung der Maschine (100, 105) angeordneten Objekten, einem auf der
semantischen Karte (312) beruhenden Umgebungsmodell (315), einem Szeneninterpretationselement (335) zum Prognostizieren (320) potentieller Kollisionen mit dem wenigstens einen Objekt, und einem
Aktuationsmanagementelement (330) zur Durchführung geeigneter
Maßnahmen zur Vermeidung einer nicht zulässigen Kollision mit dem wenigstens einen Objekt.
9. Einrichtung nach Anspruch 8, gekennzeichnet durch ein Fahrzeugmodell (325) betreffend die Bewegungsdynamik der Maschine (100, 105) und das Steuer- und Regelverhalten der Maschine (100, 105).
10. Einrichtung nach Anspruch 8 odert 9, dadurch gekennzeichnet, dass mittels des Szeneninterpretationselementes (335) Interaktionen von in der
Umgebung der Maschine (100, 105) befindlichen weiteren Maschinen, Werkzeugen, Werkstücken oder Arbeitsgegenständen sowie damit verbundene Veränderungen in der Umgebung der Maschine (100, 105) prognostiziert, erkannt und/oder plausibilisiert werden.
1 1. Computerprogramm, welches eingerichtet ist, jeden Schritt eines Verfahrens gemäß einem der Ansprüche 1 bis 6 durchzuführen.
12. Maschinenlesbarer Datenträger, auf welchem ein Computerprogramm
gemäß Anspruch 1 1 gespeichert ist.
13. Elektronisches Steuergerät, welches eingerichtet ist, eine vorgenannte
Maschine mittels eines Verfahrens gemäß einem der Ansprüche 1 bis 6 zu steuern.
PCT/EP2019/062198 2018-06-12 2019-05-13 Verfahren und einrichtung zum betrieb von autonom betriebenen arbeitsmaschinen WO2019238330A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020569079A JP7143451B2 (ja) 2018-06-12 2019-05-13 自律的に動作する作業機械を動作させるための方法及び装置
KR1020207035494A KR20210020896A (ko) 2018-06-12 2019-05-13 자율 작동 작업 기계의 작동 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018209336.9 2018-06-12
DE102018209336.9A DE102018209336A1 (de) 2018-06-12 2018-06-12 Verfahren und Einrichtung zum Betrieb von autonom betriebenen Arbeitsmaschinen

Publications (1)

Publication Number Publication Date
WO2019238330A1 true WO2019238330A1 (de) 2019-12-19

Family

ID=66597546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/062198 WO2019238330A1 (de) 2018-06-12 2019-05-13 Verfahren und einrichtung zum betrieb von autonom betriebenen arbeitsmaschinen

Country Status (4)

Country Link
JP (1) JP7143451B2 (de)
KR (1) KR20210020896A (de)
DE (1) DE102018209336A1 (de)
WO (1) WO2019238330A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968262A (zh) * 2020-07-30 2020-11-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人导航系统及方法
CN113565324A (zh) * 2021-07-26 2021-10-29 中建四局第三建设有限公司 一种狭小空间内贝雷架整体水平滑移定点拆除方法
WO2022060458A1 (en) * 2020-09-18 2022-03-24 Stoneridge Electronics Ab Curb detection system for commercial vehicles

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019204752A1 (de) * 2019-04-03 2020-03-26 Thyssenkrupp Ag Verfahren und Einrichtung zum Betrieb von insbesondere im Tagebau einsetzbaren Abraum- und Fördermaschinen
US11970839B2 (en) 2019-09-05 2024-04-30 Deere & Company Excavator with improved movement sensing
US11821167B2 (en) 2019-09-05 2023-11-21 Deere & Company Excavator with improved movement sensing
US11693411B2 (en) 2020-02-27 2023-07-04 Deere & Company Machine dump body control using object detection
DE102020213294A1 (de) 2020-10-21 2022-04-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überwachung eines Baustellenbereichs, Überwachungssystem, Computerprogramm und Speichermedium
DE102021209150A1 (de) 2021-08-20 2023-02-23 Zf Friedrichshafen Ag Verfahren zum Überwachen eines Arbeitsumfelds einer Arbeitsmaschine
DE102021210113A1 (de) 2021-09-14 2023-03-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung einer Ausrüstungsdrehung einer Arbeitsausrüstung einer Arbeitsmaschine und Arbeitsmaschine
DE102021131571A1 (de) 2021-12-01 2023-06-01 Martin Lindenbauer Assistenzsystem
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine
US20240185719A1 (en) * 2022-12-01 2024-06-06 Caterpillar Inc. Systems and methods for detecting false positives in collision notifications

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363632B1 (en) * 1998-10-09 2002-04-02 Carnegie Mellon University System for autonomous excavation and truck loading
US20080133128A1 (en) * 2006-11-30 2008-06-05 Caterpillar, Inc. Excavation control system providing machine placement recommendation
US20090043462A1 (en) * 2007-06-29 2009-02-12 Kenneth Lee Stratton Worksite zone mapping and collision avoidance system
KR100955655B1 (ko) * 2007-10-17 2010-05-06 한국생산기술연구원 로봇의 자율 주행 방법
US20100223008A1 (en) * 2007-03-21 2010-09-02 Matthew Dunbabin Method for planning and executing obstacle-free paths for rotating excavation machinery
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
WO2018056125A1 (ja) * 2016-09-23 2018-03-29 日立建機株式会社 鉱山用作業機械及び障害物判別装置
US20180112997A1 (en) * 2017-12-21 2018-04-26 GM Global Technology Operations LLC Traffic light state assessment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5826130A (ja) * 1981-08-10 1983-02-16 Meidensha Electric Mfg Co Ltd 土建作業方法
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
US6044632A (en) * 1998-02-05 2000-04-04 Eaton Corporation, Cutler-Hammer Products Backup proximity sensor for a vehicle
DE102013212154A1 (de) * 2013-06-26 2014-12-31 Robert Bosch Gmbh Vorrichtung zum Einpflegen von Arbeitsraumdaten in ein Arbeitsraumbegrenzungssystem einer Arbeitsmaschine
NL1041331B1 (nl) * 2015-06-02 2017-01-02 Sander Johannes Bernaerts Ing Onkruidverwijderinrichting.
DE102015010514B4 (de) * 2015-08-13 2019-06-13 Audi Ag Verfahren zur Ermittlung von Karteninformationen für einen Kartendatensatz einer Navigationsumgebung und Recheneinrichtung
JP6673786B2 (ja) * 2016-09-05 2020-03-25 株式会社クボタ 作業車自動走行システム及び走行経路管理装置
DE102016224076A1 (de) * 2016-12-02 2018-06-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Position eines Baggerarms mittels eines an einem Bagger angeordneten LIDAR-Systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363632B1 (en) * 1998-10-09 2002-04-02 Carnegie Mellon University System for autonomous excavation and truck loading
US20080133128A1 (en) * 2006-11-30 2008-06-05 Caterpillar, Inc. Excavation control system providing machine placement recommendation
US20100223008A1 (en) * 2007-03-21 2010-09-02 Matthew Dunbabin Method for planning and executing obstacle-free paths for rotating excavation machinery
US20090043462A1 (en) * 2007-06-29 2009-02-12 Kenneth Lee Stratton Worksite zone mapping and collision avoidance system
KR100955655B1 (ko) * 2007-10-17 2010-05-06 한국생산기술연구원 로봇의 자율 주행 방법
WO2018056125A1 (ja) * 2016-09-23 2018-03-29 日立建機株式会社 鉱山用作業機械及び障害物判別装置
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
US20180112997A1 (en) * 2017-12-21 2018-04-26 GM Global Technology Operations LLC Traffic light state assessment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968262A (zh) * 2020-07-30 2020-11-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人导航系统及方法
WO2022060458A1 (en) * 2020-09-18 2022-03-24 Stoneridge Electronics Ab Curb detection system for commercial vehicles
US12008905B2 (en) 2020-09-18 2024-06-11 Stoneridge Electronics Ab Curb detection system for commercial vehicles
CN113565324A (zh) * 2021-07-26 2021-10-29 中建四局第三建设有限公司 一种狭小空间内贝雷架整体水平滑移定点拆除方法

Also Published As

Publication number Publication date
KR20210020896A (ko) 2021-02-24
JP7143451B2 (ja) 2022-09-28
JP2021526086A (ja) 2021-09-30
DE102018209336A1 (de) 2019-12-12

Similar Documents

Publication Publication Date Title
WO2019238330A1 (de) Verfahren und einrichtung zum betrieb von autonom betriebenen arbeitsmaschinen
EP1419683B1 (de) Verfahren zur Steuerung eines landwirtschaftlichen Nutzfahrzeuges
EP2042276B1 (de) Landwirtschaftliche Maschine und Verfahren zur Positionsbestimmung
DE112016000014B4 (de) Steuersystem für ein Arbeitsfahrzeug, Steuerverfahren und Arbeitsfahrzeug
EP3162964B1 (de) Vorrichtung und verfahren zur bereitstellung einer fahrzeugumgebungsansicht für ein fahrzeug
DE102019211801A1 (de) System und verfahren zur bodenbewirtschaftung für ein arbeitsgerät
DE112017001523T5 (de) Formmesssystem, Arbeitsmaschine und Formmessverfahren
DE102019211246A1 (de) Maschinenstabilitätserfassung und -steuerung
WO2015000839A1 (de) Antikollisionssystem für ein landwirtschaftliches fahrzeug mit selbsttätiger erkennung der abmessungen einer last
DE112020000142T5 (de) System mit einer Arbeitsmaschine, computerimplementiertes Verfahren, Verfahren zur Erzeugung eines gelernten Positionsschätzmodells, und Lerndaten
DE102021202030A1 (de) Verwendung generierter linien zur fahrzeugsteuerung und objektvermeidung
DE102019213240A1 (de) Steuerung einer arbeitsmaschine basierend auf einem sensor in reifen/ketten
DE102017112014A1 (de) Verfahren zum Steuern von Anbaugeräten für ein Anbaufahrzeug und mobiles Kommunaltechniksystem mit automatischer Hindernisdetektion
DE102019111317A1 (de) Autonome landwirtschaftliche Arbeitsmaschine und Verfahren zu deren Betrieb
DE102019006720A1 (de) Autonomer Betrieb eines Fahrzeugs
DE102022202296A1 (de) System und verfahren zur selektiven automatisierung von beladungsvorgangs-phasen für selbstfahrende arbeitsfahrzeuge
DE102019205082A1 (de) Automatisierung eines Off-Road Fahrzeugs
DE102020215966A1 (de) Verfahren zur Steuerung eines autonomen Radladers
WO2020229281A1 (de) Verfahren zur analyse der verwendung einer arbeitsmaschine
DE102020212122A1 (de) Verfahren zum Betreiben einer mobilen Arbeitsmaschine und mobile Arbeitsmaschine
EP0907805B1 (de) Verfahren und anordnung zur überwachung des arbeitsbereiches beim bewegen eines fortbewegbaren arbeitsgerätes
DE112020000332T5 (de) Erfassung einer unbeabsichtigten Richtungsbewegung eines gelenkigen Arbeitsgerätes einer Maschine
DE112019004761T5 (de) Arbeitsmaschine, System, das die Arbeitsmaschine einschließt und Verfahren zum Steuern der Arbeitsmaschine
DE102021210907A1 (de) Führungsanzeigesystem für arbeitsfahrzeuge und arbeitsanbaugeräte
DE102022200684A1 (de) System und verfahren für eine geländebasierte steuerung von selbstfahrenden arbeitsfahrzeugen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19725064

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569079

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19725064

Country of ref document: EP

Kind code of ref document: A1