WO2020183026A2

WO2020183026A2 - Verfahren zur bestimmung der lage eines werkstücks, insbesondere zur ansteuerunq eines industrieroboters

Info

Publication number: WO2020183026A2
Application number: PCT/EP2020/057010
Authority: WO
Inventors: Steffen Eckardt
Original assignee: ese-robotics GmbH
Priority date: 2019-03-13
Filing date: 2020-03-13
Publication date: 2020-09-17
Also published as: CN114026508A; WO2020183026A3; US20210402613A1; DE102019106458A1

Abstract

Die Erfindung betrifft Verfahren zur Bestimmung einer Lage eines Werkstücks (1), insbesondere zur Ansteuerung eines Industrieroboters, und umfasst nach einem Aspekt die folgenden Schritte: Erfassen von Bilddaten mindestens eines Bildes eines Werkstücks (1) mittels einer ersten Kamera (2), deren optische Achse parallel zu einer Stoßrichtung eines Werkzeugs (3) verläuft. Anhand der erfassten Bilddaten erfolgt eine Suche nach einer Referenzstruktur (4) des Werkstücks (1) und es wird eine aktuelle Ist-Position mindestens eines Bezugspunkts (+) der Referenzstruktur (4) in x-/y-Richtung relativ zur optischen Achse (oa) der ersten Kamera (2) ermittelt. Erfindungsgemäß wird die aktuelle Ist-Position der Referenzstruktur (4) mit einer Soll-Position der Referenzstruktur (4) verglichen und es werden Vergleichsdaten erzeugt. Mittels der Vergleichsdaten wird auf die Lage des Werkstücks (1) in Bezug auf ein Basiskoordinatensystem rückgeschlossen. Nach einem weiteren Aspekt werden nach einem Vergleich der aktuellen Ist-Position der Referenzstruktur (4) mit einer Soll-Position der Referenzstruktur (4) Steuerbefehle erzeugt, die zur Zustellung des Werkzeugs (3) an mindestens einen zu bearbeitenden Bereich oder Ort des Werkstücks (1) dienen. Erfindungsgemäß wird zusätzlich eine aktuelle Ist-Position der Referenzstruktur (4) in z-Richtung der optischen Achse (oa) ermittelt, indem eine aktuelle x/y-Abbildungsgröße der Referenzstruktur (4) im erfassten Bild ermittelt und durch Vergleich mit der bekannten tatsächlichen x/y-Größe der Referenzstruktur (4) ein Abstand der Referenzstruktur (4) von der ersten Kamera (2) ermittelt und bei der Erzeugung des Steuerbefehls berücksichtigt wird.

Description

Verfahren zur Bestimmung der Lage eines Werkstücks, insbesondere zur Ansteuerunq eines

Industrieroboters

Die Erfindung betrifft ein Verfahren zur Ansteuerung einer Bearbeitungsmaschine und/oder eines Industrieroboters gemäß dem Oberbegriff des unabhängigen Anspruchs 1.

Industrieroboter, beispielsweise Bearbeitungsmaschinen in Form von Schweißvorrichtungen, Maschinen zur spanenden Bearbeitung sowie zum kraft- und/oder formschlüssigen Fügen von Werkstücken, dienen der wiederholgenauen und effizienten Gestaltung von

Arbeitsprozessen. Die auszuführenden Stellbewegungen, beispielsweise eines Werkzeugs zu einem zu bearbeitenden Werkstück, erfolgt üblicherweise anhand vorbekannter

Koordinaten. Dazu befindet sich das Werkstück in einer vorbestimmten Position und

Ausrichtung.

Es ist ferner aus dem Stand der Technik bekannt, dass mittels einer Kamera eine Position, Ausrichtung und gegebenenfalls Abmessungen eines Werkstücks erfasst werden können. Nachfolgende Bearbeitungsschritte werden dann anhand der jeweils ermittelten relativen Positionen, Ausrichtungen und/oder Abmessungen gesteuert ausgeführt, wie dies beispielsweise aus der DE 10 2007 018 416 A1 und der WO 03/027783 A1 bekannt ist.

Sowohl bei Werkstücken mit einer vorbekannten Positionierung als auch bei solchen ohne eine solche vorbekannte Positionierung können Abweichungen ihrer Abmessungen und Positionen auftreten. Solche Abweichungen können sich beispielsweise erst während einer Bearbeitung des Werkstücks infolge thermischer Ausdehnung, mechanischer Belastungen oder durch geringfügige Toleranzen von Zustellbewegungen ergeben.

So erfolgt beispielsweise bei Anwendungen wie dem Bolzenschweißen und dem

Buckelschweißen ein Fügen der Werkstücke und Bauteile an fest vorgegebenen

Koordinaten. Im Herstellungsprozess können sich beispielsweise wie oben erwähnt

Abweichungen ergeben, die eine Einhaltung der zulässigen Toleranzen verhindern. Es ist auch möglich, dass sich der Industrieroboter und weitere technische Komponenten einer Zustellvorrichtung nicht auf einem gemeinsamen Untergrund befinden. Dabei kann es teils zu erheblichen Abweichungen der tatsächlichen Ist-Positionen beispielsweise eines

Werkzeugs des Industrieroboters und des Werkstücks kommen. Ein Überschreiten der zulässigen Toleranzen führt jedoch zu Ausschuss oder erfordert aufwändige Nacharbeiten. Der Erfindung liegt daher die Aufgabe zugrunde, Lösungen vorzuschlagen, mit der die Lage eines Werkstückes erkannt und auftretende Abweichungen ausgeglichen werden können. Zusätzlich sollen nicht erlaubte Zustände als Störfälle erkannt und das Ergebnis eines erfolgten Bearbeitungsschritts überprüft werden.

Die Aufgabe wird nach einem ersten Aspekt der Erfindung mit einem Verfahren zur

Ansteuerung einer Bearbeitungsmaschine, insbesondere eines Industrieroboters gelöst. Dabei umfasst das Verfahren den Schritt des Erfassens von Bilddaten mindestens eines Bildes eines Werkstücks mittels einer ersten Kamera, deren optische Achse parallel zu einer Stoßrichtung (Z-Richtung) eines Werkzeugs ausgerichtet ist. Die erste Kamera kann an dem Werkzeug oder an einer Werkzeughalterung angeordnet sein und/oder als eine sogenannte Minikamera ausgebildet sein. Als Stoßrichtung gilt eine hauptsächlich ausgeführte

Zustellrichtung des Werkzeugs zu einem zu bearbeitenden Werkstück. Beispielsweise wird ein Bohrer einem Werkstück in einer Stoßrichtung zugestellt, obwohl die eigentliche

Schneidbewegung des Bohrers um die Längsachse des Bohrers rotierend erfolgt.

Sinngemäßes gilt für Vorrichtungen zum Schrauben oder zum Fräsen. Außerdem werden in diesem Sinne auch Schweißvorrichtungen in einer Stoßrichtung einem Werkstück zugestellt. Beispielsweise wird zum Zwecke des Bolzenschweißens ein zu verschweißender Bolzen einem Werkstück in Stoßrichtung zugestellt, an dem der Bolzen angeschweißt werden soll. Entsprechend verhält es sich beim Buckelschweißen. Ein mittels Buckelschweißen mit einem anderen Werkstück zu verbindendes Werkstück wird mit diesem in Kontakt gebracht. Die Werkstücke werden dazu relativ zueinander entlang der Stoßrichtung aufeinander zu bewegt.

Anhand der erfassten Bilddaten wird in einem weiteren Schritt des Verfahrens nach einer Referenzstruktur des Werkstücks gesucht. Dazu können Algorithmen der Mustererkennung aus dem Gebiet der Bildverarbeitung angewendet werden.

Ist eine Referenzstruktur erkannt, wird eine aktuelle Ist-Position mindestens eines

Bezugspunkts der Referenzstruktur, vorzugsweise in einer sich orthogonal zur Z-Richtung erstreckenden x-/y-Ebene relativ zur optischen Achse der ersten Kamera, ermittelt. Die ermittelte Ist-Position kann zusätzlich zu einem bekannten Basiskoordinatensystem in Beziehung gesetzt werden.

Die ermittelte aktuelle Ist-Position der Referenzstruktur wird mit einer Soll-Position der Referenzstruktur verglichen. In Abhängigkeit des Ergebnisses des Vergleichs werden Steuerbefehle zur Zustellung des Werkzeugs an mindestens einen zu bearbeitenden Bereich oder Ort des Werkstücks erzeugt. Erfindungsgemäß erfolgt in einem Schritt des Verfahrens ein Ermitteln der aktuellen Ist- Position der Referenzstruktur in Z-Richtung der optischen Achse, indem eine aktuelle x-/y- Abbildungsgröße der Referenzstruktur im erfassten Bild ermittelt und durch Vergleich mit der bekannten tatsächlichen x/y-Größe der Referenzstruktur ein Abstand der Referenzstruktur von der ersten Kamera ermittelt und bei der Erzeugung des Steuerbefehls berücksichtigt wird. Die x-/y-Abbildungsgröße in der Bildebene wird mit der tatsächlichen Größe der Referenzstruktur in einer zur Bildebene vorzugsweise parallelen Objektebene in Beziehung gesetzt und unter Berücksichtigung der Eigenschaften des zur Bildaufnahme verwendeten optischen Systems wird der aktuelle Abstand zwischen Objektebene und Bildebene ermittelt. Beispielsweise wird der Abbildungsmaßstab des optischen Systems berücksichtigt. Aus diesen Daten kann der aktuelle Abstand von erster Kamera und Objektebene ermittelt werden. Wegen der bekannten relativen Lagebeziehung von erster Kamera und Werkzeug kann auch der aktuelle Abstand des Werkzeugs von der Objektebene, und damit von dem Werkstück, ermittelt werden.

In einer Ausgestaltung des Verfahrens ist die Referenzstruktur eine Öffnung, eine

Körperkante oder eine Erhebung des Werkstücks. Dabei sind mindestens ein Längenmaß, ein Umfangsmaß und/oder ein Durchmesser der Referenzstruktur bekannt. Dieses bekannte Maß dient als tatsächliche x/y-Größe der Referenzstruktur in der Objektebene und ist die Grundlage für die Ermittlung des Abstands der Referenzstruktur von der ersten Kamera.

Es ist auch möglich, dass bei Ausführung des Verfahrens in einer weiteren Ausgestaltung ein virtueller Schnittpunkt mindestens zweier Strukturen des Werkstücks gebildet wird und dieser Schnittpunkt für nachfolgende Relativbewegungen zwischen Werkstück und Werkzeug als Bezugspunkt dient. So können beispielsweise zwei aufeinander zulaufende Körperkanten virtuell verlängert und ein gemeinsamer Schnittpunkt gebildet werden. Der gemeinsame Schnittpunkt wird anschießend als Bezugspunkt genutzt.

Um den Erfolg eines Bearbeitungsvorgangs, beispielsweise des Verschweißens einer Anzahl von Bolzen oder das Anbringen einer Anzahl von Schrauben, zu kontrollieren, können mittels einer zweiten Kamera unter einer Aufnahmerichtung schräg zur Z-Richtung Bilddaten des Werkstücks erfasst werden. Anhand der erfassten Bilddaten wird eine Mustererkennung mindestens in Bereichen des Werkstücks ausgeführt. Eine solche Mustererkennung kann wiederum mittels eines Vergleichs eines erfassten Ist-Musters mit einem Soll-Muster zur Erfolgskontrolle eines oder mehrerer Bearbeitungsschritte genutzt werden. Entsprechen sich Ist-Muster und Soll-Muster hinreichend, kann auf eine Bearbeitung des Werkstücks unter Einhaltung der zulässigen Fehlertoleranzen geschlossen werden. Es kann daher mittels der Mustererkennung ein aktueller Bearbeitungszustand des Werkstücks erfasst und mit einem Soll-Bearbeitungszustand verglichen werden. Als Werkzeug kann insbesondere eine Schweißvorrichtung zum Bolzenschweißen, eine Schweißvorrichtung zum Buckelschweißen, eine Vorrichtung zum Schrauben oder eine Vorrichtung zum Nieten mittels des erfindungsgemäßen Verfahrens genutzt werden.

Eine Bearbeitung des Werkstücks kann in Bezug auf die Referenzstruktur erfolgen, ohne dass diese in die Bearbeitung mit einbezogen wird. In weiteren Ausgestaltungen des Verfahrens wird beispielsweise eine Schraube oder ein Niet in die Referenzstruktur, beispielsweise in ein Referenzloch, eingebracht.

Zur Ausführung des erfindungsgemäßen Verfahrens kann das Werkzeug und/oder die erste Kamera in eine Erfassungsposition (auch als„Vorposition“ bezeichnet) gebracht werden, aus der mittels der ersten Kamera Bilddaten des Werkstücks erfasst werden. Anhand der Bilddaten wird mindestens ein aktueller Mittelpunkt einer beispielsweise als Referenzöffnung ausgebildeten Referenzstruktur ermittelt, indem eine Außenform der Mündung der

Referenzstruktur virtuell an eine Kreisform und/oder an die Form einer Ellipse angepasst und der Mittelpunkt eines auf diese Weise aufgefundenen Kreises beziehungsweise einer auf diese Weise aufgefundenen Ellipse ermittelt wird. Dabei werden virtuell ein Kreis

beziehungsweise eine Ellipse gesucht, die eine aktuell erkannte Außenform der Mündung der Referenzstruktur möglichst gut approximieren. Jeder ermittelte aktuelle Mittelpunkt der Referenzstruktur wird mit der aktuellen Lage der optischen Achse verglichen.

Anhand von Abweichungen der Lage der optischen Achse und des mindestens einen aktuellen Mittelpunkts werden Steuerbefehle erzeugt und bereitgestellt. Die Steuerbefehle dienen zur Ansteuerung einer Stellvorrichtung, mittels der das Werkzeug dem zu

bearbeitenden Ort oder Bereich des Werkstücks zugestellt wird.

In einer möglichen Ausgestaltung des Verfahrens erfolgt je eine virtuelle Anpassung der Außenform der Referenzstruktur an eine Kreisform und an die Form einer Ellipse und Ermittlung des jeweiligen aktuellen Mittelpunkts. Es folgt die Bildung einer Differenz zwischen den Koordinaten der ermittelten aktuellen Mittelpunkte. Die gebildete Differenz wird mit einem vorgegebenen Schwellwert verglichen. Wird der Schwellwert eingehalten, erfolgt das Erzeugen eines Steuerbefehls zur Lageanpassung von Ist-Position und Soll-Position der ersten Kamera. Dabei kann einer der aktuellen Mittelpunkte ausgewählt werden oder die Koordinaten der aktuellen Mittelpunkte werden gemittelt und die Koordinaten eines resultierenden Mittelpunkts werden verwendet. Wird der Schwellwert überschritten, dann weichen die aktuellen Mittelpunkte zu stark voneinander ab und es wird ein Warnsignal ausgelöst. Beispielsweise ist dies der Fall, wenn die betreffende Referenzstruktur stark deformiert ist. Ein Warnsignal wird auch ausgelöst, wenn die Referenzstruktur teilweise oder ganz verdeckt ist. In einer weiteren Ausgestaltung des Verfahrens wird der Verfahrensablauf angehalten und optional ein optischer und/oder akustischer Warnhinweis ausgegeben, wenn die

Referenzstruktur nicht oder nur unvollständig erkannt wird.

Die Auswertung der Bilddaten und die Erzeugung der Steuerbefehle kann in Echtzeit erfolgen, um die Regelungszeiten zu reduzieren. Auf die Auswerteeinheit kann optional via Remote zugegriffen werden, um im Störfall dessen Ursache schnell ermitteln zu können.

Gemäß eines weiteren Aspekts der Erfindung wird ein Verfahren vorgeschlagen, mit dem die Lage eines Werkstücks, insbesondere zur Ansteuerunq eines Industrieroboters, bestimmt werden kann und das den Schritt des Erfassens von Bilddaten mindestens eines Bildes des Werkstücks mittels einer ersten Kamera umfasst. Die erste Kamera ist insbesondere ortsfest, beispielsweise innerhalb einer Fertigungslinie, angeordnet und kann vorzugsweise miniaturisiert sein.

Anhand der erfassten Bilddaten wird in einem weiteren Schritt des Verfahrens nach einer Referenzstruktur des Werkstücks gesucht. Dazu können Algorithmen der Mustererkennung aus dem Gebiet der Bildverarbeitung angewendet werden, die auf einer Auswerteeinheit ausgeführt werden.

Ist eine Referenzstruktur ermittelt, wird eine aktuelle Ist-Position mindestens eines

Bezugspunkts der Referenzstruktur, vorzugsweise in einer sich orthogonal zur optischen Achse der ersten Kamera erstreckenden x-/y-Ebene, relativ zur optischen Achse der ersten Kamera, ermittelt. Die ermittelte Ist-Position kann zusätzlich zu einem bekannten

Basiskoordinatensystem, in dessen Ursprung vorzugsweise die erste Kamera positioniert sein kann, in Beziehung gesetzt werden.

Die ermittelte aktuelle Ist-Position der Referenzstruktur wird mittels der Auswerteeinheit mit einer Soll-Position der Referenzstruktur verglichen und es werden Vergleichsdaten erzeugt, die einen Rückschluss auf die Lage des Werkstücks in Bezug auf die Kamera bzw. auf das bekannte Basiskoordinatensystem erlauben.

Die Referenzstruktur kann eine auf dem Werkstück angebrachte Markierung sein mit Strukturen, die eine Orientierung vorgeben und bekannter Abmessungen aufweisen. Die Referenzstruktur kann alternativ eine Öffnung, ein Spalt, eine Körperkante oder eine

Erhebung des Werkstücks sein, wobei mindestens ein Längenmaß, ein Umfangsmaß und/oder ein Durchmesser der Referenzstruktur bekannt sein muss.

In einer Ausgestaltung des Verfahrens ist mindestens eine weitere Kamera vorhanden, mittels der weitere Bilddaten des Werkstücks erfasst werden. Die erste Kamera und die weitere Kamera / die weiteren Kameras sind bevorzugt ortsfest innerhalb eines gemeinsamen (3D-)Basiskoordinatensystems angeordnet.

Anhand der erfassten weiteren Bilddaten wird mittels der Auswerteeinheit mindestens eine weitere Referenzstruktur des Werkstücks sowie die aktuelle Ist-Position mindestens eines Bezugspunkts der weiteren Referenzstruktur in x-/y-Richtung relativ zur optischen Achse der weiteren Kamera oder der weiteren Kameras ermittelt.

In eine weiteren Verfahrensschritt wird die aktuelle Ist-Position der weiteren Referenzstruktur mit einer Soll-Position der weiteren Referenzstruktur verglichen und es werden weitere Vergleichsdaten erzeugt.

Die weiteren Vergleichsdaten werden sodann von der Auswerteeinheit zusätzlich

berücksichtigt bei dem Schritt des Rückschließens auf die Lage des Werkstücks.

Bevorzugt sind die optischen Achsen der ersten und zumindest einer der weiteren Kameras nicht parallel angeordnet. Damit ist das Werkstück bzw. sind Teile des Werkstücks aus unterschiedlichen Blickwinkeln erfassbar wodurch die räumliche Lage des Werkstücks innerhalb des Basiskoordinatensystems mit erhöhter Genauigkeit ermittelt werden kann.

Zusätzlich kann vorgesehen sein, dass die aktuelle Ist-Position der Referenzstruktur(en) in z- Richtung der optischen Achse (oa) der Kamera oder der Kameras ermittelt wird, indem eine aktuelle x/y-Abbildungsgröße der Referenzstruktur(en) im von der jeweiligen Kamera erfassten Bild ermittelt und durch Vergleich mit der bekannten tatsächlichen x/y-Größe der Referenzstruktur(en) ein Abstand der Referenzstruktur(en) von der Kamera bestimmt wird.

Die ermittelte Ist-Position der Referenzstruktur in z-Richtung bzw. die ermittelten Ist- Positionen der Referenzstrukturen in z-Richtung kann bzw. können schließlich von der Auswerteeinheit beim Rückschließen auf die Lage des Werkstücks ebenfalls berücksichtigt werden, wodurch die Genauigkeit der Lageermittlung weiter gesteigert werden kann.

Weiter vorteilhaft kann vorgesehen sein, dass - ausgehend von der ermittelten Lage des Werkstücks - Steuerbefehle mittels einer Steuerungseinheit erzeugt werden und dass mittels der Steuerbefehle entweder ein Werkzeug an mindestens einen zu bearbeitenden Bereich oder Ort des Werkstücks zugestellt wird oder dass ein Bearbeitungsvorgang, mit dem das Werkstück aktuell bearbeitet wird, unterbrochen oder gestoppt wird, insbesondere weil die ermittelte Lage des .Werkstücks von einer vorgegebenen Soll-Lage des Werkstücks signifikant voneinander abweicht. Die Signifikanz der Abweichung kann beispielsweise als Schwellwert definiert sein, der in der Steuerungseinheit hinterlegt ist.

Vorteilhaft ist in der Auswerteeinheit ein sogenannter digitaler Zwilling des Werkstücks hinterlegt und aus den erfassten Bilddaten kann die Auswerteeinheit mittels digitaler Bildverarbeitung und Algorithmen für Musterkennung Abweichungen erkennen, visulaisieren und für folgende Prozessschritte/ Bearbeitungsschritte des Werkstücks entsprechend berücksichtigen.

Sowohl die Lageerkennung als auch die mustermäßige Auswertung der Bilddaten können mittels maschineller Intelligenz erfolgen. In einer Trainingsphase lernt die intelligente Auswertesoftware beispielsweise anhand eines CAD-Modells des Werkstücks sowie mit Hilfe annotierter Trainingsdaten, Lageabweichungen oder Musterabweichungen selbstständig zu erkennen und zu klassifizieren und ist anschließend beispielsweise sehr zuverlässig zur korrekten Lagebestimmung in der Lage, insbesondere auch dann, wenn ihr keine

vorbestimmten Referenzstrukturen fest vorgegeben waren.

Zum Schutz insbesondere der ersten Kamera kann eine Hülse mit einer schräg

angeschnittenen Öffnung vorhanden sein. Die Kamera ist in dem lang ausgezogenen Teil der Hülse angeordnet und so von einer Seite vor Funkenflug etc. geschützt.

Die Erfindung ermöglicht vorteilhaft eine Kompensation von Toleranzschwankungen, die beispielsweise temperaturbedingt auftreten. Zusätzlich oder alternativ können vorteilhaft Abweichungen erkannt und in nachfolgenden Bearbeitungsschritten berücksichtigt werden, die beispielsweise infolge von mechanischen Toleranzen von Werkstück,

Werkstückhalterung und/oder Zustelleinrichtungen und Antrieben auftreten.

Das erfindungsgemäße Verfahren kann ferner zur Suche und Festlegung einer Ausgangs oder Startposition für Bearbeitungsverfahren wie Schutzgasschweißen und Kleben verwendet werden. Es ist auch möglich, mittels des Verfahrens eine zuvor gefertigte

Schweißnaht beziehungsweise eine Kleberaupe in ganzer Länge oder abschnittsweise zu überprüfen.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert. Es zeigen:

Fig. 1 ein Ablaufschema einer ersten Ausgestaltung des erfindungsgemäßen Verfahrens;

Fig. 2 eine schematische Darstellung eine Ausführungsbeispiels einer zur Ausführung des Verfahrens geeigneten Vorrichtung;

Fig. 3 eine schematische Darstellung einer Konstruktion eines virtuellen Bezugspunkts;

Fig. 4 ein Ablaufschema einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens;

Fig. 5a eine schematische Darstellung einer ersten Kamera mit einer Schutzhülse in einer Frontalansicht; und Fig. 5b eine schematische Darstellung der ersten Kamera mit der Schutzhülse in einer Seitenansicht.

Schematisch sind die wesentlichen Verfahrensschritte einer ersten Ausgestaltung des erfindungsgemäßen Verfahrens in Fig. 1 dargestellt. Mit Blick auf Fig. 2 sind nachfolgend die Verfahrensschritte sowie technische Einheiten zur Ausführung des Verfahrens gezeigt.

So kann der Schritt des Erfassens von Bilddaten eines Werkstücks 1 mittels einer ersten Kamera 2 ausgeführt werden. Die erste Kamera 2 kann dabei eine Minikamera sein. Diese ist mit ihrer optischen Achse oa parallel zu einer Stoßrichtung eines Werkzeugs 3 ausgerichtet, wobei die Stoßrichtung in Richtung einer z-Achse z eines kartesischen Koordinatensystems mit den Achsen x, y und z weist.

Eine Suche nach einer Referenzstruktur 3 kann mittels einer Bilderverarbeitungssoftware erfolgen, die in einer Rechnereinheit 5 untergebracht ist. Die Rechnereinheit 5 ist beispielsweise ein Einplatinen-PC. Auf diese Weise ist beispielsweise eine dezentrale Bildverarbeitung möglich, wodurch eine entsprechende Anordnung zur Ausführung des erfindungsgemäßen Verfahrens modular aufgebaut sein kann. Außerdem ist ein Nachrüsten der Anordnung durch Austausch oder erneuten Konfiguration der dezentralen

Rechnereinheit 5 kostengünstig möglich. In einer weiteren Ausgestaltung der Erfindung kann die Rechnereinheit 5 auch zur Bildverarbeitung einer zweiten Kamera 6 konfiguriert und mit dieser datentechnisch verbunden sein.

Die Ermittlung mindestens eines Bezugspunkts + der Referenzstruktur 4 anhand der erfassten Bilddaten sowie ein Vergleich der ermittelten Ist-Position der Referenzstruktur 4 und des Bezugspunkts + mit einer Soll-Position kann mittels einer Auswerteeinheit 7 ausgeführt werden. Die Auswerteeinheit 7 kann dabei eine physische oder virtuelle

Untereinheit der Rechnereinheit 5 oder eine separate Einheit sein.

Die Algorithmen der Bildverarbeitung der Rechnereinheit 5 können für eine Ermittlung eines Abstands a der ersten Kamera 2 von dem Werkstück 1 in Z-Richtung (Stoßrichtung) genutzt werden. Dazu werden erkannte und vorbestimmte Bereiche oder Abschnitte der

Referenzstruktur 4 oder die gesamte Referenzstruktur 4 hinsichtlich ihrer x-/y- Abbildungsgröße im erfassten Bild ausgewertet und mit einer vorbekannten tatsächlichen x/y-Größe der Referenzstruktur 4 in Beziehung gesetzt.

Die ermittelten Informationen zur aktuellen Positionierung der Referenzstruktur 4, insbesondere des gewählten Bezugspunkts +, sowie der ermittelte Abstand a in Z-Richtung ermöglicht die Erzeugung von Steuerbefehlen, um das Werkzeug 3 an eine gewünschte Stelle des Werkstücks 1 zuzustellen und das Werkstück 1 zu bearbeiten. Mittels eines Stellglieds 10, beispielsweise eines Roboters, kann aufgrund der von der Auswerteeinheit 7 erzeugten Daten eine Nachführung des Werkstücks 1 und/oder des Antriebs 9 bewirkt werden. Die Erzeugung der Steuerbefehle kann in einer Steuerungseinheit 8 erfolgen. Durch Wirkung der Steuerbefehle wird mittels eines Antriebs 9 (verallgemeinernd auch als

Applikation bezeichnet) das Werkzeug 3 zugestellt und bewegt. Sämtliche datentechnische Verbindungen können als Steckverbindungen ausgebildet sein (schematisch gezeigt), wodurch eine höhere Flexibilität und eine gesteigerte Wartungsfreundlichkeit erreicht werden.

Alle Einheiten können untereinander in einem Netzwerk miteinander in Verbindung stehen. An die Steuereinheit 8 kann eine Datenbank 11 angebunden sein. Alternativ kann die Datenbank 11 auch direkt in das Netzwerk eingebunden sein.

Da die erste Kamera 1 und das Werkzeug 3 in einer bekannten räumlichen Beziehung zueinander stehen, kann aus der Position der ersten Kamera 2 relativ zum Bezugspunkt + auch die aktuelle Position des Werkzeugs 3 sowohl allgemein, beispielsweise innerhalb eines Basiskoordinatensystems mit den Achsen x, y und z und/oder relativ zum

Bezugspunkt + ermittelt werden.

Die optional vorhandene zweite Kamera 6 ist schräg auf das Werkstück 1 gerichtet. Die optischen Achsen der ersten Kamera 2 und der zweiten Kamera 6 schließen beispielsweise einen Winkel größer Null und kleiner 90° ein. Mittels der zweiten Kamera 6 können unter der Aufnahmerichtung schräg zur z-Richtung Bilddaten des Werkstücks 1 erfasst werden.

Anhand der erfassten Bilddaten von erster Kamera 1 und/oder zweiter Kamera 6 wird eine Mustererkennung mindestens in Bereichen des Werkstücks 1 ausgeführt. Dabei sind die Rechnereinheit 5 und die Auswerteeinheit 7 zur Erfassung dieser Bilddaten und zur

Ausführung des Prozesses der Mustererkennung konfiguriert (siehe Fig. 1). Wird der optionale Schritt der Mustererkennung ausgeführt, können die bei der Mustererkennung gewonnenen Informationen bei der Erzeugung der Steuerbefehle beziehungsweise bei einer Erzeugung weiterer Steuerbefehle im Sinne einer Regelung berücksichtigt werden, wie dies durch die mit unterbrochenen Volllinien gezeichneten Pfeile in Fig. 1 veranschaulicht ist.

Die Mustererkennung kann neben einer Überprüfung des Erfolgs von Bearbeitungsschritten zur Verifikation des Vorhandenseins der Referenzstruktur 4 sowie zur Erkennung einer zulässigen Form der Referenzstruktur 4 dienen. Bei einer erkannten Fehlfunktion und/oder einer unzulässigen Referenzstruktur 4 kann durch die Auswerteeinheit 7 ein Fehlersignal ausgegeben werden. Daraufhin kann ein Warnsignal, beispielsweise durch das Stellglied 10, ausgegeben und optional über die Steuerungseinheit 8 und eine entsprechende

Ansteuerung des Antriebs 9 das Werkzeug 3 gestoppt werden. Ein Bezugspunkt + kann tatsächlich vorhanden sein oder virtuell ermittelt werden. So kann ein Bezugspunkt + der Mittelpunkt einer kreisförmigen Referenzstruktur 4 (siehe Fig. 2) oder ein virtueller Schnittpunkt sein. In Fig. 3 ist die Konstruktion eines solchen virtuellen

Schnittpunkts veranschaulicht. Zwei als Referenzstrukturen 4 erkannten Körperkanten des Werkstücks 1 , die tatsächlich nicht aneinanderstoßen, werden virtuell verlängert. Der virtuelle Schnittpunkt der derart virtuell verlängerten Referenzstrukturen 4 wird gespeichert und als Bezugspunkt + verwendet.

Die wesentlichen Verfahrensschritte einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens sind in Fig. 4 dargestellt. Fig. 2 kann auch hier zur Erläuterung der zur

Ausführung des Verfahrens notwendigen technischen Einheiten herangezogen werden.

Der initiale Schritt des Erfassens von Bilddaten eines Werkstücks 1 wird mittels der ersten Kamera 2 ausgeführt. Die erste Kamera 2 kann wie oben beschrieben eingerichtet sein. Die erste Kamera ist ortsfest in einer Fertigungslinie angeordnet und bildet den Ursprung eines Basiskoordinatensystems.

Die Suche erfolgt mittels Bilderverarbeitungssoftware, die in der Rechnereinheit 5

untergebracht ist. Die Rechnereinheit 5 bevorzugt wie oben bereits beschrieben eingerichtet. Die Rechnereinheit 5 kann ebenfalls zur Bildverarbeitung mindestens einer weiteren

Kamera 6 konfiguriert und mit dieser datentechnisch verbunden sein. Die weitere Kamera 6 ist ebenfalls ortsfest in einem bekannten Abstand zu der ersten Kamera 2 angeordnet. Die weitere Kamera 6 ist in einem Winkel größer Null und kleiner 90° zur ersten Kamera 2 auf das gleiche Objektfeld ausgerichtet wie die erste Kamera. Beide Kameras erfassen somit einen gleichen Bildausschnitt aus unterschiedlichen Perspektiven. In anderen

Konfigurationen sind die optischen Achsen der ersten Kamera 2 und der weitere Kamera 6 parallel ausgerichtet und erfassen unterschiedliche Bildausschnitte. Beispielsweise kann vorgesehen sein, dass die erste Kamera 2 eine Vorderseite des Werkstücks 1 erfasst und die zweite Kamera 6 eine Rückseite des Werkstücks 1.

Die Ermittlung mindestens eines Bezugspunkts + der Referenzstruktur 4 anhand der erfassten Bilddaten sowie ein Vergleich der ermittelten Ist-Position der Referenzstruktur 4 und des Bezugspunkts + mit einer Soll-Position wird mittels der Auswerteeinheit 7 ausgeführt, die daraus Vergleichsdaten erzeugt.

Schließlich ist die Auswerteeinheit 7 eingerichtet, um, basierend auf den Vergleichsdaten auf die Lage des Werkstücks (1) in Bezug auf das Basiskoordinatensystem zu schließen.

Bevorzugt werden die Algorithmen der Bildverarbeitung der Rechnereinheit 5 für eine Ermittlung eines Abstands a der ersten Kamera 2 von dem Werkstück 1 in z-Richtung genutzt, wie oben beschrieben (in Fig. 4 nicht dargestellt). Wiederum kann optional eine Mustererkennung mindestens in Bereichen des Werkstücks 1 ausgeführt werden. Dabei sind die Rechnereinheit 5 und die Auswerteeinheit 7 zur

Erfassung dieser Bilddaten und zur Ausführung des Prozesses der Mustererkennung konfiguriert. Um die erste Kamera 2 vor Beschädigungen beispielsweise durch während der Bearbeitung des Werkstücks 1 entstehenden Spänen, Funken, Spritzer bei Schweißvorgängen und ähnlichem zu schützen, kann die erste Kamera 2 von einer Hülse 12 mit einer schräg angeschnittenen Öffnung zumindest teilweise umgeben sein. Die erste Kamera 2 ist im Bereich der schräg angeschnittenen Öffnung auf einer Innenseite der Hülse 12 angebracht (Fig. 5a). Auf diese Weise ist die erste Kamera 2 durch den im Bereich der Öffnung lang ausgezogenen Teil der Hülse 12 auf einer Seite geschützt. Der verbleibende mögliche Erfassungsbereich der ersten Kamera 2 ist trotzdem ausreichend groß (Fig. 5b).

Bezuqszeichen

1 Werkstück

2 erste Kamera

3 Werkzeug

4, 4‘ Referenzstruktur

5 Rechnereinheit

6 zweite/ weitere Kamera

7 Auswerteeinheit

8 Steuerungseinheit

9 Antrieb, Applikation

10 Stellglied

11 Datenbank

12 Hülse

oa optische Achse

+ Bezugspunkt

Claims

Patentansprüche

1. Verfahren zur Ansteuerung einer Bearbeitungsmaschine oder eines Industrieroboters, umfassend die folgenden Schritte:

Erfassen von Bilddaten mindestens eines Bildes eines Werkstücks (1) mittels einer ersten Kamera (2), deren optische Achse (oa) parallel zu einer Stoßrichtung eines Werkzeugs (3) in einer Z-Richtung verläuft;

Suche nach einer Referenzstruktur (4) des Werkstücks (1) anhand der erfassten Bilddaten;

Ermitteln der aktuellen Ist-Position mindestens eines Bezugspunkts (+) der

Referenzstruktur (4) in x-/y-Richtung relativ zur optischen Achse (oa) der ersten Kamera (2);

Vergleichen der aktuellen Ist-Position der Referenzstruktur (4) mit einer Soll-Position der Referenzstruktur (4);

Erzeugen von Steuerbefehlen zur Zustellung des Werkzeugs (3) an mindestens einen zu bearbeitenden Bereich oder Ort des Werkstücks (1);

Ermitteln der aktuellen Ist-Position der Referenzstruktur (4) in z-Richtung der optischen Achse (oa), indem eine aktuelle x/y-Abbildungsgröße der

Referenzstruktur (4) im erfassten Bild ermittelt und durch Vergleich mit der bekannten tatsächlichen x/y-Größe der Referenzstruktur (4) ein Abstand der Referenzstruktur (4) von der ersten Kamera (2) bestimmt und bei der Erzeugung der Steuerbefehle berücksichtigt wird.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Referenzstruktur (4) eine Öffnung, eine Körperkante oder eine Erhebung des Werkstücks (1) ist und mindestens ein Längenmaß, ein Umfangsmaß und/oder ein Durchmesser der Referenzstruktur (4) bekannt ist beziehungsweise bekannt sind.

3. Verfahren nach einem der Ansprüche 1 und 2, dadurch gekennzeichnet, dass ein virtueller Schnittpunkt mindestens zweier Strukturen des Werkstücks (1) gebildet wird und dieser Schnittpunkt für nachfolgende Relativbewegungen zwischen Werkstück (1) und

Werkzeug (3) als Bezugspunkt (+) dient.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer zweiten Kamera (6) unter einer Aufnahmerichtung schräg zur z-Richtung Bilddaten des Werkstücks (1) erfasst werden und anhand der erfassten Bilddaten eine Mustererkennung mindestens in Bereichen des Werkstücks (1) ausgeführt wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass mittels der Mustererkennung ein aktueller Bearbeitungszustand des Werkstücks (1) erfasst und mit einem Soll- Bearbeitungszustand verglichen wird.

6. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Werkzeug (3) eine Schweißvorrichtung zum Bolzenschweißen ist.

7. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Werkzeug (3) eine Schweißvorrichtung zum Buckelschweißen ist.

8. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Werkzeug (3) eine Vorrichtung zum Schrauben ist.

9. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Werkzeug (3) eine Vorrichtung zum Nieten ist.

10. Verfahren zur Bestimmung einer Lage eines Werkstücks (1), insbesondere zur Ansteuerung eines Industrieroboters, umfassend die folgenden Schritte:

Erfassen von Bilddaten mindestens eines Bildes des Werkstücks (1) mittels einer ersten Kamera (2);

Bestimmen einer Referenzstruktur (4) des Werkstücks (1) anhand der erfassten Bilddaten mittels einer Auswerteeinheit (7);

Ermitteln der aktuellen Ist-Position mindestens eines Bezugspunkts (+) der Referenzstruktur (4) in x-/y-Richtung relativ zur optischen Achse (oa) der ersten Kamera (2) mittels der Auswerteeinheit (7); Vergleichen der aktuellen Ist-Position der Referenzstruktur (4) mit einer Soll-Position der Referenzstruktur (4) mittels der Auswerteeinheit (7) und Erzeugen von

Vergleichsdaten;

Mittels der Vergleichsdaten: Rückschließen auf die Lage des Werkstücks (1) in Bezug auf ein Basiskoordinatensystem mittels der Auswerteeinheit (7).

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass mittels mindestens einer weiteren Kamera (6) weitere Bilddaten des Werkstücks (1) erfasst werden;

mittels der Auswerteeinheit (7) anhand der erfassten weiteren Bilddaten mindestens eine weitere Referenzstruktur (4‘) des Werkstücks (1) bestimmt wird;

mittels der Auswerteeinheit (7) die aktuelle Ist-Position mindestens eines

Bezugspunkts (++) der weiteren Referenzstruktur (4‘) in x-/y-Richtung relativ zur optischen Achse (oa) der weiteren Kamera (6) ermittelt wird;

die aktuelle Ist-Position der weiteren Referenzstruktur (4‘) mit einer Soll-Position der weiteren Referenzstruktur (4‘) verglichen und weitere Vergleichsdaten erzeugt werden;

die weiteren Vergleichsdaten berücksichtigt werden beim Rückschließen auf die Lage des Werkstücks (1) mittels der Auswerteeinheit (7).

12. Verfahren nach Anspruch 10 oder 11 , dadurch gekennzeichnet, dass zusätzlich die aktuelle Ist-Position der Referenzstruktur(en) (4, 4‘) in z-Richtung der optischen Achse (oa) der Kamera (2, 6) ermittelt wird, indem eine aktuelle x/y-Abbildungsgröße der

Referenzstruktur(en) (4, 4‘) im jeweils erfassten Bild ermittelt und durch Vergleich mit der bekannten tatsächlichen x/y-Größe der Referenzstruktur(en) (4, 4‘) ein Abstand der

Referenzstruktur(en) (4, 4‘) von der Kamera (2, 6) bestimmt wird, und dass die ermittelte Ist- Position der Referenzstruktur (4) bzw. die ermittelten Ist-Positionen der Referenzstrukturen en (4, 4‘) in z-Richtung berücksichtigt werden beim Rückschließen auf die Lage des

Werkstücks (1) mittels der Auswerteeinheit (7).

13. Verfahren einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die

Referenzstruktur (4) eine Öffnung, eine Körperkante oder eine Erhebung des Werkstücks (1) ist und mindestens ein Längenmaß, ein Umfangsmaß und/oder ein Durchmesser der Referenzstruktur (4) bekannt ist beziehungsweise bekannt sind.

14. Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass mittels einer Steuerungseinheit (8) Steuerbefehle erzeugt werden und dass mittels der

Steuerbefehle:

ein Werkzeug (3) an mindestens einen zu bearbeitenden Bereich oder Ort des Werkstücks (1) zugestellt wird oder

ein Bearbeitungsvorgang, mit dem das Werkstück (1) bearbeitet wird, unterbrochen oder gestoppt wird.

15. Vorrichtung zum Schutz einer Kamera (2), dadurch gekennzeichnet, dass eine Hülse (12) mit einer schräg angeschnittenen Öffnung vorhanden ist, und die Kamera (2) in dem lang ausgezogenen Teil der Hülse (12) angeordnet ist.