WO2007036457A2 - Verfahren und system zur kalibrierung einer kamera in produktionsmaschinen - Google Patents

Verfahren und system zur kalibrierung einer kamera in produktionsmaschinen Download PDF

Info

Publication number
WO2007036457A2
WO2007036457A2 PCT/EP2006/066493 EP2006066493W WO2007036457A2 WO 2007036457 A2 WO2007036457 A2 WO 2007036457A2 EP 2006066493 W EP2006066493 W EP 2006066493W WO 2007036457 A2 WO2007036457 A2 WO 2007036457A2
Authority
WO
WIPO (PCT)
Prior art keywords
camera
machine
parameters
calibration object
tool
Prior art date
Application number
PCT/EP2006/066493
Other languages
English (en)
French (fr)
Other versions
WO2007036457A3 (de
Inventor
Dirk Jahn
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to JP2008531685A priority Critical patent/JP2009509778A/ja
Priority to US12/088,029 priority patent/US20080218592A1/en
Publication of WO2007036457A2 publication Critical patent/WO2007036457A2/de
Publication of WO2007036457A3 publication Critical patent/WO2007036457A3/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37009—Calibration of vision system, camera, adapt light level

Definitions

  • the invention relates to a method and a system for calibrating a camera in a production machine specified in the preamble of claims 1 and 9, respectively.
  • Such cameras are used in a wide range of applications in order to monitor the production process or to determine parameters for the production process.
  • Exemplary here Kollisi ⁇ onsüberwachung, the component recognition, the component measurement or part position recognition may be mentioned, for which purpose one or more cameras are arranged within the production machine is ⁇ .
  • the camera can be determined relative to the production machine and the internal parameters of the camera accurately as possible.
  • the intrinsic parameters are camera-specific data such as the focal length of their lens or the parameters of the sensor.
  • the extrinsic parameters are the position or the coordinates and the orientation of the camera within the working space of the production machine.
  • a calibration object known in its shape and in its dimensions is manually brought into different positions within the working space of the machine during today's conventional calibration method and thereby recorded by the camera.
  • the parameters of the respective position of the calibration object are assigned to the corresponding camera shots until enough information or data is available to determine the parameters of the camera.
  • the information or parameters of the calibration object and, corre- sponding respectively images of the camera are now commonly algorithms calculated in Algo ⁇ example, are based on methods such as the Direct Linear Transformation (DLT) or the like.
  • DLT Direct Linear Transformation
  • Object of the present invention is to improve a method and a system of the type mentioned so that a more accurate determination of the intrinsic and extrinsic parameters of the camera can be realized.
  • the different positions of the calibration object are within the working space of the machine ⁇ with the aid of an already existing NEN measuring system of the machine is determined. Is carried out taking into account the data of the measuring system of the machine, the determination of the Po ⁇ sition and in particular the extrinsic parameters of the camera.
  • a production or work ⁇ machine has on its axes of motion normally such a measuring system, with the adjustments along one or more machine axes can be determined.
  • the transformation to the different coordinate systems - for example to a machine coordinate system or a tool coordinate system - then takes place on the basis of known dependencies within the machine.
  • the positioning of the calibration object is no longer manual as before rather, with the help of the already existing measuring system of the machine.
  • the calibration object preferably would take on a moving machine axis of the production machine or on a tool or a tool connection is arranged to various positions within the working space of the machine through which the adjustment movement of the machine axis or of the tool detected measuring system he forward ⁇ to can.
  • the production machine for this purpose have at least one regular and measurable axis must be accurately determined which different positions of the calibra ⁇ approximate properties within the working envelope of the machine.
  • centers in the current normal processing ⁇ is this accuracy according to experience in the micron range, so that the measuring system of the production machine sufficient accuracy to calibrate the camera can provide.
  • the images necessary for the calibration of the camera can thus be brought in a very accurate manner in relation to the parameters detected via the measuring system. Then through the measurement system ER preconceived parameters are applied when determining the position of the camera with one, then a highly accurate Ka ⁇ that-calibration of the camera inside the production machine rea ⁇ taping leaves.
  • the zero point of the calibration ⁇ object which is necessary for its position determination on the basis of the associated recording of the camera, in a simple manner via the zero point of the tool or the horrauf- would be determined.
  • the zero point of the calibration object relative to the origin of the work must ⁇ zeugs and the tool holder are determined only once.
  • An especially accurate calibration of the camera can aim it ⁇ when the calibration object in different Endposi ⁇ functions of a detection field of the camera within the Ar ⁇ beitsraums the machine is placed. In this way, position-parameters are at a maximum distance - determined within the working space of the machine ⁇ Ma, thus can minimize a measuring systemic problem - to the detection field of the camera based.
  • a camera 12 is arranged whose Recordin ⁇ men in monitoring, component recognition, component position detection, component measurement, collision monitoring or suchlike serve.
  • the position of the camera 12 relative to the production machine and the internal Parame ⁇ ter the camera 12 must be known exactly.
  • the extrinsic parameters of the camera 12 are of great importance for high accuracy of the images determined by them. In determining these extrinsic parameters is re insbesonde- the position of the camera 12 relative to the machine electronicssma ⁇ or to the working space 10 of great importance.
  • a work table 14 is schematically indicated, on which a product to be machined later can be fastened by suitable clamping means 16.
  • the working ⁇ table 14 is in the present embodiment in the usual manner - as indicated by the Cartesian coordinate system 18 ⁇ indicates - along three machine axes movable.
  • a tool holder 22 holding and driving a tool 20 can be seen within the working space 10, wel ⁇ che in the present embodiment are also to be moved along lying in the coordinate system 18 tool axes.
  • a calibration object 24 embodied as a so-called marker is fastened to the tool 20, which is shown again separately in the drawing, whose shape and dimensions are exactly known.
  • the calibration object is mounted on a 24 wegbaren be ⁇ machine or tool axis of the production machines ne.
  • the calibration object 24 to the Ar- Beitstisch 14 or to attach to another movable machine axis.
  • a control system 26 of the production machine comprises a machine coordinate system and a tool coordinate system, with which the movements of, for example, the work table 12 and the tool 20 can be precisely determined or determined.
  • a predefined zero point of the calibration object can be found in 24 re ⁇ tively to one determined by the tool coordinate system of the control system 24 is zero point of the tool (tool center point (TCP)) ,
  • TCP tool center point
  • the zero point of the calibration object 24 is then known via the position of the zero point of the tool 20, determined by the tool coordinate system of the control system 26.
  • the calibration of the camera can now be archived 12 acti ⁇ .
  • the calibration object 24 is brought via the control system 26 along at least one tool ⁇ or machine axis in different positions within the working space 10 of the machine, these positions or the parameters of the calibration object 24 are determined by means of the tool coordinate system.
  • the calibra ⁇ is approximately object 24 to end positions in the detection field of the camera 12 moved within the production machine.
  • each of the calibration object 24 entspre ⁇ sponding parameters are assigned to the respectively associated images of the camera 12 by an evaluation means 28 of the control ⁇ system 26 and stored accordingly.
  • an evaluation means 28 of the control ⁇ system 26 is matching every shot of the camera 12 of the corresponding de zero point of the tool (Toolpoint Center (TCP)) and read so ⁇ with the position of the zero point of the calibration object 24 and stored for further processing.
  • The- ser process is repeated as long collected nen until enough Informatio ⁇ .
  • the intrinsic and in particular the extrinsic parameters of the camera 12 can be determined via a calculation means 30 assigned to the evaluation means 28 or the control system 26, after sufficient information has been collected by the evaluation means 28.
  • the determination of the parameters of the camera 12 within the calculation means 30 takes place in consideration of the various
  • Positions of the calibration object 24 taken recordings, this for the tool or machine coordinate system determined zero points of the tool 20 and the known displacement of the zero point of the tool 20 with respect to the zero point of the calibration object 24.
  • the Be ⁇ calculation within the calculation means 30 takes place on the basis of known algorithms, for example, taking into account known methods such as direct linear transformation (DLT) or the like, wherein the result of the extrinsic parameters of the camera 12 describes a position thereof in the machine coordinate system, if the transformation of the tool coordinate system and the Maschinenenkoor ⁇ dinatensystems from the Control system 26 is read and included in the calculation.
  • DLT direct linear transformation
  • the determined extrinsic and intrinsic parameters of the camera 12 can both be displayed on the operating unit 32 or stored accordingly in the control system 26.
  • it would also be conceivable to carry out the calculation of the parameters of the camera 12 is out of the control system 26 and the bill loading ⁇ medium 30th
  • the production machine and the associated machine axes denominator and the tool coordinate system can thus, the position of the calibration object 24 and finally the Po ⁇ sition of the camera 12 determined very accurately within the Maschinenkoordinatensys ⁇ tems , so that is a very exact calibration of the camera 12 within the working space 10 of the production machine can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • General Factory Administration (AREA)
  • Numerical Control (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Ka- librierung einer Kamera (12) im Arbeitsraum (10) einer Pro- duktionsmaschine. Dabei wird ein Kalibrierungsobjekt (24) in- nerhalb des Arbeitsraums (10) der Maschine in verschiedene Positionen gebracht und von der Kamera (12) aufgenommen, wo- bei die Positionsparameter des Kalibrierungsobjektes (24) den entsprechenden Aufnahmen der Kamera (12) zugeordnet werden. Über die ermittelten Daten lassen sich Parameter der Kamera (12) bestimmen. Um besonders genaue Parameter der Kamera (12) zu erhalten, werden erfindungsgemäß die verschiedenen Positi- onen des Kalibrierungsobjektes (24) innerhalb des Arbeits- raums (10) unter Zuhilfenahme eines Messsystems der Maschine bestimmt, wobei die Ermittlung der Parameter der Kamera (12) unter Berücksichtigung der Daten des Messsystems der Maschine durchgeführt wird.

Description

Beschreibung
Verfahren und System zur Kalibrierung einer Kamera in Produk- tionsmasehinen
Die Erfindung betrifft ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine der im Oberbegriff der Patentansprüche 1 bzw. 9 angegebenen Art.
Innerhalb von Produktionsmaschinen werden derartige Kameras in einem breiten Anwendungsgebiet eingesetzt, um den Produk- tionsprozess zu überwachen oder Parameter für den Produkti- onsprozess zu ermitteln. Beispielhaft seien hier die Kollisi¬ onsüberwachung, die Bauteilerkennung, die Bauteilvermessung oder die Bauteilpositionserkennung genannt, wobei hierzu eine oder mehrere Kameras innerhalb der Produktionsmaschine ange¬ ordnet sind. Um derartige Überwachungs- und/oder Erkennungs¬ funktionen mit der im Arbeitsraum der Maschine angeordneten Kamera hinreichend zuverlässig und genau durchführen zu kön- nen, müssen die Position der Kamera relativ zu der Produktionsmaschine sowie die internen Parameter der Kamera möglichst exakt bestimmt werden können. Mit anderen Worten können die durch die Kamera aufgenommenen Bilder bzw. Filmaufnahmen umso genauer und zuverlässiger ausgewertet werden, je exakter die intrinsischen und extrinsischen Parameter der Kamera bekannt sind. Unter den intrinsischen Parametern versteht man dabei kameraspezifische Daten wie die Brennweite ihrer Linse oder die Parameter des Sensors. Unter den extrinsischen Parametern versteht man hingegen die Position bzw. die Koordinaten und die Orientierung der Kamera innerhalb des Arbeitsraums der Produktionsmaschine .
Zur Ermittlung der extrinsischen Parameter der Kamera wird bei heute gängigen Kalibrierungsverfahren ein in seiner Ge- stalt und in seinen Abmessungen bekanntes Kalibrierungsobjekt manuell in verschiedene Positionen innerhalb des Arbeitsraums der Maschine gebracht und dabei durch die Kamera aufgenommen. Die Parameter der jeweiligen Position des Kalibrierungsobjek- tes werden den entsprechenden Aufnahmen der Kamera zugeordnet, bis genügend Informationen bzw. Daten vorhanden sind, um die Parameter der Kamera zu bestimmen. Die Informationen bzw. Parameter des Kalibrierungsobjektes und die jeweils zugehöri- gen Aufnahmen der Kamera werden heute üblicherweise in Algo¬ rithmen berechnet, welche beispielsweise auf Verfahren wie der Direct Linear Transformation (DLT) oder dergleichen beruhen .
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und ein System der eingangs genannten Art so zu verbessern, dass sich eine exaktere Bestimmung der intrinsischen und extrin- sischen Parameter der Kamera realisieren lässt.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine mit den Merkmalen der Patentansprüche 1 bzw. 9 erreicht. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den ab- hängigen Ansprüchen beschrieben.
Bei dem Verfahren nach der Erfindung werden die verschiedenen Positionen des Kalibrierungsobjektes innerhalb des Arbeits¬ raums der Maschine unter Zuhilfenahme eines ohnehin vorhande- nen Messsystems der Maschine bestimmt. Die Ermittlung der Po¬ sition und insbesondere der extrinsischen Parameter der Kamera erfolgt dabei unter Berücksichtigung der Daten des Messsystems der Maschine. Eine Produktions- beziehungsweise Werk¬ zeugmaschine weist an seinen Bewegungsachsen normalerweise ein derartiges Messsystem auf, mit dem Verstellungen entlang einer oder mehrerer Maschinenachsen ermittelt werden können. Die Transformation auf die unterschiedlichen Koordinatensysteme - beispielsweise auf ein Maschinenkoordinatensystem oder ein Werkzeugkoordinatensystem - erfolgt dann auf der Basis bekannter Abhängigkeiten innerhalb der Maschine.
Gemäß der vorliegenden Erfindung soll demnach die Positionierung des Kalibrierungsobjektes nicht mehr wie bisher manuell erfolgen, sondern vielmehr mit Hilfe des ohnehin vorhandenen Messsystems der Maschine. Hierzu wird das Kalibrierungsobjekt vorzugsweise an einer bewegten Maschinenachse der Produkti¬ onsmaschine oder an einem Werkzeug bzw. an einer Werkzeugauf- nähme angeordnet, um verschiedene Positionen innerhalb des Arbeitsraums der Maschine über das die Verstellbewegung der Maschinenachse bzw. des Werkzeugs erfassende Messsystem er¬ mitteln zu können. Es ist klar, dass die Produktionsmaschine hierzu wenigstens eine regel- und messbare Achse besitzen muss, anhand welcher verschiedene Positionen des Kalibrie¬ rungsobjektes innerhalb des Arbeitsraums der Maschine genau bestimmt werden können. Bei den heute üblichen Bearbeitungs¬ zentren liegt diese Genauigkeit jedoch erfahrungsgemäß im μm- Bereich, so dass das Messsystem der Produktionsmaschine eine hinreichende Genauigkeit zur Kalibrierung der Kamera liefern kann. Aufgrund der sehr genauen Positionsbestimmung des Kalibrierungsobjektes über die Maschinenachsen können somit die für die Kalibrierung der Kamera notwendigen Aufnahmen auf sehr genaue Weise in Bezug zu den über das Messsystem erfass- ten Parametern gebracht werden. Die über das Messsystem er- fassten Parameter fließen dann bei der Ermittlung der Position der Kamera mit ein, so dass sich eine äußerst genaue Ka¬ librierung der Kamera innerhalb der Produktionsmaschine rea¬ lisieren lässt.
Wird das Kalibrierungsobjekt an einem Werkzeug bzw. einer Werkzeugaufnahme der Produktionsmaschine befestigt, so wird vorzugsweise vor Beginn der Messverfahren der Nullpunkt des Kalibrierungsobjektes relativ zu einem Nullpunkt des Werkzeu- ges bzw. der Werkzeugaufnahme (Tool-Center-Point (TCP)) be¬ stimmt. Auf diese Weise kann der Nullpunkt des Kalibrierungs¬ objektes, welcher für seine Positionsbestimmung anhand der zugehörigen Aufnahme der Kamera notwendig ist, auf einfache Weise über den Nullpunkt des Werkzeuges bzw. der Werkzeugauf- nähme bestimmt werden. Mit anderen Worten muss der Nullpunkt des Kalibrierungsobjektes gegenüber dem Nullpunkt des Werk¬ zeugs bzw. der Werkzeugaufnahme lediglich einmal bestimmt werden . Eine besonders exakte Kalibrierung der Kamera lässt sich er¬ zielen, wenn das Kalibrierungsobjekt in verschiedene Endposi¬ tionen eines Erfassungsfeldes der Kamera innerhalb des Ar¬ beitsraums der Maschine gebracht wird. Hierdurch werden Posi- tionsparameter in maximaler Entfernung - bezogen auf das Erfassungsfeld der Kamera - innerhalb des Arbeitsraums der Ma¬ schine ermittelt, wodurch sich ein messsystembedingter Fehler minimieren lässt.
Als weiter vorteilhaft hat es sich gezeigt, die Zuordnung der Parameter des Kalibrierungsobjektes zu den entsprechenden Aufnahmen der Kamera mit einem Auswertungsmittel durchzuführen, welches vorzugsweise direkt mit der Steuerung der Pro¬ duktionsmaschine bzw. mit deren Messsystem verbunden ist. Die Ermittlung der Position der Kamera wird dabei vorzugsweise über ein Berechnungsmittel durchgeführt, welches auf Daten des Auswertungsmittels zurückgreift und beispielsweise über die Direct Linear Transformation (DLT) oder ein ähnliches Berechnungsverfahren die Position der Kamera ermittelt.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung er¬ geben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung; diese zeigt :
Eine schematische Darstellung des Ablaufs des Verfahrens und des hierzu verwendeten Systems zur Kalibrierung einer Kamera in einem Arbeitsraum einer Produktionsmaschine.
Innerhalb eines Arbeitsraums 10 einer beispielsweise als 4- Achsen-Bearbeitungszentrum ausgebildeten Produktions- bzw. Werkzeugmaschine ist eine Kamera 12 angeordnet, deren Aufnah¬ men bei der Überwachung, Bauteilerkennung, Bauteilpositionserkennung, Bauteilvermessung, Kollisionsüberwachung oder der- gleichen dienen. Damit unter Zuhilfenahme der Aufnahmen der Kamera 12 - welche Bild- oder Filmaufnahmen sein können - hinreichend genaue bzw. exakte Informationen und Parameter über das durch die Produktionsmaschine bearbeitete Produkt ermittelt werden können, müssen die Position der Kamera 12 relativ zu der Produktionsmaschine sowie die internen Parame¬ ter der Kamera 12 exakt bekannt sein. Neben den intrinsischen Parametern der Kamera 12, welche kameraspezifische Eigen- Schäften wie die Brennweite der Linse oder Parameter des Sensors der Kamera 12 angeben, sind insbesondere die extrinsi- schen Parameter der Kamera 12 für eine hohe Genauigkeit der durch diese ermittelten Aufnahmen von großer Bedeutung. Bei der Ermittlung dieser extrinsischen Parameter ist insbesonde- re die Position der Kamera 12 relativ zu der Produktionsma¬ schine bzw. zu deren Arbeitsraum 10 von großer Bedeutung.
Um die Kamera 12 exakt kalibrieren bzw. deren Parameter ermitteln zu können, wird diese an einer Stelle innerhalb des Arbeitsraums 10 der Maschine angeordnet, wo sie im späteren Produktionsprozess ihre Überwachungs- und/oder Erkennungs¬ funktion erfüllen soll. Innerhalb des Arbeitsraums 10 der Produktionsmaschine ist ein Arbeitstisch 14 schematisch angedeutet, auf welchem ein später zu bearbeitendes Produkt durch geeignete Spannmittel 16 befestigt werden kann. Der Arbeits¬ tisch 14 ist im vorliegenden Ausführungsbeispiel in üblicher Weise - wie durch das kartesische Koordinatensystem 18 ange¬ deutet - entlang von drei Maschinenachsen verfahrbar.
Weiter ist innerhalb des Arbeitsraums 10 eine ein Werkzeug 20 haltende und antreibende Werkzeugaufnahme 22 erkennbar, wel¬ che im vorliegenden Ausführungsbeispiel ebenfalls entlang von im Koordinatensystem 18 liegenden Werkzeugachsen zu verfahren sind. An dem in der Zeichnung nochmals separat dargestellten Werkzeug 20 ist im vorliegenden Ausführungsbeispiel ein als so genannter Marker ausgebildetes Kalibrierungsobjekt 24 be¬ festigt, dessen Gestalt und Abmaße exakt bekannt sind. Mit anderen Worten wird das Kalibrierungsobjekt 24 an einer be¬ wegbaren Maschinen- bzw. Werkzeugachse der Produktionsmaschi- ne befestigt. Anstelle der im vorliegenden Ausführungsbei¬ spiel vorgesehenen Befestigung an dem Werkzeug 20 wäre es demgemäß auch denkbar, das Kalibrierungsobjekt 24 an dem Ar- beitstisch 14 oder aber an einer anderen bewegbaren Maschinenachse zu befestigen.
Ein Steuerungssystem 26 der Produktionsmaschine umfasst ein Maschinenkoordinatensystem und ein Werkzeugkoordinatensystem, mit welchen die Bewegungen beispielsweise des Arbeitstisches 12 bzw. des Werkzeuges 20 exakt festgelegt bzw. ermittelt werden können. Nach dem Befestigen des Kalibrierungsobjektes 24 an dem Werkzeug 20 bzw. an der Werkzeugaufnahme 22 kann ein vordefinierter Nullpunkt des Kalibrierungsobjektes 24 re¬ lativ zu einem durch das Werkzeugkoordinatensystem des Steuerungssystems 24 bestimmten Nullpunkt des Werkzeuges (Tool- Center-Point (TCP)) ermittelt werden. Mit anderen Worten ist dann über die Lage des Nullpunktes des Werkzeugs 20 - ermit- telt durch das Werkzeugkoordinatensystem des Steuersystems 26 - auch der Nullpunkt des Kalibrierungsobjektes 24 bekannt. Dies ergibt sich durch die Verschiebung des Kalibrierungsob¬ jektes 24 relativ zu dem Nullpunkt des Werkzeuges 20 bzw. der Werkzeugaufnahme 22. Über eine Bedieneinheit 28 des Steue- rungssystems 26 kann nun die Kalibrierung der Kamera 12 akti¬ viert werden. Hierzu wird über das Steuerungssystem 26 das Kalibrierungsobjekt 24 entlang mindestens einer Werkzeug¬ bzw. Maschinenachse in verschiedene Positionen innerhalb des Arbeitsraums 10 der Maschine gebracht, wobei diese Positionen bzw. die Parameter des Kalibrierungsobjektes 24 mittels des Werkzeugkoordinatensystems ermittelt werden. Um eine beson¬ ders genaue Kalibrierung zu erreichen, wird das Kalibrie¬ rungsobjekt 24 bis in Endpositionen des Erfassungsfeldes der Kamera 12 innerhalb der Produktionsmaschine verfahren. Die der jeweiligen Position des Kalibrierungsobjektes 24 entspre¬ chenden Parameter werden den jeweils zugehörigen Aufnahmen der Kamera 12 durch ein Auswertungsmittel 28 des Steuerungs¬ systems 26 zugeordnet und entsprechend gespeichert. Hierbei wird passend zu jeder Aufnahme der Kamera 12 der entsprechen- de Nullpunkt des Werkzeuges (Tool-Center-Point (TCP) ) und so¬ mit auch die Position des Nullpunktes des Kalibrierungsobjektes 24 ausgelesen und zur Weiterbearbeitung gespeichert. Die- ser Vorgang wird solange wiederholt, bis genügend Informatio¬ nen gesammelt sind.
Über ein dem Auswertungsmittel 28 bzw. dem Steuersystem 26 zugeordnetes Berechnungsmittel 30 können die intrinsischen und insbesondere die extrinsischen Parameter der Kamera 12 bestimmt werden, nachdem genügend Informationen durch das Auswertungsmittel 28 gesammelt worden sind. Die Ermittlung der Parameter der Kamera 12 innerhalb des Berechnungsmittels 30 erfolgt unter Berücksichtigung der zu den verschiedenen
Positionen des Kalibrierungsobjektes 24 vorgenommenen Aufnahmen, den hierzu über das Werkzeug- bzw. Maschinenkoordinatensystem ermittelten Nullpunkten des Werkzeuges 20 sowie der bekannten Verschiebung des Nullpunktes des Werkzeuges 20 ge- genüber dem Nullpunkt des Kalibrierungsobjektes 24. Die Be¬ rechnung innerhalb des Berechnungsmittels 30 erfolgt dabei auf der Basis bekannter Algorithmen, beispielsweise unter Berücksichtigung von bekannten Verfahren wie die Direct Linear Transformation (DLT) oder dergleichen, wobei das Ergebnis der extrinsischen Parameter der Kamera 12 eine Position derselben im Maschinenkoordinatensystem beschreibt, wenn die Transformation des Werkzeugkoordinatensystems und des Maschinenkoor¬ dinatensystems aus dem Steuersystem 26 ausgelesen wird und in die Berechnung mit einfließt.
Die ermittelten extrinsischen und intrinsischen Parameter der Kamera 12 können sowohl an der Bedienungseinheit 32 angezeigt oder entsprechend im Steuerungssystem 26 gespeichert werden. Natürlich wäre es auch denkbar, die Berechnung der Parameter der Kamera 12 außerhalb des Steuerungssystems 26 bzw. der Be¬ rechnungsmittel 30 durchzuführen.
Durch die sehr hohe Genauigkeit der Maschinen- und Werkzeug¬ achsen der Produktionsmaschine bzw. des zugeordneten Maschi- nen- und Werkzeugkoordinatensystems kann somit die Position des Kalibrierungsobjektes 24 und schlussendlich auch die Po¬ sition der Kamera 12 innerhalb des Maschinenkoordinatensys¬ tems äußerst genau bestimmt werden, so dass sich eine sehr exakte Kalibrierung der Kamera 12 innerhalb des Arbeitsraums 10 der Produktionsmaschine realisieren lässt.

Claims

Patentansprüche
1. Verfahren zur Kalibrierung einer Kamera (12) in einer Produktionsmaschine, bei dem a) ein Kalibrierungsobjekt (24) in verschiedenen Positionen innerhalb der Maschine gebracht wird, b) das Kalibrierungsobjekt (24) in den jeweiligen Positionen von der Kamera (12) aufgenommen wird, c) Parameter des Kalibrierungsobjekts (24) den entsprechenden Aufnahmen der Kamera (12) zugeordnet werden, und d) Parameter der Kamera (12) mit in Schritt c) erhaltenen Daten ermittelt werden, d a d u r c h g e k e n n z e i c h n e t , dass
— die Positionen des Kalibrierungsobjekts (24) gemäß Schritt a) unter Zuhilfenahme eines Messsystems der Maschine be¬ stimmt wird, und dass
- die Ermittlung der Parameter der Kamera (12) gemäß Schritt d) unter Berücksichtigung der Daten des Messsystems der Maschine durchgeführt wird.
2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass das Kalibrierungsobjekt (24) vor der Durchführung des Schrittes a) an einer bewegten Maschinenachse der Produktionsmaschine angeordnet wird.
3. Verfahren nach einem der vorherigen Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass das Kalibrie¬ rungsobjekt vor der Durchführung des Schrittes a) an einem Werkzeug (20) bzw. einer Werkzeugaufnahme (22) der Maschine befestigt wird.
4. Verfahren nach Anspruch 3, d a d u r c h g e k e n n z e i c h n e t , dass ein Nullpunkt des Kalibrierungsobjek¬ tes (24) relativ zu einem Nullpunkt des Werkzeuges (20) bzw. der Werkzeugaufnahme (22) bestimmt wird.
5. Verfahren nach Anspruch 4, d a d u r c h g e k e n n z e i c h n e t , dass die Parameter des Kalibrierungsob- jekts (24) gemäß Schritt c) in Abhängigkeit des Nullpunkts des Werkzeuges (20) bzw. der Werkzeugaufnahme (22) bestimmt werden .
6. Verfahren nach einem der vorherigen Ansprüche, d a ¬ d u r c h g e k e n n z e i c h n e t , dass das Kalibrie¬ rungsobjekt (24) im Schritt a) in verschiedene Endpositionen eines Erfassungsfeldes der Kamera (12) innerhalb der Maschine gebracht wird.
7. Verfahren nach einem der vorherigen Ansprüche, d a ¬ d u r c h g e k e n n z e i c h n e t , dass die Zuordnung der Parameter des Kalibrierungsobjekts (24) zu den entspre¬ chenden Aufnahmen der Kamera mit einem Auswertungsmittel (28) durchgeführt wird.
8. Verfahren nach einem der vorherigen Ansprüche, d a ¬ d u r c h g e k e n n z e i c h n e t , dass die Ermitt¬ lung der Parameter der Kamera (12) gemäß Schritt d) unter Be- rücksichtigung von Daten eines Maschinen- und/oder Werkzeug¬ koordinatensystems der Maschine durchgeführt wird.
9. System zur Kalibrierung einer Kamera (12) in einer Produk¬ tionsmaschine, mit a) einem in verschiedene Positionen innerhalb der Maschine bringbaren Kalibrierungsobjekt (24), b) der Kamera (12), über die das Kalibrierungsobjekt (24) in den jeweiligen Positionen innerhalb der Maschine aufnehm¬ bar ist, und c) einem Auswertungsmittel (28), über welches die Parameter des Kalibrierungsobjekts (24) den entsprechenden Aufnahmen der Kamera (12) zuzuordnen sind, dadurch gekennzeichnet,
- dass ein Messsystem der Maschine vorgesehen ist, über wel- ches die Positionen des Kalibrierungsobjekts (24) zu bestimmen sind, und dass das Auswertungsmittel (28) mit dem Messsystem der Ma¬ schine verbunden ist.
10. System nach Anspruch 9, d a d u r c h g e k e n n ¬ z e i c h n e t , dass ein Berechnungsmittel vorgesehen ist, über welches die Parameter der Kamera (12) mit Daten des Aus¬ wertungsmittels (28) zu ermitteln sind.
11. System nach Anspruch 10, d a d u r c h g e k e n n ¬ z e i c h n e t , dass das Berechnungsmittel (30) mit dem Auswertungsmittel (28) verbunden ist.
12. System nach einem der Ansprüche 10 oder 11, d a ¬ d u r c h g e k e n n z e i c h n e t , dass das Kalibrie¬ rungsobjekt (24) an einer bewegten Maschinenachse der Produk¬ tionsmaschine angeordnet ist.
13. System nach Anspruch 10 bis 12, d a d u r c h g e ¬ k e n n z e i c h n e t , dass das Kalibrierungsobjekt (24) an einem Werkzeug (20) bzw. einer Werkzeugaufnahme (22) der Produktionsmaschine befestigt ist.
PCT/EP2006/066493 2005-09-26 2006-09-19 Verfahren und system zur kalibrierung einer kamera in produktionsmaschinen WO2007036457A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008531685A JP2009509778A (ja) 2005-09-26 2006-09-19 生産機械におけるカメラの校正方法及びシステム
US12/088,029 US20080218592A1 (en) 2005-09-26 2006-09-19 Method and System for Calibrating a Camera in Production Machines

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005045854.8 2005-09-26
DE102005045854A DE102005045854B3 (de) 2005-09-26 2005-09-26 Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen

Publications (2)

Publication Number Publication Date
WO2007036457A2 true WO2007036457A2 (de) 2007-04-05
WO2007036457A3 WO2007036457A3 (de) 2007-06-28

Family

ID=37887269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/066493 WO2007036457A2 (de) 2005-09-26 2006-09-19 Verfahren und system zur kalibrierung einer kamera in produktionsmaschinen

Country Status (5)

Country Link
US (1) US20080218592A1 (de)
JP (1) JP2009509778A (de)
CN (1) CN101273384A (de)
DE (1) DE102005045854B3 (de)
WO (1) WO2007036457A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602127B2 (en) 2014-12-24 2020-03-24 3M Innovative Properties Company 3D image capture apparatus with cover window fiducials for calibration
DE102022129462B3 (de) 2022-11-08 2023-11-09 Göpel electronic GmbH Anordnung zur Kalibrierung eines Kamerasystems, Kalibrierkörper und Verfahren zur Durchführung der Kalibrierung

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502068B2 (en) * 2004-06-22 2009-03-10 International Business Machines Corporation Sensor for imaging inside equipment
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
US8406922B2 (en) * 2009-07-31 2013-03-26 Fanuc Robotics America, Inc. System and method for setting the tool center point of a robotic tool
US20120057024A1 (en) * 2010-09-07 2012-03-08 General Electric Company System and method for monitoring component wear
US9505130B2 (en) * 2012-07-13 2016-11-29 General Electric Company System and method for performing remote welding operations on an apparatus
DE102014213518A1 (de) * 2014-07-11 2016-01-14 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren, Bearbeitungsmaschine und Computerprogrammprodukt zum bildbasierten Platzieren von Werkstückbearbeitungsvorgängen
US10828716B2 (en) 2017-06-19 2020-11-10 Lincoln Global, Inc. Systems and methods for real time, long distance, remote welding
DE102018101162B4 (de) 2018-01-19 2023-09-21 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
DE102022110111A1 (de) * 2022-04-27 2023-11-02 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren zum Überprüfen der Kalibrierung eines Bildverarbeitungssystems einer Blechbearbeitungsmaschine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0489919A1 (de) * 1990-05-30 1992-06-17 Fanuc Ltd. Eichsystem für einen optischen sensor
EP0493612A1 (de) * 1990-07-19 1992-07-08 Fanuc Ltd. Verfahren zum kalibrieren eines optischen sensors
US20050131582A1 (en) * 2003-10-01 2005-06-16 Arif Kazi Process and device for determining the position and the orientation of an image reception means
EP1584426A1 (de) * 2004-04-07 2005-10-12 Fanuc Ltd Vorrichtung zur Kalibrierung des Werkzeugbezugspunktes

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
US7362969B2 (en) * 2001-05-29 2008-04-22 Lucent Technologies Inc. Camera model and calibration procedure for omnidirectional paraboloidal catadioptric cameras
US6516248B2 (en) * 2001-06-07 2003-02-04 Fanuc Robotics North America Robot calibration system and method of determining a position of a robot relative to an electrically-charged calibration object
EP1472052A2 (de) * 2002-01-31 2004-11-03 Braintech Canada, Inc. Verfahren und vorrichtung für 3d-sicht geführte roboter mit einer kamera
DE102004007829B4 (de) * 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0489919A1 (de) * 1990-05-30 1992-06-17 Fanuc Ltd. Eichsystem für einen optischen sensor
EP0493612A1 (de) * 1990-07-19 1992-07-08 Fanuc Ltd. Verfahren zum kalibrieren eines optischen sensors
US20050131582A1 (en) * 2003-10-01 2005-06-16 Arif Kazi Process and device for determining the position and the orientation of an image reception means
EP1584426A1 (de) * 2004-04-07 2005-10-12 Fanuc Ltd Vorrichtung zur Kalibrierung des Werkzeugbezugspunktes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MULLIGAN J ED - INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS: "FAST CALIBRATED STEREO VISION FOR MANIPULATION" PROCEEDINGS OF THE 1996 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION. MINNEAPOLIS, APR. 22 - 28, 1996, PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, NEW YORK, IEEE, US, Bd. VOL. 3 CONF. 13, 22. April 1996 (1996-04-22), Seiten 2326-2331, XP000772555 ISBN: 0-7803-2989-9 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602127B2 (en) 2014-12-24 2020-03-24 3M Innovative Properties Company 3D image capture apparatus with cover window fiducials for calibration
DE102022129462B3 (de) 2022-11-08 2023-11-09 Göpel electronic GmbH Anordnung zur Kalibrierung eines Kamerasystems, Kalibrierkörper und Verfahren zur Durchführung der Kalibrierung
EP4369299A1 (de) 2022-11-08 2024-05-15 Göpel electronic GmbH Anordnung zur kalibrierung eines kamerasystems, kalibrierkörper und verfahren zur durchführung der kalibrierung

Also Published As

Publication number Publication date
WO2007036457A3 (de) 2007-06-28
US20080218592A1 (en) 2008-09-11
JP2009509778A (ja) 2009-03-12
DE102005045854B3 (de) 2007-04-12
CN101273384A (zh) 2008-09-24

Similar Documents

Publication Publication Date Title
WO2007036457A2 (de) Verfahren und system zur kalibrierung einer kamera in produktionsmaschinen
DE102016116702B4 (de) Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
DE102007016056B4 (de) Verfahren und Vorrichtung zur Werkstückeinmessung und Werkstückbearbeitung
EP2227356B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
EP1711777B2 (de) Verfahren zur bestimmung der lage und der relativverschiebung eines objekts im raum
EP2448722B1 (de) Kalibrierungsverfahren für ein Messsystem
EP0520396B1 (de) Automatische Werkzeugvermessung
EP2603767B1 (de) Verfahren zum kalibrieren eines messsystems und vorrichtung zum durchführen des verfahrens
DE102007053993A1 (de) Verfahren und Vorrichtung zur Werkzeugvermessung
DE112019004853T5 (de) Kalibrierungsverfahren für ein Bildverarbeitungssystem mit mehreren Freiheitsgraden
DE102016102579A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Vielzahl von Raumkoordinaten an einem Gegenstand
DE102018007287B4 (de) Roboter-Controller zum Durchführen einer Kalibrierung, Messsystem und Kalibrierverfahren
DE102011002625A1 (de) Vorrichtung und Verfahren zum Erfassen der Lage eines Objekts in einer Werkzeugmaschine
DE102018127221A1 (de) Koordinatenmesssystem
EP1468792A2 (de) Verfahren zum Kalibrieren eines Roboters
WO2013087433A1 (de) Dynamische ergebnisprojektion bei bewegtem prüfobjekt
DE102017100885B4 (de) Verfahren und vorrichtung zum erzeugen und projizieren eines 3d-thermogramms samt daten zu den aufnahmebedingungen
DE19927496B4 (de) Verfahren zum Messen eines mit wenigstens einer Schneide ausgebildeten Werkzeugs sowie Einstell- und Messgeräte
WO2009018894A1 (de) Verfahren und vorrichtung zum bestimmen von geometriedaten eines messobjekts
EP1471401B1 (de) Verfahren zur Einmessung des Koordinatensystems einer Kamera eines Roboters gegenüber dem Koordinatensystem des Roboters oder umgekehrt
DE102017122627B4 (de) Optisches Messsystem und Messverfahren
DE102008004578A1 (de) Verfahren zum Messen eines mit mindestens einer Schneide versehenen Rotationswerkzeuges sowie Messvorrichtung hierfür
EP3924135A1 (de) Verfahren zum einrichten einer werkzeugmaschine und fertigungssystem
DE10111729A1 (de) Verfahren zur Bestimmung der Lage eines Körpers im Raum
DE10327479A1 (de) Einrichtung zur Bestimmung der Position eines Werkstücks und Verfahren dafür unter Verwendung von mindestens einer elektronischen Kamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2008531685

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12088029

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200680035447.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06806779

Country of ref document: EP

Kind code of ref document: A2