WO2020109033A1 - Method for determining calibration parameters of a camera - Google Patents

Method for determining calibration parameters of a camera Download PDF

Info

Publication number
WO2020109033A1
WO2020109033A1 PCT/EP2019/081504 EP2019081504W WO2020109033A1 WO 2020109033 A1 WO2020109033 A1 WO 2020109033A1 EP 2019081504 W EP2019081504 W EP 2019081504W WO 2020109033 A1 WO2020109033 A1 WO 2020109033A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
camera
parameters
calibration pattern
recording
Prior art date
Application number
PCT/EP2019/081504
Other languages
German (de)
French (fr)
Inventor
Raul Acuna
Volker Willert
Original Assignee
Technische Universität Darmstadt
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universität Darmstadt filed Critical Technische Universität Darmstadt
Publication of WO2020109033A1 publication Critical patent/WO2020109033A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Definitions

  • the invention relates to a method for determining calibration parameters of a camera.
  • extrinsic and intrinsic camera parameters or calibration parameters can be determined.
  • the intrinsic camera parameters are, in particular, a focal length of the camera, coordinates of one
  • the intrinsic camera parameters contain the distortion parameters of the lens used.
  • the extrinsic camera parameters are
  • Camera models contain unknown camera parameters calculated using the recorded scenes using known identification methods. With these methods one uses the knowledge of the arrangement as well as the
  • intrinsic parameters require that either the scene used contains depth information or that when using two-dimensional scenes, multiple shots of the scene from different directions and in
  • 3D calibration bodies as calibration patterns is known from the prior art, for example.
  • Calibration pattern is therefore particularly in the high density of high-contrast transitions in the used
  • the disadvantage here is the need to have to take several recordings in order to obtain sufficient depth information.
  • This object is achieved according to the invention by a method for determining calibration parameters of a camera, with a predetermined one in one display step
  • the calibration parameters are determined on the basis of the recording.
  • known 2D calibration patterns can be three-dimensional
  • the method according to the invention is advantageously carried out fully automatically and can be used, for example, in a camera production line, since manual calibration of the relative orientation of the camera to the three-dimensional represented on the surface
  • the method according to the invention can also be used to calibrate several connected cameras, so-called
  • Multi-camera systems such as those used for camera drones, are used.
  • Multi-camera systems such as those used for camera drones.
  • a three-dimensionally extending surface is provided for each camera of the multi-camera system, so that the method according to the invention can be carried out simultaneously for all cameras of the multi-camera system.
  • a relative pose of the several cameras is also determined.
  • Known two-dimensional calibration patterns are advantageously used for the calibration.
  • the two-dimensional calibration patterns are based on the geometry of the
  • Calibration pattern objects of the respective calibration pattern to be taken into account when later assigning image points of the recording to corresponding 3D coordinates of the calibration pattern.
  • the invention provides for the surface to be concavely curved in at least one direction. With concave curved surfaces, a particularly large amount of 3D information can be generated, with the
  • three-dimensional object or the surface used is particularly simple.
  • the surface is curved with a radius of curvature.
  • the surface is advantageously concavely curved in only one direction.
  • the use of such surfaces in the form of sections of a cylinder jacket enables particularly simple assignment of the two-dimensional calibration patterns in 3D coordinates.
  • the invention provides that the camera is aligned relative to the surface in such a way that an optical axis of the camera passes through a center of curvature and a
  • the optical axis is advantageously aligned perpendicular to the surface.
  • the method according to the invention can be implemented particularly simply in that the surface is a concavely curved screen.
  • Such curved displays are comparatively inexpensive and, despite the comparatively small depth, offer
  • the calibration pixels are generated by a projector. For this it is necessary to determine the relative arrangement of the projector and the surface before the start of the
  • the camera is arranged relative to the surface in such a way that the camera can capture the entire calibration pattern and the recording represents the calibration pattern as far as possible. In this way, in particular
  • Distortion parameters can be determined particularly precisely.
  • a relative position calculation step is carried out in the determination process, a relative position of the camera to the surface being determined on the basis of the known dimensions of the calibration pattern areas on the surface and the recording of the calibration pattern.
  • each recording image point being assigned to at least one calibration image point. Because of the known and predetermined arrangement of the different calibration pattern areas
  • Image rectification step is carried out in the determination process, wherein distortion parameters of the
  • Point extraction step assignment and the predetermined calibration pattern are determined and where the Distortion parameters represent calibration parameters.
  • Vector field used that specifies a displacement vector for the distortion for each pixel.
  • a distortion in the recording and the use of the distortion parameters is corrected and that a focal length and an optical center of the camera are determined using the corrected recording, these parameters forming further calibration parameters.
  • Figure 1 is a schematic representation of the sequence of the method according to the invention.
  • Representation step 1 is initially a predetermined one
  • Relative position calculation step 3 of a determination process determines position parameters 4 which characterize a relative position between the surface and a CCD chip used in the camera. In the determination process, a point extraction step 5 is carried out, in the point extraction step 5 corresponding calibration pixels are assigned to the recording pixels.
  • both the distortion parameters of the camera are determined and the distortion of the image by the determined ones
  • Distortion parameters are corrected.
  • the recording 7 corrected in this way is then used in a further step 8 of the determination process to determine the further calibration parameters.

Abstract

The invention relates to a method for determining calibration parameters of a camera. In a displaying step (1), a specified calibration pattern is displayed on a specified and three-dimensionally extending continuous surface by means of calibration pixels arranged in the form of a matrix, such that dimensions of calibration pattern regions of the specified calibration pattern on the specified surface are known. The brightness and the color of each calibration pixel is electronically specified. In a capturing step (2) following the displaying step (1), an image of the calibration pattern is created by means of the camera. In a subsequent determination process, the calibrating parameters are determined on the basis of the image.

Description

Verfahren zur Bestimmung von Kalibrierungsparametern einer Kamera Method for determining calibration parameters of a camera
Die Erfindung betrifft ein Verfahren zur Bestimmung von Kalibrierungsparametern einer Kamera. The invention relates to a method for determining calibration parameters of a camera.
Aus dem Stand der Technik sind verschiedene Various are from the prior art
Kalibrierungsverfahren bekannt, mit denen sowohl Calibration procedures known with which both
extrinsische als auch intrinsische Kameraparameter bzw. Kalibrierungsparameter bestimmt werden können. Bei den intrinsischen Kameraparametern handelt es sich insbesondere um eine Brennweite der Kamera, um Koordinaten eines extrinsic and intrinsic camera parameters or calibration parameters can be determined. The intrinsic camera parameters are, in particular, a focal length of the camera, coordinates of one
Bildmittelpunkts von Aufnahmen der Kamera, um Center of image from shots of the camera to
Skalierungsfaktoren in beiden Achsenrichtungen der Scaling factors in both axis directions of the
Bildebene, mit denen Bildkoordinaten in Pixeleinheiten der jeweils in der Kamera verwendeten CCD-Aufnahmeeinrichtung umgerechnet werden können sowie um einen Scherungsfaktor. Des Weiteren beinhalten die intrinsischen Kameraparameter die Verzeichnungsparameter des verwendeten Objektivs. Bei den extrinsischen Kameraparametern handelt es sich Image plane with which image coordinates can be converted into pixel units of the CCD recording device used in the camera and by a shear factor. Furthermore, the intrinsic camera parameters contain the distortion parameters of the lens used. The extrinsic camera parameters are
insbesondere um die Lage der Kamera relativ zu einem especially the position of the camera relative to one
Kalibrierkörper oder dergleichen beschrieben durch eine Pose, die die relative Objektlage und die relative Calibration body or the like described by a pose, the relative object position and the relative
Objektorientierung zwischen Kamera und Kalibierkörper beschreibt . Object orientation between camera and calibration body describes.
Aus dem Stand der Technik ist es bekannt, diese It is known from the prior art
Kameraparameter aus Aufnahmen der jeweiligen Kamera von vorgegebenen Szenen zu ermitteln. Zu diesem Zweck werden mathematische Kameramodelle verwendet und die in den To determine camera parameters from recordings of the respective camera from given scenes. For this purpose, mathematical camera models are used and those in the
Kameramodellen enthaltenen unbekannten Kameraparameter unter Verwendung der aufgenommenen Szenen mit bekannten Identifikationsverfahren berechnet. Bei diesen Verfahren nutzt man die Kenntnis über die Anordnung sowie die Camera models contain unknown camera parameters calculated using the recorded scenes using known identification methods. With these methods one uses the knowledge of the arrangement as well as the
Abmessungen der Objekte der aufgenommenen Szene aus, um die Kameraparameter so anzupassen, dass die jeweilige Aufnahme möglichst gut die vorgegebene Szene abbildet. Dimensions of the objects of the recorded scene in order to adapt the camera parameters so that the respective image depicts the specified scene as well as possible.
Bei dem aus dem Stand der Technik bekannten Verfahren werden verschiedene Szenen eingesetzt, um die In the case of the method known from the prior art, various scenes are used in order to
Kameraparameter zu ermitteln. Den verwendeten Szenen ist üblicherweise gemein, dass die verwendeten Objekte starke Kontraste aufweisen, um deutliche Übergänge in den Determine camera parameters. The scenes used usually have in common that the objects used have strong contrasts in order to make clear transitions in the
ermittelten Aufnahmen erkennen und automatisiert bestimmen zu können. Zudem ist es zur Bestimmung sämtlicher be able to recognize and automatically determine determined images. It is also used to determine all
intrinsischer Parameter erforderlich, dass entweder die verwendete Szene Tiefeninformationen beinhaltet oder dass bei Verwendung zweidimensionaler Szenen mehrere Aufnahmen der Szene aus verschiedenen Richtungen und in intrinsic parameters require that either the scene used contains depth information or that when using two-dimensional scenes, multiple shots of the scene from different directions and in
unterschiedlichen Abständen aufgenommen und für die recorded at different distances and for the
Bestimmung der Kameraparameter verwendet werden. Diese Szenen werden im Folgenden auch als Kalibriermuster Determination of the camera parameters can be used. These scenes are also called calibration samples below
bezeichnet . designated .
Aus dem Stand der Technik ist beispielsweise die Verwendung von 3D-Kalibrierkörpern als Kalibriermuster bekannt. The use of 3D calibration bodies as calibration patterns is known from the prior art, for example.
Hierbei führt jedoch insbesondere die geringe Dichte der für die Bestimmung der Kameraparameter verwendbaren However, the low density of those that can be used to determine the camera parameters leads in particular
Referenzpunkte sowie die vorgegebene Anzahl und Verteilung der Referenzpunkte während des Kalibriervorgangs zu einer vergleichsweise ungenauen Bestimmung der Kameraparameter. Aus diesem Grund werden in dem Stand der Technik häufig 2D- Kalibriermuster wie beispielsweise Schachbrettmuster für den Kalibriervorgang verwendet, die aus mehreren Reference points as well as the specified number and distribution of the reference points during the calibration process for a comparatively imprecise determination of the camera parameters. For this reason, 2D calibration patterns such as checkerboard patterns are often used in the prior art used the calibration process, which consists of several
Perspektiven mit der Kamera aufgenommen werden. Diese Perspectives are recorded with the camera. These
Verfahren ermöglichen zwar eine vergleichsweise exakte Bestimmung insbesondere der intrinsischen Kameraparameter, erfordern durch die Vielzahl von Aufnahmen jedoch einen erheblichen Kalibrieraufwand. Although methods enable a comparatively exact determination, in particular of the intrinsic camera parameters, due to the large number of recordings, however, considerable calibration effort is required.
Aus dem Stand der Technik ist es auch bekannt, 2D- Kalibriermuster auf Flachbildschirmen darzustellen, sodass auch unterschiedliche Kalibriermuster einfach zur It is also known from the prior art to display 2D calibration patterns on flat screens, so that different calibration patterns are also easy to use
Kalibrierung verwendet werden können. Hierdurch kann der Aufwand für die Ermittlung mehrerer Aufnahmen aus Calibration can be used. As a result, the effort for the determination of several recordings can be made
unterschiedlichen Perspektiven jedoch nicht reduziert werden . different perspectives, however, cannot be reduced.
Der Vorteil der verwendeten zweidimensionalen The advantage of the two-dimensional used
Kalibriermuster liegt also insbesondere in der hohen Dichte an kontrastreichen Übergängen in dem verwendeten Calibration pattern is therefore particularly in the high density of high-contrast transitions in the used
Kalibriermuster, die in den von dem Kalibriermuster erzeugten Aufnahmen durch automatisierte Verfahren Calibration pattern, which in the recordings generated by the calibration pattern by automated methods
zuverlässig ermittelt werden können, um die Zuordnung der bekannten Ausrichtungen und Abmessungen der verschiedenen Objekte des Kalibriermusters und der von diesen erzeugten Abbildungen für die Bestimmung der verschiedenen can be reliably determined to the assignment of the known orientations and dimensions of the various objects of the calibration pattern and the images generated by them for the determination of the different
Kameraparameter nutzen zu können. Nachteilig hierbei ist das Erfordernis, mehrere Aufnahmen erzeugen zu müssen, um ausreichende Tiefeninformationen zu erhalten. To be able to use camera parameters. The disadvantage here is the need to have to take several recordings in order to obtain sufficient depth information.
Um diesen Nachteil zu vermeiden ist es aus dem Stand der Technik auch bekannt, mehrere Flachbildschirme versetzt und relativ zueinander verschwenkt anzuordnen, um mit einer Aufnahme zusätzliche 3D-Informationen beziehungsweise Tiefeninformationen zu erhalten. Hierbei ist jedoch eine aufwändige Kalibrierung der Position der verschiedenen Bildschirme relativ zueinander erforderlich. In order to avoid this disadvantage, it is also known from the prior art to arrange several flat screens offset and pivoted relative to one another in order to provide additional 3D information or To get depth information. Here, however, a complex calibration of the position of the different screens relative to one another is required.
Als Aufgabe der Erfindung wird es angesehen, die aus dem Stand der Technik bekannten Verfahren derart weiter zu entwickeln, dass mit möglichst geringem Aufwand, It is considered an object of the invention to further develop the methods known from the prior art in such a way that, with the least possible effort,
vollautomatisiert sämtliche Kameraparameter mit möglichst hoher Genauigkeit ermittelt werden können. fully automated, all camera parameters can be determined with the highest possible accuracy.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Bestimmung von Kalibrierungsparametern einer Kamera gelöst, wobei in einem Darstellungsschritt ein vorgegebenes This object is achieved according to the invention by a method for determining calibration parameters of a camera, with a predetermined one in one display step
Kalibriermuster durch matrixförmig angeordnete Calibration pattern through matrix-shaped
Kalibrierbildpunkte auf einer vorgegebenen und sich Calibration pixels on a given and yourself
dreidimensional erstreckenden Oberfläche dargestellt wird, sodass Abmessungen von Kalibriermusterbereichen des three-dimensionally extending surface is shown, so that dimensions of calibration pattern areas of the
vorgegebenen Kalibriermusters auf der vorgegebenen predefined calibration pattern on the predefined
Oberfläche bekannt sind, wobei eine Helligkeit und eine Farbe jedes Kalibrierbildpunkts elektronisch vorgegeben wird, wobei in einem auf den Darstellungsschritt folgenden Erfassungsschritt eine Aufnahme des Kalibriermusters mit der Kamera erstellt wird und wobei in einem sich Surface are known, wherein a brightness and a color of each calibration pixel is specified electronically, a recording of the calibration pattern being made with the camera in a detection step following the display step, and in one
anschließenden Bestimmungsvorgang die Kalibrierparameter auf Grundlage der Aufnahme bestimmt werden. Auf diese Weise können bekannte 2D-Kalibriermuster dreidimensional subsequent determination process, the calibration parameters are determined on the basis of the recording. In this way, known 2D calibration patterns can be three-dimensional
dargestellt werden, sodass der Kalibriervorgang bereits mit einer Aufnahme zuverlässig durchgeführt werden kann. Das erfindungsgemäße Verfahren wird vorteilhafterweise voll automatisch durchgeführt und kann beispielsweise in einer Kameraproduktionslinie eingesetzt werden, da eine manuelle Kalibrierung der relativen Ausrichtung der Kamera zu dem auf der Oberfläche dargestellten dreidimensionalen are displayed so that the calibration process can be carried out reliably with just one exposure. The method according to the invention is advantageously carried out fully automatically and can be used, for example, in a camera production line, since manual calibration of the relative orientation of the camera to the three-dimensional represented on the surface
Kalibriermuster nicht erforderlich ist und die manuelle Positionierung des Kalibrierkörpers an unterschiedlichen Position entfällt. Calibration pattern is not required and the manual positioning of the calibration body at different positions is not necessary.
Das erfindungsgemäße Verfahren kann auch zu Kalibrierung mehrerer zusammenhängender Kameras, sogenannter The method according to the invention can also be used to calibrate several connected cameras, so-called
Multikamerasysteme wie sie zum Beispiel bei Kameradrohnen eingesetzt werden, verwendet werden. Hierbei ist Multi-camera systems, such as those used for camera drones, are used. Here is
vorteilhafterweise vorgesehen, dass für jede Kamera des Multikamerasystems eine sich dreidimensional erstreckende Oberfläche bereitgestellt wird sodass das erfindungsgemäße Verfahren für sämtliche Kameras des Multikamerasystems gleichzeitig durchgeführt werden kann. It is advantageously provided that a three-dimensionally extending surface is provided for each camera of the multi-camera system, so that the method according to the invention can be carried out simultaneously for all cameras of the multi-camera system.
Es ist auch möglich und erfindungsgemäß vorgesehen, mehrere Kameras mit sich überlappenden Aufnahmebereichen bzw. It is also possible and provided according to the invention to use several cameras with overlapping recording areas or
Sichtfeldern über eine einzige sich dreidimensional Fields of view across a single itself three-dimensional
erstreckende Oberfläche gemeinsam zu kalibrieren. Hierbei wird zusätzlich eine Relativpose der mehreren Kameras bestimmt . extending surface to be calibrated together. Here, a relative pose of the several cameras is also determined.
Vorteilhafterweise werden für die Kalibrierung bekannte zweidimensionale Kalibriermuster verwendet. Zu diesem Zweck ist vorteilhafterweise vorgesehen, die zweidimensionalen Kalibriermuster auf Grundlage von der Geometrie der Known two-dimensional calibration patterns are advantageously used for the calibration. For this purpose, it is advantageously provided that the two-dimensional calibration patterns are based on the geometry of the
verwendeten Oberfläche abhängiger used surface dependent
Transformationsvorschriften in dreidimensionale Transformation rules into three-dimensional
Kalibriermuster zu überführen. Es ist jedoch auch möglich und erfindungsgemäß vorgesehen, die bekannten To transfer calibration samples. However, it is also possible and provided according to the invention, the known ones
zweidimensionalen Kalibriermuster direkt auf der sich dreidimensional erstreckenden Oberfläche darzustellen und die hierbei erzeugten Verzerrungen der verschiedenen display two-dimensional calibration patterns directly on the three-dimensionally extending surface and the distortions generated by the various
Kalibriermusterobjekte des jeweiligen Kalibriermusters bei der späteren Zuordnung von Bildpunkten der Aufnahme zu entsprechenden 3D-Koordinaten des Kalibriermusters zu berücksichtigen . Calibration pattern objects of the respective calibration pattern to be taken into account when later assigning image points of the recording to corresponding 3D coordinates of the calibration pattern.
Um diese Zusammenhänge besonders einfach berücksichtigen zu können, ist erfindungsgemäß vorgesehen, dass die Oberfläche in mindestens einer Richtung konkav gekrümmt ist. Bei konkav gekrümmten Oberflächen können besonders viele 3D- Informationen erzeugt werden, wobei gleichzeitig die In order to be able to take these relationships into account in a particularly simple manner, the invention provides for the surface to be concavely curved in at least one direction. With concave curved surfaces, a particularly large amount of 3D information can be generated, with the
Überführung der zweidimensionalen Kalibriermuster in ein 3D-Koordinatensystem des konkav gekrümmten Transfer of the two-dimensional calibration pattern into a 3D coordinate system of the concave curve
dreidimensionalen Objekts beziehungsweise der verwendeten Oberfläche besonders einfach möglich ist. three-dimensional object or the surface used is particularly simple.
Vorteilhafterweise ist erfindungsgemäß vorgesehen, dass die Oberfläche mit einem Krümmungsradius gekrümmt ist. It is advantageously provided according to the invention that the surface is curved with a radius of curvature.
Vorteilhafterweise ist die Oberfläche in ausschließlich einer Richtung konkav gekrümmt. Durch die Verwendung derartiger zylindermantelabschnittsförmiger Oberflächen ist eine besonders einfache Zuordnung der zweidimensionalen Kalibriermuster in 3D-Koordinaten möglich. The surface is advantageously concavely curved in only one direction. The use of such surfaces in the form of sections of a cylinder jacket enables particularly simple assignment of the two-dimensional calibration patterns in 3D coordinates.
Um das Kalibriermuster möglichst vollständig in der In order to complete the calibration pattern as completely as possible
Aufnahme abzubilden und die Aufnahme möglichst vollständig mit dem Kalibriermuster auszufüllen, ist erfindungsgemäß vorgesehen, dass die Kamera relativ zu der Oberfläche so ausgerichtet wird, dass eine optische Achse der Kamera durch einen Krümmungsmittelpunkt und einen To map the image and to fill the image as completely as possible with the calibration pattern, the invention provides that the camera is aligned relative to the surface in such a way that an optical axis of the camera passes through a center of curvature and a
Oberflächenmittelpunkt der Oberfläche verläuft. Vorteilhafterweise ist die optische Achse senkrecht zu der Oberfläche ausgerichtet. Surface center point of the surface runs. The optical axis is advantageously aligned perpendicular to the surface.
Das erfindungsgemäße Verfahren kann besonders einfach dadurch umgesetzt werden, dass es sich bei der Oberfläche um einen konkav gekrümmten Bildschirm handelt. Derartige Curved-Displays sind vergleichsweise kostengünstig und bieten trotz der vergleichsweise geringen Tiefe The method according to the invention can be implemented particularly simply in that the surface is a concavely curved screen. Such curved displays are comparatively inexpensive and, despite the comparatively small depth, offer
beziehungsweise des großen Krümmungsradius ausreichende Tiefeninformation für die Bestimmung der Kameraparameter. or the large radius of curvature, sufficient depth information for the determination of the camera parameters.
Es ist jedoch auch möglich und erfindungsgemäß vorgesehen, dass die Kalibrierbildpunkte durch einen Projektor erzeugt werden. Hierzu ist es erforderlich, die relative Anordnung des Projektors und der Oberfläche vor Beginn des However, it is also possible and provided according to the invention that the calibration pixels are generated by a projector. For this it is necessary to determine the relative arrangement of the projector and the surface before the start of the
beziehungsweise der mehreren Kalibrierungsprozesse einmalig zu kalibrieren, um die Verzerrung des verwendeten or to calibrate the one or more calibration processes once in order to distort the used one
Kalibriermusters auf der Oberfläche bestimmen zu können. To be able to determine the calibration pattern on the surface.
Vorteilhafterweise ist erfindungsgemäß vorgesehen, dass die Kamera relativ zu der Oberfläche so angeordnet wird, dass die Kamera das gesamte Kalibriermuster erfassen kann und die Aufnahme möglichst weitestgehend das Kalibriermuster darstellt. Auf diese Weise können insbesondere die It is advantageously provided according to the invention that the camera is arranged relative to the surface in such a way that the camera can capture the entire calibration pattern and the recording represents the calibration pattern as far as possible. In this way, in particular
Verzeichnungsparameter besonders exakt bestimmt werden. Distortion parameters can be determined particularly precisely.
Um eine möglichst genaue Bestimmung der Kalibrierparameter zu erreichen, ist erfindungsgemäß vorgesehen, dass in einem Darstellungs- und Erfassungsvorgang mehrere Darstellungs und Erfassungsschritte jeweils aufeinanderfolgend In order to achieve the most accurate possible determination of the calibration parameters, it is provided according to the invention that in a display and acquisition process, several display and acquisition steps, each in succession
durchgeführt werden, wobei in jedem Darstellungsschritt ein anderes Kalibriermuster dargestellt wird. Bei dieser Ausgestaltung des Verfahrens werden zur Bestimmung der Kalibrierparameter mehrere Aufnahmen verwendet. Diese be carried out, with a different calibration pattern being displayed in each display step. At this Embodiment of the method, several recordings are used to determine the calibration parameters. These
Aufnahmen können jedoch vollautomatisiert und ohne However, recordings can be fully automated and without
Neuausrichtung der relativen Position der Kamera und der Oberfläche zueinander ausgeführt werden. Realignment of the relative position of the camera and the surface to each other can be performed.
Zur Bestimmung der Kalibrierungsparameter ist To determine the calibration parameters is
erfindungsgemäß vorgesehen, dass in dem Bestimmungsvorgang ein Relativlagenberechnungsschritt durchgeführt wird, wobei eine relative Lage der Kamera zu der Oberfläche anhand der bekannten Abmessungen der Kalibriermusterbereiche auf der Oberfläche und der Aufnahme des Kalibriermusters bestimmt wird . According to the invention, it is provided that a relative position calculation step is carried out in the determination process, a relative position of the camera to the surface being determined on the basis of the known dimensions of the calibration pattern areas on the surface and the recording of the calibration pattern.
Vorteilhafterweise ist erfindungsgemäß vorgesehen, dass in dem Bestimmungsvorgang ein Punktextraktionsschritt According to the invention, it is advantageously provided that a point extraction step is carried out in the determination process
durchgeführt wird, wobei in dem Punktextraktionsschritt jeder Aufnahmebildpunkt mindestens einem Kalibrierbildpunkt zugeordnet wird. Aufgrund der bekannten und vorgegebenen Anordnung der verschiedenen Kalibriermusterbereiche is carried out, in the point extraction step each recording image point being assigned to at least one calibration image point. Because of the known and predetermined arrangement of the different calibration pattern areas
beziehungsweise Kalibriermusterobjekte relativ zueinander, können die Koordinaten der Aufnahmebildpunkte or calibration pattern objects relative to each other, the coordinates of the image points
entsprechenden Referenzkoordinaten des Kalibriermusters zugeordnet werden. corresponding reference coordinates of the calibration pattern can be assigned.
Vorteilhafterweise ist erfindungsgemäß vorgesehen, dass nach dem Punktextraktionsschritt ein According to the invention, it is advantageously provided that after the point extraction step
Bildgleichrichtungsschritt in dem Bestimmungsvorgang durchgeführt wird, wobei Verzeichnungsparameter des Image rectification step is carried out in the determination process, wherein distortion parameters of the
Objektivs der Kamera auf Grundlage der in dem Lens of the camera based on that in the
Punktextraktionsschritt erfolgten Zuordnung sowie des vorgegebenen Kalibriermusters bestimmt werden und wobei die Verzeichnungsparameter Kalibrierparameter darstellen. Point extraction step assignment and the predetermined calibration pattern are determined and where the Distortion parameters represent calibration parameters.
Vorteilhafterweise wird zur Bildgleichrichtung ein Advantageously, is used for image rectification
Vektorfeld eingesetzt, dass für jeden Bildpunkt einen Verschiebungsvektor für die Verzeichnung angibt. Vector field used that specifies a displacement vector for the distortion for each pixel.
Vorteilhafterweise ist erfindungsgemäß vorgesehen, dass eine Verzeichnung in der Aufnahme und der Verwendung der Verzeichnungsparameter korrigiert wird und dass unter Verwendung der korrigierten Aufnahme eine Brennweite und ein optisches Zentrum der Kamera bestimmt werden, wobei diese Parameter weitere Kalibrierparameter bilden. It is advantageously provided according to the invention that a distortion in the recording and the use of the distortion parameters is corrected and that a focal length and an optical center of the camera are determined using the corrected recording, these parameters forming further calibration parameters.
Weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens werden anhand eines in der Zeichnung Further advantageous embodiments of the method according to the invention are shown in the drawing
dargestellten Ausführungsbeispiels näher erläutert. illustrated embodiment explained in more detail.
Es zeigt: It shows:
Figur 1 eine schematische Darstellung des Ablaufs des erfindungsgemäßen Verfahrens. Figure 1 is a schematic representation of the sequence of the method according to the invention.
Bei dem in Figur 1 schematisch dargestellten Ablaufdiagramm des erfindungsgemäßen Verfahrens wird in einem In the flowchart of the method according to the invention shown schematically in FIG
Darstellungsschritt 1 zunächst ein vorgegebenes Representation step 1 is initially a predetermined one
Kalibriermuster auf einem Curved-Display dargestellt. Calibration pattern shown on a curved display.
Anschließend wird in einem Erfassungsschritt 2 eine Subsequently, a
Aufnahme des Kalibriermusters erstellt. Ausgehend von dieser Aufnahme werden in einem Recording of the calibration pattern created. Based on this recording, in one
Relativlagenberechnungsschritt 3 eines Bestimmungsvorgangs Lageparameter 4 bestimmt, die eine relative Lage zwischen der Oberfläche und eines in der Kamera verwendeten CCD- Chips charakterisieren. In dem Bestimmungsvorgang wird zudem ein Punktextraktionsschritt 5 durchgeführt, wobei in dem Punktextraktionsschritt 5 den Aufnahmebildpunkten entsprechende Kalibrierbildpunkte zugeordnet werden. Relative position calculation step 3 of a determination process determines position parameters 4 which characterize a relative position between the surface and a CCD chip used in the camera. In the determination process In addition, a point extraction step 5 is carried out, in the point extraction step 5 corresponding calibration pixels are assigned to the recording pixels.
Anschließend wird ein Bildgleichrichtungsschritt 6 Then an image rectification step 6
durchgeführt wobei in dem Bildgleichrichtungsschritt 6 sowohl Verzeichnungsparameter der Kamera ermittelt als auch die Verzeichnung der Aufnahme durch die ermittelten carried out, in the image rectification step 6, both the distortion parameters of the camera are determined and the distortion of the image by the determined ones
Verzeichnungsparameter korrigiert werden. Die derart korrigierte Aufnahme 7 wird anschließend in einem weiteren Schritt 8 des Bestimmungsvorgangs dazu verwendet, die weiteren Kalibrierparameter zu bestimmen. Distortion parameters are corrected. The recording 7 corrected in this way is then used in a further step 8 of the determination process to determine the further calibration parameters.

Claims

P A T E N T A N S P R Ü C H E PATENT CLAIMS
1. Verfahren zur Bestimmung von Kalibrierungsparametern einer Kamera, wobei in einem Darstellungsschritt (1) ein vorgegebenes Kalibriermuster durch matrixförmig angeordnete Kalibrierbildpunkte auf einer vorgegebenen und sich 1. A method for determining calibration parameters of a camera, wherein in a display step (1) a predetermined calibration pattern by means of calibration pixels arranged in a matrix on a predetermined and itself
dreidimensional erstreckenden zusammenhängenden Oberfläche dargestellt wird, sodass Abmessungen von three-dimensionally extending coherent surface is represented, so dimensions of
Kalibriermusterbereichen des vorgegebenen Kalibriermusters auf der vorgegebenen Oberfläche bekannt sind, wobei eine Helligkeit und ein Farbe jedes Kalibrierbildpunkts Calibration pattern areas of the predetermined calibration pattern on the predetermined surface are known, with a brightness and a color of each calibration pixel
elektronisch vorgegeben wird, wobei in einem auf den is specified electronically, in one on the
Darstellungschritt (1) folgenden Erfassungsschritt (2) eine Aufnahme des Kalibriermusters mit der Kamera erstellt wird und wobei in einem sich anschließenden Bestimmungsvorgang die Kalibrierparameter auf Grundlage der Aufnahme bestimmt werden . Representation step (1) following acquisition step (2), a recording of the calibration pattern is made with the camera and the calibration parameters are determined on the basis of the recording in a subsequent determination process.
2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Oberfläche in mindestens einer Richtung konkav gekrümmt ist . 2. The method according to claim 1, characterized in that the surface is concavely curved in at least one direction.
3. Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, dass die Oberfläche mit einem Krümmungsradius gekrümmt ist. 3. The method according to claim 2, characterized in that the surface is curved with a radius of curvature.
4. Verfahren gemäß Anspruch 3, dadurch gekennzeichnet, dass die Kamera relativ zu der Oberfläche so ausgerichtet wird, dass eine optische Achse der Kamera durch einen 4. The method according to claim 3, characterized in that the camera is aligned relative to the surface so that an optical axis of the camera by a
Krümmungsmittelpunkt und einen Oberflächenmittelpunkt der Oberfläche verläuft. Center of curvature and a surface center of the surface runs.
5. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei der Oberfläche um einen konkav gekrümmten Bildschirm handelt. 5. The method according to any one of the preceding claims, characterized in that the surface is a concave curved screen.
6. Verfahren gemäß einem Ansprüche 1 bis 4, dadurch 6. The method according to any one of claims 1 to 4, characterized
gekennzeichnet, dass die Kalibrierbildpunkte durch einen Projektor erzeugt werden. characterized in that the calibration pixels are generated by a projector.
7. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera relativ zu der Oberfläche so angeordnet wird, dass die Kamera das gesamte Kalibriemuster erfassen kann und die Aufnahme möglichst weitgehend das Kalibriermuster darstellt. 7. The method according to any one of the preceding claims, characterized in that the camera is arranged relative to the surface so that the camera can capture the entire calibration pattern and the recording represents the calibration pattern as far as possible.
8. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass in einem Darstellungs- und Erfassungsvorgang mehrere Darstellungs- und 8. The method according to any one of the preceding claims, characterized in that in a display and detection process, several display and
Erfassungsschritte jeweils aufeinanderfolgend durchgeführt werden, wobei in jedem Darstellungsschritt (1) ein anderes Kalbrierungsmuster dargestellt wird. Detection steps are carried out successively, a different calibration pattern being shown in each display step (1).
9. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass in dem Bestimmungsvorgang ein Relativlagenberechnungsschritt (3) durchgeführt wird, wobei eine relative Lage der Kamera zu der Oberfläche anhand der bekannten Abmessungen der Kalibriermusterbereiche auf der Oberfläche und der Aufnahme des Kalibriermusters bestimmt wird . 9. The method according to any one of the preceding claims, characterized in that a relative position calculation step (3) is carried out in the determination process, a relative position of the camera to the surface being determined on the basis of the known dimensions of the calibration pattern areas on the surface and the recording of the calibration pattern.
10. Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass in dem Bestimmungsvorgang ein Punktextraktionsschritt (5) durchgeführt wird, wobei in dem Punktextraktionsschritt (5) jeder Aufnahmebildpunkt 10. The method according to any one of the preceding claims, characterized in that in the determination process, a point extraction step (5) is carried out, in which Point extraction step (5) each shot pixel
mindestens einem Kalibrierbildpunkt zugeordnet wird. is assigned to at least one calibration pixel.
11. Verfahren gemäß Anspruch 10, dadurch gekennzeichnet, dass nach dem Punktextraktionsschritt (5) ein 11. The method according to claim 10, characterized in that after the point extraction step (5)
Bildgleichrichtungsschritt (6) in dem Bestimmungsvorgang durchgeführt wird, wobei Verzeichnungsparameter der Kamera auf Grundlage der in dem Punktextraktionsschritt (5) erfolgten Zuordnung sowie des vorgegebenen Kalibriermusters bestimmt werden und wobei die Verzeichnungsparameter Image rectification step (6) is carried out in the determination process, wherein distortion parameters of the camera are determined on the basis of the assignment made in the point extraction step (5) and the predetermined calibration pattern, and wherein the distortion parameters
Kalibrierparameter darstellen. Display calibration parameters.
12. Verfahren gemäß Anspruch 11, dadurch gekennzeichnet, dass eine Verzeichnung in der Aufnahme unter Verwendung der Verzeichnungsparameter korrigiert wird und dass unter 12. The method according to claim 11, characterized in that a distortion in the image is corrected using the distortion parameters and that under
Verwendung der korrigierten Aufnahme eine Brennweite und ein optisches Zentrum der Kamera bestimmt werden, wobei diese Parameter weitere Kalibrierparameter bilden. A focal length and an optical center of the camera can be determined using the corrected image, these parameters forming further calibration parameters.
PCT/EP2019/081504 2018-11-26 2019-11-15 Method for determining calibration parameters of a camera WO2020109033A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018129814.5A DE102018129814A1 (en) 2018-11-26 2018-11-26 Method for determining calibration parameters of a camera
DE102018129814.5 2018-11-26

Publications (1)

Publication Number Publication Date
WO2020109033A1 true WO2020109033A1 (en) 2020-06-04

Family

ID=68808288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/081504 WO2020109033A1 (en) 2018-11-26 2019-11-15 Method for determining calibration parameters of a camera

Country Status (2)

Country Link
DE (1) DE102018129814A1 (en)
WO (1) WO2020109033A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082844A (en) * 2006-09-27 2008-04-10 Matsushita Electric Ind Co Ltd Feature point coordinate calculating device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015103785A1 (en) * 2015-03-16 2016-09-22 Hochschule Offenburg Method and device for calibrating a camera
DE102017004859B4 (en) * 2017-05-19 2019-03-14 Daimler Ag Method for calibrating a projection geometry of a head-up display and associated calibration device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082844A (en) * 2006-09-27 2008-04-10 Matsushita Electric Ind Co Ltd Feature point coordinate calculating device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEIKKILA J ET AL: "A four-step camera calibration procedure with implicit image correction", COMPUTER VISION AND PATTERN RECOGNITION, 1997. PROCEEDINGS., 1997 IEEE COMPUTER SOCIETY CONFERENCE ON SAN JUAN, PUERTO RICO 17-19 JUNE 1997, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 17 June 1997 (1997-06-17), pages 1106 - 1112, XP010237491, ISBN: 978-0-8186-7822-6, DOI: 10.1109/CVPR.1997.609468 *

Also Published As

Publication number Publication date
DE102018129814A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
EP2040026B1 (en) Method and system for calibrating an apparatus for measuring the shape of a reflective surface
DE102006055758B4 (en) Method for calibrating cameras and projectors
EP1711777A1 (en) Method for determining the position of an object in a space
DE102014209137A1 (en) Method and device for calibrating a camera system of a motor vehicle
EP3558160B1 (en) Camera alignment or scanning apparatus method with a dental reference element
DE112013004103T5 (en) Method and apparatus for generating a disparity card
DE102010039246A1 (en) Method for calibrating a measuring system and device for carrying out the method
DE102013207598A1 (en) Placement device and placement method
DE102014006717A1 (en) Method for generating a three-dimensional information of an object with a digital microscope and data processing program for processing the method
DE112019004853T5 (en) Calibration method for an image processing system with several degrees of freedom
DE10328523A1 (en) Method and measuring device for non-contact measurement of a contour of a surface and method for the automatic equalization of coordinates of pixels
EP1098268A2 (en) Method for the threedimensional optical measurement of object surfaces
EP3876149A1 (en) Method for physical, in particular optical, detection of at least one application object
EP3420533B1 (en) Method for calibrating an optical measurement set-up
EP3628995A1 (en) Calibration template and calibration method for geometric calibration of a plurality of cameras of a camera array
WO2020109033A1 (en) Method for determining calibration parameters of a camera
DE102005005242A1 (en) Camera offset determining method for motor vehicle`s augmented reality system, involves determining offset of camera position and orientation of camera marker in framework from camera table-position and orientation in framework
DE102010042821B4 (en) Method and apparatus for determining a basic width of a stereo detection system
EP3561772B1 (en) Method for calibrating an linescanning image recording unit
DE112021000595T5 (en) image processing system
WO2009018894A1 (en) Method and device for determining geometric data of a measured object
DE102005043070B4 (en) Method for high-precision three-dimensional measurement and / or reconstruction of objects with the aid of digital image recordings, for example for image evaluation of traffic routes
DE102009024030B3 (en) Method for optical determination of e.g. length of edges of machined metallic object surface of object, involves determining surface characteristics of surface section of object surface based on evaluation result of pixels or image segments
DE102020131808A1 (en) Device to support calibration processes in industrial cameras
WO2018211057A1 (en) Marker-based camera tracker

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19816543

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19816543

Country of ref document: EP

Kind code of ref document: A1