WO2012150150A1 - Method for estimating the position of an object in a computer-assisted manner - Google Patents
Method for estimating the position of an object in a computer-assisted manner Download PDFInfo
- Publication number
- WO2012150150A1 WO2012150150A1 PCT/EP2012/057458 EP2012057458W WO2012150150A1 WO 2012150150 A1 WO2012150150 A1 WO 2012150150A1 EP 2012057458 W EP2012057458 W EP 2012057458W WO 2012150150 A1 WO2012150150 A1 WO 2012150150A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pose
- image
- determined
- estimated
- features
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the invention relates to a method for computer-assisted
- a machine-accurate location of an object is required.
- a corresponding robot accurately manipulates its environment, e.g. to edit or move certain objects.
- Pose is the combination of position and orientation of the object to understand. As part of a three-dimensional localization, a pose includes a 3D position and 3D orientation and thus a total of 6 dimensions.
- Known methods for estimating the position evaluate images taken with a corresponding camera system, in order thereby to identify the objects contained therein and to determine their position. While such procedures provide accurate results, however, is not set by the method by which the uncertainty determined according ⁇ object pose is associated. However, this information may be helpful in certain applications. For example, at too high uncertainty of the estimate, the estimated pose can ver ⁇ worfen are or are acquired more data to accurately position estimate.
- the object of the invention is therefore to provide a method for computer-assisted estimation of an object which, in addition to an exact object pose, also specifies a measure for the uncertainty of the estimated object pose.
- This object is achieved by the independent claims ge ⁇ triggers. Further developments of the invention are defined in the dependent claims.
- the inventive method for computer-aided location estimate of an object using a model database, wel ⁇ surface includes a plurality of features of the object, wherein each feature is assigned to a local position on the object and a first covariance matrix for the local position.
- the model database is considered as given and their generation is not part of the method according to the invention. It is known from the prior art to generate ent ⁇ speaking model databases for estimating the position of an object.
- a step a) features of the object, which are extracted from one or several ⁇ reindeer, recorded with a camera system camera images of the object, as compared with characteristics of the object from the model database, whereby a hypothesis for a object pose is obtained in a reference coordinate system.
- a method for carrying out step a) are described in the prior art. In particular, such a method can be found in reference [1]. The entire disclosure content of this document is incorporated by reference into the content of the present application.
- a step b) of the process according to the invention will ba ⁇ sierend on a sensor model of the camera system and the hybrid pothese for the object pose an error function depending on the object pose minimized as a variable, whereby an estimated object pose is obtained.
- the sensor model ⁇ be overwriting the association between a local position on the object (ie, a position in a fixed communication system of the object) and an image position in the corresponding camera image, depending on the object pose.
- the sensor model defines a second covariance matrix for each image position in the respective camera image.
- the Error function describes an error measure between about the sensor model determined image positions contained in the respective camera image features of the object and on the Kame ⁇ rasystem measured image positions of the features of the object.
- a function ⁇ on which implies on the minimization of the error function is defined and describes the dependence of the estimated object pose from the measured image positions of the features of the object determining a Jacobian matrix for the implicit function using implicit differentiation and from this, using the first and second covariance matrices, the probability distribution of the estimated object pose is determined.
- a probability distribution for the estimated pose can be derived from the minimization of the error function using the known method of implicit differentiation.
- the inventive method thus provides not only a highly accurate estimate of the object pose as another Informa ⁇ tion a measure of the uncertainty of the estimated object pose in the form of a probability distribution.
- the to be minimized Starbuckstalkti ⁇ on is a sum of distance measures, wherein a respective distance ⁇ measure the difference between an over the sensor model he ⁇ mediated image position of a respective, in the corresponding describes the feature of the object contained in the camera image and the image position of the feature measured via the camera system.
- a third covariance matrix from the first and second covariance matrix is determined for each measured image position of a feature contained in the corresponding camera image.
- just be ⁇ signed third covariance matrix is included in the error function.
- the error function is a weighted sum of the distance measures, wherein a distance measure in such a way by the third covariance matrix of the gezzii- the respective distance measure gene measured image position dependent in that the distance measure is weighted less so, the larger the scattering described by the third Ko ⁇ variance matrix is ,
- a covariance matrix for the probability distribution of the estimated object pose is determined from the third covariance matrices and the Jacobi matrix by means of matrix multiplication.
- a block diagonal matrix is formed from all third covariance matrices and this matrix is multiplied by the Jacobian matrix and the transposed Jacobian matrix.
- the probability distribution of the estimated object pose is described by a Gaussian distribution with the estimated object pose as mean value.
- the matrix described above is used as the covariance matrix ⁇ , which was determined from the third and covariance matrices of the Jacobian matrix by matrix multiplication.
- a sensor model is used, which is based on a hole camera model.
- the Lochnmodell to describe optical images is well known in the prior art and will be described again in the detailed description.
- This model is non-linear.
- a linearization of the hole camera model is used to determine the third covariance matrix. The detailed description explains how such a linearization can be performed to determine the third covariance matrix.
- SIFT scale-invariant feature transform
- the method according to the invention are prepared from the determined in step c) the probability distribution of the estimated object pose with- means of sampling object poses removed and determines a His ⁇ diffractogram of extracted object poses, which satisfy a predetermined threshold criterion, whereby a new probability distribution is obtained.
- the threshold criterion is dependent on the value of the error function for the removed object pose.
- the threshold criterion is defined such that the extracted object pose satisfies the threshold criterion when the exponential function multiplies by -1
- Value of the error function for the extracted object pose as Ex ⁇ components is greater than a predetermined threshold.
- the appropriate choice of the predetermined threshold lies within the scope of expert action.
- an estimated object pose is rejected if the probability distribution determined in step c) is rejected.
- ment and / or the sampled new probability distribution have a dispersion which is greater than a predetermined threshold.
- the appropriate choice of the predetermined threshold is within the scope of expert action.
- the invention further relates to a device for computer-aided position estimation of an object, wherein in the device a model database is stored, which contains a plurality of features of Ob ⁇ jects, each feature a local position on the object and a associated first covariance matrix for the local Po ⁇ sition, the apparatus comprising a camera system for recording images from the camera of the object as well as a computing unit, said computing unit is such out ⁇ staltet that the erfindungsge ⁇ Permitted method with this computer unit or a or several variants of the method according to the invention are feasible.
- the invention further relates to a robot comprising the device according to the invention, wherein the robot, in operation, performs its movements using the object poses estimated by the device.
- the invention further relates to a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention or one or more variants of the method according to the invention, when the program runs on a computer.
- FIG. 2 is a flow chart depicting determination of an object position hypothesis based on an embodiment of the invention
- FIG. 3 shows a schematic illustration which illustrates the estimation of an object position based on the minimization of an error function on the basis of an embodiment of the method according to the invention
- Fig. 4 is a schematic representation which with a
- Embodiment of the invention reproduced probability distribution and another probability distribution, which is determined by sampling from the original probability distribution.
- the object estimation can be used, in particular, in a corresponding arithmetic unit of a robot, in order to specify a pose that is as exact as possible for the objects, which are then to be processed or adopted by the robot as part of the execution of a task.
- a probability distribution is also determined which takes into account the uncertainty of the estimation of the object pose.
- the method in a robot can then be dispensed with using the object pose as part of the process performed by the robot action for example at a large scattering of the trokeitsvertei ⁇ lung or the inclusion of additional 3D camera images to determine a more accurate Estimate the object pose to be initiated.
- the method according to the invention is based on a so-called.
- ⁇ model-based object recognition method of one or more objects to be recognized is included in the corresponding in a database models, the object pose, that is their position and orientation in space, can be estimated.
- SIFT features are out ⁇ long known from the prior art and are not explained in detail. These characteristics were determined for informative ⁇ strong local positions on the object and are stored in the database. Methods for determining SIFT features of objects are known and not the subject of the invention. Rather, the invention assumes that there is already a corresponding model database which contains a large number of features of at least one object whose position is to be estimated.
- One way to determine SIFT features of an object is to place the object on a rotating
- Disc is placed and recorded via a stereo camera system from a variety of different angles.
- Known software can then be used to determine corresponding SIFT features in combination with associated local locations on the object (i.e., positions defined in a local coordinate system of the object).
- FIG. 1 again illustrates the determination of the SIFT features on the basis of an object in the form of a juice bag.
- the object 0 is in the left part of Fig. 1 as a point cloud again gege ⁇ ben. From this object x SIFT features of the object are determined for a plurality of local positions, which is indicated by the arrow P.
- the object reproduced in the right-hand part of FIG. 1 indicates the positions at which SIFT features are determined on the object surface. It can be seen that there are more SIFT features in certain areas than in others.
- an SIFT feature m is given by way of example, where ⁇ in the following, the SIFT features with the index k with
- the SD position x is determined by the Bundler software known per se (see document [2]), and the corresponding covariance matrix is calculated using the covariance matrix of the minimum distance between the calculated 3D position of the Determined by the SIFT feature and the corresponding lines of sight.
- the descriptor d is the average of all v descriptors that contribute to the corresponding 3D point of the feature.
- the list of line-of-sight x v consists of normalized vectors from the 3-D positions of the corresponding features to the v camera poses taken into account in the determination of each feature and, together with the averaged scale, represents the range of visuals. directions from which a corresponding SIFT feature can be detected.
- the model uses only SD positions with v> 5 lines of sight.
- a database SIFT features of the object to be located then an estimate of the pose of the object is made via a pair of shots of a 3D stereo camera system, wherein the Ka ⁇ merasystem detects the corresponding object.
- the object localization takes place in several steps, which are illustrated in FIG.
- a first step Sl the first, the SIFT features and their image positions calculated z .. in the images of the two cameras j ⁇ [L, R] or ext rahiert, wherein the image positions of 2D locations in the form of pixel positions in the respective camera images are.
- Triangulation determined and stored together with the corresponding positions z .. from the two images. Then, in step S3, it is determined which local descriptors d of the extracted features match well with descriptors from the database. The resulting SIFT features k from the database are then clustered to form sentences that are spatially and in terms of ent ⁇ speaking object types concentrated. The clustering takes place in step S4. From this, finally, in step S5, a hypothesis is determined for the object pose of the object recorded by the camera system.
- the method for object localization just described is known per se from the prior art and is described in detail in the document [1].
- Camera coordinates C. can be the projected image coordinates z ; .. be determined in the corresponding camera image j ⁇ [L, R] with a known standard hole camera model h j ( ⁇ , ⁇ ,) as follows / 0 0 0
- f denotes the BE for the corresponding camera system ⁇ known focal length of the camera
- T r is the per se known homogeneous transformation from the local 3-dimensional position on the object in the left and right images of the 3D camera system camera coordinates. This homogeneous transformation depends DA ⁇ when the object pose in a stationary Weltkoordina ⁇ tensystem from.
- sentence z ( ⁇ .,., ⁇ ⁇ ) denotes the
- J h denotes the Jacobi matrix (also called function matrix or derivative matrix) of the perspective projection according to equation (2) with respect to the local 3D positions x ; ⁇
- d K (z K , iy) denotes the distance between an image position determined via the hole camera model according to equation (2) and the corresponding image position measured with the camera system.
- the above error function f err is defined, which is a sum of the squares of the distances including the values of the (third) covariance matrix.
- the minimization is done numerically by methods known per se, e.g. the gradient descent method, solved.
- FIG. 3 illustrates again in schematic representation the just described estimation of an object pose ⁇ .
- an object 0 which has an object pose ⁇ , which is specified with respect to a stationary world coordinate system, which is designated in Fig. 3 with WK.
- FIG. 3 is indicated schematically the temperaturesys ⁇ tem C, are recorded with the images of the object 0 in order to estimate its pose.
- a corresponding SIFT feature m at a local position of the object x on a corresponding measured 2D position z is obtained in the camera image B which is only partially again gege ⁇ ben.
- a 2D image position can be calculated via the local position x.
- This calculated position is designated z in FIG.
- the distances d between these positions are now calculated for all SIFT features of the object in image B (see equation (6)) and from this by means of the above-defined error function from equation (7) the minimization problem indicated in FIG solved.
- the minimization problem ⁇ the implicit function / (z).
- This probability distribution is an essential to the invention result because hereby how big the spread is for an estimated Whether ⁇ jektposition also stated DIE
- This object position is. Is the covariance matrix of the above probability distribution, the through is given, very large, for example, the estimated position ver ⁇ be discarded or further recordings are initiated by the camera system, to thereby obtain a better estimate of the object pose.
- FIG. 4 shows, by way of example, a diagram DI which, in the left-hand column C1 for the six coordinates of an object pose, represents the probability distribution p determined in accordance with equation (13) in the context of an embodiment of the invention.
- a sampling is carried out also with this probability distribution p, in which, by Stichprobenentnah- me based on the function p a new improved International ⁇ scheineriesverotti for the object pose is determined.
- an object pose taken from the sampling is only included in a histogram according to a threshold criterion if the value e ⁇ ferr is greater than a suitably defined threshold value.
- The, based on this histogram it ⁇ maintained probability distribution represents the new probability distribution.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
The method for estimating the position of an object in a computer-assisted manner uses a model database with features (m) of the object (0), each feature (m) being assigned to a local position (x) on the object. A hypothesis for an object pose is ascertained on the basis of camera images (B) of the object (0). An improved estimation of the object position is obtained by minimizing an error function (ferr) using a sensor model of the camera system and the hypothesis for the object pose. Finally, a probability distribution (p) of the estimated object pose is ascertained using a function (f) that is implicitly defined by the minimization of the error function (ferr). A precise estimation of an object pose is obtained together with a measurement of the uncertainty of said estimation in the form of a probability distribution. The latter can be used in order to reject estimated object positions if the spread of the probability distribution is too large.
Description
Beschreibung description
Verfahren zur rechnergestützten Lageschätzung eines Objekts Die Erfindung betrifft ein Verfahren zur rechnergestütztenMethod for the computer-aided estimation of an object The invention relates to a method for computer-assisted
Lageschätzung eines Objekts sowie eine entsprechende Vorrich¬ tung und ein Computerprogrammprodukt. Estimation of an object and a corresponding Vorrich ¬ tion and a computer program product.
In einer Vielzahl von Anwendungsgebieten ist eine maschinell durchgeführte genaue Lokalisation eines Objekts erforderlich. Beispielsweise muss in robotischen Anwendungen sichergestellt werden, dass ein entsprechender Roboter seine Umgebung genau manipuliert, um z.B. bestimmte Objekte zu bearbeiten bzw. zu bewegen . In a variety of applications, a machine-accurate location of an object is required. For example, in robotic applications, it must be ensured that a corresponding robot accurately manipulates its environment, e.g. to edit or move certain objects.
Aus dem Stand der Technik ist eine Vielzahl von Verfahren bekannt, mit denen die Lage bzw. Pose eines Objekts rechnerge¬ stützt geschätzt wird. Unter Pose ist dabei die Kombination von Position und Orientierung des Objekts zu verstehen. Im Rahmen einer dreidimensionalen Lokalisierung umfasst eine Pose eine 3D-Position und 3D-Orientierung und somit insgesamt 6 Dimensionen. Bekannte Verfahren zur Lageschätzung werten mit einem entsprechenden Kamerasystem aufgenommene Bilder aus, um hierdurch die darin enthaltenen Objekte zu identifizieren und deren Lage zu bestimmen. Solche Verfahren liefern zwar genaue Ergebnisse, jedoch wird durch die Verfahren nicht angegeben, mit welcher Unsicherheit die entsprechend ermittelte Objekt¬ pose behaftet ist. Diese Information kann jedoch in bestimmten Anwendungen hilfreich sein. Beispielsweise kann bei einer zu großen Unsicherheit der Schätzung die geschätzte Pose ver¬ worfen werden bzw. weitere Daten zur genauen Positionsschätzung akquiriert werden. From the prior art a variety of methods is known by which the position or pose of an object is estimated based rechnerge ¬. Pose is the combination of position and orientation of the object to understand. As part of a three-dimensional localization, a pose includes a 3D position and 3D orientation and thus a total of 6 dimensions. Known methods for estimating the position evaluate images taken with a corresponding camera system, in order thereby to identify the objects contained therein and to determine their position. While such procedures provide accurate results, however, is not set by the method by which the uncertainty determined according ¬ object pose is associated. However, this information may be helpful in certain applications. For example, at too high uncertainty of the estimate, the estimated pose can ver ¬ worfen are or are acquired more data to accurately position estimate.
Aufgabe der Erfindung ist es deshalb, ein Verfahren zur rech- nergestützten Lageschätzung eines Objekts zu schaffen, welches neben einer genauen Objektpose ferner auch ein Maß für die Unsicherheit der geschätzten Objektpose angibt.
Diese Aufgabe wird durch die unabhängigen Patentansprüche ge¬ löst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert. Das erfindungsgemäße Verfahren zur rechnergestützten Lageschätzung eines Objekts verwendet eine Modell-Datenbank, wel¬ che eine Vielzahl von Merkmalen des Objekts enthält, wobei jedem Merkmal eine lokale Position auf dem Objekt und eine erste Kovarianzmatrix für die lokale Position zugeordnet ist. Die Modell-Datenbank wird als vorgegeben angesehen und deren Generierung ist nicht Bestandteil des erfindungsgemäßen Verfahrens. Es ist dabei aus dem Stand der Technik bekannt, ent¬ sprechende Modell-Datenbanken zur Lageschätzung eines Objekts zu erzeugen. The object of the invention is therefore to provide a method for computer-assisted estimation of an object which, in addition to an exact object pose, also specifies a measure for the uncertainty of the estimated object pose. This object is achieved by the independent claims ge ¬ triggers. Further developments of the invention are defined in the dependent claims. The inventive method for computer-aided location estimate of an object using a model database, wel ¬ surface includes a plurality of features of the object, wherein each feature is assigned to a local position on the object and a first covariance matrix for the local position. The model database is considered as given and their generation is not part of the method according to the invention. It is known from the prior art to generate ent ¬ speaking model databases for estimating the position of an object.
Im Rahmen des erfindungsgemäßen Verfahrens werden in einem Schritt a) Merkmale des Objekts, welche aus einem oder mehre¬ ren, mit einem Kamerasystem aufgenommenen Kamerabildern des Objekts extrahiert werden, mit Merkmalen des Objekts aus der Modell-Datenbank verglichen, wodurch eine Hypothese für eine Objektpose in einem Referenzkoordinatensystem erhalten wird. Entsprechende Verfahren zur Durchführung des Schritts a) sind im Stand der Technik beschrieben. Insbesondere findet sich in der Druckschrift [1] ein solches Verfahren. Der gesamte Of- fenbarungsgehalt dieser Druckschrift wird durch Verweis zum Inhalt der vorliegenden Anmeldung gemacht. In the context of the inventive method, in a step a) features of the object, which are extracted from one or several ¬ reindeer, recorded with a camera system camera images of the object, as compared with characteristics of the object from the model database, whereby a hypothesis for a object pose is obtained in a reference coordinate system. Corresponding methods for carrying out step a) are described in the prior art. In particular, such a method can be found in reference [1]. The entire disclosure content of this document is incorporated by reference into the content of the present application.
In einem Schritt b) des erfindungsgemäßen Verfahrens wird ba¬ sierend auf einem Sensormodell des Kamerasystems und der Hy- pothese für die Objektpose eine Fehlerfunktion in Abhängigkeit von der Objektpose als Variablen minimiert, wodurch eine geschätzte Objektpose erhalten wird. Das Sensormodell be¬ schreibt dabei die Zuordnung zwischen einer lokalen Position auf dem Objekt (d.h. einer Position in einem festen Kommuni- kationssystem des Objekts) und einer Bildposition im jeweiligen Kamerabild in Abhängigkeit von der Objektpose. Ferner wird durch das Sensormodell eine zweite Kovarianzmatrix für jede Bildposition im jeweiligen Kamerabild definiert. Die
Fehlerfunktion beschreibt ein Fehlermaß zwischen über das Sensormodell ermittelten Bildpositionen von im jeweiligen Kamerabild enthaltenen Merkmalen des Objekts und über das Kame¬ rasystem gemessenen Bildpositionen der Merkmale des Objekts. Mit Hilfe von Schritt b) wird eine verbesserte Lageschätzung des Objekts unter Einbeziehung des Sensormodells des Kamera¬ systems und einer damit verbundener Unsicherheiten erreicht. Die entsprechende zweite Kovarianzmatrix ist dabei vorgegeben und kann für das entsprechende Kamerasystem beispielsweise empirisch bestimmt werden. In a step b) of the process according to the invention will ba ¬ sierend on a sensor model of the camera system and the hybrid pothese for the object pose an error function depending on the object pose minimized as a variable, whereby an estimated object pose is obtained. The sensor model ¬ be overwriting the association between a local position on the object (ie, a position in a fixed communication system of the object) and an image position in the corresponding camera image, depending on the object pose. Furthermore, the sensor model defines a second covariance matrix for each image position in the respective camera image. The Error function describes an error measure between about the sensor model determined image positions contained in the respective camera image features of the object and on the Kame ¬ rasystem measured image positions of the features of the object. With the aid of step b) improving the location estimation of the object is achieved by inclusion of the model of the camera sensor ¬ system and associated uncertainties. The corresponding second covariance matrix is predetermined and can be determined empirically for the corresponding camera system, for example.
Um nunmehr ein Maß für die Unsicherheit der in Schritt b) ge¬ schätzten Position zu ermitteln, wird in einem Schritt c) eine Wahrscheinlichkeitsverteilung der geschätzten Objektpose bestimmt. Dies geschieht dadurch, dass mittels einer Funkti¬ on, welche über die Minimierung der Fehlerfunktion impliziert definiert ist und die Abhängigkeit der geschätzten Objektpose von den gemessenen Bildpositionen der Merkmale des Objekts beschreibt, eine Jacobi-Matrix für die implizite Funktion mit Hilfe impliziter Differentiation bestimmt wird und hieraus unter Verwendung der ersten und zweiten Kovarianzmatrizen die Wahrscheinlichkeitsverteilung der geschätzten Objektpose ermittelt wird. Man macht sich erfindungsgemäß die Erkenntnis zunutze, dass mit der an sich bekannten Methode der impliziten Differentiation aus der Minimierung der Fehlerfunktion eine Wahrscheinlichkeitsverteilung für die geschätzte Pose abgeleitet werden kann. Das erfindungsgemäße Verfahren liefert somit neben ei- ner hochgenauen Schätzung der Objektpose als weitere Informa¬ tion ein Maß für die Unsicherheit der geschätzten Objektpose in der Form einer Wahrscheinlichkeitsverteilung. To now a measure of the uncertainty of the ge ¬ estimated in step b) to determine position, determining a probability distribution of the object pose estimated in step c). This is done by means of a functi ¬ on which implies on the minimization of the error function is defined and describes the dependence of the estimated object pose from the measured image positions of the features of the object, determining a Jacobian matrix for the implicit function using implicit differentiation and from this, using the first and second covariance matrices, the probability distribution of the estimated object pose is determined. According to the invention, use is made of the fact that a probability distribution for the estimated pose can be derived from the minimization of the error function using the known method of implicit differentiation. The inventive method thus provides not only a highly accurate estimate of the object pose as another Informa ¬ tion a measure of the uncertainty of the estimated object pose in the form of a probability distribution.
In einer besonders bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens ist die zu minimierende Fehlerfunkti¬ on eine Summe aus Distanzmaßen, wobei ein jeweiliges Distanz¬ maß den Unterschied zwischen einer über das Sensormodell er¬ mittelten Bildposition von einem jeweiligen, im entsprechen-
den Kamerabild enthaltenen Merkmal des Objekts und der über das Kamerasystem gemessenen Bildposition des Merkmals beschreibt . In einer weiteren Ausführungsform der Erfindung wird für jede gemessene Bildposition eines im entsprechenden Kamerabild enthaltenen Merkmals eine dritte Kovarianzmatrix aus der ersten und zweiten Kovarianzmatrix ermittelt. In einer besonders bevorzugten Variante wird die soeben be¬ schriebene dritte Kovarianzmatrix in der Fehlerfunktion berücksichtigt. Dabei ist die Fehlerfunktion eine gewichtete Summe der Distanzmaße, wobei ein Distanzmaß derart von der dritten Kovarianzmatrix der zum jeweiligen Distanzmaß gehöri- gen gemessenen Bildposition abhängt, dass das Distanzmaß um so weniger gewichtet wird, je größer die durch die dritte Ko¬ varianzmatrix beschriebene Streuung ist. In a particularly preferred embodiment of the inventive method, the to be minimized Fehlerfunkti ¬ on is a sum of distance measures, wherein a respective distance ¬ measure the difference between an over the sensor model he ¬ mediated image position of a respective, in the corresponding describes the feature of the object contained in the camera image and the image position of the feature measured via the camera system. In a further embodiment of the invention, a third covariance matrix from the first and second covariance matrix is determined for each measured image position of a feature contained in the corresponding camera image. In a particularly preferred variant, just be ¬ signed third covariance matrix is included in the error function. Here, the error function is a weighted sum of the distance measures, wherein a distance measure in such a way by the third covariance matrix of the gehöri- the respective distance measure gene measured image position dependent in that the distance measure is weighted less so, the larger the scattering described by the third Ko ¬ variance matrix is ,
In einer besonders bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens wird aus den dritten Kovarianzmatri- zen und der Jacobi-Matrix mittels einer Matrixmultiplikation eine Kovarianzmatrix für die Wahrscheinlichkeitsverteilung der geschätzten Objektpose ermittelt. Insbesondere wird dabei eine Block-Diagonalmatrix aus allen dritten Kovarianzmatrizen gebildet und diese Matrix mit der Jacobi-Matrix sowie der Transponierten der Jacobi-Matrix multipliziert. In a particularly preferred embodiment of the method according to the invention, a covariance matrix for the probability distribution of the estimated object pose is determined from the third covariance matrices and the Jacobi matrix by means of matrix multiplication. In particular, a block diagonal matrix is formed from all third covariance matrices and this matrix is multiplied by the Jacobian matrix and the transposed Jacobian matrix.
In einer weiteren Ausgestaltung der Erfindung wird die Wahrscheinlichkeitsverteilung der geschätzten Objektpose durch eine Gauß-Verteilung mit der geschätzten Objektpose als Mittelwert beschrieben. Insbesondere wird dabei als Kovarianz¬ matrix die oben beschriebene Matrix verwendet, welche aus den dritten Kovarianzmatrizen und der Jacobi-Matrix mittels Matrixmultiplikation bestimmt wurde. In a further embodiment of the invention, the probability distribution of the estimated object pose is described by a Gaussian distribution with the estimated object pose as mean value. In particular, the matrix described above is used as the covariance matrix ¬, which was determined from the third and covariance matrices of the Jacobian matrix by matrix multiplication.
Zur Beschreibung des Kamerasystems wird in einer besonders bevorzugten Ausführungsform ein Sensormodell verwendet, welches auf einem Lochkameramodell basiert. Das Lochkameramodell
zur Beschreibung von optischen Abbildungen ist dabei hinlänglich aus dem Stand der Technik bekannt und wird nochmals in der detaillierten Beschreibung beschrieben. Dieses Modell ist nicht-linear. In einer bevorzugten Ausführungsform wird des- halb zur Bestimmung der dritten Kovarianzmatrix eine Linearisierung des Lochkameramodells verwendet. In der detaillierten Beschreibung wird dargelegt, wie eine solche Linearisierung zur Bestimmung der dritten Kovarianzmatrix durchgeführt werden kann. To describe the camera system, in a particularly preferred embodiment, a sensor model is used, which is based on a hole camera model. The Lochkameramodell to describe optical images is well known in the prior art and will be described again in the detailed description. This model is non-linear. In a preferred embodiment, therefore, a linearization of the hole camera model is used to determine the third covariance matrix. The detailed description explains how such a linearization can be performed to determine the third covariance matrix.
Die Merkmale des Objekts, welche im Rahmen der Lageschätzung betrachtet werden, sind in einer besonders bevorzugten Aus¬ führungsform die hinlänglich aus dem Stand der Technik bekannten SIFT-Merkmale (SIFT = Scale-Invariant Feature Trans- form) . The features of the object which are considered within the scope of the estimation of the position are, in a particularly preferred embodiment, the SIFT features sufficiently well known from the prior art (SIFT = scale-invariant feature transform).
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden aus der in Schritt c) ermittelten Wahrscheinlichkeitsverteilung der geschätzten Objektpose mit- tels Stichprobenentnahme Objektposen entnommen und ein His¬ togramm aus entnommenen Objektposen ermittelt, welche ein vorgegebenes Schwellwertkriterium erfüllen, wodurch eine neue Wahrscheinlichkeitsverteilung erhalten wird. Auf diese Weise kann eine nochmals genauere Schätzung der Unsicherheit für die Objektpose ermittelt werden. In einer bevorzugten Variante ist das Schwellwertkriterium dabei von dem Wert der Fehlerfunktion für die entnommene Objektpose abhängig. Insbesondere ist das Schwellwertkriterium derart definiert, dass die entnommene Objektpose das Schwellwertkriterium dann erfüllt, wenn die Exponentialfunktion mit dem mit -1 multipliziertenIn a further preferred embodiment of the method according to the invention are prepared from the determined in step c) the probability distribution of the estimated object pose with- means of sampling object poses removed and determines a His ¬ diffractogram of extracted object poses, which satisfy a predetermined threshold criterion, whereby a new probability distribution is obtained. In this way, an even more accurate estimation of the uncertainty for the object pose can be determined. In a preferred variant, the threshold criterion is dependent on the value of the error function for the removed object pose. In particular, the threshold criterion is defined such that the extracted object pose satisfies the threshold criterion when the exponential function multiplies by -1
Wert der Fehlerfunktion für die entnommene Objektpose als Ex¬ ponenten größer als ein vorgegebener Schwellwert ist. Die geeignete Wahl des vorgegebenen Schwellwerts liegt dabei im Rahmen von fachmännischem Handeln. Value of the error function for the extracted object pose as Ex ¬ components is greater than a predetermined threshold. The appropriate choice of the predetermined threshold lies within the scope of expert action.
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird eine geschätzte Objektpose verworfen, wenn die in Schritt c) ermittelte Wahrscheinlichkeitsvertei-
lung und/oder die durch Stichprobenentnahme ermittelte neue Wahrscheinlichkeitsverteilung eine Streuung aufweisen, welche größer als eine vorbestimmte Schwelle ist. Die geeignete Wahl der vorbestimmten Schwelle liegt dabei im Rahmen von fachmän- nischem Handeln. In a further preferred embodiment of the method according to the invention, an estimated object pose is rejected if the probability distribution determined in step c) is rejected. ment and / or the sampled new probability distribution have a dispersion which is greater than a predetermined threshold. The appropriate choice of the predetermined threshold is within the scope of expert action.
Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Vorrichtung zur rechnergestützten Lageschätzung eines Objekts, wobei in der Vorrichtung eine Modell-Datenbank gespeichert ist, welche eine Vielzahl von Merkmalen des Ob¬ jekts enthält, wobei jedem Merkmal eine lokale Position auf dem Objekt und eine erste Kovarianzmatrix für die lokale Po¬ sition zugeordnet ist, wobei die Vorrichtung ein Kamerasystem zur Aufnahme von Kamerabildern des Objekts sowie eine Rech- nereinheit umfasst, wobei die Rechnereinheit derart ausge¬ staltet ist, dass mit dieser Rechnereinheit das erfindungsge¬ mäße Verfahren bzw. eine oder mehrere Varianten des erfindungsgemäßen Verfahrens durchführbar sind. In addition to the method described above, the invention further relates to a device for computer-aided position estimation of an object, wherein in the device a model database is stored, which contains a plurality of features of Ob ¬ jects, each feature a local position on the object and a associated first covariance matrix for the local Po ¬ sition, the apparatus comprising a camera system for recording images from the camera of the object as well as a computing unit, said computing unit is such out ¬ staltet that the erfindungsge ¬ Permitted method with this computer unit or a or several variants of the method according to the invention are feasible.
Die Erfindung betrifft darüber hinaus einen Roboter, der di erfindungsgemäße Vorrichtung umfasst, wobei der Roboter im Betrieb seine Bewegungen unter Verwendung der mit der Vorrichtung geschätzten Objektposen durchführt. The invention further relates to a robot comprising the device according to the invention, wherein the robot, in operation, performs its movements using the object poses estimated by the device.
Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens bzw. einer oder mehrerer Varianten des erfindungs gemäßen Verfahrens, wenn das Programm auf einem Rechner abläuft . The invention further relates to a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention or one or more variants of the method according to the invention, when the program runs on a computer.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben. Embodiments of the invention are described below in detail with reference to the accompanying drawings.
Es zeigen:
Fig. 1 eine beispielhafte Darstellung eines Objekts, anhand der die Ermittlung von SIFT-Merkmalen verdeutlicht wird; Show it: 1 shows an exemplary representation of an object, on the basis of which the determination of SIFT features is clarified;
Fig. 2 ein Ablaufdiagramm, welches die Bestimmung einer Hypothese für eine Objektposition basierend auf einer Ausführungsform der Erfindung wiedergibt; FIG. 2 is a flow chart depicting determination of an object position hypothesis based on an embodiment of the invention; FIG.
Fig. 3 eine schematische Darstellung, welche die Schätzung einer Objektposition basierend auf der Minimierung einer Fehlerfunktion anhand einer Ausführungsform des erfindungsgemäßen Verfahrens verdeutlicht; und FIG. 3 shows a schematic illustration which illustrates the estimation of an object position based on the minimization of an error function on the basis of an embodiment of the method according to the invention; FIG. and
Fig. 4 eine schematische Darstellung, welche die mit einer Fig. 4 is a schematic representation which with a
Ausführungsform der Erfindung ermittelte Wahrscheinlichkeitsverteilung sowie eine weitere Wahrscheinlichkeitsverteilung wiedergibt, welche durch Stichprobenentnahme aus der ursprünglichen Wahrscheinlichkeitsverteilung bestimmt wird. Embodiment of the invention reproduced probability distribution and another probability distribution, which is determined by sampling from the original probability distribution.
Nachfolgend wird eine Ausführungsform des erfindungsgemäßen Verfahrens basierend auf der Lageschätzung eines Objekts mit Hilfe eines 3D-Kamerasystems beschrieben. Die Objektschätzung kann insbesondere in einer entsprechenden Recheneinheit eines Roboters dazu verwendet werden, um eine möglichst genaue Pose für die Objekte anzugeben, welche dann im Rahmen der Durchführung einer Aufgabe durch den Roboter zu bearbeiten bzw. zu ergreifen sind. In der hier beschriebenen Ausführungsform wird neben der geschätzten Objektpose auch eine Wahrscheinlichkeitsverteilung bestimmt, welche die Unsicherheit der Schätzung der Objektpose berücksichtigt. Bei der Implementie¬ rung des Verfahrens in einem Roboter kann dann beispielsweise bei einer zu großen Streuung der Wahrscheinlichkeitsvertei¬ lung auf eine Verwendung der Objektpose im Rahmen der durch den Roboter durchgeführten Aktion verzichtet werden bzw. die Aufnahme von weiteren 3D-Kamerabildern zur Ermittlung einer genaueren Schätzung der Objektpose initiiert werden.
Das erfindungsgemäße Verfahrens beruht auf einer sog. modell¬ basierten Objekterkennungsmethode, bei der in einer Datenbank entsprechende Modelle von einem oder mehreren zu erkennenden Objekten enthalten ist, deren Objektpose, d.h. deren Position und Orientierung im Raum, geschätzt werden kann. Das Modell eines Objekts wird dabei durch eine Vielzahl von sog. SIFT- Merkmalen auf der Oberfläche des Objekts beschrieben (SIFT = Scale-Invariant Feature Transform) . SIFT-Merkmale sind hin¬ länglich aus dem Stand der Technik bekannt und werden deshalb nicht im Detail erläutert. Diese Merkmale wurden für aussage¬ kräftige lokale Positionen auf dem Objekt ermittelt und sind in der Datenbank abgelegt. Verfahren zur Ermittlung von SIFT- Merkmalen von Objekten sind bekannt und nicht Gegenstand der Erfindung. Die Erfindung geht vielmehr davon aus, dass be- reits eine entsprechende Modell-Datenbank vorliegt, welche eine Vielzahl von Merkmalen zumindest eines Objekts enthält, dessen Position geschätzt werden soll. An embodiment of the method according to the invention based on the position estimation of an object with the aid of a 3D camera system will be described below. The object estimation can be used, in particular, in a corresponding arithmetic unit of a robot, in order to specify a pose that is as exact as possible for the objects, which are then to be processed or adopted by the robot as part of the execution of a task. In the embodiment described here, in addition to the estimated object pose, a probability distribution is also determined which takes into account the uncertainty of the estimation of the object pose. In the imple ¬ out the method in a robot can then be dispensed with using the object pose as part of the process performed by the robot action for example at a large scattering of the Wahrscheinlichkeitsvertei ¬ lung or the inclusion of additional 3D camera images to determine a more accurate Estimate the object pose to be initiated. The method according to the invention is based on a so-called. ¬ model-based object recognition method, of one or more objects to be recognized is included in the corresponding in a database models, the object pose, that is their position and orientation in space, can be estimated. The model of an object is described by a large number of so-called SIFT features on the surface of the object (SIFT = Scale-Invariant Feature Transform). SIFT features are out ¬ long known from the prior art and are not explained in detail. These characteristics were determined for informative ¬ strong local positions on the object and are stored in the database. Methods for determining SIFT features of objects are known and not the subject of the invention. Rather, the invention assumes that there is already a corresponding model database which contains a large number of features of at least one object whose position is to be estimated.
Eine Möglichkeit zur Ermittlung von SIFT-Merkmalen eines Ob- jekts besteht darin, dass das Objekt auf einer drehendenOne way to determine SIFT features of an object is to place the object on a rotating
Scheibe angeordnet wird und über ein Stereokamerasystem aus einer Vielzahl von unterschiedlichen Winkeln aufgenommen wird. Über bekannte Software können dann entsprechende SIFT- Merkmale in Kombination mit zugeordneten lokalen Positionen auf dem Objekt (d.h. Positionen, welche in einem lokalen Koordinatensystem des Objekts definiert sind) ermittelt werden. Disc is placed and recorded via a stereo camera system from a variety of different angles. Known software can then be used to determine corresponding SIFT features in combination with associated local locations on the object (i.e., positions defined in a local coordinate system of the object).
Fig. 1 verdeutlicht nochmals anhand eines Objekts in der Form einer Safttüte die Bestimmung der SIFT-Merkmale. Das Objekt 0 ist im linken Teil der Fig. 1 als eine Punktwolke wiedergege¬ ben. Aus diesem Objekt werden für eine Vielzahl von lokalen Positionen x SIFT-Merkmale des Objekts bestimmt, was durch den Pfeil P angedeutet ist. Das im rechten Teil der Fig. 1 wiedergegebene Objekt zeigt dabei die Positionen an, an denen auf der Objektoberfläche SIFT-Merkmale ermittelt werden. Man erkennt, dass in bestimmten Bereichen mehr SIFT-Merkmale vorliegen als in anderen.
In Fig. 1 ist beispielhaft ein SIFT-Merkmal m angegeben, wo¬ bei im Folgenden die SIFT-Merkmale mit dem Index k mitFIG. 1 again illustrates the determination of the SIFT features on the basis of an object in the form of a juice bag. The object 0 is in the left part of Fig. 1 as a point cloud again gege ¬ ben. From this object x SIFT features of the object are determined for a plurality of local positions, which is indicated by the arrow P. The object reproduced in the right-hand part of FIG. 1 indicates the positions at which SIFT features are determined on the object surface. It can be seen that there are more SIFT features in certain areas than in others. In Fig. 1, an SIFT feature m is given by way of example, where ¬ in the following, the SIFT features with the index k with
e^0,ÄT] versehen werden, wobei K die Gesamtanzahl der lokalen Positionen bezeichnen, für welche SIFT-Merkmale ermittelt wurden. Die lokale Position x = jx, >,z] eines SIFT-Merkmals mk = |χ,Σχ, χν,5,ύ?| ist dabei eine dreidimensionale Position im Raum, für welche auch eine (erste) Kovarianzmatrix Σχ existiert. Ferner enthält das SIFT-Merkmal eine Liste von v e ^ 0, ÄT], where K denotes the total number of local positions for which SIFT features were determined. The local position x = jx,>, z] of a SIFT feature m k = | χ, Σ χ , χ ν , 5, ύ? | is a three-dimensional position in space, for which a (first) covariance matrix Σ χ exists. Furthermore, the SIFT feature contains a list of v
Sichtlinien xv , einen an sich bekannten Scale s und den klas- sischen, ebenfalls bekannten SIFT-Deskriptor d. Line of sight x v , a per se known scale s and the classical, also known SIFT descriptor d.
In der hier beschriebenen Ausführungsform wird die SD- Position x über die an sich bekannte Bundler-Software (siehe Dokument [2]) ermittelt, und die entsprechende Kovarianz- matrix wird unter der Verwendung der Kovarianzmatrix der minimalen Distanz zwischen der berechneten 3D-Position des SIFT-Merkmals und den entsprechenden Sichtlinien bestimmt. Der Deskriptor d ist der Mittelwert von allen v Deskriptoren, welche zu dem entsprechenden 3D-Punkt des Merkmals beitragen. Die Liste der Sichtlinien xv besteht aus normalisierten Vektoren ausgehend von den 3D-Positionen der entsprechenden Merkmale zu den v Kamera-Posen, die bei der Bestimmung des jeweiligen Merkmals berücksichtigt wurden, und repräsentiert, zusammen mit dem gemittelten Scale, den Bereich der Sicht- richtungen, aus denen ein entsprechendes SIFT-Merkmal detek- tiert werden kann. In dem Modell werden dabei nur SD- Positionen mit v>5 Sichtlinien verwendet. In the embodiment described here, the SD position x is determined by the Bundler software known per se (see document [2]), and the corresponding covariance matrix is calculated using the covariance matrix of the minimum distance between the calculated 3D position of the Determined by the SIFT feature and the corresponding lines of sight. The descriptor d is the average of all v descriptors that contribute to the corresponding 3D point of the feature. The list of line-of-sight x v consists of normalized vectors from the 3-D positions of the corresponding features to the v camera poses taken into account in the determination of each feature and, together with the averaged scale, represents the range of visuals. directions from which a corresponding SIFT feature can be detected. The model uses only SD positions with v> 5 lines of sight.
Basierend auf den in einer Datenbank abgelegten SIFT- Merkmalen des zu lokalisierenden Objekts wird anschließend eine Schätzung der Pose des Objekts über ein Paar von Aufnahmen eines 3D-Stereo-Kamerasystems vorgenommen, wobei das Ka¬ merasystem das entsprechende Objekt erfasst. Es werden dabei die Bilder der beiden Kameras j ^[L,R] des Stereo- Kamerasystems analysiert (L = links, R = rechts) .
Die Objektlokalisierung läuft in mehreren Schritten ab, die in Fig. 2 verdeutlicht sind. In einem ersten Schritt Sl wer¬ den zunächst die SIFT-Merkmale und deren Bildpositionen z.. in den Bildern der beiden Kameras j ^[L,R] berechnet bzw. ext- rahiert, wobei die Bildpositionen 2D-Positionen in der Form von Pixelpositionen in den jeweiligen Kamerabildern sind. In einem Schritt S2 werden dann aus den Bildpositionen z.. die korrespondierenden lokalen Positionen x;. auf dem Objekt überBased on the stored in a database SIFT features of the object to be located then an estimate of the pose of the object is made via a pair of shots of a 3D stereo camera system, wherein the Ka ¬ merasystem detects the corresponding object. The images of the two cameras j ^ [L, R] of the stereo camera system are analyzed (L = left, R = right). The object localization takes place in several steps, which are illustrated in FIG. In a first step Sl ¬ the first, the SIFT features and their image positions calculated z .. in the images of the two cameras j ^ [L, R] or ext rahiert, wherein the image positions of 2D locations in the form of pixel positions in the respective camera images are. In a step S2, the corresponding local positions x ; , on the object over
Triangulation bestimmt und zusammen mit den entsprechenden Positionen z.. aus den beiden Bildern abgespeichert. Dann wird im Schritt S3 ermittelt, welche lokalen Deskriptoren d der extrahierten Merkmale gut mit Deskriptoren aus der Datenbank übereinstimmen. Die sich hieraus ergebenden SIFT- Merkmale k aus der Datenbank werden dann geclustert, um Sätze zu bilden, welche räumlich und in Bezug auf die ent¬ sprechenden Objekttypen konzentriert sind. Die Clusterung erfolgt im Schritt S4. Hieraus wird schließlich im Schritt S5 eine Hypothese für die Objektpose des durch das Kamerasystem aufgenommenen Objekts bestimmt. Das soeben beschriebene Ver- fahren zur Obj ektlokalisation ist dabei an sich aus dem Stand der Technik bekannt und wird im Detail in der Druckschrift [1] beschrieben. Triangulation determined and stored together with the corresponding positions z .. from the two images. Then, in step S3, it is determined which local descriptors d of the extracted features match well with descriptors from the database. The resulting SIFT features k from the database are then clustered to form sentences that are spatially and in terms of ent ¬ speaking object types concentrated. The clustering takes place in step S4. From this, finally, in step S5, a hypothesis is determined for the object pose of the object recorded by the camera system. The method for object localization just described is known per se from the prior art and is described in detail in the document [1].
Um erfindungsgemäß eine gegenüber der Hypothese verbesserte Schätzung der Objektpose und gleichzeitig eine entsprechende Wahrscheinlichkeitsverteilung für diese geschätzte Objektpose zu erhalten, wird das nachfolgend erläuterte probabilistische Sensormodell eingesetzt. Für eine beliebige Hypothese einer Objektpose ω in den 6D-In order to obtain, according to the invention, an hypothesis of the object pose which is improved compared to the hypothesis and, at the same time, a corresponding probability distribution for this estimated object pose, the probabilistic sensor model explained below is used. For an arbitrary hypothesis of an object pose ω in the 6D-
Kamerakoordinaten C. können die projizierten Bildkoordinaten z;.. in dem entsprechenden Kamerabild j < [L,R] mit einem an sich bekannten Standard-Lochkameramodell hj (^,Χ,) wie folgt ermittelt werden
/ 0 0 0 Camera coordinates C. can be the projected image coordinates z ; .. be determined in the corresponding camera image j <[L, R] with a known standard hole camera model h j (^, Χ,) as follows / 0 0 0
0 / 0 0 (1) 0/0 0 (1)
0 0 1 0 0 0 1 0
11
Dabei bezeichnet f die für das entsprechende Kamerasystem be¬ kannte Brennweite der Kamera und Tr ist die an sich bekannte homogene Transformation von der lokalen 3D-Position auf dem Objekt in die Kamerakoordinaten des linken und rechten Bildes des 3D-Kamerasystems . Diese homogene Transformation hängt da- bei von der Objektpose ω in einem ortsfesten Weltkoordina¬ tensystem ab. Im Folgenden bezeichnet der Satz z = (ζ .,.,ζ^) die Here, f denotes the BE for the corresponding camera system ¬ known focal length of the camera, and T r is the per se known homogeneous transformation from the local 3-dimensional position on the object in the left and right images of the 3D camera system camera coordinates. This homogeneous transformation depends DA ω when the object pose in a stationary Weltkoordina ¬ tensystem from. In the following, the sentence z = (ζ.,., Ζ ^) denotes the
Bildpositionen (d.h. Pixelpositionen) von N SIFT-Merkmale eines Objekts, für welche eine Korrespondenz der jeweiligenImage positions (i.e., pixel positions) of N SIFT features of an object for which correspondence of the respective
Merkmale mit Merkmalen aus der Datenbank gefunden wurde. Je- der Eintrag zn=zij dieses Satzes gibt dabei eine Bildposition im linken und rechten Bild des Kamerasystems an. Wie bereits oben erwähnt, enthalten die SIFT-Merkmale m. aus der Daten¬ bank eine Kovarianzmatrix Σι . Ebenso ist für das Sensormodell in geeigneter Weise eine Kovarianzmatrix Σ. festge- legt, welche empirisch bestimmt wurde. Die Bestimmung einer solchen Kovarianzmatrix liegt dabei im Rahmen von fachmännischem Handeln. Characteristics was found with characteristics from the database. Each entry z n = z ij of this sentence indicates an image position in the left and right image of the camera system. As mentioned above, the SIFT features contain m. from the database ¬ a covariance matrix Σ ι . Similarly, for the sensor model suitably a covariance matrix Σ. which was determined empirically. The determination of such a covariance matrix is within the scope of expert action.
In der hier beschriebenen Ausführungsform des erfindungsgemä- ßen Verfahrens wird nunmehr aus den beiden Kovarianzmatrizen Σ. und Σ. über die Linearisierung des oben beschriebenenIn the embodiment of the method according to the invention described here, the two covariance matrices Σ. and Σ. about the linearization of the above
Lochkameramodells eine neue (dritte) Kovarianzmatrix be¬ stimmt. Zur Linearisierung wird der über die Kovarianzmatrix Σι modellierte Gaußsche Modellfehler an der entsprechenden lokalen Position x;. in die Bildebenen der beiden Kameras des Kamerasystems projiziert. Unter diesen Annahmen ist ζκ nähe¬ rungsweise wie folgt normalverteilt: Lochkameramodells a new (third) covariance matrix be ¬ true. For linearization, the Gaussian model error modeled via the covariance matrix Σ 1 is determined at the corresponding local position x ; , projected into the image planes of the two cameras of the camera system. Under these assumptions is normally distributed ζ κ near ¬ approximately as follows:
Dabei bezeichnet Jh die Jacobi-Matrix (auch Funktionalmatrix oder Ableitungsmatrix genannt) der perspektivischen Projektion gemäß Gleichung (2) in Bezug auf die lokalen 3D-Positionen x; · Where J h denotes the Jacobi matrix (also called function matrix or derivative matrix) of the perspective projection according to equation (2) with respect to the local 3D positions x ; ·
Mit Hilfe der über die Linearisierung des Sensormodells er¬ mittelten Kovarianzmatrix Σ .. wird dann eine verbesserteUsing the settings via the linearization of the sensor model he ¬ mediated covariance matrix Σ is then improved ..
Schätzung der Objektpose ω bestimmt. Hierzu wird der Vektor der tatsächlich im Bild ermittelten (d.h. gemessenen) Bildpo- sitionen entsprechender Merkmale verwendet, der wie folgt lautet z = {z , ζ^,} . Unter Verwendung der Verteilung der Fehler im Bild gemäß Gleichung (5) sowie der Bezeichnungen zi . (ω) =: zn ( iy) und Συ=:Ση werden folgende Größen berechnet: Estimation of the object pose ω determined. For this purpose, the vector of the image positions of corresponding features actually determined in the image (ie measured) is used, which is as follows: z = {z, ζ ^,}. Using the distribution of the errors in the image according to equation (5) and the designations z i . (ω) =: z n (iy) and Σ υ =: Σ η the following quantities are calculated:
Dabei bezeichnet dK (zK , iy) die Distanz zwischen einer über das Lochkameramodell gemäß Gleichung (2) ermittelten Bildposition und der entsprechenden, mit dem Kamerasystem gemessenen Bildposition. Basierend auf diesem Unterschied wird die obige Fehlerfunktion ferr definiert, welche eine Summe der Quadrate der Distanzen unter Einbeziehung der Werte der (dritten) Ko- varianzmatrix ist. Auf diese Weise wird erreicht, dass eine entsprechende Distanz umso weniger gewichtet wird, je größer die Unsicherheit in der Messung ist, d.h. je größer die In this case, d K (z K , iy) denotes the distance between an image position determined via the hole camera model according to equation (2) and the corresponding image position measured with the camera system. Based on this difference, the above error function f err is defined, which is a sum of the squares of the distances including the values of the (third) covariance matrix. In this way it is achieved that the greater the uncertainty in the measurement, that is the greater the corresponding weighting, the less weighted the corresponding distance
Streuung gemäß der dritten Kovarianzmatrix ist. Schließlich wird eine verbesserte geschätzte Objektposition basierend auf der Minimierung der obigen Fehlerfunktion ferr unter Variation
der ursprünglichen Hypothese der Objektpose bestimmt. Diese Minimierung kann durch folgende Gleichung beschrieben werden: g(z,a>)■ dferr (ζ,ω) = 0 (8) Scatter according to the third covariance matrix. Finally, an improved estimated object position based on the minimization of the above error function f err under variation of the original hypothesis of the object pose. This minimization can be described by the following equation: g (z, a>) ■ d ferr (ζ, ω) = 0 (8)
δω δω
Die Minimierung wird dabei numerisch mit an sich bekannten Verfahren, wie z.B. dem Gradientenabstiegsverfahren, gelöst. Durch die Minimierung gemäß Gleichung (8) wird implizit eine Funktion /(ζ) = ώ definiert, welche die optimale (geschätzte) Objektpose ώ für eine gegebene Messung z darstellt. The minimization is done numerically by methods known per se, e.g. the gradient descent method, solved. The minimization according to equation (8) implicitly defines a function / (ζ) = ώ which represents the optimal (estimated) object pose ώ for a given measurement z.
Fig. 3 verdeutlicht nochmals in schematischer Darstellung die soeben beschriebene Schätzung einer Objektpose ώ . Es ist da¬ bei schematisch ein Objekt 0 wiedergegeben, welches eine Ob- jektpose ω aufweist, die in Bezug auf ein ortsfestes Welt- Koordinatensystem angegeben ist, das in Fig. 3 mit WK bezeichnet ist. Ferner ist in Fig. 3 schematisch das Kamerasys¬ tem C angedeutet, mit dem Bilder des Objekts 0 zur Schätzung seiner Pose aufgenommen werden. Für ein entsprechendes SIFT- Merkmal m an einer lokalen Position x auf dem Objekt erhält man in dem Kamerabild B, das nur ausschnittsweise wiedergege¬ ben ist, eine entsprechende gemessene 2D-Position z . Ferner kann mit dem oben beschriebenen Sensormodell basierend auf einer Lochkamera eine 2D-Bildposition über die lokale Positi- on x berechnet werden. Diese berechnete Position ist in Fig. 3 mit z bezeichnet. Erfindungsgemäß werden nunmehr die Dis¬ tanzen d zwischen diesen Positionen für alle SIFT-Merkmale des Objekts in Bild B berechnet (siehe Gleichung (6)) und daraus mittels der oben definierten Fehlerfunktion aus Glei- chung (7) das in Fig. 3 angegebene Minimierungsproblem gelöst. Wie bereits oben erwähnt, wird durch das Minimierungs¬ problem die implizite Funktion /(z) definiert. FIG. 3 illustrates again in schematic representation the just described estimation of an object pose ώ. There is shown schematically at ¬ an object 0, which has an object pose ω, which is specified with respect to a stationary world coordinate system, which is designated in Fig. 3 with WK. Furthermore, FIG. 3 is indicated schematically the Kamerasys ¬ tem C, are recorded with the images of the object 0 in order to estimate its pose. For a corresponding SIFT feature m at a local position of the object x on a corresponding measured 2D position z is obtained in the camera image B which is only partially again gege ¬ ben. Furthermore, with the sensor model described above, based on a pinhole camera, a 2D image position can be calculated via the local position x. This calculated position is designated z in FIG. According to the invention, the distances d between these positions are now calculated for all SIFT features of the object in image B (see equation (6)) and from this by means of the above-defined error function from equation (7) the minimization problem indicated in FIG solved. As already mentioned above, is defined by the minimization problem ¬ the implicit function / (z).
Basierend auf dieser impliziten Funktion wird nunmehr in ei- nem erfindungswesentlichen Schritt die Ableitung dieser impliziten Funktion in der Form der Jacobi-Matrix bestimmt, welche wie folgt lautet:
Jf (9) Based on this implicit function, the derivation of this implicit function in the form of the Jacobian matrix is now determined in a step essential to the invention, which is as follows: J f (9)
dz dz
Diese Jacobi-Matrix wird durch die Anwendung der an sich bekannten Methode der impliziten Differentiation auf die obigeThis Jacobi matrix becomes the above by applying the per se known method of implicit differentiation
Funktion g gemäß Gleichung (8) ermittelt. Dabei werden die partiellen Ableitungen einer Messung zn Function g determined according to equation (8). In this case, the partial derivatives of a measurement z n
• . = £(*. · «») = f-(*.. ») i ) explizit von der geschlossenen Form für h. ermittelt. In der hier beschriebene Ausführungsform wird hierzu ein Computer- Algebra-System eingesetzt. Man erhält schließlich die Jacobi- Matrizen für den gesamten Messvektor z , die wie folgt lauten :
• . = £ (*. · «») = F - (* .. ») i) explicitly from the closed form for h. determined. In the embodiment described here, a computer algebra system is used for this purpose. Finally, we obtain the Jacobian matrices for the entire measurement vector z, which are as follows:
Unter Verwendung dieser partiellen Ableitungen erhält man dann die Jacobi-Matrix für die implizite Funktion wie folgt: Using these partial derivatives, we then obtain the Jacobi matrix for the implicit function as follows:
Unter Verwendung der 2N x 2N blockdiagonalen Kovarianzmatrix der tatsächlichen Messung z , welche eine Zusammensetzung aus allen dritten Kovarianzmatrizen für die gemessenen Bildpunkte in den beiden Bildern des Kamerasystems ist, erhält man schließlich ein Gaußsches Modell für die Pose ω , welches durch folgende Wahrscheinlichkeitsverteilung beschrieben ist:
Finally, using the 2N x 2N block diagonal covariance matrix of the actual measurement z, which is a composition of all third covariance matrices for the measured pixels in the two images of the camera system, one obtains a Gaussian model for the pose ω, which is described by the following probability distribution:
Diese Wahrscheinlichkeitsverteilung ist ein erfindungswesentliches Ergebnis, denn hierdurch wird für eine geschätzte Ob¬ jektposition auch noch angegeben, wie groß die Streuung die-
ser Objektposition ist. Ist die Kovarianzmatrix der obigen Wahrscheinlichkeitsverteilung, die durch
gegeben ist, sehr groß, kann beispielsweise die geschätzte Position ver¬ worfen werden bzw. weitere Aufnahmen durch das Kamerasystem initiiert werden, um hierdurch eine bessere Schätzung der Objektpose zu erhalten. This probability distribution is an essential to the invention result because hereby how big the spread is for an estimated Whether ¬ jektposition also stated DIE This object position is. Is the covariance matrix of the above probability distribution, the through is given, very large, for example, the estimated position ver ¬ be discarded or further recordings are initiated by the camera system, to thereby obtain a better estimate of the object pose.
Fig. 4 zeigt beispielhaft ein Diagramm DI, welches in der linken Spalte Cl für die sechs Koordinaten einer Objektpose die im Rahmen einer Ausführungsform der Erfindung ermittelte Wahrscheinlichkeitsverteilung p gemäß Gleichung (13) wiedergibt. In einer besonders bevorzugten Ausführungsform der Erfindung wird ferner mit dieser Wahrscheinlichkeitsverteilung p ein Sampling durchgeführt, bei dem durch Stichprobenentnah- me basierend auf der Funktion p eine neue verbesserte Wahr¬ scheinlichkeitsverteilung für die Objektpose ermittelt wird. Eine über das Sampling entnommene Objektpose wird dabei gemäß einem Schwellwertkriterium nur dann in ein Histogramm aufgenommen, wenn der Wert e~ferr größer als ein geeignet festgeleg- ter Schellwert ist. Die basierend auf diesem Histogramm er¬ haltene Wahrscheinlichkeitsverteilung stellt die neue Wahrscheinlichkeitsverteilung dar. Diese ist in Fig. 4 in der Spalte C2 für die einzelnen Dimensionen der Pose wiedergegeben und mit p' bezeichnet. Man erkennt aus Fig. 4 insbesonde- re, dass die neue Wahrscheinlichkeitsverteilung p' die tatsächliche, nicht Gaußsche Unsicherheit besser widerspiegelt als die vorgeschlagene Gaußsche Wahrscheinlichkeitsverteilung4 shows, by way of example, a diagram DI which, in the left-hand column C1 for the six coordinates of an object pose, represents the probability distribution p determined in accordance with equation (13) in the context of an embodiment of the invention. In a particularly preferred embodiment of the invention, a sampling is carried out also with this probability distribution p, in which, by Stichprobenentnah- me based on the function p a new improved International ¬ scheinlichkeitsverteilung for the object pose is determined. In this case, an object pose taken from the sampling is only included in a histogram according to a threshold criterion if the value e ~ ferr is greater than a suitably defined threshold value. The, based on this histogram it ¬ maintained probability distribution represents the new probability distribution. This is shown in Fig. 4 in the column C2 for the individual dimensions of the pose and denoted by p '. In particular, it can be seen from FIG. 4 that the new probability distribution p 'better reflects the actual non-Gaussian uncertainty than the proposed Gaussian probability distribution
P- Die im Vorangegangenen beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens weisen eine Reihe von Vorteilen auf. Insbesondere wird unter Verwendung eines geeigneten Sensormodells eine gute Schätzung einer Objektpose über die Mi¬ nimierung einer Fehlerfunktion erreicht. Darüber hinaus kann basierend auf der Minimierung der Fehlerfunktion unter Verwendung der Methode der impliziten Differentiation auch eine Wahrscheinlichkeitsverteilung für die geschätzte Objektpose und damit eine Unsicherheit dieser Objektpose ermittelt wer-
den. Diese Wahrscheinlichkeitsverteilung kann ggf. durch Sampling nochmals genauer bestimmt werden. Die Wahrscheinlichkeitsverteilung der geschätzten Objektpose kann dann beispielsweise dazu verwendet werden, um die geschätzte Objekt- pose zu verwerfen, wenn die Streuung gemäß der Wahrscheinlichkeitsverteilung sehr groß ist. Wird das Verfahren im Rahmen der Bewegung eines Roboters eingesetzt, der die geschätz¬ te Objektpose verarbeitet, kann z.B. bei einer hohen Streuung der Wahrscheinlichkeitsverteilung eine nochmals genauere Po- sitionsschätzung über weitere Kamerabilder durch den Roboter initiiert werden. Der Roboter führt dann eine an die ge¬ schätzte Objektpose gekoppelte Aktion, beispielsweise das Greifen des Objekts, erst dann aus, wenn die Schätzung der Objektpose eine Streuung aufweist, die unter einem vorgegebe- nen Schwellwert liegt.
P- The above-described embodiments of the method according to the invention have a number of advantages. In particular, a good estimate of an object pose on the Mi ¬ minimization of an error function is achieved by using a suitable sensor model. Moreover, based on the minimization of the error function using the method of implicit differentiation, it is also possible to determine a probability distribution for the estimated object pose and thus an uncertainty of this object pose. the. If necessary, this probability distribution can be determined more accurately by sampling. The probability distribution of the estimated object pose can then be used, for example, to reject the estimated object pose, if the scatter according to the probability distribution is very large. If the method is employed in the motion of a robot, which processes the object pose definitely be appreciated ¬ te example, a further accurate Po sitionsschätzung be initiated on other camera images by the robot at a high dispersion of the probability distribution. The robot then performs coupled to the ge ¬ estimated object pose action, such as the gripping of the object, only then made when the estimation of the object pose has a scattering which is below a predefined threshold NEN.
Literaturverzeichnis : Bibliography :
T. Grundmann, R. Eidenberger, M. Schneider, M. Fiegert, and G. Wiehert v., "Robust high precision 6d pose deter mination in complex environments for robotic manipula- tion, " in ICRA 2010 Workshop: Best Practice in 3D Per- ception and Modelling for Mobile Manipulation, 2010. T. Grundmann, R. Eidenberger, M. Schneider, M. Fiegert, and G. Wiehert v., "Robust high precision 6d pose determination in complex environments for robotic manipulation," in ICRA 2010 Workshop: Best Practice in 3D Perception and Modeling for Mobile Manipulation, 2010.
[2] N. Snavely, S.M. Seitz and R. Szeliski, "Photo tourism: exploring photo collections in 3d, " ACM Trans. Graph., vol. 25, no.3, pp . 835-846, 2006.
[2] N. Snavely, S.M. Seitz and R. Szeliski, "Photo tourism: exploring photo collections in 3d," ACM Trans. Graph., Vol. 25, no.3, pp. 835-846, 2006.
Claims
1. Verfahren zur rechnergestützten Lageschätzung eines Objekts (0) , wobei eine Modell-Datenbank verwendet wird, welche eine Vielzahl von Merkmalen (m) des Objekts (0) enthält, wo¬ bei jedem Merkmal (m) eine lokale Position (x) auf dem Objekt und eine erste Kovarianzmatrix (Σχ) für die lokale Position (x) zugeordnet ist, bei dem: 1. A method for computer-aided estimation of an object (0), wherein a model database is used, which contains a plurality of features (m) of the object (0), where ¬ in each feature (m) a local position (x) on associated with the object and a first covariance matrix (Σ χ ) for the local position (x), in which:
a) Merkmale (m) des Objekts (0), welche aus einem oder meh- reren, mit einem Kamerasystem (C) aufgenommenen Kamerabildern (B) des Objekts (0) extrahiert werden, mit Merk¬ malen (m) des Objekts (0) aus der Modell-Datenbank verglichen werden, wodurch eine Hypothese für eine Objektpo¬ se (ω) erhalten wird; a) Characteristics (m) of the object (0), which camera images captured from one or sev- eral, (with a camera system C) (B) of the object (0) are extracted with shopping ¬ paint (m) of the object (0 ) are compared from the model database, whereby a hypothesis for a Objektpo ¬ se (ω) is obtained;
b) basierend auf einem Sensormodell des Kamerasystems (C) und der Hypothese für die Objektpose (ω) eine Fehlerfunk¬ tion (ferr ) in Abhängigkeit von der Objektpose (ω) als Variablen minimiert wird, wodurch eine geschätzte Objekt¬ pose (ώ) erhalten wird, wobei das Sensormodell die Zu- Ordnung zwischen einer lokalen Position (x) auf dem Objekt (0) und einer Bildposition (z) im jeweiligen Kamerabild in Abhängigkeit von der Objektpose (ω) beschreibt und im Sensormodell eine zweite Kovarianzmatrix (Ej) für jede Bildposition (z) im jeweiligen Kamerabild (B) defi- niert ist, wobei die Fehlerfunktion (ferr ) ein Fehlermaß zwischen über das Sensormodell ermittelten Bildpositionen (z) von im jeweiligen Kamerabild (B) enthaltenen Merkmalen (m) des Objekts (0) und über das Kamerasystem (C) ge¬ messenen Bildpositionen (z) der Merkmale (m) des Objekts (0) beschreibt; b) C) and the hypothesis for the object pose (ω) an error radio ¬ tion (f e rr) i is minimized n depending on the object pose (ω) as variables based (on a sensor model of the camera system, whereby an estimated object ¬ pose ( Sens), wherein the sensor model describes the Zu-order between a local position (x) on the object (0) and an image position (z) in the respective camera image in dependence on the object pose (ω) and in the sensor model a second covariance matrix ( E j ) is defined for each image position (z) in the respective camera image (B), the error function (f er r) defining an error measure between image positions (z) determined by the sensor model and features (m ) of the object (0) and over the camera system (C) ge ¬ measured image positions (z) of the features (m) of the object (0) describes;
c) mittels einer Funktion (f) , welche über die Minimierung der Fehlerfunktion (ferr ) implizit definiert ist und die Abhängigkeit der geschätzten Objektpose (ώ) von den ge¬ messenen Bildpositionen (z) der Merkmale (m) des Objekts (0) beschreibt, eine Jacobi-Matrix für die implizitec) by means of a function (f), which is on the minimization of the error function (f he r) defined implicitly and the dependence of the estimated object pose (ώ) of the ge ¬ measured image positions (z) of the features (m) of the object (0 ) describes a Jacobi matrix for the implicit
Funktion (f) mittels impliziter Differentiation bestimmt wird und hieraus unter Verwendung der ersten und zweiten Kovarianzmatrizen (Σχ, Σ-j) eine Wahrscheinlichkeitsver- teilung (p) der geschätzten Objektpose (ώ) ermittelt wird . Function (f) is determined by means of implicit differentiation, and from this a probability ratio is calculated using the first and second covariance matrices (Σ χ , Σ- j ). division (p) of the estimated object pose (ώ) is determined.
2. Verfahren nach Anspruch 1, bei dem die Fehlerfunktion (ferr ) eine Summe aus Distanzmaßen (d) ist, wobei ein jewei¬ liges Distanzmaß (d) den Unterschied zwischen einer über das Sensormodell ermittelten Bildposition (z) von einem jeweiligen, im entsprechenden Kamerabild (B) enthaltenen Merkmal (m) des Objekts (0) und der über das Kamerasystem (C) gemessenen Bildposition (z) des Merkmals (m) beschreibt. 2. The method of claim 1, wherein the error function (f e rr) a sum of distance measures (d), wherein a jewei ¬ liges distance measure (d) the difference between a determined via the sensor model image position (z) of each of a, the feature (m) of the object (0) contained in the corresponding camera image (B) and the image position (z) of the feature (m) measured via the camera system (C).
3. Verfahren nach Anspruch 1 oder 2, bei dem für jede gemessene Bildposition (z) eines im entsprechenden Kamerabild (C) enthaltenen Merkmals (m) eine dritte Kovarianzmatrix aus der der ersten und zweiten Kovarianzmatrix (Σχ, Σ-j) ermittelt wird . 3. The method of claim 1 or 2, wherein for each measured image position (z) of a feature contained in the corresponding camera image (C) feature (m) a third covariance matrix of the first and second covariance matrix (Σ χ , Σ- j ) is determined ,
4. Verfahren nach Anspruch 2 und 3, bei dem die Fehlerfunktion (ferr ) eine gewichtete Summe der Distanzmaße (d) ist, wo- bei ein Distanzmaß (d) derart von der dritten Kovarianzmatrix der zum jeweiligen Distanzmaß d gehörigen gemessenen Bildposition (z) abhängt, dass das Distanzmaß (d) umso weniger ge¬ wichtet wird, je größer die durch die dritte Kovarianzmatrix beschriebene Streuung ist. 4. Method according to claims 2 and 3, in which the error function (f e rr) is a weighted sum of the distance measures (d), whereby a distance measure (d) from the third covariance matrix of the measured image position belonging to the respective distance measure d ( z) depends on that the distance measure (d) is less ge ¬ is weighted the more, the larger the scattering described by the third covariance matrix.
5. Verfahren nach Anspruch 3 oder 4, bei dem aus den dritten Kovarianzmatrizen und der Jacobi-Matrix mittels einer Matrixmultiplikation eine Kovarianzmatrix für die Wahrscheinlichkeitsverteilung (p) der geschätzten Objektpose (ώ) ermittelt wird. 5. Method according to claim 3, wherein a covariance matrix for the probability distribution (p) of the estimated object pose (ώ) is determined from the third covariance matrices and the Jacobi matrix by means of a matrix multiplication.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Wahrscheinlichkeitsverteilung (p) der geschätzten Objektpose (ώ) durch eine Gaußverteilung mit der geschätzten Ob- jektpose (ώ) als Mittelwert beschrieben wird. 6. Method according to one of the preceding claims, in which the probability distribution (p) of the estimated object pose (ώ) is described by a Gaussian distribution with the estimated object pose (ώ) as mean value.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Sensormodell auf einem Lochkameramodell basiert. 7. The method according to any one of the preceding claims, wherein the sensor model is based on a Lochkameramodell.
8. Verfahren nach Anspruch 7, wenn abhängig von Anspruch 3, bei dem über eine Linearisierung des Lochkameramodells die dritte Kovarianzmatrix bestimmt wird 8. The method of claim 7, when dependent on claim 3, wherein the third covariance matrix is determined via a linearization of the hole camera model
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Merkmale (m) des Objekts (0) SIFT-Merkmale sind. A method according to any one of the preceding claims, wherein the features (m) of the object (0) are SIFT features.
10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem aus der Wahrscheinlichkeitsverteilung (p) der geschätzten Objektpose (ώ) mittels Stichprobenentnahme Objektposen (ω) entnommen werden und ein Histogramm aus entnommenen Objektposen (ω) ermittelt wird, welche ein vorgegebenes Schwellwert¬ kriterium erfüllen, wodurch eine neue Wahrscheinlichkeitsver- teilung (ρ' ) erhalten wird. 10. The method according to any one of the preceding claims, wherein from the probability distribution (p) of the estimated object pose (ώ) by means of sampling object poses (ω) are removed and a histogram of extracted object poses (ω) is determined, which meet a predetermined threshold ¬ criterion , whereby a new probability distribution (ρ ') is obtained.
11. Verfahren nach Anspruch 10, bei dem das vorgegebene 11. The method of claim 10, wherein the predetermined
Schwellwertkriterium von dem Wert der Fehlerfunktion für die entnommene Objektpose (ω) abhängt und insbesondere derart de- finiert ist, dass die entnommene Objektpose (ω) das Schwell¬ wertkriterium erfüllt, wenn die Exponentialfunktion mit dem mit -1 multiplizierten Wert der Fehlerfunktion (ferr ) für die entnommene Objektpose (ω) als Exponenten größer als ein vor¬ gegebener Schwellwert ist. Threshold value depends on the value of the error function for the extracted object pose (ω) and is defined in particular such that the extracted object pose (ω) satisfies the threshold value criterion if the exponential function matches the value of the error function (f e rr) (for the extracted object pose ω) is an exponent greater than a given threshold value before ¬.
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine geschätzte Objektpose (ώ) verworfen wird, wenn die in Schritt c) ermittelte Wahrscheinlichkeitsverteilung (p) und/oder die neue Wahrscheinlichkeitsverteilung (ρ' ) eine Streuung aufweisen, welche größer als eine vorbestimmte 12. The method according to claim 1, wherein an estimated object pose is rejected if the probability distribution determined in step c) and / or the new probability distribution have a variance greater than a predetermined one
Schwelle ist. Threshold is.
13. Vorrichtung zur rechnergestützten Lageschätzung eines Objekts (0) , wobei in der Vorrichtung eine Modell-Datenbank ge- speichert ist, welche eine Vielzahl von Merkmalen (m) des Ob¬ jekts (0) enthält, wobei jedem Merkmal (m) eine lokale Posi¬ tion (x) auf dem Objekt und eine erste Kovarianzmatrix (Σχ) für die lokale Position (x) zugeordnet ist, wobei die Vor- richtung ein Kamerasystem (C) zur Aufnahme von Kamerabildern (B) des Objekts (0) sowie eine Rechnereinheit umfasst, wobei die Rechnereinheit derart ausgestaltet ist, dass sie ein Ver¬ fahren durchführt, bei dem: 13. The apparatus for computer-aided location estimate of an object (0), in which device a model database stores Ge, containing a plurality of features (m) of the Ob ¬ jekts (0), with each feature (m) a local Posi ¬ tion (x) is assigned to the object and a first covariance matrix (Σ χ ) for the local position (x), wherein the Vor- direction comprises a camera system (C) for recording camera images (B) of the object (0) and a computer unit, wherein the computer unit is designed such that it carries out a method in which:
a) Merkmale (m) des Objekts (0), welche aus einem oder meh¬ reren, mit dem Kamerasystem (C) aufgenommenen Kamerabildern (B) des Objekts (0) extrahiert werden, mit Merkmalen (m) des Objekts (0) aus der Modell-Datenbank verglichen werden, wodurch eine Hypothese für eine Objektpose (ω) erhalten wird; a) features (m) of the object (0), which are extracted from one or meh ¬ rere, with the camera system (C) recorded camera images (B) of the object (0), with features (m) of the object (0) the model database, whereby a hypothesis for an object pose (ω) is obtained;
b) basierend auf einem Sensormodell des Kamerasystems (C) und der Hypothese für die Objektpose (ω) eine Fehlerfunk¬ tion (ferr ) in Abhängigkeit von der Objektpose (ω) als Variablen minimiert wird, wodurch eine geschätzte Objekt- pose (ώ) erhalten wird, wobei das Sensormodell die Zu¬ ordnung zwischen einer lokalen Position (x) auf dem Objekt (0) und einer Bildposition (z) im jeweiligen Kamerabild in Abhängigkeit von der Objektpose (ω) beschreibt und im Sensormodell eine zweite Kovarianzmatrix (Ej) für jede Bildposition (z) im jeweiligen Kamerabild (B) definiert ist, wobei die Fehlerfunktion (ferr ) ein Fehlermaß zwischen über das Sensormodell ermittelten Bildpositionen (z) von im jeweiligen Kamerabild (B) enthaltenen Merkmalen (m) des Objekts (0) und über das Kamerasystem (C) ge- messenen Bildpositionen (z) der Merkmale (m) des Objektsb) C) and the hypothesis for the object pose (ω) an error radio ¬ tion (f e rr) i is minimized n depending on the object pose (ω) as variables based (on a sensor model of the camera system, whereby an estimated object pose ( ώ) is obtained, wherein the sensor model (for ¬ order between a local position x) 0), and an image position (z) in the corresponding camera image, depending on the object pose (ω) describes and (on the object (a second covariance matrix in the sensor model E j ) is defined for each image position (z) in the respective camera image (B), the error function (f er r) determining an error measure between image positions (z) determined by the sensor model and features (m) of the image contained in the respective camera image (B) Object (0) and via the camera system (C) measured image positions (z) of the features (m) of the object
(0) beschreibt; (0) describes;
c) mittels einer Funktion (f) , welche über die Minimierung der Fehlerfunktion (ferr ) implizit definiert ist und die Abhängigkeit der geschätzten Objektpose (ώ) von den ge- messenen Bildpositionen (z) der Merkmale (m) des Objektsc) by means of a function (f) which is implicitly defined by the minimization of the error function (f er r) and the dependence of the estimated object pose (ώ) on the measured image positions (z) of the features (m) of the object
(0) beschreibt, eine Jacobi-Matrix für die implizite Funktion (f) mittels impliziter Differentiation bestimmt wird und hieraus unter Verwendung der ersten und zweiten Kovarianzmatrizen (Σχ, Σ-j) eine Wahrscheinlichkeitsver- teilung (p) der geschätzten Objektpose (ώ) ermittelt wird . (0), a Jacobi matrix for the implicit function (f) is determined by means of implicit differentiation and from this using the first and second covariance matrices (Σ χ , Σ- j ) a probability distribution (p) of the estimated object pose (ώ ) is determined.
14. Vorrichtung nach Anspruch 13, welche derart ausgestaltet ist, dass mit der Vorrichtung ein Verfahren nach einem der Ansprüche 2 bis 12 durchführbar ist. 14. The apparatus of claim 13, which is configured such that with the device, a method according to any one of claims 2 to 12 is feasible.
15. Roboter, umfassend eine Vorrichtung nach Anspruch 13 oder 14, wobei der Roboter im Betrieb seine Bewegungen unter Verwendung der mit der Vorrichtung geschätzten Objektposen (ώ) durchführt . A robot comprising an apparatus according to claim 13 or 14, wherein the robot, in use, performs its movements using the object poses (ώ) estimated with the apparatus.
16. Computerprogrammprodukt mit einem auf einem maschinenles¬ baren Träger gespeicherten Programmcode zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 12, wenn das Programm auf einem Rechner abläuft. 16. Computer program product with a program code stored on a machine-readable carrier for carrying out a method according to one of claims 1 to 12, when the program runs on a computer.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011075335.4 | 2011-05-05 | ||
DE102011075335A DE102011075335A1 (en) | 2011-05-05 | 2011-05-05 | Method for the computer-aided estimation of an object |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012150150A1 true WO2012150150A1 (en) | 2012-11-08 |
Family
ID=46027929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2012/057458 WO2012150150A1 (en) | 2011-05-05 | 2012-04-24 | Method for estimating the position of an object in a computer-assisted manner |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102011075335A1 (en) |
WO (1) | WO2012150150A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517291A (en) * | 2014-12-15 | 2015-04-15 | 大连理工大学 | Pose measuring method based on coaxial circle characteristics of target |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014005181A1 (en) | 2014-04-03 | 2015-10-08 | Astrium Gmbh | Position and orientation of objects |
-
2011
- 2011-05-05 DE DE102011075335A patent/DE102011075335A1/en not_active Ceased
-
2012
- 2012-04-24 WO PCT/EP2012/057458 patent/WO2012150150A1/en active Application Filing
Non-Patent Citations (4)
Title |
---|
GRUNDMANN T ET AL: "A probabilistic measurement model for local interest point based 6 DOF pose estimation", INTELLIGENT ROBOTS AND SYSTEMS (IROS), 2010 IEEE/RSJ INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 18 October 2010 (2010-10-18), pages 4572 - 4577, XP031920199, ISBN: 978-1-4244-6674-0, DOI: 10.1109/IROS.2010.5649799 * |
N. SNAVELY; S.M. SEITZ; R. SZELISKI: "Photo tourism: exploring photo collections in 3d", ACM TRANS. GRAPH., vol. 25, no. 3, 2006, pages 835 - 846 |
T. GRUNDMANN; R. EIDENBERGER; M. SCHNEIDER; M. FIEGERT; G. WICHERT: "Robust high precision 6d pose determination in complex environments for robotic manipulation", ICRA 2010 WORKSHOP: BEST PRACTICE IN 3D PERCEPTION AND MODELLING FOR MOBILE MANIPULATION, 2010 |
YOUNGROCK YOON ET AL: "A New Kalman-Filter-Based Framework for Fast and Accurate Visual Tracking of Rigid Objects", IEEE TRANSACTIONS ON ROBOTICS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 24, no. 5, 1 October 2008 (2008-10-01), pages 1238 - 1251, XP011332769, ISSN: 1552-3098, DOI: 10.1109/TRO.2008.2003281 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517291A (en) * | 2014-12-15 | 2015-04-15 | 大连理工大学 | Pose measuring method based on coaxial circle characteristics of target |
Also Published As
Publication number | Publication date |
---|---|
DE102011075335A1 (en) | 2012-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014209137B4 (en) | Method and device for calibrating a camera system of a motor vehicle | |
DE69800084T2 (en) | Method for the linear determination of the three-dimensional position with affine camera correction | |
EP2284795A2 (en) | Quantitative analysis, visualization and motion correction in dynamic processes | |
DE102014222617B4 (en) | Vehicle detection method and vehicle detection system | |
DE112016004534T5 (en) | Unmonitored matching in fine-grained records for single-view object reconstruction | |
DE10326943A1 (en) | Autonomous vehicle and associated method and device for motion determination, motion control and object detection | |
DE102019104310A1 (en) | System and method for simultaneously viewing edges and normal image features through a vision system | |
EP2901414B1 (en) | Method and image processing system for determining parameters of a camera | |
EP2381207B1 (en) | 3D targeting and target designation from IR data | |
EP2562681A1 (en) | Object tracking method for a camera-based driver assistance system | |
EP3867796A1 (en) | Method and device for determining an area map | |
DE102015220031A1 (en) | Method for confidence estimation for optical-visual pose determination | |
DE102018211513A1 (en) | Method and device for determining a collision probability of a vehicle with an object | |
WO2012150150A1 (en) | Method for estimating the position of an object in a computer-assisted manner | |
DE10329250A1 (en) | Method and device for extracting three-dimensional spatial data of an object using an electron microscope | |
WO2003025843A2 (en) | Model-based object classification and target recognition | |
DE102008057979B4 (en) | Learning unit for an object recognition system and object recognition system | |
DE102021133977A1 (en) | Method and system for classifying virtual test scenarios and training methods | |
DE102013018561A1 (en) | Method for data acquisition and data processing for lane identification of vehicle, involves filtering and discarding self-similarities of environment characteristics for non-relevant correspondence in generating road shape hypotheses | |
DE102018128184A1 (en) | Method, device, computer program and computer program product for generating a labeled image | |
DE102015010264A1 (en) | Method for creating a 3D representation and corresponding image acquisition device | |
WO2020104263A1 (en) | Method, control unit, system and computer program for determining characteristic object points of a target object, and method for the camera-assisted positioning of a motor-driven vehicle | |
DE102004007049A1 (en) | Method for classifying an object with a stereo camera | |
DE102019209117A1 (en) | Method for locating a vehicle | |
DE3903838A1 (en) | Method and device for representing three-dimensional images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12718943 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12718943 Country of ref document: EP Kind code of ref document: A1 |