WO2015173256A2 - Verfahren und system zur bestimmung einer gegenständlichen lage - Google Patents
Verfahren und system zur bestimmung einer gegenständlichen lage Download PDFInfo
- Publication number
- WO2015173256A2 WO2015173256A2 PCT/EP2015/060502 EP2015060502W WO2015173256A2 WO 2015173256 A2 WO2015173256 A2 WO 2015173256A2 EP 2015060502 W EP2015060502 W EP 2015060502W WO 2015173256 A2 WO2015173256 A2 WO 2015173256A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- marker
- configuration
- elements
- carrier
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Definitions
- the present invention relates to a method for determining an objective position according to the preamble of claim 1 and a method for determining a modified subject position according to the preamble of claim 8, with which in particular a position of an object or body can be detected in space.
- the present invention further relates to a system for presenting a field of view representation according to the preamble of claim 18, wherein the system is a determinable, representational position as a spatially variable field of view in a computer-generated view of a space image, z. B. a virtual space, can be included.
- z. B. a body position can be detected in order to obtain the data obtained therefrom z. B. for a computer simulation.
- the document GB 2 451 461 A (Applicant: Naven Shavla, filing date: 28.07.2007) describes a system in which a person who carries a marker on his head and holds a stick in one hand simultaneously from two or more more cameras is captured. This is to enable a three-dimensional human-computer interaction.
- Each of the bars has a switching unit mounted thereon for supplying switching signals to the system. Due to the required two cameras, the amount of data to be handled in the image evaluation is usually very high and the evaluation of the data is correspondingly time-consuming.
- the movements of the marker should be from the video signal of a resolved image of a CCD camera, z. B. infrared camera, are calculated.
- the temporal structure of the video signal is evaluated.
- a segment that corresponds to a marker in an image line is determined by means of a comparator.
- coordinates of an image of an object are first determined.
- a dimension parameter of the object is determined and then proportions are calculated from it. Due to the very special image analysis, technical information of the camera type has to be considered.
- the marker arrangement for tracking a movement described in the document WO 02 063 456 A1 (Applicant: Anderson Technology PTY Ltd., Priority Date: 08.02.2001) has strips which are color-coded within a circle on a helmet.
- the assigned pixels are counted and average values for x and y coordinates are determined. If the pixel area is judged reasonable, an evaluation of different radii on the image is made with a determination of straight line parameters for the relationship between different locations.
- One problem is that, in the case of rapid movements in the sequence of images, sequences may occur in which a determination of the position of the helmet is not possible. When transferring a movement from the real space to the virtual space, therefore, unevenness may occur that may affect the experience of the perception of the virtual space.
- a method and a device for video tracking of an object by means of a head-mounted image display device are described in document DE 603 01 987 T2 (owner: Samsung Electronics Co., Ltd., Union Priority Day: 07.03.2002).
- the movement of the object ie position, orientation and direction of movement, should be detected by a camera.
- the environment of a virtual reality should be designed.
- Main markers and additional markers are used, which are marked in different colors. At least one main marker must be recorded.
- lens distortions are compensated.
- Image areas corresponding to the markers are determined using a noise attenuation unit. From the video data, a direction of movement of the points is estimated. For an orientation and position estimation, intrinsic parameters of the camera have to be considered.
- a morphological image processing method is to be used. From center co-ordinates of major marker areas, a motion estimation unit is added by adding temporal images using a color histogram and a Color Object Tracking method estimates a motion using a Kalman filter.
- a motion estimation unit is added by adding temporal images using a color histogram and a Color Object Tracking method estimates a motion using a Kalman filter.
- Bar-Shalom and Xiao Rong Li "Estimation with Applications to Tracking and Navigation," John Wiley & Sons, Inc., New York, NY, USA (2001), ISBN 047141655X; for Linearized Kalman Filter, see Y. Bar-Shalom and Xiao Rong Li, "Estimation with Applications to Tracking and Navigation,” John Wiley & Sons, Inc., New York, NY, USA (2001); for the Condensation algorithm, Sequential Monte Carlo, see B. Ristic, S. Arulampalam, N.
- a method for monocular omnidirectional detection of head movements in the visible light spectrum is described in the article by Giroen Lichtenauer and Maya Pantic, 201 IEEE International Conference on Computer Vision Workshop, page 430 to page 436, (201 1).
- the marker structures used are attached to a metal frame that can be worn on the head.
- the marker assembly can be used with angles of up to 90 ° in frontal view.
- the markers are attached to rods that protrude from the head to avoid possible covers.
- point-to-point measurements of markers must be made.
- the metal frame adapts flexibly to the head, which is why the marker positions are variable.
- For the determination of position markers are selected, which form a nearly equilateral triangular arrangement. This tends to pre-select widely spaced markers for evaluation.
- the use of a flexible marker structure increases the risk of the structure changing during wear and thus the tracking of the markers has greater errors or is interrupted.
- Patent DE 195 36 295 C2 (proprietor: Daimler Chrysler AG, filing date: 29.09.1995) describes spatially designed signal marks, the arrangement comprising a plurality of planar signal marks. The excellent by a limited solid angle light emission of the signal marks should complement each other.
- the signal marks are intended for position control of vehicles.
- FIG. 1 shows an arrangement of a pentagonal surface surrounded by quadrangular trapezoidal surfaces, with which only a solid angle of 2 ⁇ can be used.
- the intended twelve surface elements are all pentagonal and all are designed identically.
- Each surface element of the two embodiments shown in the two figures is black.
- the signal mark associated with the area element is a single, on the surface element centrally arranged circular area. At least one signal mark should be observable almost vertically from every spatial direction. How exactly the observation is to be made and whether, if anything, from observation, possibly for position control, or more concrete information can or should be obtained, is not mentioned.
- the company ImmerSight GmbH has already presented an embodiment of a marker carrier with a pentagonal cross section, on which several markers are arranged on surface elements.
- the marker carrier can be worn around a person's head at approximately eye level via video glasses.
- the head position and the movement of the person in the room are determined in a system via a camera.
- the head position translates into a presentation of a virtual environment, e.g. B. from a computer-aided development program (CAD), convert to display on a video glasses.
- CAD computer-aided development program
- the object of the present invention is to further improve the determination of a position and to provide as exact as possible position data in real time, or at least in a time sequence which lies below the human perception threshold.
- an object is to utilize acquired positional data to further enhance a visual impression of a virtual environment within a system. This should be z. B. movements in a virtual world seem even more impressive, because the representation of the movement corresponds to a natural or an actual movement even better.
- the object of the invention is achieved by the characterizing part of a method according to claim 1 and the characterizing part of a method according to claim 8, and by a system having the features of the characterizing part of claim 18.
- the pose of an object which may also be referred to as the position of an object, is determined from camera images. Positional data can also be provided with fast movements or rotations in good quality, ie in particular uninterrupted. Already a single camera image can be enough to get a precise one Estimate for the location of an object. Particularly reliable are methods according to the invention which make it possible to determine the position of an object in each theoretically recordable pose.
- an ingestible pose can also be referred to as a changed objective situation.
- a changed objective situation can be z. B. by a first image data pixel arrangement and a second image data pixel arrangement hold. The changed physical situation can be assumed starting from a starting position. The starting position can therefore also be referred to as a first objective position.
- the pictures are taken with a single camera, such as a black and white camera.
- a single camera such as a black and white camera.
- Commercially available digital cameras can be used.
- the pictures are taken at a refresh rate.
- the image refresh rate has a size with which a movement sequence can be reproduced in particular stepwise, in other words without omission of individual movement phases.
- the determination of the position of an object can be carried out particularly quickly if there is a prior information about the geometric structure of the object. An initial determination of an objective situation is also called initialization.
- An object structure can be defined using individual marker points.
- a marker point may be a location of the object that is different from a surrounding area of the object. It is also possible to provide marker elements on an object.
- a marker point may, for. B. be a center of a marker element. In other words, a point on a structure of an object can be measurably determined by a marker element.
- the definition is unique according to one aspect.
- a position of an object point corresponds to a position of a marker point. Also, the raised position of a marker point determines the position of an object in three degrees of freedom. For objects that z. B. are variable in shape or color, it is advantageous for the determination of an objective position when the variable object is associated with a label carrier.
- marker points are arranged in the form of marker elements.
- the arrangement of the marker elements to each other is fixed.
- the label carrier is preferably forminvariant.
- the marker carrier may be carried by the object or by a person.
- the marker carrier may also be referred to itself as an object to which an objective situation belongs.
- An objective situation is clearly described by three spatial dimensions and one orientation.
- a marker element in particular a center of a marker element, a position of an object point is displayed.
- the marker elements form a marker configuration in a respective position on the label carrier.
- a plurality of marker elements exist in a configuration.
- the marker configuration may also be referred to as a configuration of marker points.
- the marker configuration is z. B. from the production of the label carrier previously known.
- the known marker configuration exists as a data set, also referred to as marker configuration data. It is also possible to determine the marker configuration on a changeable marker carrier by an algorithm, in particular from a sequence of two-dimensional images.
- the marker carrier or else the marker configuration can be assigned to at least one coordinate tuple of an object, wherein the coordinate tuple describes at least three spatial dimensions and one orientation.
- a position of a marker configuration taken in a room, in particular with reference to a fixed point of the room, is also referred to as marker position configuration.
- a marker model configuration includes a marker point coordinate configuration that represents a computationally provided marker position configuration hypothesis.
- the determination of the pose or the situation is carried out with a digital camera.
- the digital camera can film or photograph a marker carrier.
- the optical camera images are converted in the digital camera into electronic data, which are also referred to as image data.
- the image data are supplied to a computing unit, which in particular has a memory unit.
- a computing unit which in particular has a memory unit.
- an image data acquisition connection Between the arithmetic unit and the digital camera is an image data acquisition connection, the z. B. via a line connection or as a radio connection, such as an infrared connection may be formed.
- the objective position is determined.
- the arithmetic unit evaluates image data.
- the image data serve to determine the position of an object, which is taken at the time of image acquisition.
- a marker carrier which has at least six marker elements in a previously known marker configuration.
- the marker elements are arranged at a distance from one another.
- the marker configuration takes a position on the marker carrier.
- the marker configuration on the marker carrier allows you to specify a direction relative to the marker carrier.
- One direction can z. B. be given with an orientation.
- the direction associated with the marker carrier may be a direction of an object, such as a direction of rotation, a direction of movement, a direction of travel or a direction of flight, which may also be referred to as a translation direction or a direction of rotation.
- the marker carrier can be attached to an object.
- the direction can also be a head position or a line of sight of a person who the marker carrier z. B. carries on the head.
- Position, direction or orientation can z. B. by means of coordinates or vectors abstract, in particular summarized as a data tuple represented.
- a marker element occupies a marker position in space.
- the marker position is from the Digital camera detectable.
- the digital camera records light emanating from a marker element.
- Light which can be actively or passively emitted by the marker element is imaged by a camera chip onto an electronic image data pixel arrangement.
- the space area in three dimensions, in which a marker element is located, is imaged onto a two-dimensional pixel arrangement, from which the image data to be acquired emerge.
- the image data or the image data pixel arrangement are evaluated in the arithmetic unit.
- a marker element in the image data pixel arrangement occupies at least one pixel, with which a resolving power to be provided by the digital camera can be determined.
- a pixel size relative to a marker size at a given fixed imaging ratio by a digital camera determines a, preferably maximum, distance between the digital camera and the marker element. Due to the integration of brightness within a pixel and the possible distribution of the brightness of a marker element, e.g. B. over four pixels arranged in a square, the resolution should, at least for passive, light-scattering marker elements, not be exceeded. Thus, a marker element can be found in an image data pixel arrangement as a marker image area.
- a method such as the method for determining an objective position may be programmed by a software code.
- the arithmetic unit executes algorithms.
- An algorithm can also be referred to as a unit according to a system aspect, which are present in the arithmetic unit.
- algorithms are subunits of a computing unit, which are kept ready for execution in addition to the internal operating units of the computing unit.
- the arithmetic unit is equipped with a marker recognition algorithm.
- the marker recognition algorithm serves to find a marker image area in the two-dimensional image data pixel arrangement.
- each of the imaged marker elements is found as a marker image area by the marker recognition algorithm.
- a marker recognition algorithm is z. B. the so-called Hough transformation.
- the Hough transform is a robust global method of recognizing straight lines, circles, or any other parametrizable geometric shape in a binary gradient image, that is, a black and white image, by finding edges.
- the Hough transform is useful for detecting spherical markers or marker elements in an image data pixel array.
- the two-dimensional image data pixel array is used to calculate a three-dimensional marker position configuration.
- the three-dimensional marker position configuration can be referred to as the spatial arrangement in which the marker elements are present in the recording area of the digital camera.
- the marker position configuration also includes the distance between the marker carrier and the digital camera. Distance changes between a marker configuration and a digital camera can be evaluated quickly.
- Markers can also be referred to as marker elements.
- markers may include marker elements.
- the marker carrier has at least two fixedly connected carrier surface elements, which may be referred to as a first and a second carrier surface element.
- a support surface element is a surface element, which preferably has a ratio of one longitudinal side to a narrow side, the z. B. does not exceed a ratio of 10: 1.
- the support surface element may still have a thickness to the longitudinal side and narrow side, which is in particular less than 10 mm (millimeters), preferably less than 2 mm.
- a carrier surface element is preferably planar. On the support surface element arranged marker elements disappear at an angular position of the support surface element relative to the digital camera not behind the horizon of a curvature.
- the first and the second carrier surface element have an angular position to each other.
- An angle between two carrier surface elements is preferably at least 90 °.
- At least three of the at least six marker elements are assigned to the first carrier surface element.
- the marker elements have a two- or three-dimensional shape that distinguishes them from the support surface element.
- Marker elements are z.
- Further marker elements are assigned to the second carrier surface element or also further, present carrier surface elements.
- the first carrier surface element with the associated marker elements differs from the second carrier surface element by the associated marker elements and in particular by all other carrier surface elements with associated marker elements. The distinctiveness results from the different configuration of the marker elements on a respective support surface element.
- the distances which the marker elements have on a carrier surface element to one another differ preferably.
- the marker elements are present on a carrier surface element in a triangular configuration, preferably at least one of the triangular angles is present only once in the previously known marker configuration. It is also advantageous if all triangular angles which are present in the marker configuration, in particular on a carrier surface element, deviate from one another.
- the marker elements of the marker configuration are configured in different ways.
- the calculation of the marker position configuration is made from three common for the Digital camera visible marker elements that are present in the marker configuration.
- the calculation uses a comparison algorithm.
- the comparison algorithm is applied to three marker elements collectively acquired by the digital camera in an image data pixel arrangement, which belong to the marker configuration, and a marker model configuration.
- the comparison algorithm is applied to the image areas of the marker elements, in particular to a coordinate set of the respective image area.
- the marker model configuration is based on the known marker configuration.
- the marker model configuration is a perspective view of the marker configuration, e.g. B. is present as a record in the arithmetic unit.
- the marker model configuration is projected onto the level of the marker image areas, in particular in regions, preferably with a projection algorithm.
- the projection is performed with a so-called projection equation, which is solved in the arithmetic unit.
- the projection is directed to three marker image areas.
- the three marker image areas are a subset of all found marker image areas of an image data pixel array.
- the subgroup can z. B. also include five marker image areas from which various combinations of three marker image areas are formed.
- Different marker model configurations are compared sequentially with three marker image areas.
- the comparison can also be carried out on parallel processors of a computing unit.
- the comparison algorithm determines at least one accuracy value of the comparison.
- the accuracy value can be z. For example, it may be a coordinate difference value, a step size value, or a step count value.
- the at least one accuracy value is associated with a marker model configuration.
- a comparison of accuracy values of different marker model configurations indicates which marker model configuration corresponds to marker position configuration. It is computationally determined which spatial position and which orientation has the marker position configuration. Position and orientation are selected based on the assignable marker model configuration, the marker model configuration that best fits the marker image areas. Thus the objective situation is recognized. In particular, the three spatial dimensions and an orientation are present in a coordinate representation.
- the uniquely determined coordinates which describe the position can be used by the computing unit in additional algorithms.
- the objective situation, the z. B. of an object or a person, which is assigned to the marker carrier, at least taken in one aspect is thus determined. Accordingly, the situation is recognized or stated otherwise.
- An altered physical situation exists in particular when a marker carrier assumes a second position starting from a first position.
- a person or an object associated with the marker carrier can pose.
- a pose is z.
- a pose is also a rotational position of a marker carrier, which corresponds to a head rotation.
- the pose includes a position of a marker carrier in the space and an orientation of the marker carrier. It can also be spoken of a place and a tendency of the brand owner.
- the orientation is, according to another aspect, a direction associated with the marker carrier.
- a changed physical situation in the course of a movement.
- the changed physical situation can be recorded with a digital camera.
- a changed objective situation is a representational situation that has been assumed from an initial situation.
- a change in the present situation can be described as a chronological sequence of change steps, which can also be referred to as movement steps.
- the physical position after a modification step can be detected in an image data pixel arrangement.
- a seed may be a known marker configuration that exists in the arithmetic unit as a set of coordinates that includes all marker elements individually.
- the starting position can z. B. be determined by a detection of marker image areas with a digital camera in a first image data pixel arrangement in a computing unit.
- the starting position may also have been determined iteratively from a past evaluation of marker image areas.
- a sequence of two-dimensional image data pixel arrays recorded in a sequence of movement with the marker carrier, preferably showing all sides of the mark carrier of the digital camera.
- a temporal sequence of image data pixel arrays is captured.
- a first image data pixel arrangement from which an initial position is determined, at least one further image data pixel arrangement is recorded and fed as a data set to the arithmetic unit.
- This further, two-dimensional image data pixel arrangement has changed marker image areas as a result of a movement.
- Modified marker image areas indicate a changed objective situation.
- changed marker image areas can also be present through a movement of the digital camera, the marker carrier preferably being in a stationary position. It is also possible that altered image areas are present due to a relative movement between marker carrier and digital camera.
- a modified relative representational Location to be determined.
- a changed physical position can be described by a position and / or an orientation.
- the changed position and / or the changed orientation can be assigned to an object.
- the position or orientation can be z. B. by coordinates of a coordinate system naming. You can specify data tuples for a point in the coordinate system or for a direction in the coordinate system.
- the origin of the coordinate system can theoretically be set in the digital camera.
- the origin of the coordinate system can also be set in a point, such as the center of a marker carrier. It is also possible that the origin of the coordinate system is fixed in space as a fixed point.
- the time at which the altered physical position is present also determines the presence of an associated marker position configuration.
- a marker position configuration is determinable from the marker image areas included in another image data pixel array.
- a marker model configuration is also used which corresponds to the starting position.
- a comparison algorithm is applied to an array of selected marker image areas and a marker model configuration. In the comparison, a marker image area can be visited in the further image data pixel arrangement, which has a smallest distance to a marker image area in the starting position, in particular a coordinate point assigned to the marker image area in the starting position, compared to other marker image areas of the further image data pixel arrangement, in particular to their respective coordinate center , Such an image area is also referred to as the nearest neighbor.
- Next neighbors can also be used for at least three marker image areas, eg. B. for each associated coordinate points, in particular the further image data pixel arrangement, are determined.
- a marker image area does not appear in the image data pixel array because a corresponding marker element is e.g. B. is covered by a second marker element, it can be deduced on the basis of known marker configuration on such a hidden, further marker image area.
- the method is particularly robust in that not all marker elements of the marker carrier must be recorded by the digital camera. Due to the prior knowledge of a geometry of the marker carrier and the prior knowledge of a marker configuration, it is known in which model view marker carrier and associated marker elements are visible to the digital camera. Such "visible" marker elements are particularly useful in the evaluation of a marker model configuration consider. Thus, a result of the comparison algorithm applied to marker model configurations and marker image areas is faster. Furthermore, the performance of a numerical optimization method applied to the preselected marker model configuration in the comparison algorithm is even more improved.
- a marker position configuration has a marker configuration of a plurality of markers at a position in space.
- the marker configuration is present on a marker carrier.
- the marker carrier has at least two surface elements.
- the markers on the surface elements represent a marker position configuration in the shape of the marker support at a location in space and in an orientation in space.
- the markers are in a planar element-wise arrangement.
- the arrangement on a first surface element and the arrangement on a second surface element differ.
- the markers can also be spatially integrated into a surface element, for. B. as white or colored areas. With respect to the respective surface element, the markers on the first surface element have a different position than the markers on the second surface element.
- the markers on a first and a second surface element can not be superimposed on each other.
- the marker positions on the first surface element and the marker positions on the second surface element can be converted into one another neither by rotation, nor by displacement, nor by uniform extension of the configuration, nor by a combination of these operations.
- the arrangement of markers having a first surface element differs from an arrangement of markers having a second surface element.
- three non-linearly arranged markers can always be brought into a spatial arrangement by a spatial rotation.
- Their projection onto a flat surface such as the sensor of a digital camera, could be like a second, flat triangular array of marker elements.
- this basically known possibility is excluded by the marker configuration, which is based on surface elements.
- Marker elements that are configured on surface elements can not be spatially modified in groups. Consequently, the marker elements can also be differentiated surface-element wise in the projection onto an image data pixel arrangement.
- the arrangement of marker elements on adjacent surface elements is configured so that in the projection on a surface in a digital camera marker elements of a first surface element not z.
- a second surface element is adjacent to a first surface element when no further exists between the first and second surface elements Surface element is present.
- a comparison algorithm applied to the markers of the first area element and the markers of other area elements will not find a match between the respective marker configuration.
- Two arbitrarily selectable surface elements of all provided support surface elements differ in the configuration of the respective markers of a surface element.
- a numerical optimization method is used to determine the parameters of a system that minimize or maximize a target function. The determination takes place in such a way that either a predefined result ⁇ of the target function is undershot or exceeded or no other parameters are found which yield a smaller or larger result of a target function.
- the result ⁇ can also be referred to as an accuracy value.
- These parameters are called optimal in terms of the objective function.
- the "optimal" coordinates are ideally the actual coordinates of the marker configuration.
- the compensation calculation is an example of a usable optimization method in which the unknown parameters of their geometrical-physical model (projection of object points into an image plane) are determined or estimated for a series of measurement data (eg markings in a two-dimensional image).
- One method for solving such so-called compensation problems is the method of least squares, in which the quadratic distance of the measurement points to an estimation function as target function is minimized, such that either the parameters found are below a predetermined distance ⁇ or none other parameter that provides a smaller squared distance from measurement points to an estimator.
- Abort criterion such as:
- a target function falls below a predetermined limit ⁇ with the parameters found iteratively.
- Examples of numerical optimization methods are the Levenberg-Marquardt algorithm or the Gauss-Newton method.
- An objective situation or a changed objective situation can be raised particularly advantageously with a system for the presentation of a visual field representation.
- a location is determined and evaluated.
- a location provided as a record by the system may continue to be used within the system.
- a layer is preferably used for calculating a field of view representation.
- the field of view can z.
- B. include a view of a virtual space.
- a virtual space is a spatial geometry computationally generated in visualization data, at least for one aspect.
- a view is determined, in particular, by a solid angle range, which according to one aspect can also be referred to as a field of view.
- the solid angle range can be changed by a movement.
- the movement is carried out in real space.
- the real movement is transferable into a representation of the virtual space.
- the system includes a portable marker carrier, the z. B. covers an area of a visual field of a person, such as a temple area.
- the marker carrier preferably encloses the head on all sides on one level. In the plane the eyes can lie. The plane may also overlap the ears or the ear canals. The plane preferably extends from the eyes to the back of the head. The plane may also be parallel to a plane associated with the eyes, such as a plane of a hat brim.
- the marker carrier can be z. B. extend along a headband.
- the marker carrier can be worn by means of a band that encloses the back of the head.
- the portable marker carrier can also be worn on a device in the manner of a spectacle frame.
- the label carrier has a very low weight of less than 1 kilogram. The marker carrier does not restrict the possibilities of movement of a person or at least only insignificantly.
- a plurality of marker elements are provided on a surface area directed outward relative to an interior area of the marker support provided for receiving a head or an object.
- a marker element can be an ellipsoid.
- a marker element can also be represented from cylinder, cuboid, sphere, cone elements or combinations thereof. It is also possible to use marker elements which have a polyhedron shape.
- the shape of a marker element may be a body shape that forms itself takes off from the marker carrier. There is no spacer between a marker element and the label carrier.
- a marker element can also be integrated in a flat region of the marker carrier, wherein the marker element, however, must differ in at least one optical property, such as absorption, reflectivity or a spectral property, from the surface area of the portable marker carrier.
- materials for marker elements are z.
- paper or lightweight ceramics such as zeolite, in particular of almost white color.
- materials for label carriers are z.
- carbon fiber plates black anodized light metal plates or plastic plates, especially of black color. Other materials can be used, which in particular have a lightweight that does not affect the comfort.
- the system has at least one digital camera.
- the digital camera can z. B be attached to a tripod or on a ceiling. It is also possible to use a plurality of digital cameras to expand a space to be recorded by a digital camera.
- the digital camera has a lens with which a spatial area can be sharply imaged. It can, for. B. come a monocular lens used. It is advantageous to use lenses that image a spatial area with only insignificant distortion.
- the image is taken on a two-dimensional field of a sensor.
- the sensor converts the incoming light pixel by pixel into electronic data, which form a two-dimensional pixel data field.
- a photographic shot or an image of a movie sequence of the digital camera may be transmitted as a first pixel data field to a computing unit.
- the arithmetic unit is z.
- a mobile computing unit such as a so-called smartphone, a laptop or a tablet.
- Algorithms such as image data processing algorithms, can be executed on the arithmetic unit.
- the system comprises an electronic image display. On the electronic image display z. B. a pixel data field can be made visually visible. However, a calculated field of view display can also be visualized on the electronic image display.
- a data transmission unit is provided.
- the data transfer unit provides the data transfer connection between the digital camera and the arithmetic unit.
- the communication link may also provide the provision of electronic data for the creation of a visual field representation on the electronic image display.
- the electronic image display may be in connection with the arithmetic unit.
- the electronic image display can also be an independent device independent of the arithmetic unit and be supplied via the data transmission connection with electronic data, in particular with electrical energy for operation.
- a wireless data transmission connection is used. It is favorable for applications of System when the image display is freely movable.
- a data transmission connection between image display and arithmetic unit is not interrupted by movements of a marker carrier.
- the system includes at least one light source.
- the light source serves to emit preferably visible light.
- the light provided by the light source must be recordable with the digital camera. It is also possible that a conversion of the light, for. B. by fluorescence or phosphorescence, takes place on a marker element.
- an ultraviolet light source may be useful here.
- Marker elements may have a fluorescent or phosphorscent coating. Preferably, however, visible light is used. Marker elements can serve as a light source in the manner of a luminous moon. It can also be said that the daylight provided by the sun can be used indirectly as a light source directly or by reflection or scattering.
- the light can be registered by the digital camera. The light from the light source passes at least partially through the space area covered by the digital camera.
- marker elements it is also possible by means of fluorescent properties of marker elements to convert a non-visible spectral range of a light source into a visible spectral range of marker elements and to register it for the digital camera.
- a contrast enhancement between the marker element and the immediate surroundings of the marker element, in particular in an image area of the pixel data field, which can also be referred to as pixel data arrangement, can be achieved.
- a commonly used light source is z.
- the arithmetic unit calculates a visual field representation.
- the field of view representation is provided for the image display. In the field of view, a viewer's position, which is taken almost at the same time, is included.
- the marker carrier is freely movable in the space area imaged by the digital camera. There are no optical barriers between the marker carrier and the digital camera. However, it is possible that parts of the marker carrier temporarily by z. As hair or a scarf are covered.
- the space between the marker carrier and the digital camera is obstruction-free. It is Z. B. by a space limitation provided that a minimum resolution of a marker element in the pixel data field is not exceeded by a change in distance between the marker carrier and digital camera.
- the minimum resolution preferably comprises one pixel for a marker element.
- a marker element should occupy at least one pixel.
- the minimum resolution can also be a predeterminable number of, z. B. four, pixels are set for a marker element to a reliability of error-free marker recognition, eg. B. by excluding electronic single pixel error to improve.
- the marker carrier comprises at least five surface elements.
- a surface element can also be referred to as a carrier surface element.
- a surface element is at least partially planar.
- a surface element may have an edge, such as a folding edge. In one aspect, surface elements having a folding edge may also be referred to as two surface elements.
- a marker carrier has proven to be particularly favorable, which comprises at least five surface elements which are each assigned to one another at an edge region.
- surface element formed trapezoidal they can be particularly favorable place together. Edge regions of further surface elements preferably extend along three edge regions of the trapezoidal shape. A fourth border area of the area element may be freestanding.
- the surface elements are arranged like a ring. At least five surface elements can be combined into a ring. In one aspect, the ring may be of pentagonal cross-sectional area.
- the marker carrier can be similar to a wreath around a head. On a surface element of the marker carrier, the marker elements are in a configuration. The configuration of the marker elements on a surface element is unique. In other words, the arrangement of the marker elements on a surface element differs from the arrangement of the marker elements on a second surface element. The configuration of the marker elements is different from each other surface-wise.
- the portable marker carrier can assume an angular position in the spatial area that the digital camera measures.
- the angular position is in front of a camera plane.
- the angular position is relative to a sensor plane of the digital camera.
- the angular position can be changed by a movement of the marker carrier. It can, for. B. lead a tilting movement or a rotational movement of the marker carrier to an angular position.
- the marker carrier can be viewed by the digital camera in every angular position in the form of at least two surface element elements bearing marker elements, a first surface element and a second surface element, which can also be labeled as carrier surface elements.
- the two surface elements may be adjacent to each other, wherein in particular the first surface element connects with an edge region to the second surface element.
- At least two surface elements which have marker elements can be jointly filmed or photographed by the digital camera, or in other words can be imaged.
- the two surface elements are preferably designed trapezoidal and planar. Of the two surface elements, an angle smaller than 180 ° is included.
- the second surface element is not arranged as a rectilinear, in particular not parallel, continuation of the first surface element.
- the two surface elements can in one piece, but still apply, in particular with regard to a mapping to an image data pixel arrangement, yet as a different surface elements.
- the digital camera receives light from marker elements.
- marker elements There are at least four marker elements that are algorithmically recognizable by the arithmetic unit in the pixel data field.
- a spatial position of the field of view is defined in the arithmetic unit by at least one comparison unit, such as a comparison algorithm.
- the comparison algorithm checks whether or to what extent there is a deviation between the four marker elements in two-dimensional imaging and a marker model configuration.
- the comparison algorithm recognizes the marker model configuration that has the best match with four marker elements.
- the selected marker model configuration which may also be referred to as marker position configuration, includes coordinates that define a spatial location of the field of view.
- the field of view is aligned with the marker position configuration.
- the marker model configuration can be determined based on a preselection of marker elements.
- a preselection comprises three marker elements.
- the marker elements can be arranged on a single surface element.
- the marker configuration from which the marker elements are selected is previously known.
- configuration hypotheses of the three marker elements are preferably created, which can also be referred to as marker model configurations of the three marker elements.
- up to five configuration hypotheses are used. Based on the five configuration hypotheses, the comparison algorithm makes a decision as to whether the three marker elements are suitable as a marker model configuration for further calculations. Such a procedure allows a quick check of different marker model configurations.
- the quality of a preselection of a marker model configuration can be checked. At least one further marker image area, in particular from the same two-dimensional image data pixel arrangement, is selected. The assignability of the at least one further image area to the marker model configuration can make the selection decision for the Confirm marker model configuration. It has proven to be advantageous if, during the check, a perspective visibility of marker elements is taken into account. It is possible for at least one marker element to be concealed by the marker carrier, in particular by a surface element of the marker carrier in a position of the marker carrier or an orientation of the marker carrier in front of the digital camera. A hidden marker element of the marker model configuration can be excluded from the review of another marker image area.
- a perspective visibility is predetermined in particular on the basis of the assignment of marker elements, in particular of configured marker elements, to a carrier surface element.
- a marker model configuration in one aspect, is a hypothetical image of a predetermined array of marker elements on a marker carrier present as a data set in a computing unit.
- the marker model configuration may include all marker elements arranged on a label carrier.
- a bright spot filter As a particularly reliable marker detection algorithm, a bright spot filter has been found.
- the bright spot filter in particular, bright image areas in an image data pixel arrangement are detected in front of a background that is less bright than a marker image area. It can z. B. white marker elements are used that cause bright, at least locally whitish, image areas.
- the bright spot filter can filter out a spot geometry that can be assigned to a marker element. Bright spots in an image data pixel array which are not from a marker element can be at least partially excluded.
- the reliability of the method can be further improved if it is taken into account that a marker element temporarily, z. B. may be covered by hair or by shadows. It is possible to calculate at which point a hidden marker element might be present. This can be z. For example, refine a recognition of marker image areas using a prior art marker model configuration.
- the method can furthermore be designed favorably by using an advantageous representation of a position and a direction for determining the position.
- a position and a direction can z.
- B. be represented mathematically with a translation vector and a rotation representation, leading to a marker model configuration. Examples of a rotation representation are a rotation matrix, Euler angle, a quaternion, a Rodriguez representation or an angle vector representation.
- Orientation representations are used to mathematically describe an angular position of objects. Besides, they are used around one Angular position change, ie a rotational movement, of mathematically describing objects.
- Euler angle and Rodriguez representation are 3-parametric representations.
- all parameters are independent of each other. This means that each parameter can be changed on its own and the parameters still provide orientation. This is a big advantage, especially with numerical optimization methods.
- a problem may arise if an orientation representation in an angular position can be expressed by several variants of the same form of representation. For example, there are 12 ways to represent a single orientation with Euler angles.
- Another possible problem of a form of representation is the occurrence of a gimbal lock, in which two parameters describe the same change of the angular position, ie a rotation about the same axis. One consequence is a jumping of the descriptive parameters although the angular position does not change.
- Quaternion or angle vector representation are examples of 4 (four) -parametric representations.
- a 4-parametric representation has no undefined state such as the gimbal lock and is therefore suitable for so-called "tracking" applications when tracking motion and for noise filters, but the four parameters are not independent due to the over-determination
- the parameters may describe a rotation and a deformation, so for methods that change individual parameters, such as numerical optimization methods, this representation is less is suitable and often requires an additional correction of the deformation if, for example, when optimizing an orientation, the object is not only rotated but also deformed.
- a numerical optimization method can improve the accuracy in determining the position.
- a numerical optimization method can z.
- a Levenberg-Marquart algorithm can be used.
- the Levenberg-Marquardt algorithm is a numerical, iterative method for solving nonlinear compensation problems using the method of least squares, which is very robust against poor starting values of the parameters to be determined.
- the Gauss-Newton method is another example of a useful numerical optimization method.
- the numerical optimization method is applied to a preselection of marker image areas.
- the preselection comprises the three marker image areas that have been recognized as marker image areas with a least deviation from a marker model configuration. At least one additional marker image area is added.
- the numerical optimization method is applied to at least four marker image areas.
- the determination of the situation can be specified.
- an orientation can be determined more accurately.
- the numerical optimization method is applied to a three-parametric representation of the orientation of the marker model configuration. All other points of the marker model configuration which do not match the marker image areas are also carried by the previously known marker configuration.
- the digital camera will acquire image data pixel arrangements, e.g. With a sequence of sixty image data pixel arrays, which may also be referred to as images, in one second. From a first image to a second image, a change in marker position configuration may have occurred.
- the change in the marker position configuration may also be based on a shift of markers, which may also be referred to as marker elements, on the marker carrier. It may be necessary to recalculate the marker model configuration that defines the starting position. The procedure can be carried out particularly quickly if the markers arranged on the marker carrier are of the same design.
- the marker elements associated with the label carrier are uniform, same color, especially white or black, and equal in size.
- the marker carrier is designed to contrast, preferably black or white.
- a marker configuration can be determined by calculation from the acquired marker image areas. In this case, marker image areas from a plurality of image data pixel arrangements are taken into account. Preferably, all of the marker elements are shown in the plurality of image data pixel arrays. In other words, each carrier surface element of the marker carrier should be detected in at least one image data pixel arrangement at least with the markers arranged on the carrier surface element.
- the changed marker configuration is determined algorithmically. In particular, good results are obtained by using a structure-from-motion algorithm. This algorithm is a method of photogrammetry in which a based on three-dimensional structure, which is viewed from two angles in two-dimensional images, measured three-dimensionally.
- an ensemble adjustment algorithm can also be used to further improve the accuracy of the particular marker combination.
- a marker configuration is calculated recursively as marker model configuration. The calculated marker configuration sets the marker model configuration of the starting position. The marker position configuration of the changed position can be determined from z. B. calculate a first and a second image data pixel arrangement.
- the calculation may also include a further image data pixel arrangement, such as the second image data pixel arrangement.
- a further image data pixel arrangement such as the second image data pixel arrangement.
- a next-neighbor image area is an image area which, starting from a position of a detected marker image area of a first image data pixel arrangement in a further image data pixel arrangement, has the smallest linear distance in comparison to all other marker image areas of the further image data pixel arrangement.
- at least three marker image areas of a first image data pixel arrangement can each be found a next neighbor image area of the further image data pixel arrangement.
- the first image data pixel arrangement is the starting position.
- the accuracy of determining position and / or orientation can be further optimized.
- An optimization is possible by means of an additive change.
- the Optimization procedure is performed numerically.
- a Levenberg-Marquardt algorithm may be used to optimize a marker model configuration.
- a Jacoby matrix is approximated by numerical differentiation.
- the orientation is optimized in a three-parametric representation of the orientation in the marker model configuration.
- the optimization takes place z. B. by means of a program code, which is executable in the arithmetic unit.
- the method for determining an objective position, in particular after a change in position can yield even better results if the numerical optimization method provides for a control algorithm (RANSAC, Random Sample Consensus). At least one result of the numerical optimization procedure is checked.
- defect image areas that z. B. are reflected by highly reflective objects in the space area of the digital camera in the image data pixel arrangement, which are, however, no marker elements or markers are excluded from the control algorithm.
- marker image areas which were not visible or could not be found in a first image data pixel arrangement but which should have been findable according to the marker configuration are recognized as defects and, in particular after being found in a second image data pixel arrangement, e.g. B. recursively, be included.
- the result of the numerical optimization procedure is checked by means of a random selection of at least one marker image area configuration.
- the RANSAC algorithm is used to clean up a series of measured values, such as coordinates assigned to marker image areas or marker image areas, from so-called outliers, that is, measurements with coarse errors. From a given set of measurements m is taken a randomly chosen subset m, which contains exactly the minimum number of measurements necessary to generate an estimation hypothesis. This minimizes the likelihood of outliers in subset m.
- the subset is a selection of three marker image areas that can be uniquely determined, and the result obtained is compared with the result of the numerical optimization method, which has incorporated more than three marker image areas in particular It is also possible to check different marker image region configurations to see whether a consistent result is consistently obtained from them.
- a hypothesis can also be referred to as a pose hypothesis or position hypothesis.
- the control algorithm is used, in particular, to check the association of nearest neighbors of marker image regions used between a first and a second image data pixel arrangement.
- a noise suppression algorithm uses a motion progression forecast to computationally filter the position and / or the orientation.
- Position and / or orientation are obtained from image data pixel arrangements, for example in the case of a changed physical position, and refined with a numerical optimization method.
- a movement process is continuous. Therefore, a prognosis about the course of the movement is possible.
- a state space representation of marker model configurations is used.
- the state space representation which may also be referred to as a state space model, is one form of the description of a dynamic transmission system.
- the state space model enables analysis and synthesis of dynamic, variable systems in the time domain and can also efficiently z.
- Kalman filter An example of a noise suppression algorithm is a Kalman filter.
- the Kalman filter is a filter that is applicable in state space.
- measurements can be improved with the aid of a process and measurement model, such as a marker model configuration.
- the Kalman filter works in the two steps predication and innovation:
- the Kalman filter itself is based on a set of linear mathematical equations and requires gaussian distributed noise.
- the Kalman filter serves to remove the interference caused by the meters, such as the digital camera.
- both the mathematical structure of the underlying dynamic system such as the movement of marker elements, as well as the Messvertigschept, such.
- the pixel noise be known.
- mathematical estimation theory one also speaks of a Bayesian minimum variance estimator for linear stochastic systems in state space representation with regard to Kalman filters.
- Kalman filters can be used, such as. B. an Extended Kalman filter (EKF) or a linearized Kalman filter.
- EKF Extended Kalman filter
- linearized Kalman filter a linearized Kalman filter
- quaternion-based motion sequence filter which may also be referred to as a quaternion-based Kalman filter.
- This is a non-linear filter for smoothing angular position measurements. In particular, this filter avoids the well-known problem of "gimbal lock.”
- Quaternions are particularly suitable for displaying rotations and for solving motion tracking problems.Quaternions are also particularly compact compared to other forms of representation.These are four-parameter
- the motion dynamics can be described linearly as a model and the transition matrix, which can also be called a transition matrix, is easy to calculate.
- the transition matrix can be calculated with three angular velocities occurring around the respective coordinate axes.
- rotational speeds about the respective coordinate axes can be calculated from two angular positions which were determined at different times.
- the rotational speeds are associated with a rotation, which convert an object from the first angular position to the second angular position at the respective time of the angular position.
- the quaternion-based motion sequence filter takes into account two characteristics of the quaternion orientation plot.
- the motion sequence filter takes into account the property that the rotation, in other words the rotation, representing operator, namely the rotation operator, and thus a possible error that comes to the orientation, is described by a multiplication, and is thus nonlinear.
- the quaternion which describes the angular position of an object, always has to result in a unit quaternion with the length 1 (considered as the magnitude of a vector).
- the multiplicative rotation operation may be linearized such that it is described by an addition.
- the property of the unitary quaternion may in this case be preserved by normalizing the result of the filtering.
- the angular position determination method must be considered as a pseudo-meter for the four parameters of a quaternion, assigning to each parameter measurement falsification independent of the other parameters Therefore, preferably still be improved.
- a quaternion-based motion sequence filter does not track the angular position of an object itself, but the change in the angular position of the object. It can also be said that the multiplication operation of the 4-parametric output angular position with the likewise 4-parametric change of the angular position results in the updated angular position which is present at the time of the detection of a new image data pixel arrangement.
- the measurement of the new angular position from the new image data pixel arrangement may be referred to as measuring the angular position with a measurement corruption.
- the calculation of the new angular position adjusted for the measurement distortion is encapsulated around the motion sequence filter.
- the motion sequence filter takes into account a limitation of the angular position with respect to an expectation value of a motion quantity.
- the change of the angular position is tracked in a 3 (three) -parametric representation and can therefore be described with a linear additive error without distorting the rotation operation.
- the filtered result is converted into a 4-parametric representation before the multiplicative rotation operation with the output angular position.
- the change in the angular position can be measured directly with, for example, angular rate sensors, such as a gyroscope. It is also possible to calculate the change of the angular position assuming uniform rotational motion in the motion process model, by means of the transition matrix from the output angular position and the new measurement of the angular position.
- a particle filter such as a condensation algorithm or a sequential Monte Carlo algorithm can also be used. These are non-linear filters that do not require Gaussian distributed noise processes.
- a position determination can be carried out particularly quickly and quickly if, as a starting point, a preselection of a marker subgroup of the marker configuration for the application of the comparison algorithm is made.
- an initial configuration of the comparison algorithm can be defined.
- the marker subgroup is determined from the marker configuration.
- the marker subgroup can also be determined from a marker model configuration.
- the preselection of the marker subgroup is preferably carried out algorithmically in the arithmetic unit, with recourse being made to previously known marker configuration data.
- As a marker subgroup z. B. marker elements are selected, which have a smallest, especially middle, distance. In one aspect, these are the closest neighbors within the marker configuration.
- the marker subgroup preferably comprises three marker elements.
- the marker subgroup may also include four marker elements.
- the smallest average distance is recognized in particular when a mean distance is increased by a hypothetical exchange of a marker element of the marker subgroup.
- the average distance can be z. For example, it can then be calculated that in each case all present pairwise distances of two marker elements are added to the marker subgroup and divided by the number of spacings.
- a first subgroup preferably comprises five marker image areas.
- the first subgroup may also comprise three marker image areas, in particular if a review of a numerical optimization procedure is to be carried out.
- the subgroup is preferably selected as nearest neighbor marker image area configuration.
- the marker image areas are selected from all found marker image areas, which are evaluated algorithmically as the nearest neighbors.
- the nearest neighbors can be z. B. in that the mean distance of three marker image areas from all found marker image areas is calculated. The marker image areas with the smallest mean distance form the selected first subgroup.
- Additional marker image areas which have a greater average distance than a first subgroup, can be introduced into the comparison algorithm sequentially, each with a larger average spacing. This is preferably done when the first subgroup or another subset of the comparison algorithm, e.g. Due to insufficient compliance with a marker model configuration.
- a nearest neighbor marker image area configuration may also be a first marker image area configuration of a first image data pixel array and a second marker image area configuration of a second image data pixel array, e.g. B. of all marker image area configurations, in particular within the marker image area configuration, the smallest mean distance from each other.
- An algorithmic marker position configuration retrieved by means of marker image areas, which constitutes the objective location, can be further refined by assigning a position and a direction of a solid angle range to the marker position configuration.
- a changed solid angle range is a solid angle range present in a second objective position.
- a size of the solid angle range can be z. B. be indicated by two angles.
- the size of the solid angle range corresponds to z. B. a field of view of a human eye or a field of view of a human eye pair.
- the position can z. B. be the position of the head in space.
- the direction can z. B.
- the solid angle range can be converted into area image data of a virtual space.
- image data of a real space such as a photograph or a film digitized on the arithmetic unit may also be used for calculating area image data associated with a solid angle area.
- image data of a three-dimensional space are used for a conversion.
- Area image data attributable to a solid angle area may be provided by a computer-aided design program. It is also possible a position and a direction in a computer-aided To use a design program to calculate a solid angle range of a virtual space.
- a system for providing field of view display preferably operates with marker elements that are in a configuration.
- the configuration of the marker elements can be structured by a marker carrier, in particular by surface elements of the marker carrier.
- the configuration of the marker elements is preferably determined by a pseudorandom distribution of the marker elements.
- a position of a marker element is predetermined by means of at least one random number. Random numbers are z. B. predetermined by a random number algorithm by calculation. A random number can be z. B. uniquely define a coordinate or a pixel on a surface element.
- pseudo-random distribution means that the random distribution of the marker elements is subject to further boundary conditions. It is for example possible to specify in advance that on a surface element of the marker carrier a certain number, such.
- marker elements must be present. It can also be specified that the marker elements are arranged non-linearly. In the case of a pseudo-random distribution, a boundary condition can also be defined, according to which a minimum distance of each marker element from a nearest edge is maintained in the configuration. According to another aspect, a minimum distance from a nearest edge of the marker carrier can be assumed. According to yet another aspect, a minimum distance of in each case two marker elements of the configuration can be defined in advance. With such specifications can be z. B. improve the distinctness of two marker elements. Furthermore, in a pixel data field recorded by a camera, marker elements are at least partially shown with the background of the marker carrier, whereby finding marker elements in the pixel data field can be facilitated.
- a marker carrier provides a homogeneous and uniform, especially dark, background, the z. B. differs from a detectable in the space area background.
- the minimum distance is preferably at least one third of a marker element diameter. It is also possible to provide a minimum distance of half a marker element diameter or a whole marker element diameter as a minimum distance so as to further improve marker recognition in the pixel data field.
- all the marker elements in the configuration are not arranged linearly with respect to one another, so that a nonlinearity of the configuration can be spoken of.
- a nonlinear configuration of three marker elements is a triangle configuration.
- Marker elements can be found particularly well in a pixel data field if the configuration provides at least one, preferably at least four marker image areas. Configuration also implies that there is a combination of a preselected configuration of a label carrier with marker elements.
- the marker image areas are provided in a photograph of a digital camera.
- the digital camera also captures marker carrier image areas. At least one of the marker image areas should at least partially adjoin a marker carrier image area. Preferably, at least four marker image areas adjoin a marker carrier image region.
- marker image areas are contained in the pixel data field, in particular also the further marker image areas in a two-dimensional view of the pixel data field are identified at least at an edge area with a brightness difference to a surface element of the marker carrier.
- a marker image area is enclosed by a marker carrier image area border.
- Marker image areas are particularly well captured with a marker detection algorithm if they are present with a high contrast relative to an image area background. For this it is favorable if surface elements of a marker carrier have an absorption-promoting surface.
- a beneficial aspect of a surface is understood to be a material property that causes relief or enhancement of an optical effect.
- the marker carrier can z. B. to improve, ie increase, the absorption of visible light to be formed.
- the absorption of a surface element can also be optimized for a given spectral range. Preferably, more than 50% of the light incident on a sheet is absorbed.
- An absorption-promoting surface is, in one aspect, to be distinguished from a reflection-promoting surface. A reflection-promoting surface facilitates photons leaving the surface, whereas an absorption-promoting surface makes it difficult to emit photons.
- the range of visible light can z. B. be sized between 350 and 800 nanometers. Marker elements preferably have a reflection-promoting surface.
- a reflection-enhancing surface is z. B. a white surface. A white surface reflects incoming light of the visible spectral range. It is also possible that the reflection takes place with a scattering of light.
- a reflection-promoting surface preferably does not provide angular preservation for incident light, in particular the least possible back reflection, so that positioning of a light source is freely selectable.
- a reflection-promoting surface may in one aspect also be referred to as an emission-promoting surface.
- the radiation may include a return of received light.
- the radiation may also include the emission of generated light.
- more than 50% of the light incident on a marker element is reflected.
- Markerelementoberf laugh advantageous that throw back light broadband.
- Marker element surface coatings are used, which promote a radiation of visible light, especially in a spectrally-restricted wavelength range. This makes it possible, for.
- a suitable spectral filter in front of a digital camera By pre-setting a suitable spectral filter in front of a digital camera to improve the findability of image areas of marker elements in an image data pixel array.
- the findability of marker elements in image areas can also be improved by coating with an optical brightener.
- An optical brightener is a substance that z. B. high-energy light, such as UV light, in lower energy light, such as visible light, converts.
- the optical brightener is preferably applied to the marker elements.
- the optical brightener can also be present as an admixture of the shaping material of a marker element.
- Optical brighteners are z. B. especially useful when there is daylight at the site of the marker support or at least contributes to the light of the light source.
- an additional, so-called black light source such as a black light fluorescent lamp, may be used to further enhance the findability of marker elements by a marker detection algorithm.
- passive contrast-forming marker elements also actively illuminated marker elements such.
- a greater independence of available light sources can be z. B. by integrating a light emitting diode or an optical fiber end of a light source in at least one outwardly translucent marker element.
- the computing unit of the system is preferably so small and light that it is portable.
- the arithmetic unit can z. B. be worn in one hand. It is also possible to attach the arithmetic unit to a belt or belt.
- the application possibilities of the arithmetic unit are even more expanded if the arithmetic unit has a memory unit.
- the storage unit can be used to provide virtual space data. But it is also possible to transmit the data of a virtual space by radio to the arithmetic unit in order to make the portable computing unit as small as possible, so that it can be housed in an interior of a marker carrier.
- the virtual space data can be used to provide location changes or field of view displays in chronological order. It is also advantageous if a control is provided in the system.
- a control element can be designed so that it can be connected to a computing unit.
- a control may act as a speech recognition engine present, which evaluates a voice input via a microphone.
- the control element is designed as a gesture recognition unit in which one or more pixel data fields can be analyzed algorithmically.
- the pixel data fields are z.
- the system may also include other electronic image displays, in particular a second electronic image display. It is possible that the first electronic image display and the second electronic image display together form a field of view.
- a favorable arrangement is when the further electronic image display is fixedly spaced from a first electronic image display in a transverse direction.
- the electronic image displays are arranged side by side, whereby an extended visual field representation is possible.
- the same field of view can also be duplicated. This allows different viewers to focus on the same field of vision.
- a first and a second field of view may be presented as a stereo region angle range. A stereo angle range provides an even more impressive spatial impression of a virtual environment or a virtual space for a viewer.
- Video glasses in one embodiment have first and second image displays.
- An image display is associated with an eye.
- a video eyeglass may comprise at least one measuring device.
- Other measuring devices such as a second measuring device, may also be provided on a video eyeglass.
- a measuring device is a unit for performing at least one measurement of a measured variable, preferably in chronological order.
- a measuring device comprises z.
- a video eyeglass which in particular comprises an eye position measuring device for each eye, to determine a viewing direction of a person, or a change in the viewing direction of a person, by turning the eyes.
- a viewing direction can be included in a representation of, in particular, a field of view or an angular range in a virtual space.
- a portable marker carrier can, for. B. in combination with a system, even more versatile, if a ring-like course of the marker carrier has an interruption at least in one area. This makes it possible to slightly widen the shape of a ring structure on the label carrier.
- the ring-like structure of the marker carrier preferably has an in particular equilateral, polygonal, in particular pentagonal outline.
- By at least one incision or at least one recess is a configuration of a marker carrier, in which an angular position of surface elements to each other can be slightly changed.
- the recess may be gap-like.
- the label carrier preferably extends in an annular manner from a first end edge to a second end edge of the marker support.
- An equipped with elastic marker carrier can be applied like a clip.
- a marker carrier can be z. B. cling to different head sizes.
- a marker carrier can be designed so that a clamping force or a spring force can be applied to an object or body part enclosed by the marker carrier. This can ensure that even with very fast movements of the marker carrier does not slip on the object or body part.
- the spring force is preferably greater than or equal to a mass inertia of the marker carrier.
- the mass inertia is low, in particular due to the carbon fiber composite material used for the surface elements.
- a marker carrier can correspond at least in a surface projection of an at least pentagonal, disk-like basic shape. It is advantageous if at least one side edge of the basic shape is designed to be free of surface elements at least in regions on the marker carrier.
- a label carrier may be formed with a ring-like, pentagonal basic shape, wherein at four side edges of the pentagon in each case two, z. B. to each other at right angles, surface elements are located.
- the surface elements are trapezoidal. On the longest side of the trapezoid, which forms a side edge, two surface elements each adjoin one another.
- the fifth side edge of the pentagon corresponds to an imaginary connecting line because this area of the marker carrier remains area-element-free.
- An edge of at least one trapezoidal surface element may be formed as the end edge.
- An end edge preferably extends over two interconnected surface elements.
- the end edge extends along a sloping side of a surface element, which according to one aspect may also be referred to as a beveled edge, for example a trapezoid.
- a bevelled edge may also exist along a connecting edge between two surface elements.
- One Marker carrier may therefore preferably comprise eight surface elements to, in particular, ten surface elements.
- Each surface element has, preferably at least three, marker elements. But it can also be provided surface elements that are less than three, z. B. have two marker elements.
- marker element There is an association between marker element and surface element. Due to the selected basic shape, at least two surface elements are always optically detectable even when the surface-element-free edge is aligned with a camera. Marker elements located in particular on at least two surface elements can be found algorithmically in an image or a pixel data field.
- the evaluable for the optical-algorithmic detection of a layer solid angle range is not limited by the label carrier gap on the label carrier. In other words, such a marker carrier has a recess.
- the marker carrier is particularly simple, namely like glasses, can be placed. It is not necessary, the label carrier z. B. over a body part, as from above the head, to evert.
- the recess in the marker carrier may be so large as to accommodate an electronic image display such as video glasses.
- the marker carrier can be combined with differently constructed video glasses.
- the marker carrier can be designed so that it can be applied as an image-independent object on a body or on the head of a person.
- a ring inner region is advantageously at least one holder, such as a hook and loop fastener element or magnetic fastener attached.
- the holder is provided for adhering to at least one holding element.
- the holding element can, for. B. be designed as a cover of a head strap of a video glasses.
- the holder is a three-point holder. A three-point mount provides a tight fit.
- a breakpoint can be formed at the back of the head and two breakpoints can be formed in the temple area. This is z.
- a partially transmissive image display which superimposes virtual picture elements on a visible, real space.
- the overlay is done by a system.
- the system evaluates a position with the aid of the marker carrier and uses position coordinates to computationally generate a view of at least one virtual image element in real time.
- FIG. 1 shows a system for presenting a viewing direction, wherein a wearer can move freely in a room area
- FIG. 2 shows a marker carrier into which the activating marker elements can be integrated, in plan view in FIG. 2a, in an average along the axis BB in FIG. 2b, in a side view in the direction B, in FIG. 2c and in a vertical side view in FIG. 2d and in a perspective view in FIG. 2e,
- FIG. 3 shows a marker carrier with passively light-scattering marker elements, specifically in a plan view in FIG. 3a, in a first side view, in FIG. 3b and in a second side view in FIG. 3c and in a perspective view in FIG. 3d, FIG.
- FIG. 4 shows a marker carrier from FIG. 3 with built-in video glasses in a plan view in FIG. 4a, in a first side view in FIG. 4b, in a second side view in FIG. 4c and in a perspective view in FIG. 4d,
- Figure 5 shows a first embodiment of a method
- FIG. 6 shows a second embodiment of a method
- FIG. 7 shows a further embodiment of a marker carrier which is provided for the use of actively illuminated marker carriers, namely in FIG. 7 a a top view and in FIG. 7 b a perspective view,
- FIG. 8 shows a further embodiment of a marker carrier with passively light-scattering marker elements, specifically in FIG. 8a a top view and in FIG. 8b a perspective view, and FIG
- FIG. 9 shows a further embodiment of a marker carrier with passively light-scattering marker elements and with built-in video glasses, specifically in FIG. 9a a top view and in FIG. 9b a perspective view.
- reference numerals in the numerical range of 200 to a maximum of 400 indicate features which are mainly explained with regard to methods.
- the other number ranges below 200 and above 400 are predominant used for physical features.
- FIG. 1 shows a system 1 with which a visual field representation for a wearer person P can be presented.
- the wearer P carries on the head at eye level a marker carrier 3, which has ball-like marker elements, such as the marker element 5, which are all formed identically.
- a carrier surface element, such as the carrier surface elements 27, 27 v carries at least three marker elements, such as the marker element 5.
- the marker carrier 3 comprises a total of thirty distributed marker elements 5.
- the carrier person P can be labeled with the marker carrier 3 in an objective position 2 by a first spatial dimension x, a second spatial dimension y, a third spatial dimension z and an orientation ⁇ .
- the first spatial dimension x, the second spatial dimension y, the third spatial dimension z and the orientation ⁇ are variable by a movement of the wearer P individually or in combination.
- the monocular digital camera 7 forms a conical space region 1 1 with the solid angle range ⁇ .
- the wearer P can move freely in the space area F, in particular dance, hopping or pirouetting when determining the position. Even if the person P bends or z. B. rises from a horizontal with the upper body and stands up, the movement can be precisely tracked. However, the wearer stays within the space area 1 1.
- a perceptible warning signal is automatically output by the arithmetic unit 13.
- a first carrier surface element 27 of the marker carrier 3 is angled to a second carrier surface element 27 v .
- the first support surface element 27 is imaged by the digital camera 7, whereas the support surface element 27 v is hidden from the digital camera 7.
- the marker element 5 on the first carrier surface element is imaged by the digital camera and electronically converted into an image data field 21, which can also be referred to as image data pixel arrangement.
- the image data field 21 is z. B. on an electronic image display 19 of a computing unit 13 can be displayed. Data can be transmitted and received via the data transmission link 17, which is designed as a line connection from the monocular digital camera 7 to the arithmetic unit 13. To the computing unit 13, the data transmission unit 15 is further connected, the
- Data transmission connection 17 maintains a bidirectional radio link to a receiving unit on a video eyeglass 23, which sits in an interior of the marker carrier 3.
- FIG absorption-promoting surface 29 An embodiment of a marker carrier 3 'is shown in FIG absorption-promoting surface 29.
- the marker carrier 3 ' is provided for the installation of self-luminous marker elements, wherein current-driven light-emitting diodes (LEDs) serve as a light source (not shown).
- Figures 2a, 2b, 2c, 2d and 2e are different views of marker carrier 3 '.
- the marker carrier 3 ' has in the view of Figure 2a, the support surface elements 27, 27', 27 ", 27"'and 27 IV , which are arranged in a ring.
- the support surface elements 27, 27 ' have an angular position 63 of 72 °.
- FIG. 2b shows a section along the axis BB from FIG. 2a, showing the free interior region 46 into which an object or a head can be introduced.
- Figure 2c which lies in the direction B of Figure 2a
- the first support surface element 27 to the second support surface element 27 v has an angular position 63 ', which is 80 °. 2d
- two carrier surface elements 27 ', 27 can also be seen in the view along the axis BB from FIGURE 2a, as can be seen in perspective view with reference to individual positions of the marker carrier 3' with reference to FIGS. 2c, 2d and in particular FIG.
- At least two support surface elements such as the support surface elements 27 ', 27 ", 27"', are always reproducible, even though individual support surface elements, such as the support surface element 27 v from FIG. 2 c, are shown in FIG. 2 e are concealed in the interior 46 due to the viewing direction shown.
- 3a shows a top view of a marker carrier 3 ', 3a being a top view, and 3b and 3c are respectively a side view and 3d is a perspective view of the marker carrier 3 "carries marker elements like the marker element 5.
- the top view of FIG. the configurations of marker elements 41, 41 ', 41 ", 41"', 41 lv provided on the support surface elements 27, 27 ', 27 ", 27"', 27 lv are different from each other.
- the marker elements, such as the marker element 5, have a reflection-promoting surface 31, which promotes a radiation of light.
- the surface elements such as the surface element 27 ", each have an absorption-promoting surface, such as the absorption-promoting surface 29, which promotes the absorption of visible light
- the configurations differ on the support surface elements, such as the configuration 41, 41 'on the support surface element 27, 27', and the configurations of marker elements on the other support surface elements, such as the configuration 41 v on the second support surface element 27 v . Accordingly, there is no similar configuration of marker elements 41, 41 ', 41 ", 41 ", 41 lv , 41 v on marker carrier 3".
- the marker elements such as marker element 5, 5 ', 5", 5 “', 5 IV , 5a, are in a pseudo-random distribution 42 and are similar with a Marker element diameter 39 is formed. Between marker element 5 'and marker element 5 "is a distance 37 which coincidentally amounts to approximately twice a marker element diameter 39. The distance 37' between marker element 5 and marker element 5 'coincidentally amounts to approximately four marker element diameters 39, one marker element 39 also serving as a minimum distance between marker elements 5, 5 ', 5 "can be designated.
- the configuration 41 "with the marker elements 5, 5 'and 5" is therefore present as a non-equilateral triangle.
- the surface elements 27, 27 ', 27 can be seen as a trapezoidal flat elements.
- the surface elements 27 and 27' close to the edge 35 adjacent to each other.
- the surface elements 27 and the concealed surface element 27 v close to the edge 35 can also be referred to as a narrow-sided edge and edge 35 'can be referred to as a long-side edge Configuration 41 with carrier surface element 27 obscures configuration 41 v on carrier surface element 27 v .
- carrier surface element 27 IV can only be seen linearly in side view, it rises Configuration 41 lv in the image area presented by the perspective view of FIG. 3d and therefore can be imaged and evaluated by a digital camera (not shown).
- FIG. 4a Another embodiment of a marker carrier 103 is shown in FIG.
- the first surface elements 127, 127 ', 127 ", 127"', 127 IV shown in ring-like closed, pentagonal-like arrangement.
- a video eyeglass 123 is attached to the marker carrier 103.
- the video glasses 123 include the electronic image display 1 19 for the right eye and the electronic image display 1 19 'for the left eye of a wearer (not shown).
- there is an additional measuring device 125 there is an additional measuring device 125. With the help of the marker elements, such as marker element 105, the position and orientation of the marker carrier 103 can be clearly defined.
- FIG. 4 d The side views Figure 4b and Figure 4c of the marker carrier 103 show that the video glasses 123 is fully integrated into the inner region 146 on the label carrier 103 is attached.
- the data transmission unit 150 is shown, with which measuring data from measuring devices, such as the measuring device 125 from FIG. 4 a on the video glasses 123, can be sent to a computing unit or receive data representing a visual field of a virtual environment can be presented in the video glasses 123.
- a flow chart for a method 200, 201 according to the invention starting from the method start 202 in a system (not shown) is shown in FIG.
- the process scheme 200, 201 comprises various possibilities of the process sequence.
- the determination of an objective position 230 is provided.
- the determination of an objective position 230 after a change in position is provided.
- the determination of the, in particular changed, objective position 230 can also be referred to as an estimate of a pose.
- the method 200, 201 of FIG. 5 includes steps for determining an objective location 230 that are used for so-called initialization of the system 288.
- the method of FIG. 5 also includes method steps for determining a changed objective position, which is also referred to as measurement of a new pose 222.
- the new pose 222 was taken in the course of a movement and can therefore also be referred to as detection of a state of motion. Movement states can z. B. can be detected as snapshots or stroboscopic.
- a monochromatic digital camera 207 records an image from whose image data pixel arrangement 221 the marker recognition algorithm 204 evaluates marker image regions 206, from which 2D (two-dimensional) coordinates 208 in the captured image 221 of all possible markers are determined. If the system has not yet been initialized 212, initialization steps are initially carried out, wherein a known geometry of the marker carrier 236 and a known marker configuration 234 enter into the determination of the marker model configuration 242.
- marker model configuration 242 From marker model configuration 242, three marker model points 264 or, if necessary, another marker model points 238 are selected and compared to three marker image regions 262, where up to five pose hypotheses 266, which may also be called hypotheses for the location of the three marker model points, iteratively into the two-dimensional Arrangement of the selected marker image areas 262 are projected 268. Subsequently, a comparison 270 is made in order to find further matches between marker image areas and projected theoretically visible model points.
- next pose hypothesis 274 is then compared, and if all pose hypotheses for three marker image areas 276 are checked, an ordered, in particular sequential, check of samples or variations of three marker image areas 260 takes place in a next iteration step 278, taking into account other points 238. which enter as three marker image areas 262 in the comparison with three marker model points 264.
- the system Upon completion of the numerical optimization, the system is initialized 288 and the physical location is determined using the known marker configuration 234 and the known geometry of the marker carrier 236.
- the determination of an objective position reveals a starting position which can be used to initialize the quaternion-based motion sequence filter with position and orientation 290.
- a next image 221 ' is taken by the monocular digital camera 207 and the two-dimensional coordinates 208 of all possible markers in the captured image are evaluated by means of marker recognition algorithm 204.
- the 2D coordinates of marker image areas 208a of the image data pixel array are used by a previously evaluated image, such as image 221, and the next image 214 is determined to determine nearest neighbors 214 with the 2D coordinates 'compared in a comparison algorithm. From this, hypotheses, so-called marker model configuration hypotheses, are set up about a possible correspondence for comparison between marker image areas and points of the marker model configuration 216. In other words, a projection of the marker model configuration associated with the previous image data pixel arrangement will be next on the marker image areas of the next image 221 Image data pixel arrangement can be designated performed.
- a comparison is made with respect to the projected points of the marker model configuration and the corresponding marker image areas in order to find the appropriate projection, in particular the correct projection parameters 220.
- a projection algorithm is used.
- RANSAC Ransac Control Exclusion Control Algorithm
- the determination of the subject position 222 after a change in position is further improved by using a quaternion-based motion sequence filter 224, in which the movement sequence, for.
- As a head, 226 is considered with a prognosis 228 on a steady development.
- the pose obtained in this way with good accuracy or altered physical position is then in a representation or projection of a three-dimensional (3D) computer graphics 232 included.
- FIG. 6 shows an embodiment of the method 300, 301 in which, similar to the method 200, 201 according to FIG. 5, a method 300 for determining an objective position for method initialization 388 with a method 301 for determining an objective position 322 according to FIG a change in position, in particular for measuring a new pose, are combined.
- a method 300 for determining an objective position for method initialization 388 with a method 301 for determining an objective position 322 according to FIG a change in position, in particular for measuring a new pose are combined.
- 3D three-dimensional
- an i-th marker image area (M i) is iteratively selected from the retrieved marker image areas 306, and the next five adjacent marker image areas around the ith marker image area (M i) are identified and grouped 351 summarized. Subsequently, an iteration takes place over all ten random samples, which can be created 352 from a possible selection of three out of five marker image areas. If a combination has already been checked 353, then in the iteration of three out of five combinations, a next iteration step 378 'is carried out and one considered further combination.
- the three marker image areas 362 to be considered are iteratively merged across all permutations 355 into up to five pose hypotheses 366, which are to be compared 370 with the projection of the marker model configuration. If all of the five pose hypotheses from three marker image areas are checked 376, a next permutation 356 in the iteration over all permutations 355 is processed. If all permutations from three marker image areas are checked 357, a further combination of three out of five marker image areas is checked.
- an i + 1 marker image region (M i + 1 ) is selected to be the next group for this i + 1 th marker image region (M i + 1 ) of five adjacent marker image areas for further iterative checks, where "i” is a natural number used to number different marker image areas. It has been found in experiments that with such an iterative nesting a considerable time gain is achieved in the determination of an objective position 388. However, it is also possible in a further embodiment, the method for determining an objective position (200, 300) iteratively, ie in repetition on a different basis, to determine an objective position after a change in position and so to follow a sequence of movements.
- a marker model configuration of marker image areas of further image data pixel arrays can be improved with a quaternion-based motion sequence filter using motion history prediction.
- the motion sequence can thus be included in a visual field representation of a 3D computer graphic.
- the marker support 503 comprises the trapezoidal surface elements 527, 527 ', 527 "and 527"'.
- the four surface elements 527, 527 ', 527 "and 527"' to be recognized in plan view are connected to one another, wherein an angular position, such as the angular position 563 between the first surface element 527 and the second surface element 527 ', is formed.
- the marker carrier gap 530 has the size of a planar element, like the planar element 27 "" in Figure 2a.
- the first planar element 527 and the further planar element 527 "'in each case an end edge 536, 536', which, in particular obliquely, not on another surface element 527, 527 ', 527" and 527 "' connects.
- the marker carrier gap 530 is delimited at least on two sides by terminating edges 536, 536 '.
- the annular marker carrier 503 is therefore not a closed ring. A head of a person (not shown) located in the inner region 546 according to FIG. 7b could look in the direction C according to FIG. 7a at the end edges 536, 536 'of the marker carrier 503.
- the support can be provided with retaining elements which are connected to the supports 544, 544 ', 544 ", z. B. how the attractive poles of a magnetic closure, cooperate.
- FIG. 8 with the plan view in FIGS. 8 a and 8 b in the perspective view relates to a marker carrier 503 ', which has a basic shape corresponding to the marker carrier 503 of FIG.
- the trapezoidal surface elements 527, 527 ', 527 ", 527”' which can be seen in the view of FIG. 8a are inclined on at least one surface element 527, 527 ', 527 ", 527"'. and arranged along four edge lines, such as the edge line 535 ', which are assignable to an equilateral pentagon.
- the surface elements 527, 527 ', 527 ", 527”' have a light-absorbing surface 529.
- the first surface element 527 carries a first configuration 541 of marker elements, such as the marker element 505, which has a passively reflecting surface 531.
- a second configuration of marker elements 541 ' is present on the second surface element 527'.
- a third configuration 541 "of marker elements is present on the third area element 527".
- a fourth configuration 541 '' of marker elements 541 ''' is provided on the fourth surface element 527''', and the third and fourth surface elements 527 ', 527''may also be referred to as another surface element, between the first surface element 527 and the fourth surface element 527 "', in other words between a surface element 527 and another surface element 527"', there is a Märklin carrier gap 530.
- the marker carrier gap 530 has no configuration of marker elements, such as the respective different configurations 541, 541', 541 ", 541 8b it is shown that the first surface element 527 and the second surface element 527 'of the marker carrier 503' adjoin one another at the edge 535.
- the trapezoidal surface elements 527, 527 ', 527 ", 527”' border on one another. at the respective longest edge 535 'to another surface element, as well as the second surface element 527' to the first surface element 541st Vl borders, which has its own, individual marker configuration 541 Vl to distinguish.
- FIG. 9 with the plan view in FIG. 9 a and the perspective view in FIG. 9 b shows a further embodiment of a marker carrier 603, which in the plan view of FIG. B. is comparable to the marker carrier 103 in Figure 4a.
- a measuring device 625 In the vicinity of the image display 619, 619 'is a measuring device 625, which allows a determination of an eye position (not shown) in real time.
- the entirety of video glasses 623 and marker carrier 603 can be placed comfortably, wherein the head of a person (not shown) can be received through the marker carrier gap 630 from the interior 646 of the marker carrier 603.
- the placement of the marker carrier 603 follows a sequence of movements analogous to putting on a pair of sunglasses.
- the first surface element 603 with the configuration 641 and the further surface element 627 "'extend toward one another and together with two further surface elements, which are hidden in the illustrations of FIGS. 9a and 9b, form the marker carrier gap 630.
- the marker carrier gap 630 becomes a Camera, as the camera 7 is oriented from Figure 1, for example, the configuration shown in Figure 9a 641 on the first surface element 627 and at least one other marker element, such as the marker element 605 on the surface element 627 '', the may be referred to as the second surface element of the Camera to be captured.
- the configuration shown in Figure 9a 641 on the first surface element 627 and at least one other marker element, such as the marker element 605 on the surface element 627 '' the may be referred to as the second surface element of the Camera to be captured.
- the video glasses 623 are equipped with a data transmission unit 650, in other words with a transmitter and receiver unit which enables data transmission by radio.
- the data transmission unit 650 on the video glasses 619 has a stereo speaker (not shown) through which z. B. a beep can be issued for warning.
- a beep can z. B. direction specific to the right or left ear are delivered.
- a person (not shown) who uses the marker carrier 603 and restricts their natural field of view of the marker carrier 603 can, for. B. be warned acoustically against an obstacle.
- a beep informs you that the video glasses 623 are not seated correctly. Precise orientation determination is possible from any spatial direction using the marker carrier 603.
- the numbering of the surface elements used in particular abstractly point to a functionality within a system or within a method.
- a third, fourth or further surface element can also be seen as the first or second surface element.
- a second surface element may have the function of a first surface element and vice versa.
- label carrier especially marker carrier image area
- marker element in particular marker image area
- a marker element in particular hidden marker element
- Marker position configuration in particular three-dimensional arrangement 4, 544 ', 544 "holder
- Marker model configuration and corresponding marker image areas to find projection parameters especially Levenberg-Marquardt algorithm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Controlling Sheets Or Webs (AREA)
Abstract
Mit den Verfahren zur Bestimmung einer gegenständlichen Lage und einem System (1) zur Darbietung einer Blickfelddarstellung ist die Anordnung eines Markerträgers (3) mit Markerelementen in drei räumlichen Dimensionen (x, y, z) und in einer Orientierung (Q) erfassbar. Eine Digitalkamera (7) und eine Recheneinheit (13) mit Algorithmen zur Auswertung von Bilddaten werden verwendet. Der Markerträger (3) weist mindestens zweiTrägerflächenelemente (27, 27V) mit Markerelementen (5) in einer flächenelementeweise abweichenden Markerkonfiguration auf. Ein Markererkennungsalgorithmus und ein Vergleichsalgorithmus sind zur Berechnung einer dreidimensionalen Markerpositionskonfiguration (43), welche die Lage ausmacht, vorgesehen. Es werden sequentiell Zuordnungen von drei gemeinsam sichtbaren Markerelementen (5) der Markerkonfiguration zu Markermodellkonfigurationen geprüft. Eine bekannte Ausgangslage lässt sich zur Verfolgung einer Bewegung des Markerträgers in eine geänderte gegenständliche Lage unter Berücksichtung verborgener Markerelemente einsetzen. In dem System (1) ausgeführt, können die gewonnene Position (x, y, z) und Orientierung (Q) in einer errechneten Darstellung einer räumlichen Lage eines Blickfelds, z. B. in einen virtuellen Raum, auf einer Anzeigeeinheit (19), wie einer Videobrille (23), synchron zur Ausführung einer Bewegung gezeigt werden.
Description
Verfahren und System zur Bestimmung einer gegenständlichen Lage
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer gegenständlichen Lage gemäß Oberbegriff von Anspruch 1 und ein Verfahren zur Bestimmung einer geänderten gegenständlichen Lage gemäß Oberbegriff von Anspruch 8, mit denen insbesondere eine Position eines Gegenstands oder Körpers im Raum erfasst werden kann. Die vorliegende Erfindung betrifft weiterhin ein System zur Darbietung einer Blickfelddarstellung gemäß Oberbegriff von Anspruch 18, wobei mit dem System eine bestimmbare, gegenständliche Lage als ein räumlich veränderbares Blickfeld in eine computergenerierte Ansicht eines Raumabbilds, z. B. eines virtuellen Raums, einbeziehbar ist.
Stand der Technik
Aus dem Gebiet der Visualisierungstechnik, insbesondere im Bereich der sogenannten virtuellen Realität, sind bereits verschiedene Vorgehensweisen bekannt, mit denen z. B. eine Körperposition erfasst werden kann, um die daraus gewonnenen Daten z. B. für eine Computersimulation heranzuziehen. In dem Dokument GB 2 451 461 A (Anmelder: Naven Shavla; Anmeldetag: 28.07.2007) ist ein System beschrieben, bei dem eine Person, die einen Marker auf dem Kopf trägt und jeweils einen Stab in einer Hand hält, gleichzeitig von zwei oder mehr Kameras erfasst wird. Damit soll eine dreidimensionale Mensch-Computer-Interaktion ermöglicht werden. An den Stäben ist jeweils eine Schalteinheit angebracht, um dem System Schaltsignale zuzuführen. Aufgrund der erforderlichen zwei Kameras ist die bei der Bildauswertung zu bewältigende Datenmenge in der Regel sehr hoch und die Auswertung der Daten entsprechend zeitintensiv.
Eine andersartiges Verfahren mit Apparat, bei dem nur eine Kamera zum Einsatz kommt, wird in Dokument US 4 884 219 (Inhaber: W. Industries Ltd.; Prioritätstag: 21 .01 .1987) beschrieben. Auch dabei soll die Erscheinung von computergenerierten Bildern durch einen Benutzer beeinflusst werden. Die Bewegung der Augen des Benutzers wird erfasst und zu einem Computer übertragen. Weiterhin sollen auch Änderungen der Orientierung des Kopfes zur Auswertung kommen, wobei die Kopfposition mittels elektrischer Felder von einer Anordnung von Spulen an einem Helm bestimmt wird.
Für die Erfassung einer Körperform z. B. eines menschlichen Körpers, wird in dem Dokument US 2012/0 095 589 A1 (Erfinder: Arcadiy Vapnik; Anmeldetag: 17.10.201 1 ) die Verwendung eines Ganzkörperkostüms, über das Marker verteilt sind, vorgeschlagen. Hierbei kommen
weiße Marker zum Einsatz, die auf das Kostüm aufgedruckt sind. Der Kostümträger wird von einer Kamera bei seinen Bewegungen gefilmt und anhand der Kamerabilder werden SD- Koordinaten des Körpers bestimmt und mit einem Maßband skaliert. Eine Methode zur Bestimmung einer Position eines Körpers nach kartesischen Koordinaten (x, y, z) mit Hilfe von wenigstens einem Markerobjekt von bekannten Abmessungen ist aus Dokument WO 98/30977 (Anmelderin: Qualisys AB; Prioritätstag: 13.01 .1997) bekannt. Die Bewegungen des Markers sollen aus dem Videosignal eines aufgelösten Bilds einer CCD- Kamera, z. B. Infrarotkamera, berechnet werden. Es wird die zeitliche Struktur des Videosignals ausgewertet. Ein Segment, das in einer Bildzeile einem Marker entspricht wird mittels eines Komparators bestimmt. In dem Verfahren werden zunächst Koordinaten eines Bilds eines Objekts bestimmt. Danach wird ein Dimensionsparameter des Objekts ermittelt und anschließend werden daraus Proportionen berechnet. Aufgrund der sehr speziellen Bildauswertung sind technische Informationen des Kameratyps zu berücksichtigen.
Die Rotation eines Körpers wird in der Patentanmeldung US 2002/0 001 397 A1 (Erfinder: Takatoshi Ishikawa et al.; Prioritätstag: 30.10.1997) betrachtet. Eine Kontrolleinheit soll bei schnellen Rotationen eine Bildfolge eines dargebotenen Raums erhöhen, sodass kein Eindruck des Ruckeins entsteht. Bei der Auswertung der Rotation soll auf eine Berechnung einer Winkelgeschwindigkeit einer Kopfbewegung zurückgegriffen werden. Es bleibt dabei offen, wie aus Bilddaten konkret auf die Winkelgeschwindigkeit geschlossen werden soll.
Die Verfolgung der Bewegung von Objekten die mit aktiv- oder passiv-strahlenden Markerelementen versehen sind, wird in Dokument WO 201 1 /141 531 A1 (Anmelderin: Movolution GmbH; Prioritätstag: 1 1 .05.2010) beschrieben. Digitale Farbbilder werden fortlaufend mit einer Kamera aufgezeichnet und gespeichert. Die Farbbilder werden anschließend in Graubilder umgewandelt, um die Lokalisierung der Markerelemente als helle Flecken zu erleichtern. Hierzu wird jeder Grauwert mit einem definierten Schwellenwert verglichen und oberhalb eines Schwellenwerts wird ein Pixel als potentielles Markerelement registriert. Nach dieser Graubildauswertung wird zur Identifizierung der Markerelemente wieder auf die digital gespeicherten Farbbilder zurückgegriffen, um die Bewegungsanalyse durchzuführen. Passiv retro-reflektiv-strahlende Marker sollen eine hohe Richtwirkung aufweisen. Alternativ kommen auch Farb-LEDs als Marker in Betracht. Aufgrund der Verwendung von Schwellenwerten bei der Identifikation von passiven Markern besteht allerdings die Gefahr, dass einzelne Marker bei der Bildauswertung verloren gehen.
Zur Verbesserung der Identifizierbarkeit von einzelnen Markern, wird in der Patentanmeldung
US 2012/0 121 124 A1 (Anmelderin: The Board of Trusties of the Leeland Stanford Junior University; Anmeldetag: 15.06.201 1 ) vorgeschlagen, Marker so auszugestalten, dass sie jeweils ein aufgedrucktes schachbrettartiges Muster aufweisen, aus dem die Position des Markers hervorgeht. Damit sollen bei Positionsbestimmungen in tomographischen Messeinrichtungen der Medizintechnik Fehler vermieden werden. Ein Nachteil bei der Verwendung solcher Marker könnte allerdings darin zu sehen sein, dass bei einer freien Bewegung im Raum die Marker aus dem Kamerafokus gelangen können, sodass die positionsbestimmenden Markierungen nicht mehr aufgelöst werden können.
Die in dem Dokument WO 02 063 456 A1 (Anmelderin: Anderson Technology PTY Ltd.; Prioritätstag: 08.02.2001 ) beschriebene Markeranordnung zur Verfolgung einer Bewegung, weist Streifen, die farblich gekennzeichnet sind, innerhalb eines Kreises auf einem Helm auf. In einer Farbanalyse von Bilddaten werden zunächst die den Markern entsprechenden Bereiche herausgefiltert, die zugeordneten Pixel gezählt und mittlere Werte für x- und y-Koordinaten bestimmt. Wird der Pixelbereich für vernünftig befunden, so erfolgt eine Auswertung verschiedener Radien auf dem Bild mit einer Bestimmung von Geradenparametern für die Beziehung zwischen verschiedenen Stellen. Ein Problem besteht darin, dass bei schnellen Bewegungen in der Bildfolge Sequenzen auftreten können, bei denen eine Positionsbestimmung des Helms nicht möglich ist. Bei Übertragung einer Bewegung aus dem realen Raum auf den virtuellen Raum können daher Ungleichmäßigkeiten auftreten, die das Erlebnis der Wahrnehmung des virtuellen Raums beeinträchtigen können.
Ein Verfahren und eine Vorrichtung zur Videoverfolgung eines Objekts mittels einer am Kopf montierten Bildanzeigevorrichtung, sind in Dokument DE 603 01 987 T2 (Inhaberin: Samsung Electronics Co., Ltd.; Unionsprioritätstag: 07.03.2002) beschrieben. Die Bewegung des Objekts, d. h. Position, Orientierung und Bewegungsrichtung, soll durch eine Kamera erfasst werden. In Wechselwirkung mit den Bewegungen des Benutzers soll die Umgebung einer virtuellen Realität gestaltet werden. Es werden Hauptmarker und Zusatzmarker verwendet, die in unterschiedlichen Farben markiert sind. Mindestens ein Hauptmarker muss aufgenommen werden. In ermittelten Videodaten werden Linsenverzerrungen kompensiert. Den Markern entsprechende Bildbereiche werden unter Verwendung einer Rauschdämpfungseinheit bestimmt. Aus den Videodaten wird eine Bewegungsrichtung der Punkte abgeschätzt. Für eine Orientierungs- und Positionsabschätzung sind intrinsische Parameter der Kamera zu berücksichtigen. In der Rauschdämpfungseinheit, die auf markierte Videodaten angewendet wird, soll ein morphologisches Bildbearbeitungsverfahren zum Einsatz kommen. Aus Zentrumskoordinaten von Hauptmarkerbereichen wird von einer Bewegungsabschätzeinheit unter Hinzunahme von zeitlich folgenden Bildern anhand eines Farbhistogramms und eines
Farbobjektverfolgungsverfahrens eine Bewegung abgeschätzt, wobei ein Kaimanfilter verwendet wird. Die Unterscheidung von Hauptmarkern und Nebenmarkern und unterschiedliche Farben lässt eine Bildauswertung zeitaufwendig erscheinen und erfordert unter Umständen eine Berücksichtigung des Farbspektrums der verwendeten Lichtquellen.
Weitere Aspekte zur Bestimmung einer Pose mit einer Kamera sind z. B. in den Dokumenten US 2010/0 232 727 A1 (Anmelderin: Metaio GmbH; Anmeldetag: 22.05.2008) und Dokument US 2012/0 169 887 A1 (Anmelderin: AiLive Inc.; Anmeldetag: 05.01 .201 1 ) sowie DE 69 132 952 T2 (Inhaberin: Sun Microsystems, Inc.; Prioritätstag: 30.1 1 .1990), US 7 529 387 B2 (Inhaberin: Canon Kabushiki Kaisha; Anmeldetag: 1 1 .05.2005), US 8 081 815 B2 (Inhaberin: Canon Kabushiki Kaisha; Anmeldetag: 08.08.2007), US 8 217 995 B2 (Inhaberin: Lockhead Martin Corporation; Anmeldetag: 17.01 .2009) und WO 2008/055 262 A2 (Anmelderin: Sensics, Inc.; Prioritätstag: 02.1 1 .2006 und 19.06.2007) erläutert.
Einzelne Aspekte, die bei der mathematischen Ausgestaltung von Algorithmen hilfreich sein können, sowie Erläuterungen zu Begrifflichkeiten sind in den folgenden Veröffentlichungen enthalten: Zu Struktur aus Bewegung (Structure-from-Motion) siehe Linda G. Shapiro, George C. Stockman in „Computer Vision", Prentice Hall, (2001 ); zu Kontrollalgorithmus zum Ausschluss von Fehlerbereichen (RANSAC-Algorithmus) siehe M. A. Fischler, und R. C. Bolles in„Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", Commun. ACM, 24(6): S.381 bis S. 395 (1981 ); zu Ensemble- Anpassung-Algorithmus (Bündle Adjustment Algorithm) siehe B. Triggs, P. Mclauchlan, R. Hartley und A. Fitzgibbon, Kapitel „Bündle adjustment - a modern synthesis" in „Vision Algorithms: Theory and Practice", LNCS, Seite 298 bis Seite 375, Springer Verlag, (2000); zu Hough- Transformation siehe US 3 069 654 (Erfinder: Paul V. C. Hough; Anmeldetag: 25.03.1960); zu 4-Parametrische Darstellung siehe J. B. Kuipers "Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality", Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726; zu Kaimanfilter siehe Y. Bar-Shalom und Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001 ), ISBN 047141655X; zu Linearisierter Kaimanfilter siehe Y. Bar-Shalom und Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001 ); zu Partikelfilter (Condensation algorithm, Sequential Monte Carlo) siehe B. Ristic, S. Arulampalam, N. Gordon, "Beyond the Kaiman Filter: Particle Filters for Tracking Applications", Artech House (2004), siehe auch A. J. Haug, "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITRE Corporation, USA, Tech.
Rep., Feb. Retrieved 2008-05-06 (2005); zu Quaternionenbasiertes Trackingfilter siehe F. L. Markley, "Attitüde Error Representations for Kaiman Filtering" in Journal of Guidance, Control, and Dynamics, 26 (2), Seite 31 1 bis Seite 317, (März 2003), siehe auch I. Y. Bar-Itzhack, und Y. Oshman "Attitüde Determination from Vector Observations: Quaternion Estimation" in IEEE Transactions on Aerospace and Electronic Systems, 21 (1 ), Seite 128 bis Seite 136, (Jan. 1985), sowie I. Y Bar-ltzhack,.J. Deutschmann und F. L. Markley, "Quaternion Normalization in Additive EKF For Spacecraft Attitüde Determination" in NASA Technical Documents, Seite 403 bis Seite 421 , (Feb. 1993).
Ein Verfahren zur monokularen omnidirektionalen Erfassung von Kopfbewegungen im sichtbaren Lichtspektrum ist in dem Artikel von Giroen Lichtenauer und Maya Pantic, 201 1 IEEE International Conference on Computervision Workshop, Seite 430 bis Seite 436, (201 1 ) beschrieben. Die verwendeten Markerstrukturen sind an einem Metallrahmen befestigt, der auf dem Kopf getragen werden kann. Die Markeranordnung kann mit Winkeln von bis zu 90° in Frontalansicht verwendet werden. Die Marker sind zur Vermeidung von möglichen Abdeckungen an Stäben befestigt, die vom Kopf abstehen. In einem ersten Schritt ist es erforderlich, ein Ausgangsmodell der Markerstruktur zu bestimmen. Hierbei müssen Punkt-zuPunkt Messungen von Markern vorgenommen werden. Der Metallrahmen passt sich flexibel dem Kopf an, weshalb die Markerpositionen veränderlich sind. Für die Positionsbestimmung werden Marker ausgewählt, die eine nahezu gleichseitige Dreiecksanordnung bilden. Damit werden tendenziell weit beabstandete Marker zu Auswertung vorausgewählt. Die Verwendung einer flexiblen Markerstruktur erhöht die Gefahr, dass sich während des Tragens die Struktur ändert und dadurch die Verfolgung der Marker größere Fehler aufweist oder unterbrochen wird.
In der Patentschrift DE 195 36 295 C2 (Inhaberin: Daimler Chrysler AG; Anmeldetag: 29.09.1995) sind räumlich gestaltete Signalmarken beschrieben, wobei die Anordnung mehrere ebene Signalmarken umfasst. Die durch einen begrenzten Raumwinkel ausgezeichnete Lichtabstrahlung der Signalmarken soll sich damit gegenseitig ergänzen. Die Signalmarken sind für eine Positionskontrolle von Fahrzeugen vorgesehen. Jeweils in den rechten Abbildungen in Figur 1 und in Figur 2 der DE 195 36 295 C2 ist eine reguläre Polyederstruktur mit fünfeckiger Grundform zu erkennen. In Figur 1 ist eine Anordnung aus einer Fünfeckfläche umgeben mit Viereck-Trapezflächen gezeigt, mit der nur ein Raumwinkel von 2π nutzbar ist. In der Ausführungsform von Figur 2 sind die vorgesehenen zwölf Flächenelemente allesamt fünfeckig und alle sind gleichartig gestaltet. Bei freistehender Montage, zu deren genauen Konfiguration und Halterung nichts erläutert ist, wäre, vermutlich nach rein theoretischen Überlegungen, ein Raumwinkel von 4π nutzbar. Jedes Flächenelement der beiden in den beiden Figuren gezeigten Ausführungsformen ist schwarz. Die dem Flächenelement zugeordnete Signalmarke
ist eine einzige, auf dem Flächenelement mittig angeordnete Kreisfläche. Es soll zumindest eine Signalmarke aus jeder Raumrichtung nahezu senkrecht beobachtbar sein. Wie genau die Beobachtung erfolgen soll und, ob überhaupt aus der Beobachtung, möglicherweise zur Positionskontrolle, irgendeine konkretere Information gewonnen werden soll oder kann, wird nicht erwähnt.
Von dem Unternehmen ImmerSight GmbH wurde bereits eine Ausführungsform eines Markerträgers mit einem fünfeckigen Querschnitt präsentiert, auf dem mehrere Marker auf Flächenelementen angeordnet sind. Der Markerträger kann um den Kopf einer Person ungefähr auf Augenhöhe mittels einer Videobrille getragen werden. Die Kopfstellung und die Bewegung der Person im Raum werden in einem System über eine Kamera ermittelt. Die Kopfposition lässt sich in eine Präsentation einer virtuellen Umgebung, z. B. aus einem rechnergestützten Entwicklungsprogramm (CAD), zur Darstellung auf einer Videobrille umrechnen. Damit können bereits beeindruckende visuelle Darstellungen erzeugt werden.
Aufgabenstellung
Die Aufgabe der vorliegenden Erfindung besteht darin die Bestimmung einer Position weiter zu verbessern und möglichst exakte Positionsdaten in Echtzeit, oder zumindest in einer Zeitfolge die unterhalb der menschlichen Wahrnehmungsschwelle liegt, bereitzustellen. Nach einem weiteren Aspekt besteht eine Aufgabe darin, gewonnene Positionsdaten zur weiteren Verbesserung eines visuellen Eindrucks einer virtuellen Umgebung innerhalb eines Systems zu verwerten. Damit sollen z. B. Bewegungen in einer virtuellen Welt noch beeindruckender erscheinen, weil die Darstellung der Bewegung einem natürlichen bzw. einem tatsächlichen Bewegungsablauf noch besser entspricht.
Erfindungsbeschreibung Die erfindungsgemäße Aufgabe wird durch den kennzeichnenden Teil eines Verfahrens nach Anspruch 1 und den kennzeichnenden Teil eines Verfahrens nach Anspruch 8 gelöst, sowie durch ein System, das die Merkmale des kennzeichnenden Teils von Anspruch 18 aufweist.
Die Pose eines Objekts, die auch als Lage eines Objekts bzw. Lage eines Gegenstands bezeichnet werden kann, wird aus Kamerabildern ermittelt. Positionsdaten können auch bei schnellen Bewegungen oder Drehungen in guter Qualität, d. h. insbesondere ununterbrochen, bereitgestellt werden. Bereits ein einziges Kamerabild kann ausreichen, um eine präzise
Abschätzung für die Lage eines Objekts zu erhalten. Besonders zuverlässig sind erfindungsgemäße Verfahren, die es ermöglichen die Lage eines Objekts in jeder theoretisch einnehmbaren Pose zu bestimmen. Nach einem zeitlichen Aspekt kann eine einnehmbare Pose auch als eine geänderte gegenständliche Lage bezeichnet werden. Eine geänderte gegenständliche Lage lässt sich z. B. durch eine erste Bilddatenpixelanordnung und eine zweite Bilddatenpixelanordnung festhalten. Die geänderte gegenständliche Lage ist ausgehend von einer Ausgangslage einnehmbar. Die Ausgangslage kann daher auch als eine erste gegenständliche Lage bezeichnet werden. Vorzugweise werden die Bilder mit einer einzigen Kamera, wie eine schwarz/weiß-Kamera, aufgenommen. Handelsübliche Digitalkameras können verwendet werden. Die Aufnahmen erfolgen mit einer Bildwiederholrate. Die Bildwiederholrate hat eine Größe, mit der ein Bewegungsablauf insbesondere schrittweise, mit anderen Worten ohne Auslassung einzelner Bewegungsphasen, abbildbar ist. Die Bestimmung der Lage eines Objekts lässt sich besonders schnell ausführen, wenn eine Vorinformation über die geometrische Struktur des Objekts vorliegt. Eine anfängliche Bestimmung einer gegenständlichen Lage wird auch als Initialisierung bezeichnet.
Eine Objektstruktur lässt sich anhand einzelner Markerpunkte festlegen. Ein Markerpunkt kann eine Stelle des Objekts sein, die sich von einem Umgebungsbereich des Objekts unterscheidet. Es ist auch möglich, an einem Objekt Markerelemente vorzusehen. Ein Markerpunkt kann z. B. ein Mittelpunkt eines Markerelements sein. Anders gesagt kann durch ein Markerelement ein Punkt an einer Struktur eines Objekts messbar festgelegt sein. Die Festlegung ist nach einem Aspekt eindeutig. Eine Position eines Objektpunkts entspricht einer Position eines Markerpunkts. Auch die erhobene Position eines Markerpunkts legt die Position eines Objekts in drei Freiheitsgraden fest. Bei Objekten, die z. B. in Form oder Farbe veränderlich sind, ist es vorteilhaft für die Bestimmung einer gegenständlichen Lage, wenn dem veränderlichen Objekt ein Markerträger zugeordnet ist. Auf dem Markerträger sind Markerpunkte in Gestalt von Markerelementen angeordnet. Die Anordnung der Markerelemente zueinander ist festgelegt. Der Markerträger ist vorzugsweise forminvariant. Der Markerträger kann von dem Objekt oder von einer Person getragen werden. Nach einem Aspekt kann der Markerträger auch selbst als Objekt bezeichnet werden, dem eine gegenständliche Lage zukommt. Eine gegenständliche Lage wird eindeutig durch drei räumliche Dimensionen und eine Orientierung beschrieben. Durch ein Markerelement, insbesondere einen Mittelpunkt eines Markerelements, wird eine Position eines Objektpunkts angezeigt. Die Markerelemente bilden in einer jeweiligen Position auf dem Markerträger eine Markerkonfiguration. Eine Mehrzahl von Markerelementen liegt in einer Konfiguration vor. Die Markerkonfiguration kann auch als eine Konfiguration von Markerpunkten bezeichnet werden.
Die Markerkonfiguration ist z. B. aus der Herstellung des Markerträgers vorbekannt. Nach einem Aspekt liegt die bekannte Markerkonfiguration als Datensatz vor, die auch als Markerkonfigurationsdaten bezeichnet werden. Es ist auch möglich die Markerkonfiguration an einem veränderbaren Markerträger durch einen Algorithmus, insbesondere aus einer Folge von zweidimensionalen Bildern, zu ermitteln. Der Markerträger oder auch die Markerkonfiguration ist zumindest einem Koordinatentupel eines Objekts zuordnenbar, wobei das Koordinatentupel zumindest drei räumliche Dimensionen und eine Orientierung beschreibt. Eine in einem Raum eingenommene Lage einer Markerkonfiguration, insbesondere bezogen auf einen Fixpunkt des Raums, wird auch als Markerpositionskonfiguration bezeichnet. Eine Markermodellkonfiguration umfasst eine Konfiguration von Markerpunktkoordinaten, die eine rechnerisch bereitgestellte Markerpositionskonfigurationshypothese darstellt.
Die Bestimmung der Pose bzw. der Lage erfolgt mit einer Digitalkamera. Die Digitalkamera kann einen Markerträger filmen oder fotografieren. Die optischen Kamerabilder werden in der Digitalkamera in elektronische Daten, die auch als Bilddaten bezeichnet werden, gewandelt. Die Bilddaten werden einer Recheneinheit zugeführt, welche insbesondere eine Speichereinheit aufweist. Zwischen der Recheneinheit und der Digitalkamera liegt eine Bilddatenerfassungsverbindung vor, die z. B. über eine Leitungsverbindung oder als eine Funkverbindung, wie eine Infrarotverbindung, ausgebildet sein kann. In der Recheneinheit wird die gegenständliche Lage bestimmt. Die Recheneinheit wertet Bilddaten aus. Die Bilddaten dienen der Bestimmung der Lage eines Objekts, die zu dem Zeitpunkt der Bilderfassung eingenommen ist. In Versuchen hat sich herausgestellt, dass Verfahren zur Bestimmung einer gegenständlichen Lage besonders genau arbeiten, wenn ein Markerträger verwendet wird, der mindestens sechs Markerelemente in einer vorbekannten Markerkonfiguration aufweist. Die Markerelemente sind zueinander beabstandet angeordnet. Die Markerkonfiguration nimmt auf dem Markerträger eine Position ein. Durch die Markerkonfiguration auf dem Markerträger lässt sich eine Richtung bezogen auf den Markerträger festlegen. Eine Richtung kann z. B. mit einer Orientierung angegeben werden. Die dem Markerträger zugeordnete Richtung kann eine Richtung eines Objekts, wie eine Drehrichtung, eine Bewegungsrichtung, eine Laufrichtung oder eine Flugrichtung, die auch als Translationsrichtung oder Rotationsrichtung bezeichnet werden können, sein. Der Markerträger ist an einem Objekt befestigbar. Die Richtung kann allerdings auch eine Kopfstellung oder eine Blickrichtung einer Person sein, die den Markerträger z. B. auf dem Kopf trägt. Position, Richtung oder auch Orientierung können z. B. mittels Koordinaten oder Vektoren abstrakt, insbesondere zusammengefasst als Datentupel, dargestellt werden.
Ein Markerelement nimmt im Raum eine Markerposition ein. Die Markerposition ist von der
Digitalkamera erfassbar. Die Digitalkamera zeichnet Licht, das von einem Markerelement ausgeht, auf. Licht, das von dem Markerelement aktiv oder passiv ausgesendet werden kann, wird durch einen Kamerachip auf eine elektronische Bilddatenpixelanordnung abgebildet. Der Raumbereich in drei Dimensionen, in dem sich ein Markerelement befindet, wird auf eine zweidimensionale Pixelanordnung abgebildet, aus der die zu erfassenden Bilddaten hervorgehen. In der Recheneinheit werden die Bilddaten bzw. die Bilddatenpixelanordnung ausgewertet. Vorzugsweise nimmt ein Markerelement in der Bilddatenpixelanordnung mindestens ein Pixel ein, womit ein von der Digitalkamera zu leistendes Auflösungsvermögen festgelegt werden kann. Nach einem anderen Aspekt bestimmt eine Pixelgröße im Verhältnis zu einer Markergröße bei einem gegebenen, festliegenden Abbildungsverhältnis durch eine Digitalkamera einen, vorzugsweise maximalen, Abstand zwischen der Digitalkamera und dem Markerelement. Aufgrund der innerhalb eines Pixels erfolgten Helligkeitsintegration und der möglichen Aufteilung der Helligkeit eines Markerelements, z. B. über vier in einem Quadrat angeordnete Pixel, sollte das Auflösungsvermögen, zumindest bei passiven, lichtstreuenden Markerelementen, nicht unterschritten werden. Damit ist ein Markerelement in einer Bilddatenpixelanordnung als ein Markerbildbereich auffindbar.
In der Recheneinheit kann ein Verfahren, wie das Verfahren zur Bestimmung einer gegenständlichen Lage, durch einen Softwarecode programmiert sein. Die Recheneinheit führt Algorithmen aus. Ein Algorithmus kann nach einem Systemaspekt auch als eine Einheit bezeichnet werden, die in der Recheneinheit vorliegen. Anders gesagt sind Algorithmen Untereinheiten einer Recheneinheit, die neben den internen Betriebseinheiten der Recheneinheit zur Ausführung vorgehalten werden. Die Recheneinheit ist mit einem Markererkennungsalgorithmus ausgestattet. Der Markererkennungsalgorithmus dient der Auffindung eines Markerbildbereichs in der zweidimensionalen Bilddatenpixelanordnung. Vorzugsweise wird jeder der abgebildeten Markerelemente als Markerbildbereich von dem Markererkennungsalgorithmus aufgefunden. Als Markererkennungsalgorithmus eignet sich z. B. die sogenannte Hough-Transformation. Die Hough-Transformation ist ein robustes globales Verfahren zur Erkennung von Geraden, Kreisen oder beliebigen anderen parametrisierbaren geometrischen Figuren in einem binären Gradientenbild, also einem Schwarz-Weiß-Bild, anhand des Auffindens von Kanten. Die Hough- Transformation eignet sich, um kugelförmige Marker oder Markerelemente in einer Bilddatenpixelanordnung zu erkennen.
Die zweidimensionale Bilddatenpixelanordnung wird verwendet, um eine dreidimensionale Markerpositionskonfiguration zu berechnen. Die dreidimensionale Markerpositionskonfiguration
kann als die räumliche Anordnung, in der die Markerelemente im Aufnahmebereich der Digitalkamera vorliegen, bezeichnet werden. Nach einem Aspekt ist in der Markerpositionskonfiguration auch der Abstand zwischen Markerträger und Digitalkamera enthalten. Abstandsänderungen zwischen einer Markerkonfiguration und einer Digitalkamera sind schnell auswertbar. Marker können auch als Markerelemente bezeichnet werden. Nach einem Aspekt können Marker Markerelemente umfassen.
Der Markerträger weist mindestens zwei fest miteinander verbundene Trägerflächenelemente auf, die als ein erstes und als ein zweites Trägerflächenelement bezeichnet werden können. Ein Trägerflächenelement ist ein Flächenelement, das vorzugsweise ein Verhältnis von einer Längsseite zu einer Schmalseite aufweist, das z. B. ein Verhältnis von 10:1 nicht überschreitet. Das Trägerflächenelement kann zur Längsseite und Schmalseite noch eine Dicke aufweisen, die insbesondere weniger als 10 mm (Millimeter), vorzugsweise weniger als 2 mm beträgt. Ein Trägerflächenelement ist vorzugsweise ebenflächig. Auf dem Trägerflächenelement angeordnete Markerelemente verschwinden bei einer Winkelstellung des Trägerflächenelements bezogen auf die Digitalkamera nicht hinter dem Horizont einer Wölbung. Das erste und das zweite Trägerflächenelement weisen eine Winkelstellung zueinander auf. Ein Winkel zwischen zwei Trägerflächenelementen beträgt vorzugsweise mindestens 90°. Dem ersten Trägerflächenelement sind mindestens drei der mindestens sechs Markerelemente zugeordnet. Die Markerelemente besitzen eine zwei- oder drei-dimensionale Form, die sie von dem Trägerflächenelement unterscheidet. Markerelemente sind z. B. kugelförmige Objekte, die auf dem Trägerflächenelement angeordnet sind. Weitere Markerelemente sind dem zweiten Trägerflächenelement oder auch weiteren, vorliegenden Trägerflächenelementen zugeordnet. Das erste Trägerflächenelement mit den zugeordneten Markerelementen unterscheidet sich von dem zweiten Trägerflächenelement durch die zugeordneten Markerelemente und insbesondere von allen weiteren Trägerflächenelementen mit zugeordneten Markerelementen. Die Unterscheidbarkeit ergibt sich aus der abweichenden Konfigurierung der Markerelemente auf einem jeweiligen Trägerflächenelement. Bei gleichartigen Markerelementen unterscheiden sich vorzugsweise die Abstände, die die Markerelemente auf einem Trägerflächenelement zueinander aufweisen. Liegen die Markerelemente auf einem Trägerflächenelement in einer Dreieckskonfiguration vor, so ist vorzugsweise zumindest einer der Dreieckswinkel nur einmalig in der vorbekannten Markerkonfiguration vorhanden. Vorteilhaft ist es auch, wenn alle Dreieckswinkel, die in der Markerkonfiguration, insbesondere auf einem Trägerflächenelement, vorliegen, voneinander abweichen. Die Markerelemente der Markerkonfiguration sind bereichsweise unterscheidbar konfiguriert.
Die Berechnung der Markerpositionskonfiguration erfolgt aus drei gemeinsam für die
Digitalkamera sichtbaren Markerelementen, die in der Markerkonfiguration vorliegen. Bei der Berechnung kommt ein Vergleichsalgorithmus zum Einsatz. Der Vergleichsalgorithmus wird auf drei gemeinsam von der Digitalkamera in einer Bilddatenpixelanordnung erfasste Markerelemente, die der Markerkonfiguration angehören, und eine Markermodellkonfiguration angewendet. Anders gesagt wird der Vergleichsalgorithmus auf die Bildbereiche der Markerelemente, insbesondere auf einen Koordinatensatz des jeweiligen Bildbereichs angewendet. Die Markermodellkonfiguration geht aus der bekannten Markerkonfiguration hervor. Die Markermodellkonfiguration ist eine perspektivische Darstellung der Markerkonfiguration, die z. B. als ein Datensatz in der Recheneinheit vorliegt. Die Markermodellkonfiguration wird, insbesondere bereichsweise, vorzugsweise mit einem Projektionsalgorithmus, auf die Ebene der Markerbildbereiche projiziert. Mathematisch wird die Projektion mit einer sogenannten Projektionsgleichung durchgeführt, deren Lösung in der Recheneinheit erfolgt. Die Projektion wird auf drei Markerbildbereiche gerichtet. Die drei Markerbildbereiche sind eine Untergruppe aus allen aufgefundenen Markerbildbereichen einer Bilddatenpixelanordnung. Die Untergruppe kann z. B. auch fünf Markerbildbereiche umfassen aus denen verschiedene Kombinationen von drei Markerbildbereichen gebildet werden.
Verschiedene Markermodellkonfigurationen werden sequenziell mit drei Markerbildbereichen verglichen. Der Vergleich kann auch auf parallelen Prozessoren einer Recheneinheit ausgeführt werden. Der Vergleichsalgorithmus bestimmt mindestens einen Genauigkeitswert des Vergleichs. Der Genauigkeitswert kann z. B. ein Koordinatendifferenzwert, ein Schrittweitewert oder ein Schrittzahlwert sein. Der mindestens eine Genauigkeitswert ist einer Markermodellkonfiguration zugeordnet. Ein Vergleich von Genauigkeitswerten verschiedener Markermodellkonfigurationen zeigt an, welche Markermodellkonfiguration der Markerpositionskonfiguration entspricht. Es wird rechnerisch festgelegt, welche räumliche Position und welche Orientierung die Markerpositionskonfiguration aufweist. Position und Orientierung werden anhand der zuordnenbaren Markermodellkonfiguration ausgewählt, nämlich der Markermodellkonfiguration, die am Besten zu den Markerbildbereichen passt. Damit ist die gegenständliche Lage erkannt. Insbesondere liegen die drei räumlichen Dimensionen und eine Orientierung in einer Koordinatendarstellung vor. Die eindeutig ermittelten Koordinaten, welche die Lage beschreiben, können von der Recheneinheit in zusätzlichen Algorithmen weiterverwendet werden. Die gegenständliche Lage, die z. B. von einem Objekt oder einer Person, welcher der Markerträger zugeordnet ist, zumindest nach einem Aspekt eingenommen ist, ist somit bestimmt. Demnach ist die Lage erkannt oder anders gesagt ausgemacht.
Es ist auch möglich mit einem erfindungsgemäßen Verfahren schnell eine geänderte
gegenständliche Lage zu bestimmen. Eine geänderte gegenständliche Lage liegt insbesondere dann vor, wenn ein Markerträger ausgehend von einer ersten Position eine zweite Position einnimmt. Beispielsweise kann eine Person oder ein Objekt, das dem Markerträger zugeordnet ist, eine Pose einnehmen. Eine Pose ist z. B. eine Neigung eines Markerträgers, die einer Kopfneigung entspricht. Eine Pose ist auch eine Drehstellung eines Markerträgers, die einer Kopfdrehung entspricht. Nach einem Aspekt umfasst die Pose eine Position eines Markerträgers im Raum und eine Orientierung des Markerträgers. Es kann auch von einem Ort und von einer Neigung des Markerträgers gesprochen werden. Die Orientierung ist nach einem weiteren Aspekt eine dem Markerträger zugeordnete Richtung. In jedem Fall liegt eine geänderte gegenständliche Lage im Ablauf einer Bewegung vor. Die geänderte gegenständliche Lage ist mit einer Digitalkamera aufzeichenbar. Eine geänderte gegenständliche Lage ist eine gegenständliche Lage, die ausgehend von einer Ausgangslage eingenommen worden ist. Eine Änderung der gegenständlichen Lage ist als eine zeitliche Folge von Änderungsschritten, die auch als Bewegungsschritte bezeichnet werden können, beschreibbar. Die gegenständliche Lage nach einem Änderungsschritt ist in einer Bilddatenpixelanordnung erfassbar. Nach einem Aspekt kann eine Ausgangslage eine bekannte Markerkonfiguration sein, die als Koordinatensatz, der alle Markerelemente einzeln umfasst, in der Recheneinheit vorliegt. Die Ausgangslage kann z. B. durch eine Erfassung von Markerbildbereichen mit einer Digitalkamera in einer ersten Bilddatenpixelanordnung in einer Recheneinheit bestimmt worden sein. Die Ausgangslage kann allerdings auch iterativ aus einer zeitlich zurückliegenden Auswertung von Markerbildbereichen bestimmt worden sein. Hierzu eignet sich z. B. eine Folge von zweidimensionalen Bilddatenpixelanordnungen, die in einem Ablauf einer Bewegung mit dem Markerträger aufgezeichnet wurde, wobei vorzugsweise alle Seiten des Markerträgers der Digitalkamera gezeigt werden.
Bei der Aufzeichnung der Bewegung durch die Digitalkamera wird eine zeitliche Abfolge von Bilddatenpixelanordnungen aufgenommen. Ausgehend von einer ersten Bilddatenpixelanordnung, aus der heraus eine Ausgangslage festgelegt ist, wird mindestens eine weitere Bilddatenpixelanordnung aufgenommen und als Datensatz der Recheneinheit zugeführt. Diese weitere, zweidimensionale Bilddatenpixelanordnung weist in Folge einer Bewegung geänderte Markerbildbereiche auf. Geänderte Markerbildbereiche zeigen eine geänderte gegenständliche Lage an. Hierbei ist es einerseits möglich, dass eine Bewegung des Markerträgers erfolgt ist. Andererseits können geänderte Markerbildbereiche auch durch eine Bewegung der Digitalkamera vorliegen, wobei vorzugsweise der Markerträger sich an einer ortsfesten Position befindet. Es ist auch möglich, dass geänderte Bildbereiche aufgrund einer Relativbewegung zwischen Markerträger und Digitalkamera vorliegen. Mittels des erfindungsgemäßen Verfahrens kann insbesondere eine geänderte relative gegenständliche
Lage bestimmt werden.
Eine geänderte gegenständliche Lage ist durch eine Position und/oder eine Orientierung beschreibbar. Die geänderte Position und/oder die geänderte Orientierung können einem Objekt zugeordnet sein. Die Position bzw. die Orientierung lassen sich z. B. durch Koordinaten eines Koordinatensystems benennen. Es können Datentupel für einen Punkt im Koordinatensystem oder für eine Richtung im Koordinatensystem angegeben werden. Der Ursprung des Koordinatensystems kann theoretisch in die Digitalkamera gesetzt sein. Der Ursprung des Koordinatensystems kann aber auch in einen Punkt, wie den Mittelpunkt eines Markerträgers gesetzt sein. Es ist auch möglich dass der Ursprung des Koordinatensystems als ein Fixpunkt raumfest vorliegt. Der Zeitpunkt in dem die geänderte gegenständliche Lage vorliegt, bestimmt auch das Vorliegen einer zugeordneten Markerpositionskonfiguration. Andererseits kann aus Kenntnis der Markerpositionskonfiguration auch eine, insbesondere geänderte, gegenständliche Lage vorgegeben werden. Eine Markerpositionskonfiguration ist aus den Markerbildbereichen, die in einer weiteren Bilddatenpixelanordnung enthalten sind, festlegbar. Bei der Bestimmung der Markerpositionskonfiguration wird auch eine Markermodellkonfiguration herangezogen, die der Ausgangslage entspricht. Ein Vergleichsalgorithmus wird auf eine Anordnung von ausgewählten Markerbildbereichen und eine Markermodellkonfiguration angewendet. Bei dem Vergleich kann ein Markerbildbereich in der weiteren Bilddatenpixelanordnung aufgesucht werden, der zu einem Markerbildbereich in der Ausgangslage, insbesondere einem dem Markerbildbereich in der Ausgangslage zugeordneten Koordinatenpunkt, einen im Vergleich zu anderen Markerbildbereichen der weiteren Bilddatenpixelanordnung, insbesondere zu deren jeweiligen Koordinatenmittelpunkt, kleinsten Abstand aufweist. Ein solcher Bildbereich wird auch als nächster Nachbar bezeichnet. Nächste Nachbarn können auch für mindestens drei Markerbildbereiche, z. B. für jeweils zugeordnete Koordinatenpunkte, insbesondere der weiteren Bilddatenpixelanordnung, bestimmt werden.
Wenn ein Markerbildbereich in der Bilddatenpixelanordnung nicht erscheint, weil ein entsprechendes Markerelement z. B. durch ein zweites Markerelement verdeckt ist, so kann aufgrund bekannter Markerkonfiguration auf einen solchen verdeckten, weiteren Markerbildbereich rückgeschlossen werden. Das Verfahren wird insbesondere dadurch robust, dass nicht alle Markerelemente des Markerträgers von der Digitalkamera aufgezeichnet werden müssen. Aufgrund der Vorkenntnis über eine Geometrie des Markerträgers und der Vorkenntnis über eine Markerkonfiguration ist bekannt, in welcher Modellansicht Markerträger und zugeordnete Markerelemente für die Digitalkamera sichtbar sind. Solche „sichtbaren" Markerelemente sind bei der Auswertung einer Markermodellkonfiguration besonders zu
berücksichtigen. Damit liegt ein Ergebnis des Vergleichsalgorithmus, der auf Markermodellkonfigurationen und auf Markerbildbereiche angewendet wird, schneller vor. Weiterhin wird auch die Leistungsfähigkeit eines numerischen Optimierungsverfahrens, das auf die im Vergleichsalgorithmus vorausgewählte Markermodellkonfiguration angewendet wird, noch mehr verbessert.
Das Verfahren gewinnt eine besondere Genauigkeit insbesondere dadurch, dass eine Markerpositionskonfiguration eine Markerkonfiguration von einer Mehrzahl von Markern an einer Position im Raum aufweist. Die Markerkonfiguration liegt auf einem Markerträger vor. Der Markerträger weist mindestens zwei Flächenelemente auf. Die Marker auf den Flächenelementen stellen in der Gestalt des Markerträgers an einem Ort im Raum und in einer Orientierung im Raum eine Markerpositionskonfiguration dar. Die Marker, liegen in einer flächenelementweisen Anordnung vor. Die Anordnung auf einem ersten Flächenelement und die Anordnung auf einem zweiten Flächenelement unterscheiden sich. Allerdings können die Marker auch in ein Flächenelement räumlich integriert sein, z. B. als weiße oder farbige Flächenbereiche. Auf das jeweilige Flächenelement bezogen, weisen die Marker auf dem ersten Flächenelement eine andere Position auf als die Marker auf dem zweiten Flächenelement. Die Marker auf einem ersten und einem zweiten Flächenelement können nicht deckungsgleich übereinander gebracht werden. Vorzugsweise sind die Markerpositionen auf dem ersten Flächenelement und die Markerpositionen auf dem zweiten Flächenelement weder durch Drehung, noch durch Verschiebung, noch durch gleichmäßige Streckung der Konfiguration, noch durch eine Kombination dieser Operationen ineinander überführbar. Anders gesagt weicht die Anordnung von Markern, die ein erstes Flächenelement aufweist, von einer Anordnung von Markern, die ein zweites Flächenelement aufweist, ab. Zwar können drei nichtlinear angeordnete Marker durch eine räumliche Drehung immer in eine räumliche Anordnung verbracht werden. Deren Projektion auf eine ebene Fläche, wie dem Sensor einer Digitalkamera, könnte einer zweiten, ebenen Dreiecksanordnung von Markerelementen gleichen. Diese grundsätzlich bekannte Möglichkeit ist allerdings durch die Markerkonfiguration, die auf Flächenelemente bezogen ist, ausgeschlossen. Markerelemente, die auf Flächenelementen konfiguriert sind, sind nicht gruppenweise frei zueinander räumlich veränderbar. Folglich sind die Markerelemente auch in der Projektion auf eine Bilddatenpixelanordnung flächenelementeweise unterscheidbar. Insbesondere ist die Anordnung von Markerelementen auf zueinander benachbarten Flächenelementen so konfiguriert, dass in der Projektion auf eine Fläche in einer Digitalkamera Markerelemente eines ersten Flächenelements nicht z. B. dreiecksgleich zu Markerelementen eines zweiten Flächenelements vorliegen. Ein zweites Flächenelement ist zu einem ersten Flächenelement benachbart, wenn zwischen dem ersten und dem zweiten Flächenelement kein weiteres
Flächenelement vorliegt. Ein Vergleichsalgorithmus, angewendet auf die Marker des ersten Flächenelements und die Marker weiterer Flächenelemente, wird keine Übereinstimmung zwischen der jeweiligen Markerkonfiguration feststellen. Zwei beliebig auswählbare Flächenelemente von allen vorgesehenen Trägerflächenelementen differieren in der Konfiguration der jeweiligen Marker eines Flächenelements.
Ein numerisches Optimierungsverfahren wird verwendet, um die Parameter eines Systems, die eine Zielfunktion minimieren oder maximieren, zu bestimmen. Die Bestimmung erfolgt derart, dass entweder ein vorgegebenes Ergebnis ε der Zielfunktion unterschritten bzw. überschritten wird oder keine anderen Parameter gefunden werden, die ein kleineres bzw. größeres Ergebnis einer Zielfunktion liefern. Das Ergebnis ε kann auch als Genauigkeitswert bezeichnet werden. Diese Parameter bezeichnet man als optimal bezüglich der Zielfunktion. In einem Messsystem zur Bestimmung einer gegenständlichen Lage im Raum aus einer zwei-dimensionalen Bilddatenpixelanordnung sind die „optimalen" Koordinaten im Idealfall die tatsächlichen Koordinaten der Markerkonfiguration.
Die Ausgleichsrechnung ist ein Beispiel für eine verwendbare Optimierungsmethode, wobei für eine Reihe von Messdaten (z. B. Markierungen in einem zweidimensionalen Bild) die unbekannten Parameter ihres geometrisch-physikalischen Modells (Projektion von Objektpunkten in eine Bildebene) bestimmt bzw. geschätzt werden.
Eine Methode zur Lösung von solchen sogenannten Ausgleichs-Problemen ist die Methode der kleinsten Fehlerquadrate, bei der der quadratische Abstand der Messpunkte zu einer Schätzfunktion als Zielfunktion minimiert wird, derart, dass entweder mit den gefundenen Parametern ein vorgegebener Abstand ε unterschritten wird, oder es keine anderen Parameter gibt, die einen kleineren quadratischen Abstand von Messpunkten zu einer Schätzfunktion liefert.
Iterative Verfahren zur Lösung nichtlinearer Ausgleichsprobleme nähern die zu schätzenden Parameter, insbesondere Koordinaten, ausgehend von Startwerten schrittweise den optimalen
Parametern, wie Koordinaten, an. Iterative Verfahren werden so lange fortgeführt bis ein
Abbruchkriterium eintrifft, wie beispielsweise:
Eine Zielfunktion unterschreitet mit den iterativ gefunden Parametern einen vorgegebenen Grenzwert ε.
· Das Ergebnis der Zielfunktion ändert sich um weniger als beispielsweise 1 % des
Vorergebnisses.
Es wurden die maximale Anzahl an Iterationsschritten, zum Beispiel 20, durchgeführt.
Es können keine Parameter mehr gefunden werden die das Ergebnis der Zielfunktion weiter verkleinern.
Beispiele für numerische Optimierungsverfahren sind der Levenberg-Marquardt-Algorithmus oder das Gauß-Newton-Verfahren.
Eine gegenständliche Lage bzw. eine geänderte gegenständliche Lage kann besonders vorteilhaft mit einem System zur Darbietung einer Blickfelddarstellung erhoben werden. In dem System wird eine Lage bestimmt und ausgewertet. Eine als Datensatz durch das System bereitgestellte Lage kann innerhalb des Systems weiter verwendet werden. Hierbei wird eine Lage vorzugsweise zur Berechnung einer Blickfelddarstellung benutzt. Die Blickfelddarstellung kann z. B. eine Ansicht eines virtuellen Raums umfassen. Ein virtueller Raum ist eine zumindest nach einem Aspekt rechnerisch generierte, in Visualisierungsdaten darstellbare, räumliche Geometrie. Eine Ansicht wird insbesondere durch einen Raumwinkelbereich, der nach einem Aspekt auch als Blickfeld bezeichnet werden kann, festgelegt. Der Raumwinkelbereich ist durch eine Bewegung veränderbar. Die Bewegung wird im realen Raum ausgeführt. Die reale Bewegung ist in eine Darstellung des virtuellen Raums übertragbar. Ein sich durch die Bewegung veränderndes Blickfeld kann einem Betrachter angezeigt werden. Das System umfasst einen portablen Markerträger, der z. B. einen Bereich eines Gesichtsfelds einer Person, wie einen Schläfenbereich, überdeckt. Vorzugsweise umschließt der Markerträger den Kopf allseitig auf einer Ebene. In der Ebene können die Augen liegen. Die Ebene kann auch die Ohren oder die Gehörgänge überschneiden. Die Ebene erstreckt sich vorzugsweise von den Augen zum Hinterkopf. Die Ebene kann auch parallel zu einer Ebene liegen, die den Augen zugeordnet ist, wie eine Ebene einer Hutkrempe. Der Markerträger kann sich z. B. entlang eines Stirnbands erstrecken. Der Markerträger kann mit Hilfe eines Bandes, das den Hinterkopf umschließt, getragen werden. Der portable Markerträger kann allerdings auch an einer Vorrichtung nach Art eines Brillengestells getragen werden. Der Markerträger weist ein sehr geringes Gewicht von weniger als 1 Kilogramm auf. Der Markerträger schränkt Bewegungsmöglichkeiten einer Person nicht oder zumindest nur unwesentlich ein.
Auf einem Oberflächenbereich, der bezogen auf einen zur Aufnahme eines Kopfes oder eines Objektes vorgesehenen Innenbereich des Markerträgers, nach außen gerichtet ist, ist eine Mehrzahl von Markerelementen vorgesehen. Ein Markerelement kann ein Ellipsoid sein. Ein Markerelement kann auch aus Zylinder, Quader, Kugel, Kegelelementen oder Kombinationen davon darstellbar sein. Es ist auch möglich Markerelemente zu verwenden, die eine Polyederform aufweisen. Die Form eines Markerelements kann eine Körperform sein, die sich
von dem Markerträger abhebt. Zwischen einem Markerelement und dem Markerträger befindet sich kein Abstandshalter. Vielmehr kann ein Markerelement auch in einem ebenen Bereich des Markerträgers integriert sein, wobei sich das Markerelement allerdings in zumindest einer optischen Eigenschaft, wie Absorption, Reflektivität oder eine spektrale Eigenschaft, von dem Flächenbereich des portablen Markerträgers unterscheiden muss. Als Materialien für Markerelemente eignen sich z. B. Papier oder leichtgewichtige Keramik, wie Zeolith, insbesondere von nahezu weißer Farbe. Als Materialien für Markerträger eignen sich z. B. Kohlefaserplatten, schwarz eloxierte Leichtmetallplatten oder Kunststoffplatten, insbesondere von schwarzer Farbe. Auch andere Materialien können verwendet werden, die insbesondere ein Leichtgewicht aufweisen, das den Tragekomfort nicht beeinträchtigt.
Das System weist mindestens eine Digitalkamera auf. Die Digitalkamera kann z. B an einem Stativ oder an einer Zimmerdecke befestigt sein. Es ist auch möglich mehrere Digitalkameras zu verwenden, um einen durch eine Digitalkamera aufnehmbaren Raumbereich zu erweitern. Die Digitalkamera weist insbesondere ein Objektiv auf, mit dem ein Raumbereich scharf abgebildet werden kann. Es kann z. B. ein monokulares Objektiv zum Einsatz kommen. Vorteilhaft sind Objektive, die mit nur unwesentlicher Verzerrung einen Raumbereich abbilden. Die Abbildung erfolgt auf ein zweidimensionales Feld eines Sensors. Der Sensor wandelt das eintreffende Licht pixelweise in elektronische Daten um, die ein zweidimensionales Pixeldatenfeld bilden. Eine fotographische Aufnahme oder ein Bild einer Filmsequenz der Digitalkamera kann als ein erstes Pixeldatenfeld an eine Recheneinheit übertragen werden. Die Recheneinheit ist z. B. eine mobile Recheneinheit, wie ein sogenanntes Smartphone, ein Laptop oder ein Tablet. Auf der Recheneinheit sind Algorithmen, wie Bilddatenverarbeitungsalgorithmen, ausführbar. Weiterhin umfasst das System eine elektronische Bildanzeige. Auf der elektronischen Bildanzeige kann z. B. ein Pixeldatenfeld optisch sichtbar gemacht werden. Auf der elektronischen Bildanzeige kann allerdings auch eine berechnete Blickfelddarstellung visualisiert werden.
In dem System ist eine Datenübertragungseinheit vorgesehen. Die Datenübertragungseinheit besorgt die Datenübertragungsverbindung zwischen der Digitalkamera und der Recheneinheit. Die Datenübertragungsverbindung kann auch die Bereitstellung von elektronischen Daten für die Erstellung einer Blickfelddarstellung auf der elektronischen Bildanzeige bereitstellen. Anders gesagt, kann die elektronische Bildanzeige in Verbindung mit der Recheneinheit vorliegen. Die elektronische Bildanzeige kann aber auch ein eigenständiges Gerät unabhängig von der Recheneinheit sein und über die Datenübertragungsverbindung mit elektronischen Daten, insbesondere auch mit elektrischer Energie zum Betrieb, versorgt werden. Vorzugsweise wird eine kabellose Datenübertragungsverbindung verwendet. Es ist günstig für Anwendungen des
Systems, wenn die Bildanzeige frei bewegbar ist. Eine Datenübertragungsverbindung zwischen Bildanzeige und Recheneinheit wird durch Bewegungen eines Markerträgers nicht unterbrochen. Das System umfasst mindestens eine Lichtquelle. Die Lichtquelle dient zur Aussendung von vorzugsweise sichtbarem Licht. Das von der Lichtquelle bereitgestellte Licht muss mit der Digitalkamera registrierbar sein. Es ist auch möglich, dass eine Umwandlung des Lichts, z. B. durch Fluoreszenz oder Phosphoreszenz, an einem Markerelement erfolgt. Hierbei kann insbesondere eine ultraviolette Lichtquelle nützlich sein. Markerelemente können eine fluoreszierende oder phosphorzierende Beschichtung aufweisen. Vorzugsweise wird allerdings sichtbares Licht verwendet. Markerelemente können als Lichtquelle nach Art eines leuchtenden Mondes dienen. Es kann auch gesagt werden, dass das Tageslicht, das die Sonne liefert, direkt oder durch Reflexion bzw. Streuung indirekt als Lichtquelle Verwendung finden kann. Das Licht ist von der Digitalkamera registrierbar. Das Licht der Lichtquelle durchtritt zumindest bereichsweise den von der Digitalkamera überblickten Raumbereich. Es ist auch möglich durch Fluoreszenzeigenschaften von Markerelementen einen nichtsichtbaren Spektralbereich einer Lichtquelle in einen sichtbaren Spektralbereich an Markerelementen umzuwandeln und für die Digitalkamera registrierbar zu machen. Damit kann eine Kontrastverstärkung zwischen dem Markerelement und der unmittelbaren Umgebung des Markerelements, insbesondere in einem Bildbereich des Pixeldatenfelds, das auch als Pixeldatenanordnung bezeichnet werden kann, erreicht werden. Eine häufig eingesetzte Lichtquelle ist z. B. eine Leuchtstoffröhre oder eine Leuchtdiode (LED).
Die Recheneinheit errechnet eine Blickfelddarstellung. Die Blickfelddarstellung wird für die Bildanzeige bereitgestellt. In die Blickfelddarstellung wird eine Betrachterposition, die nahezu zeitgleich eingenommen ist, eingerechnet. Der Markerträger ist in dem von der Digitalkamera abgebildeten Raumbereich frei bewegbar. Zwischen Markerträger und Digitalkamera sind keine optischen Barrieren angeordnet. Es ist allerdings möglich, dass Teile des Markerträgers vorübergehend durch z. B. Haare oder einen Schal überdeckt werden. Der Raum zwischen Markerträger und Digitalkamera ist obstruktionsfrei. Es ist z. B. durch eine Raumbegrenzung vorgesehen, dass durch eine Abstandsänderung zwischen Markerträger und Digitalkamera eine Mindestauflösung von einem Markerelement in dem Pixeldatenfeld nicht unterschritten wird. Die Mindestauflösung umfasst vorzugsweise ein Pixel für ein Markerelement. Anders gesagt sollte ein Markerelement mindestens ein Pixel einnehmen. Die Mindestauflösung kann aber auch auf eine vorbestimmbare Anzahl von, z. B. vier, Pixel für ein Markerelement festgelegt werden, um eine Zuverlässigkeit einer fehlerfreien Markererkennung, z. B. durch Ausschluss elektronischer Einzelpixelfehler, zu verbessern.
Der Markerträger umfasst mindestens fünf Flächenelemente. Ein Flächenelement kann auch als Trägerflächenelement bezeichnet werden. Ein Flächenelement ist zumindest bereichsweise ebenflächig. Ein Flächenelement kann eine Kante, wie eine Faltungskante aufweisen. Nach einem Aspekt können Flächenelemente mit einer Faltungskante auch als zwei Flächenelemente bezeichnet werden. Als besonders günstig hat sich in Versuchen ein Markerträger herausgestellt, der mindestens fünf Flächenelemente umfasst, die jeweils an einem Randbereich einander zugeordnet sind. Es können allerdings auch zehn Flächenelemente vorteilhaft zusammengestellt werden. Werden Flächenelement trapezartig ausgebildet, lassen sie sich besonders günstig aneinanderstellen. Entlang von drei Randbereichen der trapezartigen Form erstrecken sich vorzugsweise wiederum Randbereiche weiterer Flächenelemente. Ein vierter Randbereich des Flächenelements kann freistehend sein. Die Flächenelemente sind ringartig angeordnet. Mindestens fünf Flächenelemente können zu einem Ring zusammengeschlossen sein. Nach einem Aspekt kann der Ring mit einer fünfeckigen Querschnittsfläche vorliegen. Der Markerträger kann ähnlich wie ein Kranz um einen Kopf liegen. Auf einem Flächenelement des Markerträgers liegen die Markerelemente in einer Konfiguration vor. Die Konfiguration der Markerelemente auf einem Flächenelement ist einzigartig. Anders gesagt, weicht die Anordnung der Markerelemente auf einem Flächenelement von der Anordnung der Markerelemente auf einem zweiten Flächenelement ab. Die Konfiguration der Markerelemente ist flächenelementeweise voneinander abweichend.
Der portable Markerträger kann in dem Raumbereich, den die Digitalkamera ermisst, eine Winkelstellung einnehmen. Die Winkelstellung liegt bezüglich einer Kamerabildebene vor. Nach einem Aspekt liegt die Winkelstellung bezüglich einer Sensorebene der Digitalkamera vor. Die Winkelstellung ist durch eine Bewegung des Markerträgers veränderbar. Es kann z. B. eine Kippbewegung oder eine Rotationsbewegung des Markerträgers zu einer Winkelstellung führen. Der Markerträger ist von der Digitalkamera in jeder Winkelstellung in Gestalt von mindestens zwei markerelementeaufweisenden Flächenelementen, ein erstes Flächenelement und ein zweites Flächenelement, die auch als Trägerflächenelemente bezeichenbar sind, einsehbar. Die zwei Flächenelemente können zueinander benachbart sein, wobei insbesondere das erste Flächenelement mit einem Randbereich an das zweite Flächenelement anschließt. Mindestens zwei Flächenelemente, die Markerelemente aufweisen, sind von der Digitalkamera gemeinsam filmbar bzw. fotografierbar, oder anders gesagt abbildbar. Die zwei Flächenelemente sind vorzugsweise jeweils trapezartig und ebenflächig gestaltet. Von den zwei Flächenelementen wird ein Winkel eingeschlossen, der kleiner als 180 0 ist. Anders gesagt ist das zweite Flächenelement nicht als eine geradlinige, insbesondere nicht als parallelartige Fortsetzung des ersten Flächenelements angeordnet. Die zwei Flächenelemente können
einteilig vorliegen, gelten aber, insbesondere hinsichtlich einer Abbildung auf eine Bilddatenpixelanordnung, dennoch als unterschiedliche Flächenelemente.
Die Digitalkamera empfängt Licht von Markerelementen. Es liegen mindestens vier Markerelemente vor, die algorithmisch von der Recheneinheit in dem Pixeldatenfeld erkennbar sind. Mittels der erfassbaren Markerelemente wird in der Recheneinheit durch mindestens eine Vergleichseinheit, wie ein Vergleichsalgorithmus, eine räumliche Lage des Blickfelds festgelegt. Der Vergleichsalgorithmus überprüft, ob bzw. inwieweit eine Abweichung zwischen den vier Markerelementen in zweidimensionaler Abbildung und einer Markermodellkonfiguration vorliegt. Der Vergleichsalgorithmus erkennt die Markermodellkonfiguration, die die bestmögliche Übereinstimmung mit vier Markerelementen aufweist. Die ausgewählte Markermodellkonfiguration, die auch als Markerpositionskonfiguration bezeichnet werden kann, umfasst Koordinaten, die eine räumliche Lage des Blickfelds festlegen. Das Blickfeld ist an der Markerpositionskonfiguration ausgerichtet. Mit dem System kann die räumliche Lage des Blickfelds zeiteffizient berechnet und der Bildanzeige zugeführt werden, sodass der Eindruck einer fließenden Veränderung des Blickfelds in dem Verlauf einer Bewegung entsteht.
Nachfolgend werden vorteilhafte Ausgestaltungen und Weiterbildungen dargelegt, die für sich gesehen, sowohl einzeln aus auch in Kombination, ebenfalls erfinderische Aspekte offenbaren können.
Die Markermodellkonfiguration kann ausgehend von einer Vorauswahl von Markerelementen bestimmt werden. Vorzugsweise umfasst eine Vorauswahl drei Markerelementen. Die Markerelemente können auf einem einzigen Flächenelement angeordnet sein. Die Markerkonfiguration, aus der die Markerelemente ausgewählt werden, ist vorbekannt. Für den Vergleich mit Markerbildbereichen werden vorzugsweise Konfigurationshypothesen der drei Markerelemente erstellt, die auch als Markermodellkonfigurationen der drei Markerelemente bezeichnet werden können. Insbesondere bis zu fünf Konfigurationshypothesen kommen zum Einsatz. Auf Grundlage der fünf Konfigurationshypothesen gelangt der Vergleichsalgorithmus zu einer Entscheidung, ob die drei Markerelemente als Markermodellkonfiguration für weitere Berechnungen geeignet sind. Ein solches Vorgehen erlaubt ein schnelles Überprüfen verschiedener Markermodellkonfigurationen.
Die Qualität einer Vorauswahl einer Markermodellkonfiguration kann überprüft werden. Mindestens ein weiterer Markerbildbereich, insbesondere aus der gleichen zweidimensionalen Bilddatenpixelanordnung, wird ausgewählt. Die Zuordenbarkeit des mindestens einen weiteren Bildbereichs zur Markermodellkonfiguration kann die Auswahlentscheidung zu der
Markermodellkonfiguration bestärken. Es hat sich als vorteilhaft herausgestellt, wenn bei der Überprüfung eine perspektivische Sichtbarkeit von Markerelementen berücksichtigt wird. Es ist möglich, dass mindestens ein Markerelement von dem Markerträger, insbesondere von einem Flächenelement des Markerträgers in einer Position des Markerträgers oder einer Orientierung des Markerträgers vor der Digitalkamera verdeckt ist. Ein verdecktes Markerelement der Markermodellkonfiguration kann von der Überprüfung eines weiteren Markerbildbereichs ausgeschlossen werden. Eine perspektivische Sichtbarkeit ist insbesondere aufgrund der Zuordnung von Markerelementen, insbesondere von konfigurierten Markerelementen, zu einem Trägerflächenelement vorbestimmt. Eine Markermodellkonfiguration ist nach einem Aspekt ein hypothetisches Abbild einer vorbestimmten Anordnung von Markerelementen auf einem Markerträger, die als Datensatz in einer Recheneinheit vorliegt. Die Markermodellkonfiguration kann alle Markerelemente, die auf einem Markerträger angeordnet sind, umfassen.
Als besonders zuverlässiger Markererkennungsalgorithmus hat sich ein Hellfleckfilter herausgestellt. Mit dem Hellfleckfilter werden insbesondere helle Bildbereiche in einer Bilddatenpixelanordnung vor einem Hintergrund, der weniger hell ist, als ein Markerbildbereich erkannt. Es können z. B. weiße Markerelemente verwendet werden, die helle, zumindest stellenweise weißliche, Bildbereiche verursachen. Der Hellfleckfilter kann eine Fleckgeometrie herausfiltern, die einem Markerelement zuordnenbar ist. Helle Flecken in einer Bilddatenpixelanordnung, die nicht von einem Markerelement stammen, können zumindest teilweise ausgeschlossen werden.
Die Zuverlässigkeit des Verfahrens lässt sich weiter verbessern, wenn berücksichtigt wird, dass ein Markerelement vorrübergehend, z. B. durch Haare oder durch Schattenwurf verdeckt sein kann. Es ist möglich zu berechnen, an welcher Stelle ein verdecktes Markerelement vorliegen könnte. Dadurch lässt sich z. B. eine Erkennung von Markerbildbereichen unter Verwendung einer vorbekannten Markermodellkonfiguration verfeinern.
Das Verfahren lässt sich weiterhin günstig ausgestalten, indem eine vorteilhafte Darstellungsweise einer Position und einer Richtung zur Bestimmung der Lage verwendet wird. Eine Position und eine Richtung können z. B. mit einem Translationsvektor und einer Rotationsdarstellung mathematisch dargestellt werden, die zu einer Markermodellkonfiguration führen. Beispiele für eine Rotationsdarstellung sind eine Rotationsmatrix, Euler-Winkel, ein Quaternion, eine Rodriguez-Darstellung oder eine Winkel-Vektor-Darstellung.
Orientierungsdarstellungen werden verwendet um eine Winkellage von Objekten zueinander mathematisch beschreiben zu können. Außerdem werden sie benutzt um eine
Winkellageänderung, also eine Drehbewegung, von Objekten mathematisch zu beschreiben.
Euler-Winkel und Rodriguez-Darstellung sind 3-Parametrische Darstellungen. Bei einer 3- Parametrischen Darstellung der Orientierung sind alle Parameter von einander unabhängig. Das bedeutet, dass jeder Parameter für sich allein geändert werden kann und die Parameter immer noch eine Orientierung darstellen. Vor allem bei numerischen Optimierungsverfahren ist das ein großer Vorteil. Ein Problem kann sich ergeben, wenn eine Orientierungsdarstellung in einer Winkellage durch mehrere Varianten derselben Darstellungsform ausgedrückt werden kann. Es gibt beispielsweise 12 Arten eine einzige Orientierung mit Eulerwinkeln darzustellen. Ein weiteres mögliches Problem einer Darstellungsform ist das Auftreten einer kardanischen Blockade (Gimbal-Lock), bei der zwei Parameter dieselbe Änderung der Winkellage, also eine Drehung um dieselbe Achse, beschreiben. Eine Folge ist ein Springen der beschreibenden Parameter obwohl sich die Winkellage nicht ändert. Möchte man üblicherweise aus zwei Messungen der Winkellage auf eine Winkelgeschwindigkeit schließen, indem man die Differenz der gemessenen Lageparameter durch die verstrichene Zeit teilt, würde man in diesem Fall ein falsches Ergebnis erhalten. 3-Parametrische Darstellungsformen sind deshalb für Anwendungen bei denen der Parameter über die Zeit fortgeschrieben wird (Beispielsweise Rauschfilter) ungünstig. Die Rodriguez-Darstellung bietet Vorteile für numerische Optimierungsverfahren, weil sie sich besonders einfach aus einer Quaternion Darstellung berechnet.
Quaternion oder Winkel-Vektor-Darstellung sind Beispiele für 4(vier)-parametrisch Darstellungen. Eine 4-parametrische Darstellungsform hat keinen Undefinierten Zustand wie den Gimbal-Lock und ist daher für sogenannte„Tracking"-Anwendungen bei der Verfolgung von Bewegung sowie für Rauschfilter geeignet. Die vier Parameter sind allerdings aufgrund der Überbestimmung nicht unabhängig von einander. Eine Änderung eines einzelnen Parameters hat immer eine Änderung mindestens eines weiteren Parameters zur Folge. Werden Zwangsbedingungen der Parameter zueinander nicht beachtet kann es sein, dass die Parameter eine Drehung und Verformung beschreiben. Für Methoden, die einzelne Parameter verändern, wie numerische Optimierungsverfahren, ist diese Darstellung daher weniger geeignet und erfordert oft eine zusätzliche Korrektur der Verformung, wenn z. B. bei einer Optimierung einer Orientierung das Objekt nicht nur gedreht sondern auch verformt wird.
Es ist allerdings vorteilhaft, wenn das erfindungsgemäße Verfahren mit einem numerischen Optimierungsverfahren ausgestattet ist. Durch ein numerisches Optimierungsverfahren kann die Genauigkeit bei der Bestimmung der Lage verbessert werden. In einem numerischen Optimierungsverfahren kann z. B. ein Levenberg-Marquart-Algorithmus zum Einsatz kommen.
Der Levenberg-Marquardt-Algorithmus ist ein numerisch, iteratives Verfahren zur Lösung nichtlinearer Ausgleichs-Probleme mit Hilfe der Methode der kleinsten Fehlerquadrate, das sehr robust gegen schlechte Startwerte der zu bestimmenden Parameter ist. Das Gauß-Newton- Verfahren ist ein anderes Beispiel für ein verwendbares numerisches Optimierungsverfahren.
Das numerische Optimierungsverfahren wird auf eine Vorauswahl von Markerbildbereichen angewendet. Die Vorauswahl umfasst die drei Markerbildbereiche, die als Markerbildbereiche mit einer geringsten Abweichung zu einer Markermodellkonfiguration erkannt wurden. Es wird mindestens ein weiterer Markerbildbereich hinzugenommen. Anders gesagt wird das numerische Optimierungsverfahren auf mindestens vier Markerbildbereiche angewendet. Damit kann die Bestimmung der Lage präzisiert werden. Insbesondere lässt sich eine Orientierung genauer bestimmen. Vorzugsweise wird das numerische Optimierungsverfahren auf eine drei- parametrische Darstellung der Orientierung der Markermodellkonfiguration angewendet. Es werden auch alle weiteren Punkte der Markermodellkonfiguration, die nicht zu den Markerbildbereichen passen, durch die vorbekannten Markerkonfiguration mitgeführt.
Bei der Bestimmung einer Änderung einer gegenständlichen Lage werden von der Digitalkamera Bilddatenpixelanordnungen, z. B. mit einer Folge von sechzig Bilddatenpixelanordnungen, die auch als Bilder bezeichnet werden können, in einer Sekunde bereitgestellt. Von einem ersten Bild zu einem zweiten Bild kann eine Änderung einer Markerpositionskonfiguration erfolgt sein. Der Veränderung der Markerpositionskonfiguration kann auch eine Verschiebung von Markern, die auch als Markerelemente bezeichnet werden können, auf dem Markerträger zugrunde liegen. Dabei kann es erforderlich sein, die Markermodellkonfiguration, welche die Ausgangslage festlegt, neu zu berechnen. Das Verfahren lässt sich besonders schnell ausführen, wenn die auf dem Markerträger angeordneten Marker gleich gestaltet sind. Vorzugsweise sind die Markerelemente, die dem Markerträger zugeordnet sind, gleichförmig, gleichfarbig, insbesondere weiß oder schwarz, und gleichgroß. Der Markerträger ist dazu kontrastierend ausgebildet, vorzugsweise schwarz oder weiß. Eine Markerkonfiguration kann aus den erfassten Markerbildbereichen rechnerisch bestimmt werden. Hierbei werden Markerbildbereiche aus mehreren Bilddatenpixelanordnungen berücksichtigt. Vorzugsweise werden in den mehreren Bilddatenpixelanordnungen alle Markerelemente gezeigt. Anders gesagt, sollte jedes Trägerflächenelement des Markerträgers in zumindest einer Bilddatenpixelanordnung zumindest mit den auf dem Trägerflächenelement angeordneten Markern erfasst werden. Die geänderte Markerkonfiguration wird algorithmisch festgelegt. Insbesondere werden gute Ergebnisse durch Verwendung eines Struktur-aus-Bewegung-Algorithmus (structure-from- motion) erlangt. Diesem Algorithmus liegt eine Methode der Photogrammetrie, bei der eine
dreidimensionale Struktur, die aus zwei Blickwinkeln in zweidimensionalen-Bildern betrachtet wird, dreidimensional vermessen wird, zugrunde. Zusätzlich kann auch noch ein Ensemble- Anpassung-Algorithmus (bundle-adjustment) verwendet werden, um die Genauigkeit der bestimmten Markerkombination weiter zu verbessern. Hierbei erfolgt eine gleichzeitige numerische Verfeinerung der Kameraparameter (Position, Ausrichtung, Fokuslänge, Pixelabmessungen, optische Verzerrung) und einer dreidimensionalen Struktur, die aus mehreren Perspektiven aufgenommen wurde. Aus einem näherungsweise bestimmten Punktemodell, das von verschiedenen Blickwinkeln mit unsicheren Kameraparametern erfasst wurde, kann eine präzise Schätzung der Punktkoordinaten ermittelt werden. Der Fehler zwischen projizierter dreidimensionaler Markermodellkonfiguration und korrespondierenden Bildpunkten wird minimiert. Es wird rekursiv eine Markerkonfiguration als Markermodellkonfiguration errechnet. Die berechnete Markerkonfiguration legt die Markermodellkonfiguration der Ausgangslage fest. Die Markerpositionskonfiguration der geänderten Lage lässt sich aus z. B. einer ersten und einer zweiten Bilddatenpixelanordnung berechnen. In die Berechnung kann auch eine weitere Bilddatenpixelanordnung, wie die zweite Bilddatenpixelanordnung, einbezogen werden. Nach einem Aspekt erfolgt eine Zuordnung eines Markerbildbereichs, der in einer ersten Bilddatenpixelanordnung vorliegt, zu einem nächster-Nachbar-Bildbereich, der ein Markerbildbereich einer weiteren Bilddatenpixelanordnung ist. Es ist möglich, dass bei der Zuordnung eine zweite Bilddatenpixelanordnung übersprungen wird, weil z. B. zu wenige Markerbildbereiche in der zweiten Bilddatenpixelanordnung auffindbar waren, sodass eine weitere Bilddatenpixelanordnung verwendet wird. Ein Nächster-Nachbar-Bildbereich ist ein Bildbereich, der ausgehend von einer Position eines erfassten Markerbildbereichs einer ersten Bilddatenpixelanordnung in einer weiteren Bilddatenpixelanordnung den kleinsten linearen Abstand im Vergleich zu allen anderen Markerbildbereichen der weiteren Bilddatenpixelanordnung aufweist. Vorzugsweise ist zu mindestens drei Markerbildbereichen einer ersten Bilddatenpixelanordnung jeweils ein Nächster-Nachbar-Bildbereich der weiteren Bilddatenpixelanordnung auffindbar. Die erste Bilddatenpixelanordnung ist dabei die Ausgangslage. Durch die Änderung der drei Markerbildbereiche der Ausgangslage zu den drei Nächster-Nachbar-Bildbereichen ist die Markerpositionskonfiguration, die die geänderte Lage festlegt, z. B. mittels einer Projektion oder einer Verschiebung einer Ausgangslage, insbesondere anhand einer Markermodellkonfiguration bestimmbar. Damit lässt sich die Auswertungsgeschwindigkeit noch mehr steigern.
Die Genauigkeit der Bestimmung von Position und/oder die Orientierung kann noch weiter optimiert werden. Eine Optimierung ist mittels einer additiven Änderung möglich. Das
Optimierungsverfahren wird numerisch ausgeführt. In der Recheneinheit kann z. B. ein Levenberg-Marquardt-Algorithmus zur Optimierung einer Markermodellkonfiguration verwendet werden. Hierbei wird eine Jacoby-Matrix durch numerische Differentiation approximiert. Vorzugsweise erfolgt die Optimierung der Orientierung in einer dreiparametrischen Darstellung der Orientierung in der Markermodellkonfiguration. Die Optimierung erfolgt z. B. mittels eines Programmcodes, der in der Recheneinheit ausführbar ist.
Das Verfahren zur Bestimmung einer gegenständlichen Lage, insbesondere nach einer Lageänderung, kann noch bessere Ergebnisse liefern, wenn bei dem numerischen Optimierungsverfahren ein Kontrollalgorithmus (RANSAC, Random Sample Consensus) vorgesehen ist. Mindestens ein Ergebnis des numerischen Optimierungsverfahrens wird überprüft. Nach einem ersten Aspekt können Fehlerbildbereiche, die z. B. durch stark reflektierende Gegenstände in dem Raumbereich von der Digitalkamera in die Bilddatenpixelanordnung abgebildet werden, die allerdings keine Markerelemente bzw. Marker sind, von dem Kontrollalgorithmus ausgeschlossen werden. Nach einem zweiten Aspekt können Markerbildbereiche, die in einer ersten Bilddatenpixelanordnung nicht sichtbar oder nicht auffindbar waren, die allerdings gemäß der Markerkonfiguration hätten auffindbar sein sollen, als Fehler erkannt und insbesondere nach Auffindung in einer zweiten Bilddatenpixelanordnung, z. B. rekursiv, mit einbezogen werden. Das Ergebnis des numerischen Optimierungsverfahrens wird anhand einer Zufallsauswahl von mindestens einer Markerbildbereichskonfiguration überprüft. Anders gesagt dient der RANSAC-Algorithmus dazu um eine Reihe von Messwerten, wie Markerbildbereichen bzw. Markerbildbereichen zugeordnete Koordinaten, von sogenannten Ausreißern, also Messwerten mit groben Fehlern, zu bereinigen. Aus einer vorliegenden Menge von Messungen m wird eine zufällig gewählte Untermenge m, genommen, die genau die zur Generierung einer Schätzhypothese notwendige Mindestanzahl an Messungen enthält. Damit wird die Wahrscheinlichkeit, dass sich Ausreißer in der Untermenge m, befinden, minimiert. Werte, die abhängig von einem Grenzwert k, der auch als Genauigkeitswert bezeichnet werden kann, die aus m, generierte Hypothese stärken, werden als Treffer, sogenannte „Inlier", betrachtet. Die Untermenge, deren Hypothese die meisten Treffer produziert, wird als beste Schätzung betrachtet. Die Untermenge ist z. B. eine Auswahl von drei Markerbildbereichen, mit denen eine eindeutige Bestimmung möglich ist. Das so erhaltene Ergebnis wird mit dem Ergebnis des numerischen Optimierungsverfahrens, das insbesondere mehr als drei Markerbildbereiche einbezogen hat, verglichen. Durch Wiederholung ist es auch möglich verschiedene Markerbildbereichskonfigurationen zu überprüfen, ob daraus konsistent ein gleichartiges Ergebnis erhalten wird. Eine Hypothese kann auch als Posenhypothese oder Lagehypothese bezeichnet werden. Der Kontrollalgorithmus wird insbesondere zur Überprüfung der Zuordnung nächster Nachbarn von Markerbildbereichen
zwischen einer ersten und einer zweiten Bilddatenpixelanordnung verwendet. Es erfolgt, anders gesagt, eine Überprüfung einer Übereinstimmung einer Projektion einer Markermodellkonfiguration mit einer Konfiguration von Markerbildbereichen aus einer nachfolgend aufgenommenen Bilddatenpixelanordnung. Damit kann eine grundsätzliche Möglichkeit, dass mit einer fehlerhaften Zuordnung eines nächsten Nachbarn in der Zeitfolge das Verfahren die Bestimmung einer geänderten gegenständlichen Lage verfehlt, nahezu ausgeschlossen werden.
Eine weitere Verbesserung der Genauigkeit bei der Bestimmung einer gegenständlichen Lage ist durch die Verwendung eines Rauschenunterdrückungsalgorithmus möglich. Es ist günstig, wenn der Rauschenunterdrückungsalgorithmus mittels einer Bewegungsverlaufsprognose die Position und/oder die Orientierung rechnerisch filtert. Position und/oder Orientierung werden beispielsweise bei einer geänderten gegenständlichen Lage aus Bilddatenpixelanordnungen erhalten und mit einem numerischen Optimierungsverfahren verfeinert. Ein Bewegungsverlauf ist stetig. Daher ist eine Prognose über den Bewegungsverlauf möglich. Vorzugsweise kommt eine Zustandsraumdarstellung von Markermodellkonfigurationen zum Einsatz. Die Zustandsraumdarstellung, die auch als Zustandsraummodell bezeichnet werden kann, ist eine Form der Beschreibung eines dynamischen Übertragungssystems. Das Zustandsraummodell ermöglicht eine Analyse und Synthese dynamischer, veränderlicher Systeme im Zeitbereich und kann auch effizient z. B. bei der regelungstechnischen Behandlung von Mehrgrößensystemen, sowie bei nichtlinearen und zeitvariablen Übertragungssystemen eingesetzt werden. Es werden sämtliche Beziehungen der Zustandsgrößen, der Eingangsgrößen und Ausgangsgrößen in Form von Matrizen und Vektoren dargestellt. Das Zustandsraummodell wird durch zwei Gleichungen - die Zustandsdifferenzialgleichung erster Ordnung und die Ausgangsgleichung - beschrieben.
Ein Beispiel für einen Rauschenunterdrückungsalgorithmus ist ein Kaimanfilter. Der Kaimanfilter ist ein Filter, der im Zustandsraum anwendbar ist. Damit können Messungen unter Zuhilfenahme eines Prozess- und Mess-Modells, wie einer Markermodellkonfiguration, verbessert werden. Der Kaimanfilter arbeitet in den zwei Schritten Prädikation und Innovation:
— Prädiktion: Unter Zuhilfenahme eines Prozessmodells (z. B. Differentialgleichung eines bewegenden Objekts) wird der letzte geschätzte Zustand (z. B. Position und Geschwindigkeit) für die nächste Messung vorausgesagt.
— Innovation: Die prädizierte Messung wird mit der neuen Messung zu einem neuen Schätzergebnis kombiniert. Dabei wird Messung und Messwertprädiktion je nach Unsicherheit der Messung (Messrauschen) und Unsicherheit der Prädiktion (Modellrauschen, Kovarianz der Messwertprädiktion, Kovarianz der Schätzung)
unterschiedlich gewichtet.
Der Kaimanfilter selbst basiert auf einem Satz linearer mathematischer Gleichungen und setzt gauss-verteiltes Rauschen voraus. Vereinfacht gesprochen dient der Kaimanfilter nach einem Aspekt zum Entfernen der von den Messgeräten, wie der Digitalkamera, verursachten Störungen. Dabei müssen sowohl die mathematische Struktur des zugrundeliegenden dynamischen Systems, wie die Bewegung von Markerelementen, als auch die der Messverfälschungen, wie z. B. das Pixelrauschen, bekannt sein. Im Rahmen der mathematischen Schätztheorie spricht man hinsichtlich Kaimanfilter auch von einem Bayes'schen Minimum-Varianz-Schätzer für lineare stochastische Systeme in Zustandsraumdarstellung.
Es können auch Weiterentwicklungen von Kaimanfiltern verwendet werden, wie z. B. ein Extended Kaiman-Filter (EKF) bzw. ein linearisiertes Kaiman-Filter.
Eine andere, vorzugsweise in einem Verfahren verwendete Weiterentwicklung eines Rauschenunterdrückungsalgorithmus ist der quaternionenbasierte Bewegungsfolgefilter, der auch als quaternionenbasierter Kaimanfilter bezeichnet werden kann. Hierbei handelt es sich um einen nichtlinearen Filter zum Glätten von Winkellagemessungen. Insbesondere wird bei diesem Filter das bekannte Problem des„Gimbal-Lock" vermieden. Quaternionen eignen sich ganz besonders zur Darstellung von Rotationen und bei der Lösung von Problemen der Bewegungsverfolgung. Quaternionen sind gegenüber anderen Darstellungsformen auch besonders kompakt. Es handelt sich um Vier-Parameter-Darstellungen. Die Bewegungsdynamik kann als Modell linear beschrieben werden und die Übergangsmatrix, die auch als Transitionsmatrix bezeichnet werden kann, ist einfach zu berechnen.
Bei drei räumlichen Koordinatenachsen zur Bezeichnung einer räumlichen Lage kann die Transitionsmatrix mit drei um die jeweiligen Koordinatenachsen auftretenden Winkelgeschwindigkeiten berechnet werden. Nach einem weiteren Aspekt lassen sich in der Umkehrung mit der Transitionsmatrix aus zwei Winkellagen, die zu unterschiedlichen Zeitpunkten bestimmt wurden, Drehgeschwindigkeiten um die jeweiligen Koordinatenachsen berechnen. Die Drehgeschwindigkeiten sind einer Drehung zugeordnet, die ein Objekt von der ersten Winkellage in die zweite Winkellage zum jeweiligen Zeitpunkt der Winkellage überführen. Der quaternionenbasierte Bewegungsfolgefilter berücksichtigt im Speziellen zwei Eigenschaften der Orientierungsdarstellung mit Quaternionen. Zum einen berücksichtigt der Bewegungsfolgefilter die Eigenschaft, dass der die Drehung, anders gesagt die Rotation,
darstellende Operator, nämlich der Rotationsoperator, und damit ein möglicher Fehler, der der Orientierung zukommt, durch eine Multiplikation beschrieben wird, und damit nichtlinear ist. Zum anderen wird berücksichtigt, dass das Quaternion, das die Winkellage eines Objekts beschreibt, immer ein Einheitsquaternion mit der Länge 1 (betrachtet als Betrag eines Vektors) ergeben muss.
In einer Ausführungsform eines quaternionenbasierten Filters mit additivem Fehler kann die multiplikative Rotationsoperation linearisiert werden, sodass sie durch eine Addition beschrieben wird. Die Eigenschaft des Einheitsquaternions kann in diesem Falle zwar dadurch bewahrt werden, dass das Ergebnis der Filterung normiert wird. In der mathematischen Struktur des zugrundeliegenden dynamischen Systems als auch bei der Beschreibung der Messverfälschung, muss allerdings das Verfahren zur Bestimmung der Winkellage als ein Pseudomessgerät für die vier Parameter eines Quaternion betrachtet werden, wobei jedem Parameter eine von den anderen Parametern unabhängige Messverfälschung zugeordnet wird, was daher vorzugsweise noch weiter zu verbessern ist.
Eine andere Weiterentwicklung eines quaternionenbasierten Bewegungsfolgefilters verfolgt nicht die Winkellage eines Objekts selbst, sondern die Änderung der Winkellage des Objekts. Es kann auch gesagt werden, dass die multiplikative Operation der 4-parametrischen Ausgangswinkellage mit der ebenfalls 4-parametrischen Änderung der Winkellage die aktualisierte Winkellage ergibt, die zum Zeitpunkt der Erfassung einer neuen Bilddatenpixelanordnung vorliegt. Nach einem Aspekt kann die Messung der neuen Winkellage aus der neuen Bilddatenpixelanordnung als eine Messung der Winkellage mit einer Messverfälschung bezeichnet werden. Die Berechnung der neuen, um die Messverfälschung bereinigten Winkellage wird um den Bewegungsfolgefilter gekapselt. Der Bewegungsfolgefilter berücksichtigt eine Beschränkung der Winkellage hinsichtlich eines Erwartungswerts einer Bewegungsgröße. Im Bewegungsfolgefilter selbst wird die Änderung der Winkellage in einer 3(drei)-parametrischen Darstellungsform verfolgt und kann deshalb mit einem linearen, additiven Fehler beschrieben werden ohne die Drehoperation zu verzerren. Das gefilterte Ergebnis wird vor der multiplikativen Rotationsoperation mit der Ausgangswinkellage in eine 4- parametrische Darstellung umgerechnet. Die Änderung der Winkellage kann beispielsweise mit Winkelgeschwindigkeitssensoren, wie etwa einem Gyroskop, direkt gemessen werden. Es ist auch möglich, die Änderung der Winkellage unter Annahme gleichmäßiger Rotationsbewegung im Bewegungsprozess-Modell, mittels der Transitionsmatrix aus der Ausgangswinkellage und der neuen Messung der Winkellage zu berechnen. Bei der Verwendung von sensorisch erhobenen Winkelgeschwindigkeiten müssen unterschiedliche Datenraten zwischen Sensordaten und Bilddatenpixelanordnungen kompensiert werden. Eine Anpassung von
Messungen, die mit unterschiedlichen Datenraten erfasst werden, kann durch Zuhilfenahme eines dynamischen Bewegungsmodells geschehen, mit dem insbesondere Messwerte interpoliert werden können. Durch ein dynamisches Bewegungsmodell können Bewegungsänderungen in der Position mit Änderungen der Winkellage gekoppelt werden, was eine verbesserte Bestimmung der Objektpose, anders gesagt, der gegenständlichen Lage eines Objekts, ergibt.
Als Alternative zu einem Kaiman-Filter kann auch ein Partikelfilter, wie ein Kondensationsalgorithmus oder ein sequenzieller Monte-Carlo-Algorithmus eingesetzt werden. Hierbei handelt es sich um nichtlineare Filter, die keine Gauß-verteilten Rauschprozesse voraussetzen.
Mit dem Verfahren kann besonders zügig und schnell eine Lagebestimmung erfolgen, wenn als Ausgangspunkt eine Vorauswahl einer Markeruntergruppe der Markerkonfiguration zur Anwendung des Vergleichsalgorithmus getroffen wird. In der Vorauswahl kann anders gesagt eine Anfangskonfiguration des Vergleichsalgorithmus festgelegt werden. Die Markeruntergruppe wird aus der Markerkonfiguration bestimmt. Die Markeruntergruppe kann auch aus einer Markermodellkonfiguration bestimmt werden. Vorzugsweise erfolgt die Vorauswahl der Markeruntergruppe algorithmisch in der Recheneinheit, wobei auf vorbekannte Markerkonfigurationsdaten zurückgegriffen wird. Als Markeruntergruppe können z. B. Markerelemente gewählt werden, die einen kleinsten, insbesondere mittleren, Abstand aufweisen. Nach einem Aspekt handelt es sich hierbei um die nächsten Nachbarn innerhalb der Markerkonfiguration. Die Markeruntergruppe umfasst vorzugsweise drei Markerelemente. Die Markeruntergruppe kann auch vier Markerelemente umfassen. Der kleinste mittlere Abstand ist insbesondere dann erkannt, wenn durch einen hypothetischen Austausch eines Markerelements der Markeruntergruppe ein mittlerer Abstand vergrößert wird. Der mittlere Abstand kann z. B. danach berechnet werden, dass jeweils alle vorliegenden paarweisen Abstände von zwei Markerelementen der Markeruntergruppe addiert und durch die Anzahl der Abstände dividiert werden.
Nach einem anderen Aspekt hat es sich in Versuchen als förderlich für die Schnelligkeit bei der Bestimmung einer Lage bzw. einer geänderten Lage herausgestellt, wenn eine Untergruppe von Markerbildbereichen vorausgewählt wird, auf die der Vergleichsalgorithmus angewendet wird. Eine erste Untergruppe umfasst vorzugsweise fünf Markerbildbereiche. Die erste Untergruppe kann allerdings auch drei Markerbildbereiche umfassen, insbesondere wenn eine Überprüfung eines numerischen Optimierungsverfahrens durchzuführen ist. Die Untergruppe
wird vorzugsweise als Nächste-Nachbar-Markerbildbereichskonfiguration ausgewählt. Hierbei werden aus allen aufgefundenen Markerbildbereichen die Markerbildbereiche ausgewählt, die zueinander als nächste Nachbarn algorithmisch ausgewertet werden. Die nächsten Nachbarn lassen sich z. B. dadurch identifizieren, dass der mittlere Abstand von jeweils drei Markerbildbereichen aus allen aufgefundenen Markerbildbereichen berechnet wird. Die Markerbildbereiche mit dem kleinsten mittleren Abstand bilden die ausgewählte erste Untergruppe. Weitere Markerbildbereiche, die einen größeren mittleren Abstand als eine erste Untergruppe aufweisen, lassen sich sequenziell mit jeweils größerem mittleren Abstand in den Vergleichsalgorithmus einbringen. Das erfolgt vorzugsweise wenn die erste Untergruppe oder eine weitere Untergruppe von dem Vergleichsalgorithmus, z. B. aufgrund unzureichender Übereinstimmung mit einer Markermodellkonfiguration, aussortiert wurde.
Nach einem weiteren Aspekt kann eine Nächste-Nachbar-Markerbildbereichskonfiguration auch eine erste Markerbildbereichskonfiguration aus einer ersten Bilddatenpixelanordnung und eine zweite Markerbildbereichskonfiguration aus einer zweiten Bilddatenpixelanordnung sein, die z. B. von allen Markerbildbereichskonfigurationen, insbesondere innerhalb der Markerbildbereichskonfiguration, den kleinsten mittleren Abstand zueinander aufweisen.
Eine algorithmisch mittels Markerbildbereichen aufgefundene Markerpositionskonfiguration, die die gegenständliche Lage ausmacht, kann noch weiter verfeinert werden, indem der Markerpositionskonfiguration eine Position und eine Richtung eines Raumwinkelbereichs zugeordnet wird. Insbesondere ist es möglich, bei einer Bewegung eine Zuordnung eines geänderten Raumwinkelbereichs zu einer Markerpositionskonfiguration durchzuführen. Ein geänderter Raumwinkelbereich ist ein Raumwinkelbereich, der in einer zweiten gegenständlichen Lage vorliegt. Eine Größe des Raumwinkelbereichs kann z. B. durch zwei Winkel angegeben werden. Die Größe des Raumwinkelbereichs entspricht z. B. einem Blickfeld eines menschlichen Auges oder einem Blickfeld eines menschlichen Augenpaares. Die Position kann z. B. die Position des Kopfes im Raum sein. Die Richtung kann z. B. die Drehstellung des Kopfes oder die Drehstellung der Augen oder auch eine Kombination aus Drehstellung des Kopfes und Drehstellung der Augen sein. Der Raumwinkelbereich ist in Bereichsbilddaten eines virtuellen Raums umrechenbar. Es können allerdings auch aus Bilddaten eines realen Raums, wie eine Photographie oder ein Film, die digitalisiert auf der Recheneinheit vorliegen, zur Berechnung von Bereichsbilddaten, die einem Raumwinkelbereich zugeordnet sind, herangezogen werden. Insbesondere werden für eine Umrechnung Bilddaten eines dreidimensionalen Raums verwendet. Bereichsbilddaten, die einem Raumwinkelbereich zuordnenbar sind, können von einem rechnergestützten Konstruktionsprogramm bereitgestellt worden sein. Es ist auch möglich eine Position und eine Richtung in einem rechnergestützten
Konstruktionsprogramm zu verwenden, um einen Raumwinkelbereich eines virtuellen Raums zu errechnen.
Ein System, mit dem eine Blickfelddarstellung dargeboten werden kann, arbeitet vorzugsweise mit Markerelementen, die in einer Konfiguration vorliegen. Die Konfiguration der Markerelemente kann durch einen Markerträger, insbesondere durch Flächenelemente des Markerträgers strukturiert sein. Die Konfiguration der Markerelemente wird vorzugsweise durch eine Pseudozufallsverteilung der Markerelemente festgelegt. Bei einer Pseudozufallsverteilung wird eine Position eines Markerelements mit Hilfe mindestens einer Zufallszahl vorbestimmt. Zufallszahlen werden z. B. von einem Zufallszahlenalgorithmus rechnerisch vorgegeben. Eine Zufallszahl kann z. B. eine Koordinate oder ein Pixel auf einem Flächenelement eindeutig festlegen. Der Begriff Pseudozufallsverteilung besagt, dass die zufällige Verteilung der Markerelemente weiteren Randbedingungen unterliegt. Es ist beispielsweise möglich vorab festzulegen, dass auf einem Flächenelement des Markerträgers eine bestimmte Anzahl, wie z. B. drei, Markerelemente vorliegen müssen. Es kann auch festgelegt werden, dass die Markerelemente nichtlinear angeordnet sind. Bei einer Pseudozufallsverteilung kann auch eine Randbedingung festgelegt werden, wonach in der Konfiguration ein Mindestabstand jedes Markerelements von einem nächstliegenden Rand eingehalten ist. Nach einem anderen Aspekt kann auch ein Mindestabstand von einer nächstliegenden Kante des Markerträgers vorausgesetzt sein. Nach noch einem anderen Aspekt lässt sich vorab ein Mindestabstand von jeweils zwei Markerelementen der Konfiguration festlegen. Mit solchen Vorgaben lässt sich z. B. die Unterscheidbarkeit von zwei Markerelementen verbessern. Weiterhin werden in einem Pixeldatenfeld, das von einer Kamera aufgenommen wurde, Markerelemente zumindest bereichsweise mit dem Hintergrund des Markerträgers gezeigt, wodurch ein Auffinden von Markerelementen in dem Pixeldatenfeld erleichtert werden kann. Ein Markerträger bietet einen homogenen und gleichmäßigen, insbesondere dunklen, Hintergrund, der sich z. B. von einem in dem Raumbereich erfassbaren Hintergrund unterscheidet. Der Mindestabstand beträgt vorzugsweise mindestens ein Drittel eines Markerelementdurchmessers. Es ist auch möglich, einen Mindestabstand von einem halben Markerelementdurchmesser oder einem ganzen Markerelementdurchmesser als Mindestabstand vorzusehen, um so die Markererkennung in dem Pixeldatenfeld weiter zu verbessern. Vorzugsweise sind alle Markerelemente in der Konfiguration nicht linear zueinander angeordnet, sodass von einer Nichtlinearität der Konfiguration gesprochen werden kann. Eine nichtlineare Konfiguration von drei Markerelementen ist eine Dreieckskonfiguration. Durch jede dieser Randbedingungen kann die Bestimmung einer Lage in verschiedenen Winkelstellungen des Markerträgers weiter verbessert, und eine Erkennbarkeit eines Markerelements durch eine Digitalkamera gesteigert werden.
Markerelemente lassen sich besonders gut in einem Pixeldatenfeld auffinden, wenn die Konfiguration mindestens einen, vorzugsweise mindestens vier Markerbildbereiche bereitstellt. Konfiguration besagt auch, dass eine Kombination einer vorausgewählten Ausgestaltung eines Markerträgers mit Markerelementen vorliegt. Die Markerbildbereiche werden in einer Aufnahme einer Digitalkamera bereitgestellt. Die Aufnahme der Digitalkamera erfasst auch Markerträgerbildbereiche. Mindestens einer der Markerbildbereiche sollte zumindest bereichsweise an einen Markerträgerbildbereich angrenzen. Vorzugsweise grenzen mindestens vier Markerbildbereiche an einen Markerträgerbildbereich an. Sind weitere Markerbildbereiche in dem Pixeldatenfeld enthalten, so sind insbesondere auch die weiteren Markerbildbereiche in zweidimensionaler Ansicht des Pixeldatenfelds zumindest an einem Kantenbereich mit einem Helligkeitsunterschied zu einem Flächenelement des Markerträgers ausgewiesen. Vorzugsweise ist ein Markerbildbereich von einem Markerträgerbildbereichsrand umschlossen. Markerbildbereiche sind besonders gut mit einem Markererkennungsalgorithmus zu erfassen, wenn sie mit einem hohen Kontrast im Verhältnis zu einem Bildbereichshintergrund vorliegen. Dafür ist es günstig, wenn Flächenelemente eines Markerträgers eine absorptionsfördernde Oberfläche aufweisen. Als ein förderlicher Aspekt einer Oberfläche wird eine Materialeigenschaft verstanden, die eine Erleichterung oder eine Begünstigung eines optischen Effekts bewirkt. Der Markerträger kann z. B. zur Verbesserung, d. h. Erhöhung, der Absorption von sichtbarem Licht ausgebildet sein. Die Absorption eines Flächenelements kann auch für einen vorgegebenen Spektralbereich optimiert sein. Vorzugsweise wird mehr als 50% des Lichts, das auf ein Flächenelement einfällt, absorbiert. Eine absorptionsfördernde Oberfläche ist nach einem Aspekt zu unterscheiden von einer reflexionsfördernden Oberfläche. Eine reflexionsfördernde Oberfläche erleichtert Photonen das Verlassen der Oberfläche, wohingegen eine absorptionsfördernde Oberfläche eine Aussendung von Photonen erschwert. Der Bereich sichtbaren Lichts kann z. B. zwischen 350 und 800 Nanometer bemessen sein. Markerelemente weisen vorzugsweise eine reflexionsfördernde Oberfläche auf. Eine reflexionsfördernde Oberfläche ist z. B. eine weiße Oberfläche. Eine weiße Oberfläche wirft eintreffendes Licht des sichtbaren Spektralbereichs zurück. Es ist auch möglich, dass die Reflexion mit einer Streuung von Licht erfolgt. Anders gesagt bietet eine reflexionsfördernde Oberfläche vorzugsweise keinen Winkelerhalt für einfallendes Licht, insbesondere möglichst geringe Rückreflexion, sodass eine Positionierung einer Lichtquelle frei wählbar ist. Eine reflexionsfördernde Oberfläche kann nach einem Aspekt auch als eine abstrahlungsfördernde Oberfläche bezeichnet werden. Die Abstrahlung kann eine Rückstrahlung von empfangenem Licht umfassen. Die Abstrahlung kann aber auch die Aussendung von generiertem Licht umfassen. Vorzugsweise werden mehr als 50 % des auf ein Markerelement einfallenden Lichts reflektiert.
Insbesondere sind Markerelementoberf lachen vorteilhaft, die Licht breitbandig zurückwerfen. Es können allerdings auch Markerelementoberflächen oder
Markerelementoberflächenbeschichtungen verwendet werden, die eine Abstrahlung von sichtbarem Licht, insbesondere in einem spektral-eingeschränkten Wellenlängenbereich, fördern. Damit ist es möglich, z. B. durch das Vorsetzen eines geeigneten Spektralfilters vor eine Digitalkamera, die Auffindbarkeit von Bildbereichen von Markerelementen in einer Bilddatenpixelanordnung zu verbessern. Nach einem weiteren Aspekt kann die Auffindbarkeit von Markerelementen in Bildbereichen auch durch eine Beschichtung mit einem optischen Aufheller verbessert werden. Ein optischer Aufheller ist eine Substanz, die z. B. energiereiches Licht, wie UV-Licht, in energieärmeres Licht, wie sichtbares Licht, umwandelt. Der optische Aufheller wird vorzugsweise auf den Markerelementen aufgebracht. Der optische Aufheller kann auch als Beimischung des formgebenden Materials eines Markerelements vorliegen. Optische Aufheller sind z. B. dann besonders nützlich, wenn an dem Aufstellungsort des Markerträgers Tageslicht herrscht oder zumindest zum Licht der Lichtquelle beiträgt. Es kann allerdings auch eine zusätzliche, sogenannte Schwarzlichtquelle, wie eine Schwarzlichtleuchtstofflampe, verwendet werden, um die Auffindbarkeit von Markerelementen durch einen Markererkennungsalgorithmus noch weiter zu verbessern. Als Alternative zu passiv kontrastbildenden Markerelementen können auch aktiv leuchtende Markerelemente, wie z. B. Markerelemente, in die jeweils eine Leuchtdiode integriert ist, verwendet werden. Eine größere Unabhängigkeit von verfügbaren Lichtquellen lässt sich z. B. durch Integration einer Leuchtdiode oder eines Lichtleitfaserendes von einer Lichtquelle in mindestens ein nach außen durchscheinbares Markerelement erreichen.
Die Recheneinheit des Systems ist vorzugsweise so klein und leicht, dass sie tragbar ist. Die Recheneinheit kann z. B. in einer Hand getragen werden. Es ist auch möglich, die Recheneinheit an einem Riemen oder einem Gürtel zu befestigen. Der Anwendungsmöglichkeiten der Recheneinheit werden noch mehr erweitert, wenn die Recheneinheit eine Speichereinheit aufweist. Die Speichereinheit kann unter Anderem zur Bereitstellung von Daten eines virtuellen Raums eingesetzt werden. Es ist aber auch möglich, die Daten eines virtuellen Raums per Funk zur Recheneinheit zu übertragen, um die tragbare Recheneinheit möglichst klein zu gestalten, sodass sie in einem Innenbereich eines Markerträgers untergebracht sein kann. Die Daten des virtuellen Raums können zur Bereitstellung von Lageänderungen oder Blickfelddarstellungen in zeitlicher Folge verwendet werden. Es ist auch vorteilhaft, wenn ein Steuerelement in dem System vorgesehen ist. Das Steuerelement kann eine Vorauswahl einer Raumbereichspositionierung einfach und schnell ermöglichen. Ein Steuerelement kann so ausgebildet sein, dass es mit einer Recheneinheit verbindbar ist. Beispielsweise kann ein Steuerelement als ein Spracherkennungsmodul
vorliegen, das über ein Mikrofon eine Spracheingabe auswertet. Es ist auch möglich, dass das Steuerelement als eine Gestenerkennungseinheit ausgebildet ist, in der ein oder mehrere Pixeldatenfelder algorithmisch analysierbar sind. Die Pixeldatenfelder werden z. B. mit der Digitalkamera optisch erfasst und in algorithmisch auswertbare elektronische Daten umgewandelt. Damit lässt sich eine Blickfelddarstellung schnell ändern, ohne einen Systemneustart vornehmen zu müssen. Die Blickfelddarstellung kann durch Lageänderungen in dem System weiter verfolgt werden.
Neben einer ersten elektronischen Bildanzeige kann das System auch weitere elektronische Bildanzeigen, insbesondere eine zweite elektronische Bildanzeige, umfassen. Es ist möglich, dass die erste elektronische Bildanzeige und die zweite elektronische Bildanzeige gemeinsam ein Blickfeld bilden. Eine günstige Anordnung liegt vor, wenn die weitere elektronische Bildanzeige von einer ersten elektronischen Bildanzeige in einer Querrichtung fest beabstandet ist. Vorzugsweise sind die elektronischen Bildanzeigen nebeneinander angeordnet, womit eine erweiterte Blickfelddarstellung möglich ist. Nach einem weiteren Aspekt kann auch das gleiche Blickfeld dupliziert dargeboten werden. Damit können auch unterschiedliche Betrachter sich auf das gleiche Blickfeld konzentrieren. In einer weiteren Ausführungsform können ein erstes und ein zweites Blickfeld als ein Stereoraumwinkelbereich dargeboten werden. Ein Stereoraumwinkelbereich bietet einen noch beeindruckenderen räumlichen Eindruck einer virtuellen Umgebung bzw. eines virtuellen Raums für einen Betrachter.
Ein Ausführungsbeispiel einer elektronischen Bildanzeige ist eine Videobrille. Eine Videobrille weist in einer Ausführungsform eine erste und eine zweite Bildanzeige auf. Eine Bildanzeige ist einem Auge zugeordnet. Weiterhin kann eine Videobrille mindestens eine Messeinrichtung umfassen. Es können auch weitere Messeinrichtungen, wie eine zweite Messeinrichtung, an einer Videobrille vorgesehen sein. Eine Messeinrichtung ist eine Einheit zur Ausführung mindestens einer Messung einer Messgröße, vorzugsweise in zeitlicher Folge. Eine Messeinrichtung umfasst z. B. mindestens einen Inertialsensor zur Messung von Beschleunigung und Drehraten (inertial measurement unit, kurz IMU), mindestens einen Augenstellungssensor oder ein Sehschärfesensor. Es ist in einer vorteilhaften Weiterbildung möglich mittels einer Videobrille, die insbesondere für jedes Auge eine Augenstellungsmesseinrichtung umfasst, eine Blickrichtung einer Person, bzw. eine Blickrichtungsänderung einer Person, durch Verdrehen der Augen festzustellen. Eine Blickrichtung kann in eine Darstellung insbesondere eines Blickfelds bzw. eines Winkelbereichs in einem virtuellen Raum eingerechnet werden. Es ist auch möglich eine Lagesensorik, die z. B. mechanisch arbeitet, oder einen Beschleunigungssensor in dem System vorzusehen, um eine Genauigkeit einer Lagebestimmung noch weiter zu verbessern oder nach einem anderen
Aspekt eine Geschwindigkeit einer Lagebestimmung noch weiter zu erhöhen.
Ein portabler Markerträger kann, z. B. in Kombination mit einem System, noch vielseitiger verwendet werden, wenn ein ringartiger Verlauf des Markerträgers zumindest in einem Bereich eine Unterbrechung aufweist. Damit wird an dem Markerträger eine geringfügige Formaufweitung einer Ringstruktur ermöglicht. Die ringartige Struktur des Markerträgers weist vorzugsweise einen insbesondere gleichseitigen, polygonalen, insbesondere pentagonalen, Umriss auf. Durch mindestens einen Einschnitt oder mindestens eine Aussparung liegt eine Konfiguration eines Markerträgers vor, bei dem eine Winkelstellung von Flächenelementen zueinander geringfügig veränderbar sein kann. Die Aussparung kann lückenartig sein. Anders gesagt erstreckt sich der Markerträger vorzugsweise von einer ersten Abschlusskante bis zu einer zweiten Abschlusskante des Markerträgers ringartig. Ein mit Elastizität ausgestatteter Markerträger kann klammerartig angelegt werden. Ein Markerträger kann sich z. B. an unterschiedliche Kopfgrößen anschmiegen. Ein Markerträger kann nach einem weiteren Aspekt so ausgebildet sein, dass eine Spannkraft oder eine Federkraft auf einen von dem Markerträger umschlossenen Gegenstand oder Körperteil aufbringbar ist. Damit kann sichergestellt werden, dass auch bei sehr schnellen Bewegungen der Markerträger nicht an dem Gegenstand oder Körperteil verrutscht. Die Federkraft ist vorzugsweise größer oder gleich einer Masseträgheit des Markerträgers. Die Masseträgheit ist gering, insbesondere aufgrund des für die Flächenelemente verwendeten Kohlefaserverbundwerkstoffs.
Ein Markerträger kann zumindest in einer Flächenprojektion einer mindestens fünfeckigen, scheibenartigen Grundform entsprechen. Es ist vorteilhaft, wenn mindestens eine Seitenkante der Grundform an dem Markerträger zumindest bereichsweise flächenelementefrei ausgebildet ist. Beispielsweise kann ein Markerträger mit einer ringähnlichen, fünfeckigen Grundform ausgebildet sein, wobei sich an vier Seitenkanten des Fünfecks jeweils zwei, z. B. zueinander rechtwinklig angeordnete, Flächenelemente befinden. Die Flächenelemente sind trapezartig. An der längsten Trapezseite, die eine Seitenkante bildet, schließen jeweils zwei Flächenelemente aneinander an. Die fünfte Seitenkante des Fünfecks entspricht einer gedachten Verbindungslinie denn dieser Bereich des Markerträgers bleibt flächenelementefrei. Eine Kante mindestens eines trapezartigen Flächenelements kann als Abschlusskante ausgebildet sein. Eine Abschlusskante erstreckt sich vorzugsweise über zwei miteinander verbundene Flächenelemente. Die Abschlusskante erstreckt sich entlang einer Schrägseite eines Flächenelements, die nach einem Aspekt auch als Schrägkante, z.B. eines Trapezes, bezeichnet werden kann. Eine Schrägkante kann auch entlang einer Anschlusskante zwischen zwei Flächenelementen bestehen. Es liegt eine Markerträgerlücke, insbesondere zwischen zwei Flächenelementepaaren, vor, die auch als Ringunterbrechung bezeichnet werden kann. Ein
Markerträger kann also vorzugsweise acht Flächenelemente bis insbesondere zehn Flächenelemente umfassen. Jedes Flächenelement weist, vorzugsweise mindestens drei, Markerelemente auf. Es können aber auch Flächenelemente vorgesehen sein, die weniger als drei, z. B. zwei, Markerelemente aufweisen. Es liegt eine Zuordnung zwischen Markerelement und Flächenelement vor. Aufgrund der gewählten Grundform sind auch bei einer Ausrichtung der flächenelementefreien Kante auf eine Kamera immer mindestens zwei Flächenelemente optisch erfassbar. Insbesondere auf mindestens zwei Flächenelementen befindliche Markerelemente sind in einem Bild bzw. einem Pixeldatenfeld algorithmisch auffindbar. Der für die optisch-algorithmische Erfassung einer Lage auswertbare Raumwinkelbereich ist durch die Markerträgerlücke an dem Markerträger nicht eingeschränkt. Ein solcher Markerträger weist, anders gesagt, eine Aussparung auf. Dadurch ist der Markerträger besonders einfach, nämlich wie eine Brille, aufsetzbar. Es ist nicht notwendig, den Markerträger z. B. über ein Körperteil, wie von oben über den Kopf, zu stülpen. In einer weiteren möglichen Ausführungsform kann die Aussparung in dem Markerträger so groß sein, dass darin eine elektronische Bildanzeige, wie eine Videobrille, Platz hat. Der Markerträger ist mit unterschiedlich gebauten Videobrillen kombinierbar. Der Markerträger kann so gestaltet sein, dass er als von einer Bildanzeige unabhängiges Objekt an einem Körper oder an dem Kopf einer Person anlegbar ist. In einem Ringinnenbereich ist vorteilhaft mindestens eine Halterung, wie ein Klettverschlusselement oder Magnetverschlusselement, befestigt. Die Halterung ist für das Anhaften an mindestens einem Halteelement vorgesehen. Das Halteelement kann z. B. als ein Überzug eines Kopftragebands einer Videobrille ausgebildet sein. Vorzugsweise ist die Halterung eine Dreipunkthalterung. Eine Dreipunkthalterung bietet einen festen Sitz. Ein Haltepunkt kann am Hinterkopf und zwei Haltepunkte können im Schläfenbereich ausbildbar sein. Damit ist es z. B. möglich, eine teiltransmissive Bildanzeige zu verwenden, durch die einem sichtbaren, realen Raum virtuelle Bildelemente überlagert werden. Die Überlagerung erfolgt durch ein System. Das System wertet eine Lage mit Hilfe des Markerträgers aus und erstellt aus Lagekoordinaten rechnerisch eine Ansicht mindestens eines virtuellen Bildelementes in Echtzeit.
Die zuvor dargestellten Kombinationen und Ausführungsbeispiele lassen sich auch in zahlreichen weiteren Verbindungen und Kombinationen betrachten. Einzelne benannte Aspekte sind frei miteinander kombinierbar oder auch mit Merkmalskombinationen als weitere Ausführungsform zusammenfassbar.
Figurenkurzbeschreibung
Die vorliegende Erfindung kann noch besser verstanden werden, wenn Bezug auf die beiliegenden Figuren genommen wird, die beispielhaft besonders vorteilhafte Ausgestaltungsmöglichkeiten darlegen, ohne die vorliegende Erfindung auf diese einzuschränken, wobei
Figur 1 ein System zur Darbietung einer Blickrichtung zeigt, wobei eine Trägerperson sich in einem Raumbereich frei bewegen kann,
Figur 2 einen Markerträger zeigt, in den aktivleuchtende Markerelemente integrierbar sind, und zwar in Draufsicht in Figur 2a, in einem Durchschnitt entlang der Achse B-B in Figur 2b, in Seitenansicht in Richtung B, in Figur 2c sowie in einer dazu senkrechten Seitenansicht in Figur 2d und in einer perspektivischen Ansicht in Figur 2e,
Figur 3 einen Markerträger mit passiv lichtstreuenden Markerelementen zeigt, und zwar in einer Draufsicht in Figur 3a, in einer ersten Seitenansicht, in Figur 3b sowie in einer zweiten Seitenansicht in Figur 3c und in einer perspektivischen Ansicht in Figur 3d,
Figur 4 einen Markerträger aus Figur 3 mit eingebauter Videobrille in Draufsicht in Figur 4a, in erster Seitenansicht in Figur 4b, in zweiter Seitenansicht in Figur 4c und in perspektivischer Ansicht in Figur 4d zeigt,
Figur 5 eine erste Ausführungsform eines Verfahrens zeigt
Figur 6 eine zweite Ausführungsform eines Verfahrens zeigt,
Figur 7 eine weitere Ausführungsform eines Markerträgers, der für die Verwendung aktivleuchtender Markerträger vorgesehen ist, zeigt, und zwar in Figur 7a eine Draufsicht und in Figur 7b eine perspektivische Ansicht,
Figur 8 eine weitere Ausführungsform eines Markerträgers mit passiv lichtstreuenden Markerelementen zeigt, und zwar in Figur 8a eine Draufsicht und in Figur 8b eine perspektivische Ansicht, und
Figur 9 eine weitere Ausführungsform eines Markerträgers mit passiv lichtstreuenden Markerelementen und mit einer eingebauten Videobrille zeigt, und zwar in Figur 9a eine Draufsicht und in Figur 9b eine perspektivische Ansicht.
Figurenbeschreibung
Von den in den Figuren verwendeten Bezugszeichen kennzeichnen Bezugszeichen in dem Zahlenbereich von 200 bis maximal 400 Merkmale, die überwiegend im Hinblick auf Verfahren erläutert werden. Die anderen Zahlenbereiche unterhalb 200 und über 400 sind überwiegend
für gegenständliche Merkmale verwendet.
In Figur 1 ist ein System 1 gezeigt, mit dem eine Blickfelddarstellung für eine Trägerperson P darbietbar ist. Die Trägerperson P trägt auf dem Kopf auf Augenhöhe einen Markerträger 3, welcher kugelartige Markerelemente, wie das Markerelement 5 aufweist, die alle gleichartig ausgeformt sind. Ein Trägerflächenelement, wie die Trägerflächenelemente 27, 27v, trägt mindestens drei Markerelemente, wie das Markerelement 5. Der Markerträger 3, umfasst insgesamt dreißig, verteilt angeordnete Markerelemente 5. Die Trägerperson P kann sich mit dem Markerträger 3 in eine gegenständlichen Lage 2, bezeichenbar durch eine erste räumliche Dimension x, eine zweite räumliche Dimension y, eine dritte räumliche Dimension z und eine Orientierung Θ, bringen. Die erste räumliche Dimension x, die zweite räumliche Dimension y, die dritte räumliche Dimension z und die Orientierung Θ sind durch eine Bewegung der Trägerperson P einzeln oder in Kombination veränderbar. Hierbei liegt jeweils eine Winkelstellung 61 des Markerträgers 3 bezüglich der Kamerabildebene 9 der monookularen Digitalkamera 7 vor. Die monookulare Digitalkamera 7 bildet einen kegelartigen Raumbereich 1 1 mit dem Raumwinkelbereich α ab. Die Trägerperson P kann sich in dem Raumbereich F frei bewegen, insbesondere bei der Lagebestimmung tanzen, hüpfen oder auch Pirouetten drehen. Auch wenn die Person P sich bückt oder z. B. sich aus einer Horizontalen mit dem Oberkörper aufrichtet bzw. aufsteht, kann die Bewegung präzise verfolgt werden. Die Trägerperson hält sich aber innerhalb des Raumbereichs 1 1 auf. Bei Erreichen einer Grenze des Raumbereichs 1 1 wird automatisch ein wahrnehmbares Warnsignal von der Recheneinheit 13 ausgegeben. Es liegt jeweils zu einem Zeitpunkt eine Markerpositionskonfiguration 46 vor. Ein erstes Trägerflächenelement 27 des Markerträgers 3 ist zu einem zweiten Trägerflächenelement 27v abgewinkelt. In der gezeigten Stellung der Trägerperson P wird das erste Trägerflächenelement 27 von der Digitalkamera 7 abgebildet, wohingegen das Trägerflächenelement 27v vor der Digitalkamera 7 verborgen ist. Das Markerelement 5 auf dem ersten Trägerflächenelement wird von der Digitalkamera abgebildet und elektronisch in ein Bilddatenfeld 21 , das auch als Bilddatenpixelanordnung bezeichnet werden kann, umgewandelt. Das Bilddatenfeld 21 ist z. B. auf einer elektronischen Bildanzeige 19 einer Recheneinheit 13 anzeigbar. Über die Datenübertragungsverbindung 17, die von der monookularen Digitalkamera 7 zur Recheneinheit 13 als Leitungsverbindung ausgebildet ist, können Daten gesendet und empfangen werden. An die Recheneinheit 13 ist weiterhin die Datenübertragungseinheit 15 angeschlossen, die
Datenübertragungsverbindung 17' eine bidirektionale Funkverbindung zu einer Empfangseinheit an einer Videobrille 23, die in einem Innenbereich des Markerträgers 3 sitzt, unterhält.
Eine Ausführungsform eines Markerträgers 3' ist in Figur 2 gezeigt, mit einer
absorptionsbegünstigenden Oberfläche 29. Der Markerträger 3' ist zum Einbau von selbstleuchtenden Markerelementen vorgesehen, wobei strombetriebene Leuchtdioden (LEDs) als Lichtquelle (nicht gezeigt) dienen. Die Figuren Figur 2a, Figur 2b, Figur 2c, Figur 2d und Figur 2e sind verschiedene Ansichten von Markerträger 3'. Der Markerträger 3' weist in der Ansicht Figur 2a die Trägerflächenelemente 27, 27', 27", 27"' und 27IV auf, die ringartig angeordnet sind. Die Trägerflächenelemente 27, 27' haben eine Winkelstellung 63 von 72°. In Draufsicht sind die fünf Flächenelemente 27, 27', 27", 27"', 27 lv einer Digitalkamera (nicht dargestellt) zugewandt. Figur 2b zeigt einen Schnitt entlang der Achse B-B aus Figur 2a, woran der freie Innenbereich 46 ersichtlich ist, in den ein Gegenstand oder ein Kopf eingebracht werden kann. In der Seitenansicht von Figur 2c, die in Richtung B aus Figur 2a liegt, ist gezeigt, dass das erste Trägerflächenelement 27 zu dem zweiten Trägerflächenelement 27v eine Winkelstellung 63' aufweist, die 80° beträgt. Auch in der Ansicht entlang der Achse B-B aus Figur 2a, die in Figur 2d vorliegt, lassen sich zwei Trägerflächenelemente 27', 27" erkennen. Wie anhand der Figuren 2c, 2d und insbesondere Figur 2e in perspektivischer Ansicht anhand von Einzelstellungen des Markerträgers 3' veranschaulicht ist, sind auch in einer beliebigen perspektivischen Winkelstellung des Markerträgers 3' immer zumindest zwei Trägerflächenelemente, wie die Trägerflächenelemente 27', 27", 27"', abbildbar, obgleich einzelne Trägerflächenelemente, wie das Trägerflächenelement 27v aus Figur 2c, in Figur 2e aufgrund der gezeigten Blickrichtung in den Innenbereich 46 verdeckt sind.
In Figur 3 ist ein Markerträger 3" gezeigt, wobei Figur 3a eine Draufsicht und die Figuren 3b und 3c jeweils eine Seitenansicht und Figur 3d eine perspektivische Ansicht sind. Der Markerträger 3" trägt Markerelemente wie das Markerelement 5. Die Draufsicht von Figur 3a zeigt, dass die Konfigurationen von Markerelementen 41 , 41 ', 41 ", 41 "', 41 lv, die auf den Trägerflächenelementen 27, 27', 27", 27"', 27 lv vorgesehen sind, sich jeweils voneinander unterscheiden. Die Markerelemente, wie das Markerelement 5, weisen eine reflexionsfördernde Oberfläche 31 auf, die eine Abstrahlung von Licht begünstigt. Die Flächenelemente, wie das Flächenelement 27", weisen jeweils eine absorptionsfördernde Oberfläche, wie die absorptionsfördernde Oberfläche 29 auf, die die Absorption von sichtbarem Licht begünstigt. Wie z. B. Figur 3b belegt, unterscheiden sich die Konfigurationen auf den Trägerflächenelementen, wie die Konfiguration 41 , 41 ' auf dem Trägerflächenelement 27, 27', und die Konfigurationen von Markerelementen auf den anderen Trägerflächenelementen, wie die Konfiguration 41 v auf dem zweiten Trägerflächenelement 27v. Es liegt demnach keine gleichartige Konfiguration von Markerelementen 41 , 41 ', 41 ", 41 "', 41 lv, 41 v auf dem Markerträger 3" vor. Die Unterscheidbarkeit der Konfigurationen, wie die Konfiguration 41 ", voneinander ist auch in Figur 3c ersichtlich. Die Markerelemente, wie Markerelement 5, 5', 5", 5"', 5IV, 5a, liegen in einer Pseudozufallsverteilung 42 vor und sind gleichartig mit einem
Markerelementdurchmesser 39 ausgebildet. Zwischen Markerelement 5' und Markerelement 5" liegt ein Abstand 37, der zufällig ungefähr das Zweifache eines Markerelementdurchmesser 39 beträgt. Der Abstand 37' zwischen Markerelement 5 und Markerelement 5' beträgt zufällig ca. vier Markerelementdurchmesser 39, wobei ein Markerelementen 39 auch als ein Mindestabstand zwischen Markerelementen 5, 5', 5" bezeichnet werden kann. Die Konfiguration 41 " mit den Markerelementen 5, 5' und 5" liegt daher als ungleichseitiges Dreieck vor. Der Mindestabstand 38 zum Rand 33, der von Markerelement 5 eingehalten wird, beträgt einen halben Markerelementdurchmesser 39. Hinter dem Rand 33 sind Markerelemente, wie das Markerelement 5a, verborgen. In der perspektivischen Ansicht von Figur 3d sind die Flächenelemente 27, 27', 27" als trapezförmige Flächenelemente zu erkennen. Das Flächenelemente 27 und 27' schließen an der Kante 35 aneinander an. Die Flächenelemente 27 und das verdeckte Flächenelement 27v schließen an der Kante 35' aneinander an. Kante 35 kann auch als schmalseitige Kante und Kante 35' kann als langseitige Kante bezeichnet werden. Konfiguration 41 mit Trägerflächenelement 27 verdecken Konfiguration 41 v auf Trägerflächenelement 27v. Obgleich Trägerflächenelement 27IV in Seitenansicht nur linienartig einsehbar ist, hebt sich Konfiguration 41 lv in dem von der perspektivischen Ansicht von Figur 3d dargebotenen Bildbereich hervor und kann daher von einer Digitalkamera (nicht dargestellt) abgebildet und ausgewertet werden.
Eine weitere Ausführungsform eines Markerträgers 103 liegt in Figur 4 vor. In der Draufsicht von Figur 4a sind die ersten Flächenelemente 127, 127', 127", 127"', 127IV in ringartig geschlossener, fünfeckartiger Anordnung gezeigt. In einem Innenbereich 146 ist eine Videobrille 123 an dem Markerträger 103 befestigt. Die Videobrille 123 umfasst die elektronische Bildanzeige 1 19 für das rechte Auge und die elektronische Bildanzeige 1 19' für das linke Auge einer Trägerperson (nicht dargestellt). Weiterhin liegt eine zusätzliche Messeinrichtung 125 vor. Mit Hilfe der Markerelemente, wie Markerelement 105, sind die Position und die Orientierung des Markerträgers 103 eindeutig festlegbar. Die Seitenansichten Figur 4b und Figur 4c des Markerträgers 103 zeigen, dass die Videobrille 123 vollständig in den Innenbereich 146 integriert an dem Markerträger 103 befestigt ist. In der perspektivischen Ansicht in Figur 4d ist die Datenübertragungseinheit 150 gezeigt, mit der Messdaten von Messeinrichtungen, wie der Messeinrichtung 125 aus Figur 4a an der Videobrille 123, an eine Recheneinheit geschickt werden können oder Daten, die ein Blickfeld einer virtuellen Umgebung darstellen, empfangen und in der Videobrille 123 dargeboten werden können. Ein Flussdiagramm für ein erfindungsgemäßes Verfahren 200, 201 ausgehend von dem Verfahrensstart 202 in einem System (nicht dargestellt) ist in Figur 5 dargestellt. Das Verfahrensschema 200, 201 umfasst verschiedene Möglichkeiten des Verfahrensablaufs. In
einem Verfahrensablauf 200 ist die Bestimmung einer gegenständlichen Lage 230 vorgesehen. In einem weiteren Verfahrensablauf 201 ist die Bestimmung einer gegenständlichen Lage 230 nach einer Lageänderung vorgesehen. Die Bestimmung der, insbesondere geänderten, gegenständlichen Lage 230 kann auch als Schätzung einer Pose bezeichnet werden. Das Verfahren 200, 201 von Figur 5 umfasst Schritte zur Bestimmung einer gegenständlichen Lage 230, die zur sogenannten Initialisierung des Systems 288 verwendet werden. Das Verfahren von Figur 5 umfasst auch Verfahrensschritte zur Bestimmung einer geänderten gegenständlichen Lage, die auch als Messung einer neuen Pose 222 bezeichnet wird. Die neue Pose 222 wurde im Ablauf einer Bewegung eingenommen und kann daher auch als Erfassung eines Bewegungszustands bezeichnet werden. Bewegungszustände können z. B. als Schnappschüsse oder stroboskopisch erfasst werden.
Mit einer monookularen Digitalkamera 207 wird ein Bild aufgenommen, aus dessen Bilddatenpixelanordnung 221 der Markererkennungsalgorithmus 204 Markerbildbereiche 206 auswertet, aus denen 2D (zweidimensionale) -Koordinaten 208 im aufgenommenen Bild 221 aller möglichen Marker bestimmt werden. Ist das System noch nicht initialisiert 212, so werden zunächst Initialisierungsschritte durchgeführt, wobei eine bekannte Geometrie des Markerträgers 236 und eine bekannte Markerkonfiguration 234 in die Bestimmung der Markermodellkonfiguration 242 eingehen. Aus der Markermodellkonfiguration 242 werden drei Markermodellpunkte 264 oder ggf. bei einer Wiederholung andere Markermodellpunkte 238 ausgewählt und mit drei Markerbildbereichen 262 verglichen, wobei bis zu fünf Posenhypothesen 266, die auch als Hypothesen für die Lage der drei Markermodellpunkte bezeichnet werden können, iterativ in die zweidimensionale Anordnung der ausgewählten Markerbildbereiche 262 projiziert werden 268. Anschließend erfolgt ein Vergleich 270 zwecks Auffindung weiterer Übereinstimmungen zwischen Markerbildbereichen und projizierten theoretisch sichtbaren Modellpunkten. In der Iteration 272 wird dann die jeweils nächste Posenypothese 274 verglichen und wenn alle Posenhypothesen für drei Markerbildbereiche 276 durchgeprüft sind, erfolgt in einem nächsten Iterationsschritt 278 eine geordnete, insbesondere sequenzielle Prüfung von Stichproben bzw. Variationen dreier Markerbildbereiche 260, unter Hinzuziehung anderer Punkte 238, die als drei Markerbildbereiche 262 in den Vergleich mit drei Markermodellpunkten 264 eingehen. Sind alle Iterationen über alle Variationen 280 von Markerbildbereichen und Modellpunkten durchgeprüft, so erfolgt, wenn unterdessen keine plausible Hypothese gefunden wurde 282, die Auswertung eines nächsten Bildes 221 ". Wurde anhand eines Genauigkeitswerts (nicht dargestellt) eine passende Hypothese für eine passende Markermodellkonfiguration in einem der Iterationsschritte gefunden 284, so erfolgt eine Projektion des gesamten Markermodells mit Posenhypothese in das zweidimensionale Bild mit den Markerbildbereichen 268' um eine
Zuordnung zwischen Markerbildbereichen und korrespondierenden Modellpunkten 286 zu erhalten. Anschließend wird eine numerische Optimierung der Hypothese für die Lage anhand der Markermodellkonfiguration bzw. die Hypothese für die Pose bezüglich den Pixelabständen zwischen projizierten Markermodellpunkten und korrespondierenden Markerbildbereichen mit einem Algorithmus, wie dem Levenberg-Marquardt-Algorithmus, durchgeführt 220'. Nach Abschluss der numerischen Optimierung ist das System initialisiert 288 und die gegenständliche Lage ist mit Hilfe der bekannten Markerkonfiguration 234 und der bekannten Geometrie des Markerträgers 236 bestimmt. Mit erfolgter Verfahrensinitialisierung 288 ist durch die Bestimmung einer gegenständlichen Lage eine Ausgangslage bekannt, die zur Initialisierung des quaternionenbasierten Bewegungsfolgefilters mit Position und Orientierung 290 weiter verwendet werden kann. Es wird ein nächstes Bild 221 ' durch die monookulare Digitalkamera 207 aufgenommen und die zweidimensionalen Koordinaten 208 aller möglichen Marker im aufgenommenen Bild werden mittels Markererkennungsalgorithmus 204 ausgewertet. Wenn in dem Verfahren die Initialisierung bereits vorliegt 210, so werden von einem vorhergehend ausgewerteten Bild, wie dem Bild 221 , die 2D-Koordinaten von Markerbildbereichen 208a der Bilddatenpixelanordnung herangezogen und zur Bestimmung von nächsten Nachbarn 214 mit den 2D-Koordinaten aus dem nächsten Bild 221 ' in einem Vergleichsalgorithmus verglichen. Daraus werden Hypothesen, sogenannte Markermodellkonfigurationhypothesen, über eine mögliche Korrespondenz für einen Vergleich zwischen Markerbildbereichen und Punkten der Markermodellkonfiguration aufgestellt 216. Anders gesagt wird eine Projektion der Markermodellkonfiguration, die der vorhergehenden Bilddatenpixelanordnung zugeordnet ist, auf die Markerbildbereiche des nächsten Bildes 221 , das auch als nächste Bilddatenpixelanordnung bezeichnet werden kann, durchgeführt. Mit einem numerischen Optimierungsverfahren wird bezüglich der projizierten Punkte der Markermodellkonfiguration und den korrespondierenden Markerbildbereichen ein Vergleich durchgeführt, um die passende Projektion, insbesondere die richtigen Projektionsparameter, zu finden 220. Hierbei kommt ein Projektionsalgorithmus zum Einsatz. Zur Verbesserung der Hypothesen über die Korrespondenz 216 erfolgt eine Überprüfung von Zufallsauswahlen von Modellpunkten mit dem Algorithmus zum Auffinden von Ausreißern 218, der auch als Kontrollalgorithmus zum Ausschließen von Fehlerbildbereichen (RANSAC) bezeichnet werden kann. Die Bestimmung der gegenständlichen Lage 222 nach einer Lageänderung wird weiter verbessert durch Anwendung eines quaternionenbasierten Bewegungsfolgefilters 224, in dem der Bewegungsablauf, z. B. eines Kopfes, 226 mit einer Prognose 228 über eine stetige Entwicklung berücksichtigt wird. Die auf diese Weise mit guter Genauigkeit erhaltene Pose bzw. geänderte gegenständliche Lage wird dann in eine Darstellung bzw. Projektion einer
dreidimensionalen (3D) Computergrafik 232 eingerechnet.
In Figur 6 ist eine Ausführungsform des Verfahrens 300, 301 gezeigt, bei der, ähnlich wie in dem Verfahren 200, 201 gemäß Figur 5, ein Verfahren 300 zur Bestimmung einer gegenständlichen Lage zur Verfahrensinitialisierung 388 mit einem Verfahren 301 zur Bestimmung einer gegenständlichen Lage 322 nach einer Lageänderung, insbesondere zur Messung einer neuen Pose, miteinander kombiniert sind. Ausgehend von dem Start 302 bis zur Erstellung bzw. Darstellung einer dreidimensionalen (3D) Computergrafik 332 liegen zahlreiche Übereinstimmungen mit dem Verfahren von Figur 2 vor, weshalb hinsichtlich des detaillierten Verfahrensablaufs für die Aspekte unter dem Bezugszeichen 307, 321 , 304, 306, 308, 321 ', 312, 321 ", 334, 336, 342, 338, 364, 366, 372, 374, 368, 370, 359, 382, 384, 368', 386, 320', 388, 390, 310, 308a, 314, 316, 318, 320, 324, 328, 326, 330 auf die entsprechenden Bezugszeichen von Figur 5 mit um die Zahl 100 verkleinerten Bezugszeichen und den Besch reibungstext zu Figur 5 verwiesen wird. Bei der Feststellung, dass das System noch nicht initialisiert ist 312, wird allerdings eine andersartige Iteration vorgenommen. Hierbei wird aus den aufgefundenen Markerbildbereichen 306 iterativ ein i-ter Markerbildbereich (M,) ausgewählt 350 und es werden die fünf nächstbenachbarten Markerbildbereiche um den i-ten Markerbildbereich (M,) herum identifiziert und als Gruppe 351 zusammengefasst. Anschließend erfolgt eine Iteration über alle zehn ungeordneten Stichproben, die sich aus einer möglichen Auswahl von drei aus fünf Markerbildbereichen erstellbar sind 352. Wurde eine Kombination bereits geprüft 353, so wird in der Iteration von drei aus fünf Kombinationen ein nächster Iterationsschritt 378' ausgeführt und eine weitere Kombination betrachtet. Wurde die Kombination noch nicht geprüft 354, so werden die drei zu betrachtenden Markerbildbereiche 362 iterativ über alle Permutationen 355 in bis zu fünf Posenhypothesen 366, die mit der Projektion der Markermodellkonfiguration zu vergleichen sind 370, zusammengeführt. Sind alle der fünf Posenhypothesen aus drei Markerbildbereichen durchgeprüft 376, so wird eine nächste Permutation 356 in der Iteration über alle Permutationen 355 abgearbeitet. Sind alle Permutationen aus drei Markerbildbereichen durchgeprüft 357, so wird eine weitere Kombination von drei aus fünf Markerbildbereichen der Prüfung unterzogen. Sind alle Kombinationen aus fünf Markerbildbereichen durchgeprüft 358, so wird in einem weiteren Iterationsschritt 378" ein i+1 -ter Markerbildbereich (Mi+1) ausgewählt, um für diesen i+1 -ten Markerbildbereich (Mi+1) die nächste Gruppe von fünf benachbarten Markerbildbereichen für weitere iterative Prüfungen heranzuziehen. Hierbei ist„i" eine natürliche Zahl, die zur Nummerierung von unterschiedlichen Markerbildbereichen verwendet wird. In Versuchen wurde festgestellt, dass mit einer derartigen iterativen Schachtelung ein beachtlicher Zeitgewinn bei der Bestimmung einer gegenständlichen Lage 388 erreicht wird.
Es ist allerdings auch möglich in einer weiteren Ausführungsform das Verfahren zur Bestimmung einer gegenständlichen Lage (200, 300) iterativ, d. h. in Wiederholung auf anderer Datenbasis, dazu einzusetzen, eine gegenständliche Lage nach einer Lageänderung zu bestimmen und so einen Bewegungsablauf zu verfolgen. Es kann eine Ausgangslage bereitgestellt werden. Eine Markermodellkonfiguration aus Markerbildbereichen weiterer Bilddatenpixelanordnungen kann mit einem quaternionenbasierten Bewegungsfolgefilter mittels einer Bewegungsverlaufsprognose verbessert werden. Der Bewegungsablauf kann somit in eine Blickfelddarstellung einer 3D-Computergrafik eingerechnet werden. Weitere Ausführungsformen von Markerträgern, die jeweils z. B. in einem System 1 , das in Figur 1 dargestellt ist, zum Einsatz kommen können, zeigen Figur 7, Figur 8 und Figur 9.
Wie in der Ansicht des Markerträgers 503 von Figur 7a in Figur 7, die nach einigen Aspekten mit der Ansicht von Figur 2a übereinstimmt, dargestellt ist, umfasst der Markerträger 503 die trapezförmigen Flächenelemente 527, 527', 527" und 527"'. Die in der Draufsicht zu erkennenden vier Flächenelemente 527, 527', 527" und 527"' sind miteinander verbunden, wobei jeweils eine Winkelstellung, wie die Winkelstellung 563 zwischen dem ersten Flächenelement 527 und dem zweiten Flächenelement 527', ausgebildet ist. Zwischen dem ersten Flächenelement 527 und einem weiteren, vierten Flächenelement 527"' befindet sich eine Markerträgerlücke 530. Die Markerträgerlücke 530 besitzt die Größe eines Flächenelements, wie das Flächenelement 27"" in Figur 2a. Anders gesagt weisen das erste Flächenelement 527 und das weitere Flächenelement 527"' jeweils eine Abschlusskante 536, 536' auf, die, insbesondere schrägseitig, nicht an ein weiteres Flächenelement 527, 527', 527" und 527"' anschließt. Die Markerträgerlücke 530 ist mindestens zweiseitig von Abschlusskanten 536, 536' begrenzt. Der ringartige Markerträger 503 ist daher kein geschlossener Ring. Ein in dem Innenbereich 546 gemäß Figur 7b befindlicher Kopf einer Person (nicht dargestellt) könnte in der Richtung C gemäß Figur 7a an den Abschlusskanten 536, 536' des Markerträgers 503 vorbeischauen. An dem Ringinnenbereich 547 sind drei Halterungen 544, 544', 544" vorgesehen, mit deren Hilfe der Markerträger 503 an einem Träger (nicht dargestellt) befestigbar ist. Zu diesem Zweck kann der Träger mit Halteelementen ausgestattet sein, die mit den Halterungen 544, 544', 544", z. B. wie die anziehenden Pole eines Magnetverschlusses, zusammenwirken.
Figur 8 mit der Draufsicht in Figuren 8a und der perspektivischen Ansicht in Figur 8b betrifft einen Markerträger 503', der eine Grundform entsprechend dem Markerträger 503 von Figur 7 aufweist. Die in der Ansicht von Figur 8a zu sehenden trapezartigen Flächenelemente 527, 527', 527", 527"' sind schrägseitig an zumindest ein Flächenelement 527, 527', 527", 527"'
angeschlossen und entlang von vier Kantenlinien, wie die Kantenlinie 535', die einem gleichseitigen Fünfeck zuordnenbar sind, angeordnet. Die Flächenelemente 527, 527', 527", 527"' haben eine lichtabsorbierende Oberfläche 529. Das erste Flächenelement 527 trägt eine erste Konfiguration 541 von Markerelementen, wie das Markerelement 505, das eine passiv reflektierende Oberfläche 531 aufweist. Eine zweite Konfiguration von Markerelementen 541 ' liegt auf dem zweiten Flächenelement 527' vor. Eine dritte Konfiguration 541 " von Markerelementen liegt auf dem dritten Flächenelement 527" vor. Eine vierte Konfiguration 541 "' von Markerelementen 541 "' liegt auf dem vierten Flächenelement 527"' vor. Das dritte und vierte Flächenelement 527", 527"' können auch jeweils als weiteres Flächenelement bezeichnet werden. Zwischen dem ersten Flächenelement 527 und dem vierten Flächenelement 527"', anders gesagt zwischen einem Flächenelement 527 und einem weiteren Flächenelement 527"', befindet sich eine Märkerträgerlücke 530'. Die Markerträgerlücke 530' weist keine Konfiguration von Markerelementen, wie die jeweils voneinander unterschiedlichen Konfigurationen 541 , 541 ', 541 ", 541 "', auf. In Figur 8b ist gezeigt, dass das erste Flächenelement 527 und das zweite Flächenelement 527' des Markerträgers 503' an der Kante 535 abgewinkelt aneinander grenzen. Außerdem grenzen die trapezartigen Flächenelemente 527, 527', 527", 527"' an der jeweils längsten Kante 535' an ein weiteres Flächenelement, so wie das zweite Flächenelement 527' an das erste Flächenelement 541 Vl grenzt, das zur Unterscheidung eine eigene, individuelle Markerkonfiguration 541 Vl aufweist.
Figur 9 mit der Draufsicht in Figur 9a und der perspektivische Ansicht in Figur 9b zeigt eine weitere Ausführungsform eines Markerträgers 603, der in der Draufsicht von Figur 9a z. B. mit dem Markerträger 103 in Figur 4a vergleichbar ist. Wie in Figur 9a gezeigt, ist in dem Innenbereich 646 eine Videobrille 623 mit zwei elektronischen Bildanzeigen 619, 619' montiert. In der Nähe der Bildanzeige 619, 619' befindet sich eine Messeinrichtung 625, die eine Bestimmung einer Augenstellung (nicht dargestellt) in Echtzeit ermöglicht. Die Gesamtheit aus Videobrille 623 und Markerträger 603 ist bequem aufsetzbar, wobei von dem Innenraum 646 des Markerträgers 603 der Kopf einer Person (nicht dargestellt) durch die Markerträgerlücke 630 hindurch aufnehmbar ist. Das Aufsetzen des Markerträgers 603 folgt einem Bewegungsablauf analog zum Aufsetzen einer Sonnenbrille. Das erste Flächenelement 603 mit der Konfiguration 641 und das weitere Flächenelement 627"' erstrecken sich aufeinander zu und bilden gemeinsam mit zwei weiteren Flächenelementen, die in den Darstellungen von Figur 9a und Figur 9b verdeckt sind, die Markerträgerlücke 630. Wenn die Markerträgerlücke 630 zu einer Kamera, wie der Kamera 7 von Figur 1 hin orientiert ist, so können z. B. die in Figur 9a gezeigte Konfiguration 641 auf dem ersten Flächenelement 627 und mindestens ein weiteres Markerelement, wie das Markerelement 605 auf dem Flächenelement 627"', das auch als zweites Flächenelement bezeichnet werden kann, von der
Kamera erfasst werden. Wie in Figur 9b ersichtlich ist, ist die Videobrille 623 mit einer Datenübertragungseinheit 650 ausgestattet, anders gesagt mit einer Sender- und Empfangseinheit, die eine Datenübertragung per Funk ermöglicht. Die Datenübertragungseinheit 650 an der Videobrille 619 weist einen Stereolautsprecher (nicht dargestellt) auf, durch den z. B. ein Signalton zur Warnung abgegeben werden kann. Ein Signalton kann z. B. richtungsspezifisch zu dem rechten oder linken Ohr hin abgegeben werden. Eine Person (nicht dargestellt), die den Markerträger 603 benutzt und deren natürliches Sichtfeld der Markerträger 603 einschränkt, kann z. B. akustisch vor einem Hindernis gewarnt werden. Mit einem Signalton kann darüber informiert werden, dass die Videobrille 623 nicht korrekt sitzt. Eine präzise Lagebestimmung ist aus jeder Raumrichtung unter Verwendung des Markerträgers 603 möglich.
Die verwendeten Nummerierungen der Flächenelemente weisen nach einem Aspekt insbesondere abstrakt auf eine Funktionalität innerhalb eines Systems bzw. innerhalb eines Verfahrens hin. Anders gesagt können auch ein drittes, viertes oder weiteres Flächenelement als erstes oder zweites Flächenelement gesehen werden. Ein zweites Flächenelement kann die Funktion eines ersten Flächenelements haben und umgekehrt. Für einen in einer Recheneinheit ausgeführten Algorithmus, der mit einer Abbildung der Konfigurationen von Markerelementen eines Markerträgers gemäß verschiedener Ausführungsformen arbeitet, können die auswertbaren Markerelemente, die in der jeweiligen räumlichen Lage des Markerträgers optisch erfassbar sind, auf verschiedenen, insbesondere auf zwei oder mehreren, Flächenelementen angeordnet sein.
Die in den einzelnen Figuren gezeigten Ausgestaltungsmöglichkeiten lassen sich auch untereinander in beliebiger Form verbinden. Insbesondere lassen sich einzelne Aspekte eines Ausführungsbeispiels mit einem zweiten Ausführungsbeispiel kombinieren.
Bezugszeichenliste
System, insbesondere System zur Darbietung einer Blickfelddarstellung gegenständliche Lage
, 3', 3", 103, 503, Markerträger, insbesondere Markerträgerbildbereich
03', 603
, 5', 5", 5"', 5IV, Markerelement, insbesondere Markerbildbereich
05, 505, 605
a Markerelement, insbesondere verdecktes Markerelement
, 207, 307 Digitalkamera, insbesondere monookulare Digitalkamera
Kamerabildebene
1 Raumbereich
3 Recheneinheit
5 Datenübertragungseinheit
7, 17' Datenübertragungsverbindung, insbesondere
Bilddatenerfassungsverbindung
9, 1 19, 1 19", 619, elektronische Bildanzeige, insbesondere Blickfelddarstellung
19'
1 Pixeldatenfeld, insbesondere Bild
3, 123, 623 Videobrille
25, 625 Messeinrichtung, insbesondere Beschleunigungssensor
7, 27", 127, 527, erstes Flächenelement, insbesondere Trägerflächenelement
27VI, 627
7', 27v, 127', 527' zweites Flächenelement, insbesondere Trägerflächenelement
7"', 27IV, 127", weiteres Flächenelement, insbesondere Trägerflächenelement
27"', 127IV
27", weiteres Flächenelement, insbesondere drittes Trägerflächenelement27"', 627"' weiteres Flächenelement, insbesondere viertes Trägerflächenelement9, 529 absorptionsfördernde Oberfläche
30, 530', 630 Markerträgerlücke, insbesondere fehlende Flächenelemente und fehlende
Markerelemente
1 , 531 reflexionsfördernde Oberfläche
3 Rand
5, 35', 535, 535' Kante
36, 536' Abschlusskante
7, 37' Abstand, insbesondere zwischen zwei Markerelementen
8 Mindestabstand, insbesondere zu einem Rand
Markerelementdurchmesser, insbesondere Mindestabstandgröße, 41 ', 41 ", 41 "', Konfiguration, insbesondere Anordnung von Markerelementen auf ιν, 41 v, 541 , mindestens einem Trägerflächenelement
1 ', 541 ", 541 "',
1 Vl, 641
Pseudozufallsverteilung, insbesondere der Konfiguration der
Markerelemente
Markerpositionskonfiguration, insbesondere dreidimensionale Anordnung4, 544', 544" Halterung
, 146, 546, 646 Innenbereich
7 Ringinnenbereich
0, 650 Datenübertragungseinheit, insbesondere Sender und Empfänger
Winkelstellung, insbesondere des Markerträgers
, 63', 563 Winkelstellung, insbesondere der Flächenelemente
0, 300 Verfahren, insbesondere zur Bestimmung einer gegenständlichen Lage1 , 301 Verfahren, insbesondere zur Bestimmung einer gegenständlichen Lage nach einer Lageänderung, vorzugsweise aus einer zweiten
Bilddatenpixelanordnung
2, 302 Start, insbesondere der Verfahren in dem System
4, 304 Markererkennungsalgorithmus, insbesondere Hellfleckfilter
6, 306 Markerbildbereiche
8, 308 2D-Koordinaten aller möglichen Marker im Bild
8a, 308a 2D-Koordinaten aus der vorherigen Bilddatenpixelanordnung,
insbesondere Ausgangslage
0, 310 Verfahren initialisiert, insbesondere System wurde bereits initialisiert2, 312 Verfahren nicht initialisiert, insbesondere System ist noch nicht initialisiert4, 314 Vergleichsalgorithmus, insbesondere Nächster-Nachbar- Markerbildbereich
6, 316 Markermodellkonfigurationhypothesen zur Bestimmung von
Korrespondenzen zu Markerbildbereichen durch Vergleiche
8, 318 Kontrollalgorithmus zum finden und ausschließen von Ausreißern, wie
Fehlerbildbereichen, insbesondere RANSAC
0, 320 numerisches Optimierungsverfahren bezüglich projizierter
Markermodellkonfiguration und korrespondierenden Markerbildbereichen, um Projektionsparameter zu finden, insbesondere Levenberg-Marquardt- Algorithmus
0', 320' numerisches Optimierungsverfahren bezüglich projizierter
Markermodellkonfiguration und korrespondierenden Markerbildbereichen, insbesondere Levenberg-Marquardt-Algorithmus
221 , 321 Bilddatenpixelanordnung, insbesondere Bild
221 ', 221 ", 321 ', Weitere, insbesondere nächste, Bilddatenpixelanordnung
321 "
222, 322 Bestimmung einer geänderten gegenständlichen Lage, insbesondere neue Messung einer Pose
224, 324 Filteralgorithmus, insbesondere quaternionenbasierter
Bewegungsfolgefilter
226, 326 Bewegungsmodell eines Markerträgers
228, 328 Prognose eines Bewegungsverlaufs
230, 330 Bestimmung einer, insbesondere geänderten, gegenständlichen Lage, vorzugsweise Schätzung einer Pose
232, 332 3D-Computergrafik, insbesondere Darstellung der räumlichen Lage eines
Blickfelds in einen Raumwinkelbereich
234, 334 bekannte Markerkonfiguration, insbesondere Anordnung der Marker
236, 336 bekannte Geometrie des Markerträgers, insbesondere
Trägerflächenelemente
238, 338 andere Punkte wählen
242, 342 Markermodellkonfiguration
350 Iteration über alle Markerbildbereiche (M,)
351 Gruppe der 5 nächst benachbarten Markerbildbereiche um einen
ausgewählten Markerbildbereich (M,)
352 Iteration über alle 10 ungeordneten Stichproben (Kombinationen) von 3 aus 5 Markerbildbereichen
353 Kombination wurde schon einmal geprüft.
354 Kombination wurde noch nicht geprüft
355 Iteration über alle Permutationen von drei Markerbildbereichen
356 nächste Permutation, insbesondere nächste Iteration
357 alle Permutationen aus drei Markerbildbereichen sind geprüft
358 alle Kombinationen aus fünf Markerbildbereichen sind geprüft
359 alle Markerbildbereiche (M,) sind geprüft
260 Iteration über alle geordneten Stichproben (Variationen) dreier
Markerbildbereiche
262, 362 drei Markerbildbereiche
264, 364 drei Punkte der Markermodellkonfiguration
266, 366 Bis zu fünf Posenhypothesen, insbesondere Konfigurationshypothesen
268, 268', 368, Projektion der Markermodellkonfiguration mit Posenhypothese in das 2D-
368' Bild, insbesondere Projektionsalgorithmus
270, 370 Vergleich zur Zuordnenbarkeit von vorzugsweise weiteren
Übereinstimmungen zwischen Markerbildbereichen und projizierten, theoretisch sichtbaren Punkten der Markermodellkonfiguration, insbesondere Vergleichsalgorithmus
272, 372 Iteration über alle fünf Posenhypothesen, insbesondere
Konfigurationshypothesen
274, 374 nächste Posenhypothese
276, 376 alle Posenhypothesen aus 3 Markerbildbereichen sind geprüft
278, 378', 378" nächster Iterationsschritt
280 Ende der Iteration über alle Variationen
282, 382 keine Posenhypothese plausibel
284, 384 passende Posenhypothese, insbesondere anhand eines
Genauigkeitswerts, gefunden
286, 386 Zuordnung zwischen Markerbildbereich und korrespondierendem Punkt der Markermodellkonfiguration, vorzugsweise mittels Genauigkeitswert, insbesondere Vergleichsalgorithmus
288, 388 Verfahren ist initialisiert, insbesondere eine Ausgangslage im System ist bestimmt
290, 390 Initialisierung des quaternionenbasierten Bewegungsfolgefilters mit
Position und Orientierung x erste räumliche Dimension
y zweite räumliche Dimension
z dritte räumliche Dimension
α Raumwinkelbereich
Θ Orientierung
B-B Achse
C Achse der Blickrichtung, insbesondere Orientierung
B Richtung, insbesondere Orientierung
F Raumbereich, insbesondere Bewegungsbereich
P Trägerperson
Claims
Patentansprüche:
1 . Verfahren (200, 300) zur Bestimmung einer gegenständlichen Lage (2, 288, 388), wie drei räumliche Dimensionen (x, y, z) und eine Orientierung (Θ, B, C),
wobei ein Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603), eine Digitalkamera (7, 207, 307), und eine Recheneinheit (13) zur Ausführung von Algorithmen (200, 201 , 300, 301 , 204, 304, 218, 318, 220, 320, 224, 324, 268, 268', 368, 368', 270, 370, 286, 386), die mit der Digitalkamera (7, 207, 307) in einer Bilddatenerfassungsverbindung (17, 17') steht, vorgesehen sind, und
wobei der Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603) mindestens sechs zueinander beabstandete Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) in einer vorbekannten Markerkonfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) aufweist, die dem Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603) zugeordnet ist, und
wobei mindestens eines der Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) an einer Markerposition von der Digitalkamera (7, 207, 307) auf eine zweidimensionale Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") abbildbar ist und die Recheneinheit (13) mit einem Markererkennungsalgonthmus (204, 304) ausgestattet ist, der zur Auffindung eines, insbesondere jeden abgebildeten, Markerbildbereichs (5, 5', 5", 5"', 5IV, 105, 206, 306, 505, 605) die Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") auswertet, und die zu einer Berechnung einer dreidimensionalen Markerpositionskonfiguration (43) dient, dadurch gekennzeichnet, dass der Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603) mindestens zwei fest miteinander verbundene, ebene Trägerflächenelemente (27, 27', 27", 27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"'), ein erstes Trägerflächenelement (27, 27", 127, 527, 527VI, 627) und ein zweites
Trägerflächenelement (27', 27v, 127', 527', 627"'), die eine Winkelstellung (63, 63', 563) zueinander aufweisen, umfasst, und
dem ersten Trägerflächenelement (27, 27", 127, 527, 527VI, 627) mindestens drei (5, 5', 5", 505) der mindestens sechs Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) und dem zweiten Trägerflächenelement (27', 27v, 127', 527', 627"') weitere Markerelemente (5"', 5IV, 105, 5a, 605) zugeordnet sind, die von den dem ersten Trägerflächenelement (27, 27", 127, 527, 527VI, 627) zugeordneten Markerelementen (5, 5', 5", 505) abweichend konfiguriert sind,
wobei die Berechnung der Markerpositionskonfiguration (43) durch einen
Vergleichsalgorithmus (270, 370, 286, 386) von drei gemeinsam sichtbaren
Markerelementen (5, 5', 5", 5"', 5IV, 505, 605) der Markerkonfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) unter Verwendung mindestens einer, vorzugsweise in einem Projektionsalgorithmus (268, 268', 368, 368'), berechneten perspektivischen Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) sequentiell mit jeweils einer Untergruppe (260, 351 , 352, 355, 358) umfassend drei Markerbildbereiche (5, 5', 5"', 355, 357, 260, 262, 362, 505, 605) aus
aufgefundenen Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 5a, 206, 306, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) erfolgt,
wobei der Vergleichsalgorithmus (270, 370, 286, 386) an mindestens einem errechneten Genauigkeitswert (284, 384) die Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 286, 386) erkennt, die der Markerpositionskonfiguration (43) entspricht, welche die Lage (2, 288, 388), insbesondere in drei räumlichen Dimensionen (x, y, z) und in der Orientierung (Θ, B, C), ausmacht.
Verfahren (200, 300) nach Anspruch 1 , dadurch gekennzeichnet, dass
die Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) aus einer Vorauswahl von drei Markerelementen (5, 5', 5", 5"', 5IV, 105, 5a, 276, 376, 505, 605) aus der vorbekannten Markerkonfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ), und insbesondere aus bis zu fünf
Konfigurationshypothesen (266, 366, 272, 273) der drei Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 276, 376, 505, 605), bestimmt wird.
Verfahren (200, 300) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass
die Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) anhand der Zuordnenbarkeit (270, 370) mindestens eines weiteren Markerbildbereichs (5, 5', 5", 5"', 5IV, 105, 5a, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) unter Berücksichtigung einer perspektivischen Sichtbarkeit, insbesondere aufgrund einer vorbestimmten Zuordnung von Markerelementen (5, 5', 5", 5"', 5IV, 105, 5a, 234, 334, 505, 605) zu einem Trägerflächenelement (27, 27', 27",27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 236, 336, 527, 527', 527", 527"', 527VI, 627, 627"') der
Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) ausgewählt wird.
Verfahren (200, 300) nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass
der Makererkennungsalgorithmus (204, 304) einen Hellfleckfilter (304) umfasst.
Verfahren (200, 300) nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass
eine Position von einem verdeckten Markerelement (5a) unter Verwendung einer vorbekannten Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386), insbesondere einer vorbekannten Markerkonfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ), berechnet wird.
Verfahren (200, 300) nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass
eine Position (x, y, z) und eine Richtung (B, C) der Lage (2, 288, 388) mit einem
Translationsvektor und einer Rotationsdarstellung, wie einer Rotationsmatrix,
Eulerwinkeln, Quaternion, einer Rodriguez Darstellung oder einer Winkel-Vektor- Darstellung, beschrieben wird.
Verfahren (200, 300) nach einem der vorhergehenden Ansprüche 3 bis 6, dadurch gekennzeichnet, dass
ein numerisches Optimierungsverfahren (220'), wie ein Levenberg- Marquardt- Algorithmus (220'), auf den mindestens einen weiteren Markerbildbereich (5, 5', 5", 5"', 5IV, 105, 5a, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) und die drei mit einer geringsten Abweichung zur Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) identifizierten Markerbildbereiche (5, 5', 5", 5"', 5IV, 105, 5a, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) zur
Präzisierung der Lage (2, 288, 388), insbesondere der Orientierung (Θ, B, C), angewendet wird, wobei das numerische Optimierungsverfahren (220') vorzugsweise auf eine dreiparametrische Darstellung der Orientierung (Θ, B, C) der
Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) angewendet wird.
Verfahren (200, 300, 201 , 301 ) zur Bestimmung einer zweiten gegenständlichen Lage (2, 222, 322, 288, 388), insbesondere nach Einnahme einer Pose eines Markerträgers (3, 3', 3", 103, 236, 336, 503, 503', 603),
wobei eine Ausgangslage (208a, 288, 388, 308a) als eine erste gegenständliche Lage, insbesondere nach einem der Ansprüche 1 bis 7, durch eine Erfassung von
Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356,
357, 358, 359, 260, 262, 362, 505, 605) einer ersten Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") in einer Recheneinheit (13) vorgegeben ist, und
wobei von einer Digitalkamera (7, 207, 307) mindestens eine weitere
Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") der Recheneinheit zugeführt wird, die nach einer Bewegung des Markerträgers (3, 3', 3", 103, 236, 336, 503, 503', 603) oder nach einer Bewegung der Digitalkamera (7, 207, 307) geänderte Markerbildbereiche (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) aufweist, dadurch gekennzeichnet, dass eine Position (x, y, z) und/oder eine Orientierung (Θ, B, C) der zweiten gegenständlichen Lage (2, 222, 322, 288, 388), die anhand einer Markerpositionskonfiguration (43) vorgebbar ist, aus den, die Markerpositionskonfiguration (43) festlegenden
Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) der weiteren Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") und aus einer Markermodellkonfiguration (242, 342, 264, 364) der Ausgangslage (208a, 288, 388, 308a) mittels eines Vergleichsalgorithmus (214, 314, 216, 316, 220, 320, 270, 370, 286, 386), insbesondere unter Bestimmung eines nächsten Nachbarn (214, 314) zu einem Markerbildbereich (5, 5', 5", 5"', 5IV, 105, 208a, 308a, 505, 605) der Ausgangslage (208a, 288, 388, 308a), bei Extrapolation verdeckter, weiterer Markerbildbereiche (5a) und mit einem numerischen Optimierungsverfahren (220, 320) berechnet wird, wobei die Markerpositionskonfiguration (43) eine Mehrzahl von Markerelementen (5, 5', 5", 5"', 5IV, 105, 505, 605) aufweist, die auf den mindestens zwei Flächenelementen (27, 27', 27",27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"'), die einen Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603) für die Markerpositionskonfiguration (43) darstellen, in einer
flächenelementeweisen Anordnung (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) vorliegen, wobei
eine Anordnung von Markerelementen (5, 5', 5", 5"', 5IV, 5a, 105, 505, 605), die eines der Flächenelemente (27, 27', 27",27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"') aufweist, von einer Anordnung von
Markerelementen (5, 5', 5", 5"', 5IV, 5a, 105, 505, 605), die ein weiteres, insbesondere benachbartes, der Flächenelemente (27, 27', 27",27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"') aufweist, abweicht.
Verfahren (200, 300, 201 , 301 ) nach Anspruch 8, dadurch gekennzeichnet, dass
eine Zuordnung eines Nächster-Nachbar-Bildbereichs (214, 314) von mindestens einem, vorzugsweise mindestens drei Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 306, 505, 605) der weiteren Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") zu drei Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 306, 505, 605) der
Ausgangslage (208a, 288, 388, 308a) erfolgt und der Nächster-Nachbar-Bildbereich
(214, 314) zur Bestimmung der Markerpositionskonfiguration (43) verwendet wird.
Verfahren (200, 300, 201 , 301 ) nach einem der Ansprüche 8 oder 9, dadurch
gekennzeichnet, dass
eine Optimierung der Position (x, y, z) und/oder der Orientierung (Θ, B, C) mittels einer additiven Änderung erfolgt, wobei insbesondere in dem numerischen
Optimierungsverfahren (220, 320, 220', 320'), wie dem Levenberg-Marquardt- Algorithmus, eine Jacobimatrix durch numerische Differentiation approximiert wird und vorzugsweise eine Optimierung der Orientierung (Θ, B, C) in einer dreiparametrischen Darstellung der Orientierung (Θ, B, C) durchgeführt wird.
Verfahren (200, 300, 201 , 301 ) nach einem der Ansprüche 8 bis 10, dadurch
gekennzeichnet, dass
mindestens ein Ergebnis des numerischen Optimierungsverfahrens (220, 320) von einem Kontrollalgorithmus (218, 318) zum Ausschließen von Fehlerbildbereichen anhand mindestens einer Zufallsauswahl von mindestens einer
Markerbildbereichskonfiguration (216, 316) überprüft wird.
Verfahren (200, 300, 201 , 301 ) nach einem der Ansprüche 8 bis 1 1 , dadurch
gekennzeichnet, dass
ein Rauschenunterdrückungsalgorithmus, wie ein quaternionenbasierter
Bewegungsfolgefilter (224, 324), vorgesehen ist, der mittels einer
Bewegungsverlaufsprognose (228, 328) die Position (x, y, z) und/oder die Orientierung (Θ, B, C) filtert.
Verfahren (200, 300, 201 , 301 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
die dem Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603) zugeordneten
Markerelemente (5, 5', 5", 5"', 5IV, 5a, 105, 505, 605) gleichförmig und gleichgroß sind und vorzugsweise aus einer Abfolge von Bilddatenpixelanordnungen (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") Markerbildbereiche (5, 5', 5", 5"', 5IV, 105, 206, 306, 505, 605) erfasst werden und eine Markerkonfiguration (234, 334) algorithmisch, insbesondere
durch einen Struktur-aus-Bewegung-Algorithmus in Kombination mit einem Ensemble- Anpassung-Algorithmus, berechnet wird, wobei vorzugsweise die berechnete
Markerkonfiguration (234, 334) rekursiv die Markermodellkonfiguration (242, 342, 264, 364, 266, 366, 284, 384, 286, 386) einer Ausgangslage (208a, 288, 388, 308a) festlegt.
Verfahren (200, 300, 201 , 301 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
eine weitere, zeitlich später aufgenommene Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") zur Ausführung des Verfahrens (200, 300, 201 , 301 ) angefordert wird, wenn nur drei oder weniger Markerbildbereiche (5, 5', 5", 5"', 5IV, 105, 206, 306, 505, 605) in der Bilddatenpixelanordnung (21 , 221 , 221 ', 221 ", 321 , 321 ', 321 ") auffindbar oder zuordnenbar sind.
Verfahren (200, 300, 201 , 301 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
eine Vorauswahl einer Markeruntergruppe nach einem kleinsten mittleren Abstand von, vorzugsweise drei, Markerelementen (5, 5', 5"; 5"', 5IV, 105, 206, 306, 505, 605) ausgeführt wird, und die Vorauswahl eine Anfangskonfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) des Vergleichsalgorithmus (214, 314, 216, 316, 220, 320, 270, 370, 286, 386) festlegt.
Verfahren (200, 300, 201 , 301 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
eine erste Untergruppe von vorzugsweise fünf, insbesondere eine Stichprobe von drei, Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) als eine Nächste-Nachbar- Markerbildbereichskonfiguration aus allen aufgefundenen Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) gebildet wird, und insbesondere ausgehend von einem kleinsten mittleren Abstand von drei Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) eine Sequenz von
Untergruppen von drei Markerbildbereichen (5, 5', 5", 5"', 5IV, 105, 206, 210, 306, 310, 350, 351 , 352, 355, 356, 357, 358, 359, 260, 262, 362, 505, 605) gebildet wird, auf die der Vergleichsalgorithmus (214, 314, 216, 316, 220, 320, 270, 370, 286, 386) angewendet wird.
7. Verfahren (200, 300, 201 , 301 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
eine Position (x, y, z) und eine Richtung (B) eines Raumwinkelbereichs, insbesondere eines geänderten Raumwinkelbereichs, mittels einer Markerpositionskonfiguration (43) bestimmt wird und eine Umrechnung des Raumwinkelbereichs in Bereichsbilddaten eines virtuellen Raums (232, 332), wie eines dreidimensionalen Raums, der in einem rechnergestützten Konstruktionsprogramm erstellt wurde, erfolgt.
8. System (1 ) zur Darbietung einer Blickfelddarstellung (1 19,1 19', 619, 619'), vorzugsweise in einer gegenständlichen Lage (2), bestimmt in einem Verfahren (200, 300) nach einem der Ansprüche 1 bis 7, insbesondere der Blickfelddarstellung (1 19, 1 19', 619, 619') eines virtuellen Raums (232, 332) in einem veränderbaren Raumwinkelbereich, vorzugsweise bestimmbar mit einem Verfahren (200, 300, 201 , 301 ) nach einem der Ansprüche 8 bis 17,
das einen portablen Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603), der eine Mehrzahl von Markerelementen (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) umfasst, mindestens eine Digitalkamera (7, 207, 307), mit der ein Raumbereich (1 1 ) aufnehmbar und in einem zweidimensionalen Pixeldatenfeld (21 ) abbildbar ist,
eine Recheneinheit (13) zur Ausführung von Bilddatenverarbeitungsalgorithmen (200, 201 , 300, 301 , 204, 304, 218, 318, 220, 320, 224, 324, 268, 268', 368, 368', 270, 370, 286, 386),
mindestens eine elektronische Bildanzeige (19, 1 19, 1 19', 23, 123, 619, 619', 623) zur Präsentation der Blickfelddarstellung (1 19, 1 19', 619, 619'),
eine Datenübertragungseinheit (15, 150, 650), mit der eine, insbesondere kabellose, Datenübertragungsverbindung (17, 17') zwischen der Digitalkamera (7, 207, 307) und der Recheneinheit (13) und der Bildanzeige (19, 1 19, 1 19', 23, 123, 619, 619', 623) erstellbar ist und
mindestens eine Lichtquelle zur Aussendung von mit der Digitalkamera (7, 207, 307) registrierbarem Licht in den Raumbereich (1 1 ) aufweist, wobei
die Blickfelddarstellung (1 19, 1 19', 619, 619') von der Recheneinheit (13) für die
Bildanzeige (19, 1 19, 1 19', 23, 123, 619, 619', 623) bereitstellbar ist
und wobei der Markerträger (3, 3', 3", 103, 236, 336, 503, 503', 603) in dem
Raumbereich (1 1 ) obstruktionsfrei bewegbar ist und der Markerträger (3, 3', 3", 103,
236, 336, 503, 503', 603) mindestens fünf Flächenelemente (27, 27', 27",27"', 27IV, 27v,
127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"') umfasst, die ringartig angeordnet sind, wobei ein Flächenelement (27, 27', 27", 27"', 27IV, 27v, 127,
127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"') mindestens drei
Markerelemente (5, 5', 5", 5'", 5IV, 105, 5a, 505, 605) aufweist, dadurch gekennzeichnet, dass die Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) in einer flächenelementeweise abweichenden Konfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 236, 336, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) vorliegen und
in jeder Winkelstellung (Θ, B, C) des Markerträgers (3, 3', 3", 103, 236, 336, 503, 503', 603) innerhalb des Raumbereichs (1 1 ) bezüglich einer Kamerabildebene (9) mindestens zwei markerelementeaufweisende Flächenelemente (27, 27', 27", 27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"'), ein erstes
Flächenelement (27, 27", 127, 527, 527IV, 627) und ein zweites Flächenelement (27', 27"', 27IV, 27v, 127', 127", 127"', 127IV, 527', 627"'), von der Digitalkamera (7, 207, 307) zumindest bereichsweise abbildbar sind, wobei mindestens vier algorithmisch durch die Recheneinheit (13) in dem Pixeldatenfeld (21 ) erfassbare Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) vorliegen, und durch mindestens eine Vergleichseinheit (214, 314, 216, 316, 220, 320, 270, 370, 286, 386) in der Recheneinheit (13) die vier
Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) zu einer aus
Markerkonfigurationsdaten (234, 334, 236, 336) errechneten Markermodellkonfiguration (242, 342, 286, 386, 220, 220', 320, 320', 230, 330), die eine räumliche Lage des Blickfelds (232, 332) festlegt, zuordnenbar sind.
19. System (1 ) nach Anspruch 18, dadurch gekennzeichnet, dass
die Konfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 236, 336, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) der Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) durch eine Pseudozufallsverteilung (42) festgelegt ist, wobei insbesondere in der Konfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 236, 336, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) ein Mindestabstand (37, 37', 38) jedes Markerelements (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605 41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 236, 336) von einem nächstliegenden Rand (33), vorzugsweise von einer nächstliegenden Kante (35, 35', 535, 535'), des Markerträgers (3, 3', 3", 103, 236, 336, 503, 503', 603), und insbesondere ein Mindestabstand (37, 37') von jeweils zwei Markerelementen (5, 5', 5") zueinander, vorzugsweise von mindestens einem Drittel eines Markerelementdurchmessers (39), und vorzugsweise eine
Nichtlinearität der Konfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 236, 336, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) vorgegeben ist.
20. System (1 ) nach Anspruch 18 oder Anspruch 19, dadurch gekennzeichnet, dass
die Konfiguration (41 , 41 ', 41 ", 41 "', 41 lv, 41 v, 234, 334, 236, 336, 541 , 541 ', 541 ", 541 "', 541 Vl, 641 ) mindestens einen, vorzugsweise mindestens vier Markerbildbereiche (5, 5', 5", 5"', 5IV, 105, 206, 306, 214, 314, 505, 605) bereitstellt, die zumindest bereichsweise an einen Markerträgerbildbereich (3, 3', 3", 103, 503, 503', 603) angrenzen, vorzugsweise von einem Markerträgerbildbereich (3, 3', 3", 103, 503, 503', 603) randumschlossen sind.
21 . System (1 ) nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, dass
die Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) eine reflexionsfördernde Oberfläche (31 , 531 ) zur Reflexion von, vorzugsweise mehr als 50 %, des jeweils auf die Markerelemente (5, 5', 5", 5"', 5IV, 105, 5a, 505, 605) einfallenden, insbesondere sichtbaren, Lichts aufweisen und insbesondere die Flächenelemente (27, 27', 27", 27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"') eine absorptionsfördernde Oberfläche (29, 529) zur Absorption von, insbesondere
sichtbarem, Licht, vorzugsweise mehr als 50 % des jeweils auf die Flächenelemente (27, 27', 27",27"', 27IV, 27v, 127, 127', 127", 127"', 127IV, 527, 527', 527", 527"', 527VI, 627, 627"') einfallenden Lichts, aufweisen.
22. System (1 ) nach einem der Ansprüche 18 bis 21 , dadurch gekennzeichnet, dass
die Recheneinheit (13) eine einhändig tragbare Recheneinheit (13) mit einer
Speichereinheit zur Bereitstellung von Daten eines virtuellen Raums (232, 332), insbesondere zur Bereitstellung von Lageänderungen oder Blickfelddarstellungen (1 19, 1 19', 619, 619') in zeitlicher Folge, ist und insbesondere ein Steuerelement zur Auswahl einer Raumbereichsvorpositionierung mit der Recheneinheit (13) verbunden ist, wie ein Spracherkennungsmodul oder ein optischer Gestenerkennungsalgorithmus.
23. System (1 ) nach einem der Ansprüche 18 bis 22, dadurch gekennzeichnet, dass
das Blickfeld (232, 332) an einer weiteren elektronischen Bildanzeige (19, 1 19, 619), die von einer ersten elektronischen Bildanzeige (1 19', 619') in einer Querrichtung
beabstandet ist, dupliziert, insbesondere als Stereoraumwinkelbereich, dargeboten ist.
24. System (1 ) nach einem der Ansprüche 18 bis 23, dadurch gekennzeichnet, dass
die elektronische Bildanzeige (19, 1 19, 1 19', 23, 123, 619, 619', 623) eine Videobrille (23, 123, 623) ist, die mindestens eine (125, 625), vorzugsweise zwei,
Messeinrichtungen umfasst, wie eine Augenstellungsmesseinrichtung (625), eine Lagesensorik oder einen Beschleunigungssensor (125).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014106718.5 | 2014-05-13 | ||
DE102014106718.5A DE102014106718B4 (de) | 2014-05-13 | 2014-05-13 | System, welches eine Blickfelddarstellung in einer gegenständlichen Lage in einem veränderbaren Raumwinkelbereich darbietet |
Publications (2)
Publication Number | Publication Date |
---|---|
WO2015173256A2 true WO2015173256A2 (de) | 2015-11-19 |
WO2015173256A3 WO2015173256A3 (de) | 2016-09-09 |
Family
ID=53373396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2015/060502 WO2015173256A2 (de) | 2014-05-13 | 2015-05-12 | Verfahren und system zur bestimmung einer gegenständlichen lage |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102014106718B4 (de) |
WO (1) | WO2015173256A2 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111192318A (zh) * | 2018-11-15 | 2020-05-22 | 杭州海康机器人技术有限公司 | 确定无人机位置和飞行方向的方法、装置及无人机 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015102940A1 (de) * | 2015-03-02 | 2016-09-22 | Martin Bünner | Bildverarbeitungssystem zum automatisierten Erkennen von Strukturen in einem dreidimensionalen Raum und Markierungselement zur Kennzeichnung von Strukturen in einem dreidimensionalen Raum |
DE102016006232A1 (de) * | 2016-05-18 | 2017-11-23 | Kuka Roboter Gmbh | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
US10713527B2 (en) * | 2018-10-03 | 2020-07-14 | SmartCone Technologies, Inc. | Optics based multi-dimensional target and multiple object detection and tracking method |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3069654A (en) | 1960-03-25 | 1962-12-18 | Paul V C Hough | Method and means for recognizing complex patterns |
US4884219A (en) | 1987-01-21 | 1989-11-28 | W. Industries Limited | Method and apparatus for the perception of computer-generated imagery |
WO1998030977A1 (en) | 1997-01-13 | 1998-07-16 | Qualisys Ab | Method and arrangement for determining the position of an object |
DE19536295C2 (de) | 1995-09-29 | 2000-12-14 | Daimler Chrysler Ag | Räumlich gestaltete Signalmarke |
US20020001397A1 (en) | 1997-10-30 | 2002-01-03 | Takatoshi Ishikawa | Screen image observing device and method |
DE69132952T2 (de) | 1990-11-30 | 2002-07-04 | Sun Microsystems Inc | Kompakter kopfspurfolgsystem für billiges virtuelle realität system |
WO2002063456A1 (en) | 2001-02-08 | 2002-08-15 | Anderson Technologies Pty Ltd | Optical tracking computer interface |
DE60301987T2 (de) | 2002-03-07 | 2006-08-03 | Samsung Electronics Co., Ltd., Suwon | Verfahren und Vorrichtung zur Videoverfolgung einer am Kopf montierten Bildanzeigevorrichtung |
WO2008055262A2 (en) | 2006-11-02 | 2008-05-08 | Sensics, Inc. | Systems and methods for a head-mounted display |
GB2451461A (en) | 2007-07-28 | 2009-02-04 | Naveen Chawla | Camera based 3D user and wand tracking human-computer interaction system |
US7529387B2 (en) | 2004-05-14 | 2009-05-05 | Canon Kabushiki Kaisha | Placement information estimating method and information processing device |
US20100232727A1 (en) | 2007-05-22 | 2010-09-16 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
WO2011141531A1 (de) | 2010-05-11 | 2011-11-17 | Movolution Gmbh | Bewegungsanalyse- und/oder -verfolgungssystem |
US8081815B2 (en) | 2006-08-11 | 2011-12-20 | Canon Kabushiki Kaisha | Marker arrangement information measuring apparatus and method |
US20120095589A1 (en) | 2010-10-15 | 2012-04-19 | Arkady Vapnik | System and method for 3d shape measurements and for virtual fitting room internet service |
US20120121124A1 (en) | 2010-01-04 | 2012-05-17 | The Board Of Trustees Of The Leland Stanford Junior University | Method for optical pose detection |
US20120169887A1 (en) | 2011-01-05 | 2012-07-05 | Ailive Inc. | Method and system for head tracking and pose estimation |
US8217995B2 (en) | 2008-01-18 | 2012-07-10 | Lockheed Martin Corporation | Providing a collaborative immersive environment using a spherical camera and motion capture |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6978167B2 (en) * | 2002-07-01 | 2005-12-20 | Claron Technology Inc. | Video pose tracking system and method |
US20080170750A1 (en) * | 2006-11-01 | 2008-07-17 | Demian Gordon | Segment tracking in motion picture |
US20130106833A1 (en) * | 2011-10-31 | 2013-05-02 | Wey Fun | Method and apparatus for optical tracking of 3d pose using complex markers |
US9529426B2 (en) * | 2012-02-08 | 2016-12-27 | Microsoft Technology Licensing, Llc | Head pose tracking using a depth camera |
-
2014
- 2014-05-13 DE DE102014106718.5A patent/DE102014106718B4/de active Active
-
2015
- 2015-05-12 WO PCT/EP2015/060502 patent/WO2015173256A2/de active Application Filing
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3069654A (en) | 1960-03-25 | 1962-12-18 | Paul V C Hough | Method and means for recognizing complex patterns |
US4884219A (en) | 1987-01-21 | 1989-11-28 | W. Industries Limited | Method and apparatus for the perception of computer-generated imagery |
DE69132952T2 (de) | 1990-11-30 | 2002-07-04 | Sun Microsystems Inc | Kompakter kopfspurfolgsystem für billiges virtuelle realität system |
DE19536295C2 (de) | 1995-09-29 | 2000-12-14 | Daimler Chrysler Ag | Räumlich gestaltete Signalmarke |
WO1998030977A1 (en) | 1997-01-13 | 1998-07-16 | Qualisys Ab | Method and arrangement for determining the position of an object |
US20020001397A1 (en) | 1997-10-30 | 2002-01-03 | Takatoshi Ishikawa | Screen image observing device and method |
WO2002063456A1 (en) | 2001-02-08 | 2002-08-15 | Anderson Technologies Pty Ltd | Optical tracking computer interface |
DE60301987T2 (de) | 2002-03-07 | 2006-08-03 | Samsung Electronics Co., Ltd., Suwon | Verfahren und Vorrichtung zur Videoverfolgung einer am Kopf montierten Bildanzeigevorrichtung |
US7529387B2 (en) | 2004-05-14 | 2009-05-05 | Canon Kabushiki Kaisha | Placement information estimating method and information processing device |
US8081815B2 (en) | 2006-08-11 | 2011-12-20 | Canon Kabushiki Kaisha | Marker arrangement information measuring apparatus and method |
WO2008055262A2 (en) | 2006-11-02 | 2008-05-08 | Sensics, Inc. | Systems and methods for a head-mounted display |
US20100232727A1 (en) | 2007-05-22 | 2010-09-16 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
GB2451461A (en) | 2007-07-28 | 2009-02-04 | Naveen Chawla | Camera based 3D user and wand tracking human-computer interaction system |
US8217995B2 (en) | 2008-01-18 | 2012-07-10 | Lockheed Martin Corporation | Providing a collaborative immersive environment using a spherical camera and motion capture |
US20120121124A1 (en) | 2010-01-04 | 2012-05-17 | The Board Of Trustees Of The Leland Stanford Junior University | Method for optical pose detection |
WO2011141531A1 (de) | 2010-05-11 | 2011-11-17 | Movolution Gmbh | Bewegungsanalyse- und/oder -verfolgungssystem |
US20120095589A1 (en) | 2010-10-15 | 2012-04-19 | Arkady Vapnik | System and method for 3d shape measurements and for virtual fitting room internet service |
US20120169887A1 (en) | 2011-01-05 | 2012-07-05 | Ailive Inc. | Method and system for head tracking and pose estimation |
Non-Patent Citations (11)
Title |
---|
A. J. HAUG: "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", 2005, THE MITRE CORPORATION |
B. RISTIC; S. ARULAMPALAM; N. GORDON: "Beyond the Kalman Filter: Particle Filters for Tracking Applications", 2004, ARTECH HOUSE |
B. TRIGGS; P. MCLAUCHLAN; R. HARTLEY; A. FITZGIBBON: "Vision Algorithms: Theory and Practice", 2000, SPRINGER VERLAG, article "Bundle adjustment - a modern synthesis", pages: 298 - 375 |
F. L. MARKLEY: "Attitude Error Representations for Kalman Filtering", JOURNAL OF GUIDANCE, CONTROL, AND DYNAMICS, vol. 26, no. 2, March 2003 (2003-03-01), pages 311 - 317 |
GIROEN LICHTENAUER; MAYA PANTIC, IEEE INTERNATIONAL CONFERENCE ON COMPUTERVISION WORKSHOP, 2011, pages 430 - 436 |
I. Y BAR-LTZHACK; J. DEUTSCHMANN; F. L. MARKLEY: "Quaternion Normalization in Additive EKF For Spacecraft Attitude Determination", NASA TECHNICAL DOCUMENTS, February 1993 (1993-02-01), pages 403 - 421 |
J. B. KUIPERS: "Mathematical Sciences Series", 1999, PRINCETON UNIVERSITY PRESS, ISBN: 9780691058726, article "Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality" |
LINDA G. SHAPIRO; GEORGE C. STOCKMAN: "Computer Vision", 2001, PRENTICE HALL |
M. A. FISCHLER; R. C. BOLLES: "Commun.", vol. 24, 1981, ACM, article "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", pages: 381 - 395 |
Y. BAR-ITZHACK; Y. OSHMAN: "Attitude Determination from Vector Observations: Quaternion Estimation", IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS, vol. 21, no. 1, January 1985 (1985-01-01), pages 128 - 136, XP011167979 |
Y. BAR-SHALOM; XIAO RONG LI: "Estimation with Applications to Tracking and Navigation", 2001, JOHN WILEY & SONS, INC., ISBN: 047141655X |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111192318A (zh) * | 2018-11-15 | 2020-05-22 | 杭州海康机器人技术有限公司 | 确定无人机位置和飞行方向的方法、装置及无人机 |
CN111192318B (zh) * | 2018-11-15 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 确定无人机位置和飞行方向的方法、装置及无人机 |
Also Published As
Publication number | Publication date |
---|---|
DE102014106718A1 (de) | 2015-11-19 |
DE102014106718B4 (de) | 2022-04-07 |
WO2015173256A3 (de) | 2016-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112018001050T5 (de) | System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung | |
DE102014019671B4 (de) | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels 2D-Kamera | |
EP3256036B1 (de) | Vorrichtung und verfahren zur abstandsbestimmung und/oder zentrierung unter verwendung von hornhautreflexionen | |
EP2880853B1 (de) | Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera | |
DE102010037169A1 (de) | Uneingeschränktes räumlich ausgerichtetes Blickfeld-Darstellungsgerät | |
DE102006005036A1 (de) | Vorrichtung und Verfahren zur verbesserten Formcharakterisierung | |
WO2015173256A2 (de) | Verfahren und system zur bestimmung einer gegenständlichen lage | |
WO2014118391A2 (de) | Inspektionskameraeinheit, verfahren zur inspektion von innenräumen sowie sensoreinheit | |
DE102014225222A1 (de) | Bestimmung der Position eines HMD relativ zum Kopf des Trägers | |
DE102014226185A1 (de) | Verfahren zum Bestimmen einer Blickrichtung einer Person | |
DE102008023439B4 (de) | Augmented Reality Fernglas zur Navigationsunterstützung | |
WO2020053215A1 (de) | System und verfahren zur funkwellenbasierten ortung und koordinatentransformation | |
DE102013100569A1 (de) | Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung | |
EP2350977B1 (de) | Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild | |
EP3584536B1 (de) | Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität | |
EP4143628B1 (de) | Computerimplementiertes verfahren zur bestimmung von zentrierparametern für mobile endgeräte, mobiles endgerät und computerprogramm | |
DE102019103360A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille | |
EP3539085A1 (de) | 3d-referenzierung | |
DE102015106836B4 (de) | Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu | |
WO2017198441A1 (de) | Verfahren zum einstellen einer blickrichtung in einer darstellung einer virtuellen umgebung | |
DE3908575A1 (de) | Unterwasserfahrzeug mit einem passiven optischen beobachtungssystem | |
DE102014019669B4 (de) | 16Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit vorgegebenen Bedingungen | |
DE202014011540U1 (de) | System insbesondere zur Darbietung einer Blickfelddarstellung und Videobrille | |
DE102014105011B4 (de) | System zur Visualisierung des Sichtfeldes einer optischen Vorrichtung | |
DE102019111238A1 (de) | Verfahren zur Einstellung und Visualisierung von Parametern zur Fokussierung eines Objektivs auf ein Objekt sowie System zur Durchführung des Verfahrens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15727890 Country of ref document: EP Kind code of ref document: A2 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15727890 Country of ref document: EP Kind code of ref document: A2 |