WO2022100988A1 - Verfahren zum bereitstellen von überwachungsdaten zur detektion eines beweglichen objekts, verfahren zur detektion eines beweglichen objekts, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung - Google Patents

Verfahren zum bereitstellen von überwachungsdaten zur detektion eines beweglichen objekts, verfahren zur detektion eines beweglichen objekts, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung Download PDF

Info

Publication number
WO2022100988A1
WO2022100988A1 PCT/EP2021/079475 EP2021079475W WO2022100988A1 WO 2022100988 A1 WO2022100988 A1 WO 2022100988A1 EP 2021079475 W EP2021079475 W EP 2021079475W WO 2022100988 A1 WO2022100988 A1 WO 2022100988A1
Authority
WO
WIPO (PCT)
Prior art keywords
symmetry
point
symmetrical
pattern
camera
Prior art date
Application number
PCT/EP2021/079475
Other languages
English (en)
French (fr)
Inventor
Stephan Simon
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN202180090216.XA priority Critical patent/CN116783628A/zh
Publication of WO2022100988A1 publication Critical patent/WO2022100988A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area

Definitions

  • Method for providing monitoring data for detecting a moving object method for detecting a moving object, method for producing at least one predefined point-symmetrical area and device
  • the invention is based on a device or a method according to the species of the independent claims.
  • the subject matter of the present invention is also a computer program.
  • a conventional light barrier can use a narrowly bundled light beam whose interruption by an object entering the beam can be detected by a sensor.
  • the light source and sensor can be located on opposite sides of an area to be monitored.
  • Another conventional design is a retro-reflective sensor.
  • the light source and sensor are on the same side, e.g. B. arranged in a common housing.
  • a retroreflector can be arranged on the opposite side, which throws the light back in the direction from which it came.
  • both classic forms require their own light source, so in this sense they are active systems.
  • the light beam used can be visible or can be made visible, e.g. B. with the help of fog and an infrared camera, if it is an infrared light barrier.
  • point-symmetrical areas it can be exploited in particular when points or objects in the world are or are marked using point-symmetrical areas, so that a system with an imaging sensor and a suitable method presented here can use these point-symmetrical areas to perform a specific technical function in a robust and local manner can detect and localize with high precision, optionally without humans or living beings perceiving such markings as disturbing.
  • a symmetrical area is not completely displayed in the camera image, e.g. B. because it may be partially covered by an object, or because it may partially protrude from the image, or because the pattern may have been cropped.
  • a precision of a localization of the point center of symmetry can nevertheless be maintained, because the partial occlusion(s) do not falsify its position: remaining point-symmetrical correspondence pairs can nevertheless vote for the correct center of symmetry.
  • a partial occlusion can only reduce a strength of an accumulation point in a matching matrix or the like, but the position of the center of symmetry can be retained and still be precisely and easily determinable. This is a special advantage of exploiting point symmetry.
  • a point-symmetric planar surface can be invariant under an affine mapping.
  • An imaging of an arbitrarily oriented plane by a real camera can always be approximated very well, at least locally, by an affine imaging. For example, if you look at a circular area with point symmetry from an oblique perspective, the circular shape becomes an elliptical shape, with the point symmetric property and the point symmetry center being retained.
  • the at least one point-symmetrical area does not necessarily have to be viewed from a frontal perspective - even very oblique perspectives do not pose a problem and an achievable accuracy can be maintained.
  • Such an invariance, in particular with respect to rotation and with respect to perspective can make it possible to dispense with precautions for aligning the camera in a suitable manner with respect to the symmetrical area or vice versa. Rather, it may already be sufficient if the respective point-symmetrical area is at least partially recorded in the camera image so that it can be detected.
  • a relative positional relationship or arrangement between the point-symmetrical area and the camera can be irrelevant or almost irrelevant.
  • a method for providing monitoring data for detecting a moving object having the following steps:
  • Reading in image data provided by a camera from an interface to the camera the image data representing a camera image of an area surrounding the camera, at least one predefined even and/or odd point-symmetrical area being arranged in the area in a field of view of the camera, the at least a predefined point-symmetrical area can be at least partially covered by the moving object from the perspective of the camera;
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit or a device.
  • the at least one predefined point-symmetrical region can be manufactured by performing a variant of a manufacturing method described below.
  • image data from a plurality of cameras can also be read in, with the image data being able to represent a plurality of camera images of at least one predefined even and/or odd point-symmetrical area.
  • the determination specification can be similar to or correspond to a procedure that is disclosed in the applicant's subsequently published DE 10 2020 202 160.
  • the determination rule used in the determination step can be designed to cause a signature to be generated for a plurality of pixels of at least one section of the camera image in order to obtain a plurality of signatures.
  • each of the signatures can be generated using a descriptor with a plurality of different filters.
  • Each filter can have at least one type of symmetry.
  • Each of the signatures can have a sign for each filter of the descriptor.
  • the determination rule can also be designed to ensure that at least one mirror signature for at least one type of symmetry of the filter is determined for the signature.
  • the determination rule can also be designed to cause a pixel having the signature to be checked for the presence of at least one other pixel with a signature corresponding to the at least one mirror signature in a search area in an area surrounding the pixel, in order to determine the presence of at least one other Pixels to determine pixel coordinates of at least one symmetrical pair of signatures from the pixel and another pixel.
  • the determination rule can be designed to cause the pixel coordinates of the at least one symmetrical signature pair to be evaluated about the at least one center of symmetry to identify.
  • the descriptor can describe an image content in a local neighborhood around a pixel or reference pixel in a compact form.
  • a signature can describe a value of the descriptor for a pixel, for example in a binary representation.
  • the at least one mirror signature can thus be determined using a plurality of calculated signature images, eg one with normal filters, one with even point-mirrored filters, and one with odd point-mirrored filters.
  • at least one reflector can be applied to the signs of one of the signatures in order to determine the at least one mirror signature.
  • each reflector for a type of symmetry can have specific rules for modifying the signs that are dependent on the filters of the descriptor.
  • the search area can be dependent on at least one of the reflectors used.
  • a transformation rule for transforming pixel coordinates of the center of symmetry and / or the at least one predefined even and / or odd point-symmetrical area to be determined can be applied to the pixel coordinates of the center of symmetry and/or the at least one predefined even and/or odd point-symmetrical area in order to correct a distorted perspective of the camera image.
  • the method can include a step of comparing the at least one center of symmetry from the camera image with at least one reference center of symmetry from reference data with regard to an intensity, a temporal intensity curve and/or a local intensity curve have to determine an intensity-related deviation between the center of symmetry and the reference center of symmetry.
  • the monitoring data is provided depending on the deviation.
  • the reference data can represent information about the reference center of symmetry or a reference image.
  • the reference data or the reference image can be selected from a plurality of stored reference data or reference images or generated using a stored generation rule.
  • the deviation can be in terms of an intensity or response of the symmetry detection for the respective center of symmetry, the z. B. can be measured as weight or height or height after smoothing the cluster point can be determined.
  • the deviation can be determined in particular from the change over time in the response or in a plurality of responses.
  • a type of symmetry of the at least one center of symmetry can also be determined in the determination step.
  • the type of symmetry can represent an even point symmetry and additionally or alternatively an odd point symmetry.
  • the type of symmetry of the at least one center of symmetry in the camera image can be compared with a predefined type of symmetry of at least one reference center of symmetry from reference data, in order to ensure a match between the at least one center of symmetry and the at least one reference center of symmetry check.
  • Odd point symmetry can be generated by point reflection with inversion of gray values or color values.
  • the image data read in in the reading step can represent a camera image of at least one pattern from a plurality of predefined even and/or odd point-symmetrical regions.
  • a geometric arrangement of symmetry centers of the at least one pattern can be determined, a geometric sequence of symmetry types of the symmetry centers can be determined and additionally or alternatively using the sequence, the pattern be determined from several predefined patterns.
  • the arrangement and/or sequence may represent an identification code of the pattern.
  • step of determining using the arrangement of the centers of symmetry of the at least one pattern and additionally or alternatively the sequence of types of symmetry of the centers of symmetry, implicit additional information of the at least one pattern or a reading rule for reading out explicit additional information in the camera image can be determined.
  • the arrangement and additionally or alternatively the sequence can represent the additional information in encoded form.
  • the additional information can relate to the detection of the moving object. Such an embodiment offers the advantage that additional information can be communicated through the topology of the at least one pattern.
  • the determining step and additionally or alternatively the performing step can be carried out jointly for all symmetry centers independently of the symmetry type of the symmetry centers or separately for the symmetry centers of the same symmetry type depending on the symmetry type of the symmetry centers.
  • a low memory and time requirement for an exact and reliable identification of the centers of symmetry can be achieved by joint implementation.
  • confusion with patterns that occur randomly in images can be minimized by separate execution.
  • a method for detecting a moving object having the following steps: evaluating monitoring data provided according to an embodiment of the aforementioned method in order to generate a detection signal dependent on the monitoring data;
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit or a device.
  • the method for detection can advantageously be carried out in connection with an embodiment of the above-mentioned method for providing.
  • a method for producing at least one predefined even and/or odd point-symmetrical region for use by an embodiment of a method mentioned above is also presented, the method having the following steps:
  • This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit or a device.
  • at least one predefined even and/or odd point-symmetrical region can be manufactured, which can be used within the scope of an embodiment of an above-mentioned method.
  • design data can be generated in the generation step, which is a graphic representation of the at least one predefined even and/or odd point-symmetrical area as a circle, an ellipse, a square, a rectangle, a pentagon, a hexagon, a polygon or a represent annulus.
  • the at least one predefined even and/or odd point-symmetrical area can have a regular or quasi-random content pattern. Additionally or alternatively, a first half of an area of the at least one predefined even and/or odd point-symmetrical area can be specified arbitrarily and a second half of the area can be constructed by point reflection and optionally additional inversion of gray values and additional or alternative color values. Additionally or alternatively, in the step of generating, the at least one predefined even and/or odd point-symmetrical area can be generated by an additive manufacturing process, separating, coating, forming, primary forming or optical display. Additionally or alternatively, the display medium may include glass, stone, ceramic, plastic, rubber, metal, concrete, plaster, paper, cardboard, food, or a visual display device. The at least one predefined even and/or odd point-symmetrical area can thus be produced in a precisely suitable manner depending on the specific use or depending on the specific application and the boundary conditions prevailing there.
  • Design data can also be generated in the generation step, which represent a graphical representation of at least one pattern from a plurality of predefined even and/or odd point-symmetrical regions.
  • at least a subset of the even and/or odd point-symmetrical areas can be aligned on a regular or irregular grid, directly adjoin one another and additionally or alternatively be partially separated from at least one adjacent even and/or odd point-symmetrical area by a gap, with regard to their dimensions and/or their content patterns may be identical to or different from one another and additionally or alternatively be arranged in a common plane or in different planes.
  • Design data are generated that represent a graphical representation of at least one pattern with hierarchical symmetry. In this way, different patterns with specific information content and additionally or alternatively patterns with hierarchical symmetries can be produced for different distances to the pattern.
  • a pattern can comprise one or more point-symmetrical areas with odd or even point symmetry. These areas can, for example, be circular, hexagonal, square, elliptical, polygonal or else be designed.
  • the point-symmetrical areas can be of the same type or different in shape and size. You can connect to each other without gaps or be spaced apart.
  • the approach presented here also creates a device that is designed to carry out, control or implement the steps of a variant of a method presented here in corresponding devices.
  • the object on which the invention is based can also be achieved quickly and efficiently by this embodiment variant of the invention in the form of a device.
  • the device can have at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading in sensor signals from the sensor or for outputting data or control signals to the Have actuator and / or at least one communication interface for reading or outputting data that are embedded in a communication protocol.
  • the arithmetic unit can be, for example, a signal processor, a microcontroller or the like, with the memory unit being able to be a flash memory, an EEPROM or a magnetic memory unit.
  • the communication interface can be designed to read in or output data wirelessly and/or by wire, wherein a communication interface that can read in or output wire-bound data can, for example, read this data electrically or optically from a corresponding data transmission line or can output it to a corresponding data transmission line.
  • a device can be understood to mean an electrical device that processes sensor signals and, depending thereon, outputs control and/or data signals.
  • the device can have an interface that can be configured as hardware and/or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces it is also possible for the interfaces to have their own integrated circuits or at least in part to consist of discrete components consist.
  • the interfaces can be software modules which are present, for example, on a microcontroller alongside other software modules.
  • a system for detecting a moving object is also presented, the system having the following features:
  • An embodiment of the above device at least one camera, wherein the camera and the device can be or are connected to one another in a data-transmitting manner; and at least one predefined even and/or odd point-symmetrical area produced according to an embodiment of the aforementioned method for manufacturing, wherein the area can be arranged or is arranged in a field of view of the camera.
  • the system can offer the functionality of a light barrier.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and/or controlling the steps of the method according to one of the embodiments described above, is also advantageous used, especially when the program product or program is run on a computer or device.
  • the method can be implemented as a hardware accelerator on a SoC or ASIC.
  • 1 shows a schematic representation of an exemplary embodiment of a device for providing, an exemplary embodiment of a device for detection and a camera
  • 2 shows a schematic representation of an exemplary embodiment of a device for production
  • FIG. 3 shows a flowchart of an embodiment of a method for providing
  • FIG. 4 shows a flow chart of an exemplary embodiment of a method for detection
  • FIG. 5 shows a flow chart of an exemplary embodiment of a method for manufacturing
  • FIG. 6 shows schematic representations of display media with patterns of predefined point-symmetrical areas according to exemplary embodiments
  • FIG. 7 shows schematic representations of display media with patterns of predefined point-symmetrical areas according to exemplary embodiments
  • FIG. 8 shows schematic representations of the display media with the patterns from FIG. 7 with graphical highlighting of the patterns or the predefined point-symmetrical areas;
  • FIG. 10 shows a schematic representation of a pattern of predefined point-symmetrical regions according to an embodiment
  • FIG. 11 shows a schematic representation of the use of a look-up table according to an embodiment
  • 12 shows a schematic diagram of a voting matrix according to an embodiment
  • 13 shows a schematic representation of patterns arranged in the form of a cube by way of example according to an exemplary embodiment with regard to correct identification of a raster
  • Fig. 14 is an oblique perspective schematic representation of the pattern shown in the first partial representation of Fig. 6;
  • FIG. 15 shows the pattern from the first partial representation of FIG. 14 with an emphasis on a predefined point-symmetrical area
  • FIG. 16 shows a schematic illustration of the pattern from FIG. 15 after perspective rectification according to an exemplary embodiment
  • Fig. 17 is a schematic representation of an embodiment of a pattern having hierarchical symmetry
  • Fig. 18 is a schematic representation of an embodiment of a pattern having hierarchical symmetry
  • Fig. 19 is a schematic representation of an embodiment of a pattern having hierarchical symmetry
  • 21 shows a schematic representation of a detection situation using a predefined point-symmetrical area according to an embodiment
  • 22 shows a schematic representation of a detection situation using a pattern of predefined point-symmetrical regions according to an embodiment
  • 23 shows schematic representations of detection situations using a pattern of predefined point-symmetrical regions according to an embodiment
  • FIG. 24 shows a schematic representation of a detection situation using a pattern of predefined point-symmetrical regions according to an embodiment
  • 25 shows a schematic representation of a detection situation using a pattern of predefined point-symmetrical regions according to an embodiment.
  • Fig. 1 shows a schematic representation of an exemplary embodiment of a device 120 for providing, an exemplary embodiment of a device 140 for detection and, by way of example, only one camera 102.
  • the provision device 120 and the detection device 140 are connected to the camera 102 in a data-transmitting manner.
  • the provision device 120 and/or the detection device 140 can also be part of the camera 102 and/or be combined with one another.
  • the camera 102 is designed to record a camera image of the surroundings of the camera 102 . In the vicinity of the camera 102 , in a field of view of the camera 102 , for example, only one predefined even and/or odd point-symmetrical region 110 with a center of symmetry 112 is arranged. The at least one predefined even and/or odd Point-symmetrical area 110 can be at least partially covered by a moving object 100 from the perspective of the camera.
  • the camera 102 is also designed to provide or generate image data 105 that represents the camera image, the camera image also showing the predefined even and/or odd point-symmetrical region 110 and/or the moving object 100 .
  • the provision device 120 is designed to provide monitoring data 135 for the detection of the moving object 100 .
  • the provision device 120 comprises a reading device 124, a determination device 126 and optionally an implementation device 130.
  • the reading device 124 is designed to read the image data 105 from an input interface 122 of the provision device 120 to the camera 102.
  • the reading-in device 124 is also designed to forward the image data 105 representing the camera image to the determination device 126 .
  • Determination device 126 of provision device 120 is designed to use image data 105 and a determination rule 128 to determine the presence of center of symmetry 112 of the at least one point-symmetrical region 110 in the camera image in order to determine a concealment state of the at least one predefined even and/or odd point-symmetrical region 110 to be determined by the moving object 100.
  • the specification 128 will be discussed in more detail below.
  • the determination rule 128 is similar to or corresponds to a procedure that is disclosed in the subsequently published DE 10 2020 202 160 of the applicant.
  • the provision device 120 is designed to provide the monitoring data 135 depending on the concealment state.
  • the provision device 120 is designed to provide the monitoring data 135 to the detection device 140 via an output interface 138 of the provision device 120 .
  • determining device 126 is designed to forward the at least one specific center of symmetry 112 and/or the concealment state to implementation device 130.
  • Implementation device 130 is designed to compare the at least one center of symmetry 112 in the camera image with at least one reference center of symmetry from reference data 115 with regard to an intensity, a temporal intensity curve and/or a local intensity curve, in order to calculate an intensity-related deviation 131 between the center of symmetry 112 and the reference center of symmetry.
  • the implementation device 130 is also designed to read in or receive the reference data 115 from a storage device 150 .
  • the storage device 150 can be embodied as part of the provision device 120 or separately from the same.
  • the provision device 120 is designed here to provide the monitoring data 135 using the deviation 131 .
  • the detection device 140 is designed to detect the moving object 100 .
  • the detection device 140 comprises an evaluation device 144 and an output device 146.
  • the detection device 140 is designed to receive or read in the monitoring data 135 via an input interface 142 of the detection device 140 from the provision device 120.
  • the evaluation device 144 is designed to evaluate the monitoring data 135 provided by the provision device 120 in order to generate a detection signal 145 dependent on the monitoring data 135 .
  • the evaluation device 144 is also designed to forward the detection signal 145 to the output device 146 .
  • the output device 146 is designed to output the detection signal 145 to an output interface 148 to a processing unit for performing a light barrier function in order to detect the moving object 100 .
  • determination rule 128 is designed to cause a signature to be generated for a plurality of pixels of at least one section of the camera image in order to obtain a plurality of signatures.
  • each of the signatures is generated using a descriptor with a plurality of different filters.
  • Each filter has at least one type of symmetry.
  • Each of the signatures includes a sign for each filter of the descriptor.
  • the determination rule 128 is also designed to cause at least one reflector to be applied to the signs of one of the signatures in order to determine at least one mirror signature for at least one type of symmetry of the filters for the signature.
  • each reflector for a type of symmetry has specific rules for modifying the signs that are dependent on the filters of the descriptor.
  • the determination rule is also designed to cause a pixel having the signature to be checked for the presence of at least one other pixel with a signature corresponding to the at least one mirror signature in a search area dependent on at least one of the reflectors used in a vicinity of the pixel, in order to determine pixel coordinates of at least one symmetrical signature pair from the pixel and a further pixel if at least one further pixel is present.
  • the determination rule is designed to cause the pixel coordinates of the at least one symmetrical pair of signatures to be evaluated in order to identify the at least one center of symmetry.
  • determination device 126 is designed to use the pixel coordinates of each symmetrical signature pair that contributed to the correct identification of symmetry center 112 to generate a transformation rule for transforming pixel coordinates of symmetry center 112 and/or point-symmetrical region 110 for each already determined center of symmetry 112 to determine.
  • the transformation rule is applied to the pixel coordinates of the center of symmetry 112 and/or the point-symmetrical area 110 in order to correct a distorted perspective of the camera image.
  • it is advantageous, because it is more robust, more accurate and subject to less noise, to determine a transformation rule using a plurality of, in particular adjacent, point-symmetrical regions 110, in particular if these are located on a common plane.
  • determination device 126 is also designed to determine a type of symmetry of the at least one center of symmetry 112 .
  • the symmetry type represents an even point symmetry and additionally or alternatively an odd point symmetry.
  • implementation device 130 is designed to compare the type of symmetry of the at least one center of symmetry 112 in the camera image with a predefined type of symmetry of at least one reference center of symmetry from reference data 115 in order to determine a match between the at least one center of symmetry 112 and the at least to check a reference center of symmetry.
  • the image data 105 represent a camera image of at least one pattern from a plurality of predefined point-symmetrical regions 110.
  • the determination device 126 is designed to determine a geometric arrangement of symmetry centers 112 of the at least one pattern, a geometric sequence of symmetry types of the symmetry centers 112 to determine and/or to determine the correct pattern represented by the image data 105 from a plurality of predefined patterns using the sequence.
  • the arrangement and/or sequence may represent an identification code of the pattern.
  • determination device 126 is designed here to use the arrangement of the centers of symmetry 112 of the at least one pattern and/or the sequence of symmetry types of the centers of symmetry 112 to determine implicit additional information of the at least one pattern or a readout rule for reading out explicit additional information in the camera image to determine.
  • the arrangement and/or the sequence represents or represent the additional information in encoded form.
  • the additional information relates to the detection of the moving object.
  • FIG. 2 shows a schematic representation of an exemplary embodiment of a device 200 for production.
  • the device 200 for manufacturing is designed to at least one predefined even and / or odd point-symmetrical region 110 for use by the Preparation device from FIG. 1 or a similar device and/or detection device from FIG. 1 or a similar device.
  • the device 200 for manufacturing comprises a generating device 202 and a generating device 206.
  • the generating device 202 is designed to generate design data 204.
  • the design data 204 represents a graphical representation of the at least one even and/or odd predefined point-symmetrical region 110.
  • the generating device 206 is designed to use the design data 204 to generate the at least one predefined even and/or odd point-symmetrical region 110 on, on or in a To generate display medium to produce the same.
  • the generating device 202 is designed to generate design data 204, which is a graphic representation of the at least one predefined point-symmetrical region 110 as a circle, an ellipse, a square, a rectangle, a pentagon, a hexagon, a polygon or an annulus represent, wherein the at least one predefined point-symmetrical area 110 has a regular or quasi-random content pattern, and/or wherein a first half of an area of the at least one predefined point-symmetrical area 110 is specified arbitrarily and a second half of the area by point reflection and/or inversion is constructed from gray values and/or color values.
  • design data 204 is a graphic representation of the at least one predefined point-symmetrical region 110 as a circle, an ellipse, a square, a rectangle, a pentagon, a hexagon, a polygon or an annulus represent, wherein the at least one predefined point-symmetrical area 110 has a regular or quasi-random content pattern, and/or wherein a
  • the generating device 206 is designed to generate the at least one predefined point-symmetrical region 110 by an additive manufacturing process, separating, coating, forming, primary forming or optical display.
  • the display medium has glass, stone, ceramics, plastic, rubber, metal, concrete, plaster, paper, cardboard, food or an optical display device.
  • the generating device 202 is designed to generate design data 204 that represents a graphic representation of at least one pattern from a plurality of predefined point-symmetrical regions 110, with at least a subset of the point-symmetrical regions 110 on a regular or irregular grid-aligned, directly adjacent to each other and/or partially separated by at least one adjacent point-symmetrical region 110 by a gap, identical to or different from each other in terms of their dimensions and/or their content patterns, and/or arranged in a common plane or in different planes are. Additionally or alternatively, the generating device 202 is designed to generate design data 204 that represent a graphical representation of at least one pattern with hierarchical symmetry.
  • FIG. 3 shows a flow chart of an embodiment of a method 300 for providing monitoring data for the detection of a moving object.
  • the method 300 for providing can be carried out using the providing device from FIG. 1 or a similar device.
  • the method 300 for providing comprises a step 324 of reading in, a step 326 of determining and optionally a step 330 of carrying out.
  • step 324 of reading in image data provided by a camera are read in from an interface to the camera.
  • the image data represent a camera image of an area surrounding the camera.
  • At least one predefined even and/or odd point-symmetrical area is arranged in the surroundings in a field of view of the camera.
  • the at least one predefined even and/or odd point-symmetrical area can be at least partially covered by the moving object from the perspective of the camera.
  • step 326 of the determination using the image data and a determination rule, the presence of at least one center of symmetry of the at least one even and/or odd point-symmetrical area in the camera image is determined in order to determine an occlusion state of the at least one predefined even and/or odd point-symmetrical area identify the moving object.
  • the monitoring data are provided depending on the determined concealment state.
  • the monitoring data is provided depending on the deviation.
  • the image data read in in step 324 of reading represent a camera image of at least one pattern from a plurality of predefined point-symmetrical regions.
  • step 326 of determining a geometric arrangement of symmetry centers of the at least one pattern is determined, a geometric sequence of symmetry types of the symmetry centers is determined and/or the pattern is determined from a plurality of predefined patterns using the sequence.
  • the arrangement and/or the sequence represents an identification code of the pattern.
  • the step 326 of determining and/or the step 330 of implementation are carried out jointly for all centers of symmetry independently of the type of symmetry of the centers of symmetry or carried out separately depending on the type of symmetry of the centers of symmetry for the centers of symmetry of the same type of symmetry.
  • FIG. 4 shows a flowchart of an embodiment of a method 400 for detecting a moving object.
  • the method 400 for detection can be carried out using the detection device from FIG. 1 or a similar device.
  • the method 400 for detection can also be carried out in connection with the method for providing from FIG. 3 or a similar method.
  • the method 400 for detection comprises a step 444 of evaluating and a step 446 of outputting.
  • step 444 of evaluation monitoring data provided according to the method for providing from FIG. 3 or a similar method is evaluated in order to generate a detection signal dependent on the monitoring data. Subsequently, in step 446 of outputting the detection signal to an interface to a Output processing unit to perform a light barrier function to perform the detection of the moving object.
  • the manufacturing method 500 is executable to manufacture at least one predefined point-symmetrical region for use by the providing method of FIG. 3 or a similar method and/or for use by the detecting method of FIG. 4 or a similar method.
  • the method 500 for manufacturing can also be carried out in connection with or using the device for manufacturing from FIG. 2 or a similar device.
  • the method 500 for manufacturing comprises a step 502 of generating and a step 506 of creating.
  • step 502 of generation design data are generated which represent a graphical representation of the at least one predefined point-symmetrical area.
  • step 506 of generation the at least one predefined point-symmetrical area is generated using the design data on, on or in a display medium in order to produce the at least one predefined point-symmetrical area.
  • FIG. 6 shows schematic representations of presentation media 600 with patterns 610 of predefined point-symmetric regions 110A and HOB according to embodiments.
  • Each of the predefined point-symmetrical areas 110A and 110B corresponds to or is similar to the predefined point-symmetrical area from Fig. 1.
  • a pattern 610 of 49 predefined point-symmetrical areas 110A and HOB is shown merely by way of example
  • a second partial representation B there is a pattern 610 is shown from eight predefined point-symmetrical regions 110A and HOB, merely by way of example.
  • first predefined point-symmetrical areas 110A have odd point symmetry as the type of symmetry
  • second predefined point-symmetrical areas HOB have even point symmetry as the type of symmetry.
  • On each of the presentation media 600 a noise-like image pattern is printed with the respective pattern 610.
  • a use of symmetries in the field of machine vision according to exemplary embodiments can be illustrated with reference to FIG .
  • point symmetries are more or less hidden in the patterns 610, which are hardly recognizable to an observer.
  • the first partial illustration A contains 49 exemplary circular symmetrical regions 110A and 110B, of which 25 first regions 110A with odd point symmetry and 24 second regions HOB with even point symmetry are merely exemplary.
  • the symmetrical regions 110A and HOB are selected to be larger than in the first partial representation A, and thus in particular for larger or lower camera distances suitable image resolutions.
  • Circular symmetrical areas 110A and HOB are therefore located on the representation media 600 designed as plates, whereby in the case of odd or negative point symmetry, the point reflection maps light to dark and vice versa, while in the case of even or positive point symmetry this reversal does not take place.
  • several patterns 610 are required, they can be designed to be distinguishable. This can be done via the arrangement of the centers of symmetry of the areas 110A and HOB, as can be seen in FIG. 6, in which the first partial representation A and the second partial representation B are easily distinguishable, or by means of the sequence of negative or odd and positive or straight point symmetries of regions 110A and HOB within respective patterns 610.
  • FIG. 7 shows schematic representations of display media 600 with patterns 610 of predefined point-symmetrical areas according to FIG exemplary embodiments.
  • the patterns 610 correspond to or are similar to one of the patterns from FIG. 6, the patterns 610 being shown in the representation of FIG. 7 without graphical emphasis.
  • Ten presentation media 600 similar to those of FIG. 6 are shown in FIG. 7 by way of example only.
  • FIG. 8 shows schematic representations of the display media 600 with the patterns 610 from FIG. 7 with graphical highlighting of patterns or predefined point-symmetrical regions 110A and HOB.
  • patterns 610 with predefined point-symmetrical regions 110A and 110B are arranged or graphically highlighted on the ten display media 600 merely by way of example.
  • FIG. 7 and FIG. 8 show ten patterns 610 optimized for distinguishability only by way of example.
  • Each pattern 610 has an individual arrangement of the odd and even point-symmetrical regions 110A and HOB.
  • the patterns 610 are thus encoded by this arrangement.
  • the codings were selected here and matched to one another and/or optimized by training such that the ten patterns 610 are still clearly recognizable and distinguishable even if they are rotated or mirrored or captured by the camera in a partially covered manner.
  • the point-symmetrical regions 110A and HOB in the four corners of each display medium 600 are intentionally made slightly more conspicuous, respectively. This is irrelevant to the function itself, but offers practical advantages when manually assembling the display media 600 with the patterns 610.
  • the display media 600 with the patterns 610 can be arranged as desired within the scope of the manufacturing process already described, e.g. B. three-dimensional or flat in a row or as a surface.
  • the point symmetry centers of the patterns 610 can be found correctly and precisely within the scope of the provision method already described and/or by means of the provision device already described.
  • the patterns 610 may be printed on any size solid board, which may optionally be placed in a partially orthogonal relationship relative to one another.
  • the centers of symmetry can also be detected sufficiently well in the case of a blurred image of the pattern 610 by the camera in order to enable the functions described.
  • the detection of Point symmetry centers robust to a blurred image.
  • the patterns 610 of FIGS. 7 and 8 can be printed on paper, for example, and assembled into a flexible box. Even with non-flat or elastic surfaces (such as paper), the above-mentioned provision method works without any problems. This enables movements of these surfaces to be determined. In contrast to many substances, paper does not allow shearing, but the point symmetry is also invariant to shearing, so this does not pose a problem.
  • a position of the centers of symmetry in the camera images can be determined precisely.
  • This then allows e.g. B. to determine the smallest deviations between the actually observed pattern 610 and the ideal pattern according to the construction (ground truth).
  • This is of interest, for example, if the pattern 610 is printed on a non-smooth or non-rigid surface and thereby z. B. variable folds or dents arise in the pattern 610, the exact shape of which is to be determined.
  • random patterns are excellent for moving corresponding points from a first image to a second find picture.
  • the first and second images can be recorded in chronological order with the same camera or by two cameras from different perspectives.
  • the first image is a real image from a camera and the second image is an artificially generated (stored) image of the given pattern, also called a reference image, which e.g. B. was placed in the second image based on the centers of symmetry found (e.g. scaled, rotated, mapped affinely, projected) so that it comes as close as possible to the real (first) image.
  • a reference image processing steps that are necessary for the first image that comes from the camera, e.g. B. Image preprocessing steps.
  • z. B. the optical flow or the disparity estimation can be applied to z. B. to find the correspondence in the reference image for each pixel in the camera image - or vice versa.
  • the centers of symmetry found and, if applicable, the coding they contain are used to register or roughly align the real image with the known pattern.
  • This then represents the initialization to, in the second step, e.g. B. using optical flow methods to precisely determine the smallest deviations in the sense of local shifts between the registered real image and pattern, if necessary for each point or pixel of the image or pattern 610.
  • the computational effort required for the second step is the smaller the smaller the search area. Here it is usually very small - due to the good initialization from the first step.
  • the reference image should be provided for the two-step procedure mentioned above. That can be solved in such a way that for everyone in question upcoming pattern 610 the associated reference image is kept in a memory.
  • the associated memory overhead can be reduced by only storing the respective parameters that are necessary to recalculate or generate the reference image if required.
  • the patterns 610 can, for example, be generated according to simple rules using a quasi-random number generator.
  • the word "quasi" here indicates that the random number generator actually works according to deterministic rules and its results are therefore reproducible, which is an advantage here.
  • Rules are to be understood here, for example, as to the diameter of the symmetrical areas 110A and HOB and how the mirroring is to be carried out and how the pattern 610 is weighted and composed of a plurality of patterns with different degrees of detail, e.g. B. so that it can be easily detected at short, medium and large distances. It is then sufficient to store only the initialization data (seeds) of the quasi-random number generator and, if applicable, the selection of the rules for the construction of pattern 610. By means of this formation rule, the reference pattern can be generated again and again and identically (and then deleted again) if required.
  • the two-step procedure can be represented, for example, as follows.
  • the symmetry centers are found and their signs determined.
  • the sign here means the case distinction between odd and even symmetry.
  • the sequence of signs of the pattern 610 can also be referred to as a code. This can be described in a compact manner and requires a maximum of 64 bits for a pattern 610 with, for example, 8 ⁇ 8 centers of symmetry.
  • all existing or candidate codes should be stored. From this set, the code is sought that matches the observation with as few contradictions as possible. This result is usually unambiguous. This search is still possible even if the camera z. B.
  • the stored code should also store the information such as parameters and selection of rules necessary to generate the reference image. This is generated for the second step, e.g. B. as needed, i.e. only at the time when it is needed, and possibly only temporarily.
  • a transformation rule can be calculated that maps these coordinates into one another as well as possible, for example with a projective or affine mapping, which in the sense of the least squares optimization.
  • the two images can be transformed (warped) into a common coordinate system, e.g. B. in the coordinate system of the camera image or in the coordinate system of the reference image or in any third coordinate system.
  • the two images, which are already aligned with one another, are then compared more precisely, e.g. B. with optical flow methods.
  • the best corresponding pixel with surroundings of the second image is sought for each pixel of the first image, preferably taking into account its surroundings.
  • the relative displacement of the corresponding positions can be expressed as displacement information, in particular as absolute coordinates or as a displacement vector.
  • Such a displacement vector can be determined with sub-pixel accuracy, the correspondence is then usually not on the pixel grid, but in between.
  • This information allows highly accurate analyzes of the entire area of the pattern 610 captured in the camera image, e.g. B. to analyze deformations or distortions of the pattern 610 or its carrier/representation medium 600 with elastic patterns or deviations of the image in the optical path in the case of rigid patterns.
  • FIG. 9 shows schematic representations of predefined point-symmetrical regions 110A and HOB according to exemplary embodiments.
  • Each of the predefined point-symmetrical areas 110A and 110B corresponds to or is similar to the predefined point-symmetrical area from one of the figures described above.
  • a first partial view A shows a second point-symmetrical or even point-symmetrical area HOB including its center of symmetry 112 and a second partial view B shows a first point-symmetrical or odd point-symmetrical area 110A including its center of symmetry 112 .
  • the predefined point-symmetrical areas 110A and HOB here represent areas formed with gray levels.
  • point symmetry has the advantages over other forms of symmetry that it is retained when the pattern and/or the at least one predefined point-symmetrical area is rotated about the viewing axis, that when the pattern and/or the at least one predefined point-symmetrical area is tilted, i.e under oblique perspectives, is also preserved. Rotation and tilting of the pattern/or the at least one predefined point-symmetrical area do not pose a problem for the detection of the odd and even point symmetries, since these are retained.
  • the method for providing or providing method already mentioned above is also suitable for oblique perspectives of the pattern or the at least one predefined point-symmetrical area.
  • straight point symmetry for example, a gray or color value is retained in point reflection.
  • suitable odd or even point-symmetrical patterns is correspondingly easy.
  • the half of the respective area 110A or HOB shown at the top in the illustration in FIG. 9 is defined arbitrarily or generated at random.
  • the half shown below in the representation of FIG. 9 then results from this, namely by point reflection with inversion of the gray values for odd point symmetry or without inversion of the gray values for even point symmetry.
  • rpu 1 - r (red)
  • gpu 1 - g (g stands for green )
  • bpu 1 - b (blue).
  • dark violet maps to light green and blue maps to orange.
  • Colored patterns can represent more information than monochrome patterns, which can be advantageous.
  • a prerequisite for using this advantage is that the color information is also used in the conversion of the original image, i.e. color image of a camera or another imaging sensor, into descriptors.
  • a specific embodiment of the pattern 610 and/or the at least one predefined point-symmetrical region 110 or 110A and/or 110B will also be discussed below with reference to the figures described above.
  • the point-symmetrical regions 110 or 110A and/or HOB can be circular, for example, and these can in turn usually be arranged in a regular grid in the pattern 610.
  • areas can remain unused between the circular areas 110 or 110A and/or HOB.
  • the areas 110 or 110A and/or HOB can be square and adjoin one another without gaps, so that the entire area is utilized, or the symmetrical areas 110 or 110A and/or 110B can be regular hexagonal areas which also adjoin one another without gaps, so that the entire area is used.
  • FIG. 10 shows a schematic representation of a pattern 610 of predefined point-symmetrical regions 110A and HOB according to an exemplary embodiment.
  • the predefined point-symmetrical areas 110A and HOB correspond to or are similar to the predefined point-symmetrical areas from FIG. 1, FIG. 6 and/or FIG. 8.
  • the areas 110A and HOB in FIG. 10 are each circular and are arranged on a hexagonal grid. In this case, a distance between grid points or centers of symmetry can correspond to the circle diameter. Thus, an unused area 1010 between the areas 110A and HOB in the pattern 610 can be minimized.
  • shapes e.g. B. rectangles, polygons, etc.
  • the shapes can also be arranged differently, e.g. B. rotated, possibly with asymmetrical areas in between. It is also possible that the center of symmetry lies outside the point-symmetric region itself. This is the case, for example, with a circular ring as the shape. It is also not necessary for all point-symmetrical areas to lie in a common plane. Instead, they can lie on different surfaces arranged in space, which may also be uneven.
  • the pattern 610 and/or the at least one predefined point-symmetrical region 110 or 110A and/or HOB can be formed in a wide variety of ways. Only a few examples are given below.
  • Random pattern or quasi-random pattern such as noise pattern By including low spatial frequency components, these were formed in such a way that the camera still perceives them as sufficiently high-contrast noise patterns even at medium and large distances. So-called white Noise, ie uncorrelated gray values, would be unsuitable for this.
  • Aesthetic possibly regular patterns, such as floral patterns, tendril patterns (leaves, twigs, flowers), ornamental patterns, mosaics, mathematical patterns, traditional patterns, onion patterns, patterns of iconic symbols (hearts, etc.). Imitation of random patterns from nature, e.g. B.
  • the range from the camera should be perceived as odd and/or even symmetrical. It may therefore be necessary to include e.g. B. a later illumination, such as oblique incidence of light on a relief, and non-linearities in the optical image and other disturbances to be considered. It is not essential that the 3D shape or relief itself has the even and/or odd type of point symmetry, but that the image captured by the camera shows this symmetry. The incidence of light or the direction of illumination and the reflection of the light on the surface are also relevant and should be taken into account in the design.
  • the recording technique should be designed to be suitable for recording the pattern 610 and/or the at least one predefined point-symmetrical area 110 or 110A and/or HOB.
  • suitable lighting e.g. flashlight or stroboscopic light or bright LED light
  • pattern 610 and/or area(s) 110 or 110A and/or HOB can be illuminated from one side and observed from the other side.
  • disruptive reflections from the light source on the display medium can be effectively avoided.
  • the risk of contamination of sample 610 and/or area(s) 110 or 110A and/or HOB or camera or wear and tear of sample 610 and/or area(s) 110 or 110A and/or HOB can also be a Play role: So it can z. B.
  • the descriptor is another form of representation for the local image content that prepares it in a form that is easier to process. Under simpler is to be understood here, among other things: contains information about the environment of the point and not only about the point itself, extensive invariance with respect to brightness or illumination and their change and lower sensitivity to noise of the sensor.
  • the descriptor image can have the same resolution as the original image, such that there is approximately one descriptor per pixel of the original image. Other resolutions are also possible, alternatively or additionally.
  • a signature is formed from the respective descriptor, which is represented in a computer unit as a binary word, or from a plurality of adjacent descriptors, which describes the local environment of the pixel of the original image as characteristically as possible.
  • the signature can also be identical to the descriptor or a part of it.
  • the signature is used as an address to access a lookup table. If the signature consists of N bits, a look-up table of size 2N (ie: 2 to the power of N ) can be accessed. It is advantageous not to select a word length N of the signature that is too large, since the memory requirement for the table grows exponentially with N: for example 8 ⁇ N ⁇ 32.
  • the signature or the descriptor is constructed in such a way that signature symmetries with simple operations, e.g. B. bit-wise XOR (exclusive or) on a part of the bits can be determined.
  • SP bit-wise XOR (exclusive or) on a part of the bits.
  • Example: SP s A RP, where s is a signature of length N bits and RP is a matched reflector (R) for point symmetry (P).
  • the character A stands for the bitwise XOR operation.
  • the signature SP stands for the point-symmetrical counterpart of the signature s. This relationship also applies in the opposite direction. If the construction of the descriptor or signature is fixed, the reflector is automatically fixed (and constant). By applying it to any signature, it can be transformed into its symmetric counterpart.
  • voting weight is cast there or as close as possible and collected in a voting matrix (voting map).
  • the weighted voting weights accumulate at the locations of the sought-after centers of symmetry. These can thus be found, e.g. B. by searching the voting matrix for accumulation points.
  • An even more precise localization with sub-pixel accuracy is possible if the local surroundings are also included in the analysis when evaluating the coordination matrix for determining the accumulation points and precise localization of the centers of symmetry.
  • FIG. 15 of DE 10 2020 202 160 illustrates an algorithm which can find point-symmetrical correspondences to the signature currently being considered. However, only straight point symmetries were taken into account.
  • this algorithm is extended to odd point symmetries. It is particularly advantageous that the odd and even symmetries can be determined simultaneously in just one common pass. This saves time because only one pass through the signature image is required instead of two, and latency. When only one pass (rather than two) is required, stream mode processing can provide the result of the symmetry search with much lower latency. Processing starts as soon as the first pixel data arrives from the camera and the processing steps are carried out in quick succession. That means the signature is already calculated as soon as the necessary image data from the local environment of the current pixel are available. The search for symmetries is immediately carried out for the signature just formed.
  • the voting matrix (voting map) can be used jointly for both forms of symmetry, ie even point symmetry and odd point symmetry, with the two forms of symmetry or types of symmetry with different signs participating in the vote, e.g. B. Subtraction of the voting weight in case of odd point symmetry and addition of the voting weight in case of even point symmetry. This is explained in more detail below. Furthermore, energy can also be saved by saving memory.
  • the low-latency implementation option described above also means that only a small amount of intermediate data needs to be stored, in contrast to entire images. This working with little memory is particularly important for cost-critical embedded systems (embedded systems) and also leads to savings in energy consumption.
  • FIG. 11 shows a schematic representation for using a lookup table 1150 according to an embodiment.
  • the look-up table 1150 is usable by the determining means of the provisioning apparatus of FIG. 1 or a similar apparatus.
  • an exemplary embodiment of an algorithmic procedure when searching for point-symmetrical correspondences in FIG. 11 is a snapshot in connection with the device for providing from FIG. 1 or a similar device and/or the method for providing from FIG. 3 or a similar procedure shown.
  • FIG. 11 is also similar to that in FIG. 15 published DE 10 2020 202 160, in which case FIG. 11 additionally includes an extension to include even and odd point symmetry.
  • the lookup table 1150 may also be referred to herein as an entry table.
  • a pixel grid 1100 is shown, in which a signature s with the exemplary value 2412 was generated for a currently viewed or processed pixel.
  • FIG. 11 shows a snapshot during the formation of a concatenation of pixels or pixel coordinates with an identical signature s.
  • a reference to the position of the last predecessor signature that had the same signature value can be stored per pixel in the pixel grid 1100 . This creates a concatenation of positions with an identical signature. The signature values themselves therefore do not need to be stored.
  • a corresponding entry position in the pixel grid 1100 is stored for each signature value in the lookup table 1150 or entry table with N table fields.
  • N corresponds to a number of possible signature values.
  • the stored value can also be "invalid".
  • the contents of the lookup table 1150 or entry table and the image of references (linking image) change dynamically.
  • Concatenations between pixel positions each with an identical signature s are only stored for a first image area 1101 .
  • the concatenations and signatures are not yet known at the time shown, and for a third image area 1103 in the upper part of the image, the concatenations, e.g. B. due to a limitation of a search area, no longer needed, wherein a concatenation memory for pixels in the third image area 1103 can be released again.
  • the index PG stands for point symmetry, straight line.
  • the index PU is also used below stands for point symmetry, odd.
  • the look-up table 1150 comprises two elements: the entry pixel positions for the respective signature s together with the references thereto illustrated by curved arrows. Other possible contents of the lookup table 1150 are not shown for the sake of clarity.
  • a search area 1104 which can also have a different form than that shown here, e.g. B. rectangular or circular.
  • two point-symmetric correspondence candidates that lie within the search region 1104 are found.
  • the third correspondence which is the first element of the even point symmetry concatenation, is not of interest here because it is outside the search region 1104 and thus too far from the current pixel position. If the number of symmetry center candidates 1112 is not too large, a voting weight for the position of the respective symmetry center can be cast for each symmetry center candidate 1112 .
  • the symmetry center candidate 1112 is in each case in the middle on the connecting axis between the position of the signature s and the respective signature SPG that has just been point-mirrored. If there is more than one symmetry center candidate 1112, the voting weight can be reduced in each case, for example the reciprocal of the number of symmetry center candidates can be used as the respective voting weight. As a result, ambiguous symmetry center candidates are weighted less than clear symmetry center candidates.
  • the entry into the corresponding concatenation is found via the same lookup table 1150 .
  • the lookup table 1150 refers to the concatenation shown for odd point symmetry for the signature 3731.
  • the first two pixel positions along the concatenation again lead to the formation of symmetry center candidates 1112 because they are located in the search region 1104 and because the number of symmetry center candidates 1112 is not too large .
  • the last pixel position along the concatenation lies in the third image area 1103. This area is no longer required at all, since it can no longer come into the search area 1104, which is sliding line by line here.
  • the snaking along the link can be terminated.
  • the shimmying is also terminated when the end of the chain is reached.
  • the concatenation memory requirement is therefore low overall and essentially depends here only on one dimension of the search area 1104, here the height of the search area, and on one dimension of the signature image, here the width of the signature image.
  • a symmetry center candidate 1112 or candidate for a symmetry center does not always fall exactly on a pixel position, but there are three other possibilities. There are therefore four possibilities overall: 1. Point or symmetry center candidate 1112 falls on a pixel position. 2. Point or symmetry center candidate 1112 falls in the middle between two horizontally directly adjacent pixel positions.
  • Point or symmetry center candidate 1112 falls in the middle between two vertically directly adjacent pixel positions.
  • Point or symmetry center candidate 1112 falls in the middle between four directly adjacent pixel positions.
  • voting weight In the ambiguous cases 2. to 4., it is advantageous to distribute the voting weight to be cast evenly over the pixel positions involved.
  • the voting weights given are entered in a voting matrix and added up or accumulated therein.
  • the same resources are used for the odd and even point symmetries, i.e. lookup table 1150 or entry table, chaining diagram, matching matrix, which in particular saves memory requirements, and both forms of symmetry or types of symmetry are considered in a joint run, which saves time and cache saves.
  • the diagram 1200 refers to a voting matrix as a 3D plot for a camera image processed by the device for providing from FIG. 1 or a similar device, in which the Pattern from the second partial illustration of FIG. 6 was recorded by a camera.
  • FIG. 12 shows that these extremes are very clearly pronounced and can therefore be detected easily and unequivocally for the device for providing from FIG. 1 or a similar device and/or the method for providing from FIG. 3 or a similar method.
  • the information about the type of symmetry, i.e. odd or even, is contained in the sign.
  • a high-precision determination of the position of the centers of symmetry with sub-pixel accuracy is possible if the local surroundings of the respective extremum are also taken into account when evaluating the coordination matrix. Appropriate methods for this are known to those skilled in the art. If the patterns are properly constructed, odd and even point symmetries do not compete with each other. Then an image area has, if at all, either the odd or the even point symmetry form.
  • a separate treatment of odd and even point symmetry can be provided. It makes sense that the splitting takes place before the entries in the voting matrix: Instead of a common, signed voting matrix, two unsigned voting matrices are then provided, with the voting weights for negative symmetries being entered in the first and the voting weights for positive symmetries in the second voting matrix.
  • Patterns can also be constructed and dated Detection algorithm are taken into account, which simultaneously have odd and even point symmetry and whose center of symmetry coincides locally. While such a mixed symmetry form is very unusual, this unusualness ensures that confusion with random patterns occurring in the images is extremely unlikely.
  • the two matching matrices are then to be searched for maxima that are present at the same location in both matrices.
  • Another possible advantage of treating odd and even point symmetry separately is that it is easier to parallelize and, as a result, it can be executed more quickly. Because by using two voting matrices, access conflicts when entering the voting weights can be avoided, which saves waiting times.
  • Fig. 13 shows a schematic representation of patterns 610 arranged in the form of a cube, for example, according to an embodiment with regard to correct identification of a grid 1311.
  • the patterns 610 shown in Fig. 13 are, for example, patterns from Fig. 7 or Fig. 8, three of which are here arranged in a cube shape.
  • Detected or identified centers of symmetry 112A and 112B of respective predefined point-symmetrical areas of the pattern 610 of the patterns 610 are shown, with the sign and values of the associated extrema in the matching matrix optionally also being able to be known.
  • First centers of symmetry 112A are assigned to predefined point-symmetrical areas with odd point symmetry and second centers of symmetry 112b are assigned to predefined point-symmetrical areas with even point symmetry.
  • a correct grid 1311 is drawn in for one of the patterns 610, on which the predefined point-symmetrical areas and thus the centers of symmetry 112A and 112B are aligned.
  • the correct grids are to be searched for the other two patterns 610 , incorrect solutions of the grid search being illustrated by first markings 1313 and correct solutions of the grid search being illustrated by second marking 1314 in FIG. 13 .
  • Finding the associated correct grids is an ambiguous task. After the odd/even coded symmetry centers 112A and 112B have been detected, the next step is often to group them and determine which pattern 610 this group belongs to, since it is not always known in advance which and how many patterns 610 are contained in the image. Part of this task may be finding the grids 1311 on which the centers of symmetry 112A and 112B are located. Instead of a square grid 1311, other topologies for the arrangement of the centers of symmetry 112A and 112B are also possible, e.g. B. annular concentric arrangements, see e.g. B. the second partial representation in Fig. 6. As a representative, square grids 1311 are considered below.
  • FIG. 14 shows a schematic representation of the pattern 610 shown in the first partial representation of FIG. 6 in an oblique perspective.
  • a first partial representation A the representation medium 600 with the pattern 610 made up of the predefined point-symmetrical regions 110A and HOB is shown in FIG. 14 .
  • a second partial representation B in FIG. 14 are the means of the device for providing from FIG. 1 or a similar device and/or the method for providing from FIG. 3 or a similar method identified and detected centers of symmetry 112A and 112B of pattern 610 are shown.
  • the symmetry centers 112 A and 112 B have been detected and at least their positions are available.
  • FIG. 15 shows the pattern 610 from the first partial representation of FIG. 14 with an emphasis on a predefined point-symmetrical region HOB.
  • a predefined straight point-symmetrical area 110B is graphically emphasized here merely by way of example in order to illustrate a distortion of the pattern 610 or of the areas 110A and HOB as a result of the oblique perspective.
  • the point-symmetrical regions 110A and HOB which are predefined as circular here by way of example, are distorted into ellipses by the oblique perspective.
  • a reconstruction of the correct grid or topology of the pattern 610 is discussed below with particular reference to FIGS. 14 and 15 and general reference to the figures described above.
  • each circular area 110A and HOB from which the voices for the respective center of symmetry 112A and 112B originate, becomes an ellipse.
  • the shape and orientation of the respective ellipse can be deduced.
  • the direction and relationship of the major axes of the ellipse reveal how it can be stretched or straightened to convert it back into a circle.
  • this area HOB is circular or approximately circular, e.g. B. hexagonal. From an oblique perspective, this circle becomes an ellipse.
  • symmetrical pairs of points contribute to forming the extremum in the matching matrix that lies within this ellipse.
  • it is traced back to where in the camera image the pairs of points that have led to the formation of a sufficiently strong extremum come from.
  • a further processing step is carried out for this purpose. It is initially assumed that the tuning has already taken place and that the sufficiently strong symmetry centers have already been found. The starting point is therefore a situation as shown in the second partial representation B of FIG. The voting process is then repeated in a modified form.
  • the already existing reconciliation matrix is not created again. Instead, for each pair of symmetrical points that would contribute to the matching matrix, it is checked whether the contribution would contribute to one of the found centers of symmetry 112A, 112B and thus has already contributed in the first run. If this is the case, the two positions of the pair of points are saved or processed immediately.
  • the index of the center of symmetry 112A, 112B, to which the symmetrical pair of points contributes is also stored or used. In this way, all contributions to the successful symmetry centers can be subsequently determined and (temporarily) stored or reused.
  • a major axis transformation can be formed over the set of all points contributing to a center of symmetry 112A, 112B in order to determine the orientation of the major axes and the two diameters of the determine the ellipse. This is even possible without the contributing image positions needing to be temporarily stored: Instead, they can be charged immediately after they become known.
  • the elliptical envelope around the set of points can also be determined, with which the largest possible part of the set of points, excluding any outliers, is enclosed as closely as possible.
  • an index image equivalent to an index matrix
  • the index image serves the same purpose, which is to form the parameters of all ellipses, but it stores the information in a different way.
  • the index image ideally has the same size as the signature image and is set up to store indices, specifically the indices assigned to the centers of symmetry 112A, 112B found.
  • a special index value e.g. B. 0, is provided to indicate that there is no entry yet. If, when running through the further processing step, a symmetrical pair of points or pair of signatures is found that contributes to an i-th index, then the index i is entered at the two associated locations of the respective signatures.
  • an index image is obtained in which all the indices assigned to the centers of symmetry 112A, 112B occur multiple times, with these forming elliptical areas: Apart from a few outliers, each elliptical area then only contains entries with a uniform index, as well as the Index 0 at the unused positions. The index image can then be easily evaluated to determine the parameters of each ellipse. Otherwise, it is not necessary to save the entire index picture. As soon as the data no longer changes in a section of the index picture, this section can already be evaluated and the memory can then be released again. This also leads to lower temporal latency, so that intermediate results can be provided earlier.
  • FIG. 16 shows a schematic representation of the pattern 610 from FIG. 15 after a perspective rectification according to an embodiment.
  • FIG. 16 shows the pattern 610 from FIG. 15 after it has been stretched normal or perpendicular to the direction of the found ellipse or the highlighted elliptically distorted area HOB by the ratio of the two main axis lengths.
  • the correct grid 1311 can be found in a simple manner. The ellipse is thus rectified in comparison with FIG.
  • Fig. 16 is for illustrative purposes only. In practice, it is not necessary to warp the image. Since the information about the positions of the symmetry centers 112A and 112B is already available in a condensed form, it makes sense to continue working only with this data and to transform its coordinates, with the transformation rule being formed from the determined ellipse parameters in such a way that the ellipses become circles.
  • one global transformation per section can be sufficient to determine the grid 1311 .
  • the transformation rule mentioned above can be applied globally and/or locally.
  • all projection centers are transformed using the same, common transformation rule. This is useful and sufficient in many cases.
  • the common transformation rule can be formed from the joint consideration of all ellipses. If the symmetry centers 112A and 112B lie spatially on several surfaces, the ellipses can be classified into groups according to their parameters. The ellipses belonging to a surface have very similar parameters - especially if the surface is flat.
  • a global transformation rule can then be determined and applied for each group. This procedure is appropriate for a telephoto focal length.
  • the local transformation makes sense when the majority of the circular areas are imaged in differently shaped or differently oriented ellipses by the imaging of the camera. This is especially the case with wide-angle cameras or lenses with high distortion.
  • the symmetry center positions belonging to the same face are at least approximately on a common grid 1311.
  • the next task is to associate the symmetry centers 112A and 112B with the grid positions. This can e.g. B. be carried out iteratively in small steps. For example, for a center of symmetry 112A, 112B, up to four nearest neighbors are searched that have approximately the same distance, see also the markings from Fig. 13. From the neighbors you work your way to the other neighbors until all centers of symmetry 112 A and 112 A and 112 B, which belong to a pattern 610, are assigned to a common grid 1311 or can be excluded from it.
  • each center of symmetry 112A, 112B is associated with a surface.
  • the patterns 610 can then be identified for the surfaces, preferably using the binary coding associated with the centers of symmetry 112A and 112B, which is contained in the sign of the extremum in each case.
  • pattern 17 shows a schematic representation of an embodiment of a pattern 1710 with hierarchical symmetry.
  • the pattern 1710 corresponds or resembles a pattern from the figures described above. More specifically, pattern 1710 has a two-level hierarchy of four predefined point-symmetrical regions 110A and HOB, by way of example only. According to the exemplary embodiment illustrated here, the pattern 1710 has two predefined odd point-symmetrical regions, merely by way of example 110A and two predefined straight point-symmetrical areas HOB.
  • the pattern 1710 as a whole has an odd point-symmetrical structure.
  • the intrinsically even point-symmetrical regions 110B and the inherently odd point-symmetrical regions 110A are on a first hierarchical level.
  • the overall arrangement of the odd point-symmetrical pattern 610B is on a second hierarchical level.
  • the center of symmetry 112 of the second hierarchical level is marked with the quartered circle.
  • FIG. 18 shows a schematic representation of an embodiment of a pattern 1810 with hierarchical symmetry.
  • the pattern 1810 in FIG. 18 is similar to the pattern from FIG. 17. More precisely, FIG. 18 shows a further example for a two-level hierarchy of predefined point-symmetric regions HOB.
  • the predefined point-symmetrical areas HOB are each point-symmetrical.
  • the second hierarchy level there is odd point symmetry at the level of pattern 1810, with center of symmetry 112 at the center of a six-point hexagon shown for illustrative purposes.
  • the odd symmetry manifests itself here in an inversion of the predefined point-symmetrical areas HOB, e.g. B.
  • a dark symbol on a light background is reflected in a light symbol on a dark background.
  • FIG. 19 shows a schematic representation of an embodiment of a pattern 610 with hierarchical symmetry.
  • the pattern 610 is constructed from the patterns 1710 and 1810 from FIGS. 17 and 18 or their inverted and/or point-mirrored form.
  • the pattern 610 has a three-level hierarchy of two patterns 1710 from FIG. 17 and two patterns 1810 from FIG. 18, by way of example only. Patterns 1710 and 1810 are odd and thus inverted mirrored at the center of symmetry 112 of pattern 610 at the center of a sixteenth hexagon shown for illustrative purposes.
  • pattern 1710 shown in the lower right of Figure 19 is an inverted form of pattern 1710 in the upper left. This hierarchical principle can be continued at will, i.e.
  • FIG. 17 and FIG. 18 each show an example of how a two-stage hierarchical pattern 1710 or 1810 can be constructed. Based on this, a three-level hierarchical pattern 610 is constructed in FIG. The example from FIG. 19 therefore contains three hierarchical levels.
  • the third hierarchical level extends over the entire surface of the pattern 610 (area framed by dashed lines) and includes the center of symmetry 112.
  • the second hierarchical level there are the four patterns 1710 and 1810 (each framed by a solid line), each with a center of symmetry in the middle (not explicitly mentioned here).
  • the first hierarchical level there are consequently 16 predefined point-symmetrical regions, each with a center of symmetry, according to the exemplary embodiment illustrated here.
  • the symmetry of the third hierarchical level is already visible from a greater distance. During an approach, the four symmetries of the second hierarchical level also become visible.
  • the symmetries of the first hierarchical level also become visible.
  • FIG. 20 shows schematic representations of patterns 610 according to exemplary embodiments.
  • FIG. 20 shows a pattern 610 which is, by way of example, one of the patterns from FIG. 8 .
  • a pattern 610 is shown in FIG.
  • predefined point-symmetrical areas 110A and 110B which is made up of four predefined point-symmetrical areas 110A and 110B, for example, here, for example, a predefined odd point-symmetrical area 110A and three predefined even point-symmetrical areas HOB on a square grid.
  • a code matrix 2010 for explicit additional information is arranged in the pattern 610 here.
  • the implicit additional information from the first partial representation A is explicitly contained in the code matrix 2010 purely by way of example.
  • the predefined area 110A with odd point symmetry characterizes or marks the start line of the 8 ⁇ 8 matrix so that a readout sequence is clearly defined.
  • the pattern 610 may be useful or necessary to use the pattern 610 to transmit additional information to a recipient, for example to a computer, autonomous robot, etc.
  • the additional information can be more or less extensive.
  • Some illustrative examples of additional information include stopping point, picking up charge, position at location 52°07'01.9"N 9°53'57.4"E facing southwest, turn left, speed limit 20 km/h, charging station for lawn mower, etc.
  • a distinction can be made between implicitly and explicitly contained additional information see the two examples in FIG. 20, in which 64 bits of additional information are provided once implicitly and once explicitly.
  • Implicit overhead means that it is somehow included in the symmetric patterns 610 themselves, while explicit overhead is generally designed and captured separately from those patterns 610.
  • implicit additional information is illustrated using the first partial illustration A of FIG. 20: implicit additional information as binary code. Since the choice between odd and even point symmetry is made when constructing the pattern 610 for each symmetrical region 110A and HOB, additional binary information (corresponding to 1 bit) can thus be transmitted in each case. If you also allow patterns that are odd and even with point symmetry at the same time, the binary additional information becomes ternary additional information, i.e. three cases instead of two.
  • a further possibility for the transmission of additional information results from the use of non-uniform distances between the centers of symmetry of the areas 110A and 110B, ie implicit additional information based on the arrangement. Unlike the arrangement shown in FIG. 20, where the centers of symmetry lie on a square grid, they would then be arranged irregularly, with the additional information or part of it being encoded in this arrangement.
  • Example: If the respective center of symmetry is allowed to be shifted by a fixed distance to the left/right and up/down, there are 9 possible positions, with which Iog2(9) 3.17 bits of additional information per center of symmetry can be encoded. Diagonal perspectives between the imaging sensor and the pattern 610 do not pose a problem with any of the options mentioned.
  • some of the centers of symmetry can be used to define a coordinate system or the regular basic grid.
  • the deviations or binary/ternary codes used for coding then relate to this basic grid.
  • the symmetrical areas 110A and HOB for implicit additional information should not be too small so that sufficiently prominent extremes form in the matching matrix. If a large amount of additional information (in particular static, location-based) is to be transmitted to the recipient (e.g. a mobile robot), it can be advantageous to encode it explicitly.
  • the second partial illustration B of Fig. 20 shows how static, location-based additional information in particular can be explicitly transmitted to the recipient (e.g. a mobile robot): It can be agreed, for example, that in a coordinate system defined by the centers of symmetry at certain coordinates there is more information that z. B. are encoded in binary (black/white) or in further gradations (gray levels) or in colors.
  • the procedure then consists of two steps: In a first step, a field is found using odd and even symmetries, for example the code matrix 2010, in which further information is encoded. In a second step, the field and thus the information contained therein is read out.
  • Diagonal perspectives between the imaging sensor and the pattern 610 do not pose a problem, because the readout of the explicit additional information does not require that the base vectors of the coordinate system found are perpendicular to one another, nor that they are of the same length.
  • the image can also be rectified in such a way that a Cartesian coordinate system is then available.
  • a display can also be installed in the field with the pattern 610, which in addition to information that is static over time can also transmit information that changes over time and/or that transmits information about the change over time.
  • High-resolution additional information can also be contained in the pattern 610 itself, with implicit error detection.
  • additional information is contained in the sequence of the black-and-white or colored or greyscale pattern 610 itself. With the aforementioned classification, this additional information would be implicit and explicit at the same time. Because the pattern 610 or at least parts of it has symmetries, the additional information is automatically contained redundantly, typically twice in each case. This applies to both for odd as well as for even point symmetry. This fact can be used for error correction or error detection.
  • a pattern 610 is soiled, for example by bird droppings, then it is possible with a high degree of certainty to detect the error that has arisen as a result in the additional information, because the same error is most likely not present at the associated symmetrical position.
  • FIG. 21 shows a schematic representation of a detection situation using a predefined point-symmetrical region 110 according to an embodiment.
  • FIG. 21 shows a system 2100 for detecting a moving object 100.
  • the predefined point-symmetrical area 110 corresponds to or is similar to one of the predefined point-symmetrical areas from one of the figures described above.
  • the center of symmetry 112 of the predefined point-symmetrical region 110 is also shown.
  • an object 100 merely by way of example in the form of a vehicle, and a unit composed of camera 102 and device 120, 140 are shown.
  • the object 100 can move along a movement direction through a surveillance region between the camera 102 and the predefined point-symmetrical area 110 .
  • the system 2100 comprises the device 120, 140 and the camera 102 as well as only one predefined even and/or odd point-symmetrical region 110.
  • the device 120, 140 corresponds to or is similar to the device 120, 140 from Fig. 1.
  • FIG. 21 shows a simple arrangement with a camera 102 and a point-symmetrical area 110 on an opposite side of a, for example, conical monitored region or regions. If the object 100 covers a predominant part of the camera view of the point-symmetrical region 110, this will be the case when the method for providing from Fig. 3 and the method for detecting from Fig. 4 and/or by means of the providing device and the detection device from Fig. 1 are implemented detected.
  • This arrangement allows objects 100 moving between the camera 102 and the area 110 to be counted, for example.
  • FIG. 22 shows a schematic representation of a detection situation using a pattern 610 of predefined point-symmetrical regions 110 according to an embodiment. The illustration in FIG. 22 corresponds to or is similar to the illustration from FIG.
  • Pattern 610 corresponds or resembles a pattern from any of the figures described above.
  • the predefined point-symmetrical regions 110 are lined up along a line by way of example.
  • a plurality of point-symmetrical regions 110 belong to a pattern 610 which is observed by only one camera 102.
  • the point symmetry centers 112 are placed along a path that is approximately parallel to a direction along which the object 100 typically moves.
  • the object 100 already covers a point-symmetrical area 110 and will cover further areas 110 one after the other as the journey continues.
  • This arrangement of areas 110 allows, for example, the speed and length of object 100 to be determined.
  • FIG. 23 shows schematic representations of detection situations using a pattern 610 of predefined point-symmetrical regions according to an embodiment.
  • Pattern 610 corresponds or resembles a pattern from any of the figures described above.
  • a pattern 610 is shown in each case from a plurality of predefined odd point-symmetrical areas with first centers of symmetry 112A highlighted for illustration and even point-symmetrical areas with second centers of symmetry 112 B highlighted for illustration, with the Pattern 610 from the point of view of a camera is partially covered by an object 100 embodied as a vehicle only by way of example.
  • FIG. 23 illustrates a presence detection of objects 100
  • the pattern 610 comprises a two-dimensional array of point-symmetrical regions.
  • FIG. 24 shows a schematic representation of a detection situation using a pattern 610 of predefined point-symmetrical regions according to an embodiment.
  • Pattern 610 corresponds or resembles a pattern from any of the figures described above.
  • FIG. 24 shows an exemplary arrangement of a system 2100 for a three-way intersection, with a camera 102, the patterns 610, a path 2400 for an object in the form of a vehicle, pedestrian or other road user within or from a bird's eye view outside of a building and two mirrors 2403 by way of example only.
  • the arrangement with suitably aligned mirrors allows all typically used paths 2400 to be monitored simultaneously.
  • FIG. 24 shows a T-intersection of aisles in a building or outside of a building, in particular where people can walk along the path 2400 . Border areas shown dashed in the illustration represent the walls, windows, doors, etc.
  • FIG. 25 shows a schematic representation of a detection situation using a pattern 610 of predefined point-symmetrical regions according to an embodiment.
  • Pattern 610 corresponds or resembles a pattern from any of the figures described above. More specifically, FIG. 25 shows an exemplary arrangement of a system 2100 with a camera 102, the pattern 610 and a mirror 2403, from a bird's eye view.
  • camera 102 and template 610 are on the same side of the monitored region.
  • Camera 102 is hidden behind pattern 610 and looks through a hole in pattern 610.
  • mirror 2403 which is positioned so that camera 102 can capture the mirror image of pattern 610 as a whole. For this it is sufficient when mirror 2403 is only half the size of pattern 610 in both dimensions.
  • the method described with reference to FIG. 3 and/or FIG. 4 can be used in the sense of a light barrier.
  • the light barrier replacement made possible according to the exemplary embodiments comprises in particular at least one area 110 or a pattern 610 with one or more point symmetries contained therein and an imaging sensor, for example a camera 102.
  • the pattern 610 or the area 110 and the camera 102 are, if none Mirror 2403 is used, placed on opposite sides. See Figure 21 for an example of such an arrangement.
  • Either the camera 102 has a clear view of the pattern 610 or area 110, or the view is blocked by an object 100 in between. At least these two cases can be distinguished according to exemplary embodiments.
  • Similar tasks can be fulfilled as a classic light barrier, e.g. B. to determine the presence of objects 100 or to count objects such as people, vehicles, objects on a conveyor belt, etc.
  • exemplary embodiments offer a number of advantages, which are given below by way of example and which can be decisive in certain application scenarios.
  • the system is passive. It does not require a special light source. It gets by with the available ambient light, e.g. B. daylight or indoor lighting.
  • the method described with reference to FIG. 3 and/or FIG. 4 works more reliably than comparable image processing methods and can also be carried out with very little computing effort. Fluctuations in lighting intensity, lighting color, brightness distribution, color distribution, visibility conditions, shadows, image sharpness or arrangement do not affect the process, since the property of point symmetry, in combination with the descriptors used, remains largely unaffected. That
  • the method can also dispense with a reference image of the template 610 in order to compare the camera image with the reference.
  • a reference image can be used, e.g. B. can be generated temporarily if required.
  • the area 110 or pattern 610 is imperceptible.
  • the pattern 610 or area can be designed in such a way that people are practically unaware of its purpose.
  • point symmetry - especially odd point symmetry - is very difficult for humans to find - even if they look for it.
  • a retro-reflector is always visible in a conventional retro-reflective sensor.
  • the advantage of imperceptibility can mean that exemplary embodiments are better protected against malicious manipulation, are difficult for criminals to circumvent, aesthetically designed environments, e.g. B. hotel, museum, residential building, office, waiting room, landscape garden, etc., do not need to be disfigured by disruptive technical equipment, etc.
  • the pattern 610 with point symmetries can also be deliberately designed aesthetically, because symmetries are definitely perceived as aesthetic. Most people will still not recognize the purpose of the light barrier.
  • a whole route or a whole area can be monitored because of the large area of the camera sensor.
  • several areas 110 are placed next to each other, in particular for monitoring a route, see FIG. 22, or next to and above one another, in particular for monitoring an area, see FIG. 23.
  • the speed and length of the respective objects 100 e.g. B. vehicles are determined. The speed results from the distance between adjacent centers of symmetry 112 or 112A, 112B and the time interval between their covering or uncovering. The length of the object 100 results z. B.
  • such a system offers all other advantages that are known to result from the use of a camera 102 or an imaging sensor.
  • the object 100 can be analyzed in more detail, e.g. B. color, shape, object class, vehicle type, vehicle model, biometric characteristics of a person. Apart from the camera 102, no further sensor is required.
  • Vehicles as examples of objects 100 pass the pattern 610 in two directions and temporarily cover part of the point-symmetrical areas 110. In addition to the pattern 610 itself, its reflection on a smooth, reflective surface is optionally used here, because the reflections of the point-symmetrical areas 110 are itself again point-symmetric. See also FIG. 23 in this regard.
  • the detection of the centers of symmetry 112 or 112A, 112B requires only a few arithmetic operations and thus works very energy-efficiently. It is very suitable for permanent use. If an object 100 has been detected, further algorithms can be activated as required for more precise analysis, which may then temporarily consume more energy, for example deep learning-based methods.
  • the available ambient light is low, this can be compensated for by adjusting the parameters of the camera 102 appropriately, as explained below.
  • the recommendation is that the exposure time should be short compared to the length of time in which the object 100 covers a point-symmetrical region 110 by more than half.
  • the monitored route can be extended and/or guided around corners without the need for additional cameras. See Fig. 24.
  • pattern 610 is mirrored, its point symmetry property is preserved - also its odd and even point symmetry properties.
  • the respective mirror 2403 should be at least large enough to be able to image the pattern 610 in the camera 102 as completely as possible. This means that all of the mirrors 2403 may be smaller than the pattern 610 and that they may be all the smaller the closer they are to the camera 102—along the measurement path. Figure 24 illustrates this.
  • Mirrors 2403 which are already present can also be used or included, e.g. B. People mirror in a hallway.
  • At least one mirror 2403 it is also possible to place camera 102 and sample 610 on the same side of the region to be monitored, e.g. B. to hide the camera 102 behind the pattern 610 so that it looks through a hole in the pattern at the mirror 2403, in which in turn it sees the entire pattern 610.
  • a corresponding exemplary embodiment is shown in FIG. 25.
  • FIG. 23 shows an example in which the reflection on the Ground level usefully supplements the direct view.
  • an embodiment includes an "and/or" link between a first feature and a second feature, this should be read in such a way that the embodiment according to one embodiment includes both the first feature and the second feature and according to a further embodiment either only that having the first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Überwachungsdaten (135) zur Detektion eines beweglichen Objekts (100). Das Verfahren umfasst einen Schritt des Einlesens von mittels einer Kamera (102) bereitgestellten Bilddaten (105) von der Kamera (102). Die Bilddaten (105) repräsentieren ein Kamerabild einer Umgebung der Kamera (102), wobei in einem Sichtfeld der Kamera (102) zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich (110) angeordnet ist, wobei der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110) aus Sicht der Kamera (102) durch das bewegliche Objekt (100) zumindest teilweise verdeckbar ist. Auch umfasst das Verfahren einen Schritt des Bestimmens eines Vorhandenseins zumindest eines Symmetriezentrums (112) des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110) unter Verwendung der Bilddaten (105) und einer Bestimmungsvorschrift (128), um einen Verdeckungszustand des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110) durch das bewegliche Objekt (100) zu ermitteln. Die Überwachungsdaten (135) werden abhängig von dem Verdeckungszustand bereitgestellt.

Description

Beschreibung
Titel
Verfahren zum Bereitstellen von Überwachungsdaten zur Detektion eines beweglichen Objekts, Verfahren zur Detektion eines beweglichen Objekts, Verfahren zum Herstellen zumindest eines vordefinierten punktsymmetrischen Bereichs und Vorrichtung
Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Eine herkömmliche Lichtschranke kann einen schmal gebündelten Lichtstrahl verwenden, dessen Unterbrechung durch ein in den Strahl hineintretendes Objekt von einem Sensor detektiert werden kann. Lichtquelle und Sensor können auf gegenüberliegenden Seiten eines zu überwachenden Bereichs angeordnet sein. Eine weitere herkömmliche Bauweise ist eine Reflexlichtschranke. Hier sind Lichtquelle und Sensor auf derselben Seite, z. B. in einem gemeinsamen Gehäuse, angeordnet. Auf der Gegenseite kann ein Retroreflektor angeordnet sein, der das Licht in die Richtung zurückwirft, aus der es kommt. Beide klassischen Formen benötigen insbesondere eine eigene Lichtquelle, sind in diesem Sinne also aktive Systeme. Der verwendete Lichtstrahl kann sichtbar sein oder kann sichtbar gemacht werden, z. B. mit Hilfe von Nebel und einer Infrarotkamera, wenn es sich um eine Infrarotlichtschranke handelt.
Die nachveröffentlichte DE 10 2020 202 160 Al offenbart ein Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten und ein Verfahren zum Steuern einer Funktion. Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann es insbesondere ausgenutzt werden, wenn Punkte oder Objekte in der Welt mit Hilfe von punktsymmetrischen Bereichen markiert sind oder werden, so dass ein System mit bildgebendem Sensor und einem geeigneten hier vorgestellten Verfahren diese punktsymmetrischen Bereiche zum Ausführen einer spezifischen technischen Funktion robust und örtlich hochpräzise detektieren und lokalisieren kann, optional ohne dass der Mensch bzw. ein Lebewesen solche Markierungen als störend wahrnehmen würde.
Es kann beispielsweise vorkommen, dass ein symmetrischer Bereich nicht vollständig ins Kamerabild abgebildet wird, z. B. weil er von einem Objekt teilverdeckt sein kann oder weil er teilweise aus dem Bild herausragen kann oder weil das Muster beschnitten worden sein kann. Vorteilhafterweise kann eine Präzision einer Lokalisierung des Punktsymmetriezentrums dennoch beibehalten werden, denn die Teilverdeckung(en) verfälschen seine Lage nicht: Verbleibende punktsymmetrischen Korrespondenzpaare können trotzdem für das korrekte Symmetriezentrum stimmen. Durch eine Teilverdeckung kann lediglich eine Stärke eines Häufungspunkts in einer Abstimmungsmatrix oder dergleichen reduziert werden, die Position des Symmetriezentrums kann jedoch erhalten bleiben und dennoch präzise und einfach bestimmbar sein. Dies ist ein spezieller Vorteil einer Ausnutzung der Punktsymmetrie.
Weitere Vorteile beim Auffinden von auf Punktsymmetrie basierenden Bereichen oder Mustern können sich insbesondere daraus ergeben, dass die Punktsymmetrie invariant gegenüber Verdrehung zwischen punktsymmetrischem Bereich und Kamera bzw. Bildaufnahme und weitgehend invariant gegenüber einer Perspektive ist. Beispielsweise kann eine punktsymmetrische ebene Fläche invariant gegenüber einer affinen Abbildung sein. Eine Abbildung einer beliebig orientierten Ebene durch eine reale Kamera kann zumindest lokal stets sehr gut durch eine affine Abbildung angenähert werden. Betrachtet man beispielsweise einen kreisförmigen punktsymmetrischen Bereich unter schräger Perspektive, so wird aus der Kreisform eine elliptische Form, wobei die punktsymmetrische Eigenschaft und das Punktsymmetriezentrum erhalten bleiben. Somit braucht der zumindest eine punktsymmetrische Bereich nicht unbedingt aus frontaler Perspektive betrachtet zu werden - auch sehr schräge Perspektiven stellen keine Schwierigkeit dar und eine erzielbare Genauigkeit kann beibehalten werden. Eine solche Invarianz insbesondere gegenüber einer Verdrehung und gegenüber der Perspektive kann ermöglichen, dass auf Vorkehrungen verzichtet werden kann, die Kamera geeignet zum symmetrischen Bereich auszurichten oder umgekehrt. Vielmehr kann es bereits ausreichend sein, wenn der jeweilige punktsymmetrische Bereich im Kamerabild zumindest teilweise erfasst wird, damit er detektiert werden kann. Eine relative Positionsbeziehung bzw. Anordnung zwischen punktsymmetrischen Bereich und Kamera kann hierbei unerheblich oder beinahe unerheblich sein.
Es wird ein Verfahren zum Bereitstellen von Überwachungsdaten zur Detektion eines beweglichen Objekts vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Einlesen von mittels einer Kamera bereitgestellten Bilddaten von einer Schnittstelle zu der Kamera, wobei die Bilddaten ein Kamerabild einer Umgebung der Kamera repräsentieren, wobei in einem Sichtfeld der Kamera zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich in der Umgebung angeordnet ist, wobei der zumindest eine vordefinierte punktsymmetrische Bereich aus Sicht der Kamera durch das bewegliche Objekt zumindest teilweise verdeckbar ist; und
Bestimmen eines Vorhandenseins zumindest eines Symmetriezentrums des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs in dem Kamerabild unter Verwendung der Bilddaten und einer Bestimmungsvorschrift, um einen Verdeckungszustand des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs durch das bewegliche Objekt zu ermitteln, wobei die Überwachungsdaten abhängig von dem Verdeckungszustand bereitgestellt werden.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Der zumindest eine vordefinierte punktsymmetrische Bereich kann durch Ausführen einer Variante eines nachstehend beschriebenen Verfahrens zum Herstellen hergestellt sein. Es können im Schritt des Einlesens auch Bilddaten von einer Mehrzahl von Kameras eingelesen werden, wobei die Bilddaten eine Mehrzahl von Kamerabildern zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs repräsentieren können. Die Bestimmungsvorschrift kann einer Vorgehensweise ähneln oder entsprechen, die in der nachveröffentlichten DE 10 2020 202 160 der Anmelderin offenbart ist.
Gemäß einer Ausführungsform kann die im Schritt des Bestimmens verwendete Bestimmungsvorschrift ausgebildet sein, um zu bewirken, dass eine Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen zu erhalten. Hierbei kann jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt werden. Jedes Filter kann zumindest eine Symmetrieart aufweisen. Jede der Signaturen kann für jedes Filter des Deskriptors ein Vorzeichen aufweisen. Die Bestimmungsvorschrift kann auch ausgebildet sein, um zu bewirken, dass für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter ermittelt wird. Die Bestimmungsvorschrift kann ferner ausgebildet sein, um zu bewirken, dass ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem Suchbereich in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Zudem kann die Bestimmungsvorschrift ausgebildet sein, um zu bewirken, dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum zu identifizieren. Der Deskriptor kann einen Bildinhalt in einer lokalen Umgebung um ein Pixel oder Referenzpixel in einer kompakten Form beschreiben. Eine Signatur kann einen Wert des Deskriptors für ein Pixel beschreiben, beispielsweise in einer binären Darstellung. Somit kann die zumindest eine Spiegelsignatur unter Verwendung mehrerer berechneter Signaturbilder, z.B. eines mit normalen Filtern, eines mit gerade punktgespiegelten Filtern, und eines mit ungerade punktgespiegelten Filtern, ermittelt werden. Zusätzlich oder alternativ kann zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet werden, um die zumindest eine Spiegelsignatur zu ermitteln. Hierbei kann jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweisen. Dabei kann der Suchbereich von zumindest einem der angewendeten Reflektoren abhängig sein. Eine solche Ausführungsform bietet den Vorteil, dass eine effiziente und exakte Detektion einer Symmetrieeigenschaft in Bilddaten ermöglicht werden kann. Die Detektion von Symmetrien in Bildern kann hierbei mit minimalem Aufwand erzielt werden.
Dabei kann im Schritt des Bestimmens für jedes bereits bestimmte Symmetriezentrum unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums und/oder des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs bestimmt werden. Die Transformationsvorschrift kann auf die Pixelkoordinaten des Symmetriezentrums und/oder des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs angewendet werden, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Eine solche Ausführungsform bietet den Vorteil, dass eine zuverlässige und genaue Rekonstruktion des korrekten Rasters bzw. der korrekten Topologie mehrerer punktsymmetrischer Bereiche erreicht werden kann.
Ferner kann das Verfahren einen Schritt des Durchführens eines Vergleichs des zumindest einen Symmetriezentrums aus dem Kamerabild mit zumindest einem Referenz-Symmetriezentrum aus Referenzdaten bezüglich einer Intensität, eines zeitlichen Intensitätsverlaufs und/oder eines örtlichen Intensitätsverlaufs aufweisen, um eine intensitätsbezogene Abweichung zwischen dem Symmetriezentrum und dem Referenz-Symmetriezentrum zu bestimmen. Hierbei werden die Überwachungsdaten abhängig von der Abweichung bereitgestellt. Die Referenzdaten können Informationen über das Referenz-Symmetriezentrum oder ein Referenzbild repräsentieren. Die Referenzdaten oder das Referenzbild können/kann aus mehreren gespeicherten Referenzdaten oder Referenzbildern ausgewählt oder unter Verwendung einer gespeicherten Erzeugungsvorschrift erzeugt sein. Die Abweichung kann im Hinblick auf eine Intensität bzw. Response der Symmetriedetektion für das jeweilige Symmetriezentrum, die z. B. als Gewicht oder Höhe oder Höhe nach Glättung des Häufungspunkts gemessen werden kann, bestimmt werden. Insbesondere aus der zeitlichen Veränderung der Response oder mehrerer Responses kann die Abweichung ermittelt werden.
Auch kann im Schritt des Bestimmens eine Symmetrieart des zumindest einen Symmetriezentrums bestimmt werden. Die Symmetrieart kann eine gerade Punktsymmetrie und zusätzlich oder alternativ eine ungerade Punktsymmetrie repräsentieren. Zusätzlich oder alternativ kann hierbei im Schritt des Durchführens ein Vergleich der Symmetrieart des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums aus Referenzdaten durchgeführt werden, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum und dem zumindest einen Referenz-Symmetriezentrum zu prüfen. Ungerade Punktsymmetrie kann durch eine Punktspiegelung mit Invertierung von Grauwerten bzw. Farbwerten erzeugt sein. Durch eine Verwendung und Identifikation der beiden unterschiedlichen Punktsymmetrien kann ein Informationsgehalt punktsymmetrischer Bereiche und Muster erhöht werden.
Die im Schritt des Einlesens eingelesenen Bilddaten können hierbei ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen repräsentieren. Dabei kann im Schritt des Bestimmens eine geometrische Anordnung von Symmetriezentren des zumindest einen Musters bestimmt werden, eine geometrische Abfolge von Symmetriearten der Symmetriezentren bestimmt werden und zusätzlich oder alternativ unter Verwendung der Abfolge das Muster aus mehreren vordefinierten Mustern bestimmt werden. Die Anordnung und/oder die Abfolge kann oder können einen Identifikationscode des Musters repräsentieren. Eine solche Ausführungsform bietet den Vorteil, dass eine Sicherheit der Identifikation von Symmetriezentren erhöht werden kann und durch eine Erkennung eines spezifischen Musters weitere Informationen erhalten werden können. Auch kann eine zuverlässige Identifikation von Symmetriezentren für unterschiedliche Entfernungen zwischen Kamera und Muster erreicht werden.
Hierbei kann im Schritt des Bestimmens unter Verwendung der Anordnung der Symmetriezentren des zumindest einen Musters und zusätzlich oder alternativ der Abfolge von Symmetriearten der Symmetriezentren eine implizite Zusatzinformation des zumindest einen Musters oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild bestimmt werden. Die Anordnung und zusätzlich oder alternativ die Abfolge kann oder können die Zusatzinformation in codierter Form repräsentieren. Die Zusatzinformation kann auf die Detektion des beweglichen Objekts bezogen sein. Eine solche Ausführungsform bietet den Vorteil, dass durch die Topologie des zumindest einen Musters zusätzliche Informationen kommuniziert werden können.
Ferner kann oder können dabei der Schritt des Bestimmens und zusätzlich oder alternativ der Schritt des Durchführens unabhängig von der Symmetrieart der Symmetriezentren für alle Symmetriezentren gemeinsam ausgeführt werden oder abhängig von der Symmetrieart der Symmetriezentren für die Symmetriezentren derselben Symmetrieart gesondert ausgeführt werden. Somit kann durch gemeinsame Ausführung ein geringer Speicher- und Zeitbedarf für eine genaue und sichere Identifikation der Symmetriezentren erreicht werden. Optional können insbesondere Verwechslungen mit zufällig in Bildern vorkommenden Mustern durch gesonderte Ausführung minimiert werden.
Es wird auch ein Verfahren zur Detektion eines beweglichen Objekts vorgestellt, wobei das Verfahren folgende Schritte aufweist: Auswerten von gemäß einer Ausführungsform des vorstehend genannten Verfahrens bereitgestellten Überwachungsdaten, um ein von den Überwachungsdaten abhängiges Detektionssignal zu erzeugen; und
Ausgeben des Detektionssignals an eine Schnittstelle zu einer Verarbeitungseinheit zum Ausführen einer Lichtschrankenfunktion, um die Detektion des beweglichen Objekts durchzuführen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Das Verfahren zur Detektion kann dabei in Verbindung mit einer Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen vorteilhaft ausgeführt werden.
Es wird ferner ein Verfahren zum Herstellen zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs zur Verwendung durch eine Ausführungsform eines vorstehend genannten Verfahrens vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Generieren von Entwurfsdaten, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs repräsentieren; und
Erzeugen des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs unter Verwendung der Entwurfsdaten auf, an oder in einem Darstellungsmedium, um den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich herzustellen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Durch Ausführen des Verfahrens zum Herstellen kann zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich hergestellt werden, der im Rahmen einer Ausführungsform eines vorstehend genannten Verfahrens verwendet werden kann. Gemäß einer Ausführungsform können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren. Hierbei kann der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweisen. Zusätzlich oder alternativ kann eine erste Hälfte einer Fläche des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs beliebig vorgegeben werden und kann eine zweite Hälfte der Fläche durch Punktspiegelung und optional zusätzlich Invertierung von Grauwerten und zusätzlich oder alternativ Farbwerten konstruiert werden. Zusätzlich oder alternativ kann im Schritt des Erzeugens der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen erzeugt werden. Zusätzlich oder alternativ kann das Darstellungsmedium Glas, Stein, Keramik, Kunststoff, Gummi, Metall, Beton, Gips, Papier, Pappe, Lebensmittel oder eine optische Anzeigeeinrichtung aufweisen. Somit kann der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich je nach konkretem Einsatz bzw. je nach konkreter Anwendung und den dort herrschenden Randbedingungen auf genau geeignete Weise hergestellt werden.
Auch können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung zumindest eines Musters aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen repräsentieren. Hierbei kann zumindest eine Teilmenge der gerade und/oder ungerade punktsymmetrischen Bereiche an einem regelmäßigen oder unregelmäßigen Raster ausgerichtet sein, direkt aneinander angrenzen und zusätzlich oder alternativ teilweise von mindestens einem benachbarten gerade und/oder ungerade punktsymmetrischen Bereich durch einen Zwischenraum getrennt sein, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sein und zusätzlich oder alternativ in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sein. Zusätzlich oder alternativ können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung zumindest eines Musters mit hierarchischer Symmetrie repräsentieren. Auf diese Weise können unterschiedliche Muster mit spezifischem Informationsgehalt und zusätzlich oder alternativ Muster mit hierarchischen Symmetrien für unterschiedliche Entfernungen zum Muster hergestellt werden.
Insbesondere Menschen fällt die Wahrnehmung der in den Mustern versteckten Symmetrien schwer, selbst wenn bekannt ist, dass eine entsprechende Markierung vorhanden ist. Dies ermöglicht es beispielsweise auch, solche Markierungen zu verstecken. Das kann aus verschiedenen Gründen sinnvoll bzw. gewünscht sein, z. B. insbesondere aus ästhetischen Gründen, weil die technischen Markierungen nicht zu sehen sein sollen oder erwünscht sind, weil z. B. eine Konzentration nicht durch für Menschen unwichtige Markierungen gemindert werden soll, oder weil die Markierungen geheim bleiben sollen. Ästhetische Gründe spielen insbesondere auf dem Gebiet Design eine wichtige Rolle. Beispielsweise in einem Fahrzeuginnenraum, auf einer Außenhaut eines Fahrzeugs, auf ästhetisch gestalteten Gegenständen oder im Bereich der Innenoder Gebäudearchitektur würden auffällige technische Marker nicht oder kaum akzeptiert. Wären sie jedoch versteckt, z. B. in einem Stoffmuster oder in einem Kunststoff- oder Keramikrelief oder in einem Hologramm oder auf einer bedruckten Fläche, wie es gemäß Ausführungsformen möglich ist, könnten sie gleichzeitig schön und nützlich sein, z. B. um einer Kamera einen oder mehrere Bezugspunkte zur Verfügung zu stellen, z. B. um damit eine relative Kamerapose ermitteln zu können. Der Aspekt des Versteckens kann je nach Anwendung auch irrelevant oder wenig relevant sein. Eine technische Robustheit spricht dann trotzdem für die Verwendung derart gestalteter Muster. Insbesondere kann ein Muster mit Zufallscharakter bzw. Pseudo-Zufallscharakter viele Möglichkeiten bieten, möglichst eindeutige symmetrische Punktepaare finden zu können. Dies kann gemäß Ausführungsformen beispielsweise ausgenutzt werden, insbesondere mit Vorteilen für das Signal- Rausch-Verhältnis eines gemessenen Ansprechens an den Symmetriezentren und damit für eine Robustheit im Sinne ihrer fehlerfreien Detektion und präzisen Lokalisation. Ein Muster kann insbesondere einen oder mehrere punktsymmetrische Bereiche mit ungerader oder gerader Punktsymmetrie umfassen. Diese Bereiche können beispielsweise kreisförmig, sechseckig, quadratisch, elliptisch, polygonal oder auch anders gestaltet sein. Die punktsymmetrischen Bereiche können gleichartig oder unterschiedlich in Form und Größe sein. Sie können lückenlos aneinander anschließen oder voneinander beabstandet sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Es wird auch ein System zur Detektion eines beweglichen Objekts vorgestellt, wobei das System folgende Merkmale aufweist:
Eine Ausführungsform der vorstehend genannten Vorrichtung; zumindest eine Kamera, wobei die Kamera und die Vorrichtung datenübertragungsfähig miteinander verbindbar oder verbunden sind; und zumindest ein gemäß einer Ausführungsform des vorstehend genannten Verfahrens zum Herstellen hergestellter vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich, wobei der Bereich in einem Blickfeld der Kamera anordenbar oder angeordnet ist.
Das System kann hierbei die Funktionalität einer Lichtschranke bieten.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. Dabei kann das Verfahren als Hardware-Beschleuniger auf einem SoC oder ASIC implementiert sein.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Bereitstellen, eines Ausführungsbeispiels einer Vorrichtung zur Detektion und einer Kamera; Fig. 2 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Herstellen;
Fig. 3 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bereitstellen;
Fig. 4 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Detektion;
Fig. 5 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Herstellen;
Fig. 6 schematische Darstellungen von Darstellungsmedien mit Mustern aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
Fig. 7 schematische Darstellungen von Darstellungsmedien mit Mustern aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
Fig. 8 schematische Darstellungen der Darstellungsmedien mit den Mustern aus Fig. 7 mit grafischer Hervorhebung der Muster bzw. der vordefinierten punktsymmetrischen Bereiche;
Fig. 9 schematische Darstellungen von vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
Fig. 10 eine schematische Darstellung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel;
Fig. 11 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
Fig. 12 ein schematisches Diagramm zu einer Abstimmungsmatrix gemäß einem Ausführungsbeispiel; Fig. 13 eine schematische Darstellung von beispielhaft in Würfelform angeordneten Mustern gemäß einem Ausführungsbeispiel im Hinblick auf eine korrekte Identifikation eines Rasters;
Fig. 14 eine schematische Darstellung des in der ersten Teildarstellung von Fig. 6 gezeigten Musters in schräger Perspektive;
Fig. 15 das Muster aus der ersten Teildarstellung von Fig. 14 mit einer Hervorhebung eines vordefinierten punktsymmetrischen Bereichs;
Fig. 16 eine schematische Darstellung des Musters aus Fig. 15 nach einer perspektivischen Entzerrung gemäß einem Ausführungsbeispiel;
Fig. 17 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
Fig. 18 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
Fig. 19 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
Fig. 20 schematische Darstellungen von Mustern gemäß Ausführungsbeispielen;
Fig. 21 eine schematische Darstellung einer Detektionssituation unter Verwendung eines vordefinierten punktsymmetrischen Bereichs gemäß einem Ausführungsbeispiel;
Fig. 22 eine schematische Darstellung einer Detektionssituation unter Verwendung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel; Fig. 23 schematische Darstellungen von Detektionssituationen unter Verwendung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel;
Fig. 24 eine schematische Darstellung einer Detektionssituation unter Verwendung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel; und
Fig. 25 eine schematische Darstellung einer Detektionssituation unter Verwendung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 120 zum Bereitstellen, eines Ausführungsbeispiels einer Vorrichtung 140 zur Detektion und beispielhaft lediglich einer Kamera 102. In der Darstellung von Fig. 1 sind die Vorrichtung 120 zum Bereitstellen bzw.
Bereitstellungsvorrichtung 120 und die Vorrichtung 140 zur Detektion bzw. Detektionsvorrichtung 140 getrennt bzw. außerhalb der Kamera 102 angeordnet gezeigt. Die Bereitstellungsvorrichtung 120 und die Detektionsvorrichtung 140 sind datenübertragungsfähig mit der Kamera 102 verbunden. Gemäß einem anderen Ausführungsbeispiel kann oder können die Bereitstellungsvorrichtung 120 und/oder die Detektionsvorrichtung 140 auch Teil der Kamera 102 sein und/oder miteinander kombiniert sein.
Die Kamera 102 ist ausgebildet, um ein Kamerabild von einer Umgebung der Kamera 102 aufzunehmen. In der Umgebung der Kamera 102 ist in einem Sichtfeld der Kamera 102 beispielhaft lediglich ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich 110 mit einem Symmetriezentrum 112 angeordnet. Der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich 110 ist aus Sicht der Kamera durch ein bewegliches Objekt 100 zumindest teilweise verdeckbar. Auch ist die Kamera 102 ausgebildet, um Bilddaten 105 bereitzustellen bzw. zu erzeugen, die das Kamerabild repräsentieren, wobei das Kamerabild auch den vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 und/oder das bewegliche Objekt 100 zeigt.
Die Bereitstellungsvorrichtung 120 ist ausgebildet, um Überwachungsdaten 135 zur Detektion des beweglichen Objekts 100 bereitzustellen. Dazu umfasst die Bereitstellungsvorrichtung 120 eine Einleseeinrichtung 124, eine Bestimmungseinrichtung 126 und optional eine Durchführungseinrichtung 130. Die Einleseeinrichtung 124 ist ausgebildet, um die Bilddaten 105 von einer Eingangsschnittstelle 122 der Bereitstellungsvorrichtung 120 zu der Kamera 102 einzulesen. Ferner ist die Einleseeinrichtung 124 auch ausgebildet, um die das Kamerabild repräsentierenden Bilddaten 105 an die Bestimmungseinrichtung 126 weiterzugeben.
Die Bestimmungseinrichtung 126 der Bereitstellungsvorrichtung 120 ist ausgebildet, um unter Verwendung der Bilddaten 105 und einer Bestimmungsvorschrift 128 ein Vorhandensein des Symmetriezentrums 112 des zumindest einen punktsymmetrischen Bereichs 110 in dem Kamerabild zu bestimmen, um einen Verdeckungszustand des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs 110 durch das bewegliche Objekt 100 zu ermitteln. Auf die Bestimmungsvorschrift 128 wird nachfolgend noch detaillierter eingegangen. An dieser Stelle sei darauf hingewiesen, dass die Bestimmungsvorschrift 128 einer Vorgehensweise ähnelt oder entspricht, die in der nachveröffentlichten DE 10 2020 202 160 der Anmelderin offenbart ist. Die Bereitstellungsvorrichtung 120 ist ausgebildet, um abhängig von dem Verdeckungszustand die Überwachungsdaten 135 bereitzustellen. Genauer gesagt ist die Bereitstellungsvorrichtung 120 ausgebildet, um über eine Ausgangsschnittstelle 138 der Bereitstellungsvorrichtung 120 die Überwachungsdaten 135 der Detektionsvorrichtung 140 bereitzustellen. Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 ausgebildet, um das zumindest eine bestimmte Symmetriezentrum 112 und/oder den Verdeckungszustand an die Durchführungseinrichtung 130 weiterzugeben. Die Durchführungseinrichtung 130 ist ausgebildet, um einen Vergleich des zumindest einen Symmetriezentrums 112 in dem Kamerabild mit zumindest einem Referenz-Symmetriezentrum aus Referenzdaten 115 bezüglich einer Intensität, eines zeitlichen Intensitätsverlaufs und/oder eines örtlichen Intensitätsverlaufs durchzuführen, um eine intensitätsbezogene Abweichung 131 zwischen dem Symmetriezentrum 112 und dem Referenz-Symmetriezentrums zu bestimmen. Die Durchführungseinrichtung 130 ist auch ausgebildet, um die Referenzdaten 115 von einer Speichereinrichtung 150 einzulesen oder zu empfangen. Die Speichereinrichtung 150 kann als ein Teil der Bereitstellungsvorrichtung 120 oder gesondert von derselben ausgeführt sein. Die Bereitstellungsvorrichtung 120 ist hierbei ausgebildet, um unter Verwendung der Abweichung 131 die Überwachungsdaten 135 bereitzustellen.
Die Detektionsvorrichtung 140 ist ausgebildet, um das bewegliche Objekt 100 zu detektieren. Dazu umfasst die Detektionsvorrichtung 140 eine Auswerteeinrichtung 144 und eine Ausgabeeinrichtung 146. Die Detektionsvorrichtung 140 ist ausgebildet, um die Überwachungsdaten 135 über eine Eingangsschnittstelle 142 der Detektionsvorrichtung 140 von der Bereitstellungsvorrichtung 120 zu empfangen bzw. einzulesen. Die Auswerteeinrichtung 144 ist ausgebildet, um die von der Bereitstellungsvorrichtung 120 bereitgestellten Überwachungsdaten 135 auszuwerten, um ein von den Überwachungsdaten 135 abhängiges Detektionssignal 145 zu erzeugen. Die Auswerteeinrichtung 144 ist auch ausgebildet, um das Detektionssignal 145 an die Ausgabeeinrichtung 146 weiterzugeben. Die Ausgabeeinrichtung 146 ist ausgebildet, um das Detektionssignal 145 an eine Ausgangsschnittstelle 148 zu einer Verarbeitungseinheit zum Ausführen einer Lichtschrankenfunktion auszugeben, um die Detektion des beweglichen Objekts 100 durchzuführen.
Insbesondere ist die Bestimmungsvorschrift 128 ausgebildet, um zu bewirken, dass eine Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen zu erhalten. Hierbei wird jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt. Jedes Filter weist zumindest eine Symmetrieart auf. Jede der Signaturen umfasst für jedes Filter des Deskriptors ein Vorzeichen. Die Bestimmungsvorschrift 128 ist auch ausgebildet, um zu bewirken, dass zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet wird, um für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter zu ermitteln. Hierbei umfasst jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen. Die Bestimmungsvorschrift ist ferner ausgebildet, um zu bewirken, dass ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem von zumindest einem der angewendeten Reflektoren abhängigen Suchbereich in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Zudem ist die Bestimmungsvorschrift ausgebildet, um zu bewirken, dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum zu identifizieren.
Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 ausgebildet, um für jedes bereits bestimmte Symmetriezentrum 112 unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums 112 beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums 112 und/ oder des punktsymmetrischen Bereichs 110 zu bestimmen. Die Transformationsvorschrift wird auf die Pixelkoordinaten des Symmetriezentrums 112 und/ oder des punktsymmetrischen Bereichs 110 angewendet, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Des Weiteren ist es vorteilhaft, weil robuster, genauer und weniger rausch behaftet, eine Transformationsvorschrift anhand mehrerer, insbesondere benachbarter, punktsymmetrischer Bereiche 110 zu bestimmen, insbesondere, wenn diese sich auf einer gemeinsamen Ebene befinden. Die Anwendung der Transformation ist besonders vorteilhaft, wenn eine Anordnung von mehreren Symmetriezentren 112 betrachtet wird. Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 auch ausgebildet, um eine Symmetrieart des zumindest einen Symmetriezentrums 112 zu bestimmen. Die Symmetrieart repräsentiert eine gerade Punktsymmetrie und zusätzlich oder alternativ eine ungerade Punktsymmetrie. Zusätzlich oder alternativ ist hierbei die Durchführungseinrichtung 130 ausgebildet, um einen Vergleich der Symmetrieart des zumindest einen Symmetriezentrums 112 in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz- Symmetriezentrums aus den Referenzdaten 115 durchzuführen, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum 112 und dem zumindest einen Referenz-Symmetriezentrum zu prüfen.
Insbesondere repräsentieren die Bilddaten 105 hierbei ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen 110. Dabei ist die Bestimmungseinrichtung 126 ausgebildet, um eine geometrische Anordnung von Symmetriezentren 112 des zumindest einen Musters zu bestimmen, eine geometrische Abfolge von Symmetriearten der Symmetriezentren 112 zu bestimmen und/oder unter Verwendung der Abfolge das korrekte durch die Bilddaten 105 repräsentierte Muster aus mehreren vordefinierten Mustern zu bestimmen. Die Anordnung und/oder die Abfolge kann oder können einen Identifikationscode des Musters repräsentieren. Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 hierbei ausgebildet, um unter Verwendung der Anordnung der Symmetriezentren 112 des zumindest einen Musters und/oder der Abfolge von Symmetriearten der Symmetriezentren 112 eine implizite Zusatzinformation des zumindest einen Musters oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild zu bestimmen. Die Anordnung und/oder die Abfolge repräsentiert oder repräsentieren die Zusatzinformation in codierter Form. Die Zusatzinformation ist auf die Detektion des beweglichen Objekts bezogen.
Fig. 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 200 zum Herstellen. Die Vorrichtung 200 zum Herstellen ist ausgebildet, um zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 zur Verwendung durch die Bereitstellungsvorrichtung aus Fig. 1 oder eine ähnliche Vorrichtung und/oder Detektionsvorrichtung aus Fig. 1 oder eine ähnliche Vorrichtung herzustellen. Dazu umfasst die Vorrichtung 200 zum Herstellen eine Generiereinrichtung 202 und eine Erzeugungseinrichtung 206. Die Generiereinrichtung 202 ist ausgebildet, um Entwurfsdaten 204 zu generieren. Die Entwurfsdaten 204 repräsentieren eine grafische Darstellung des zumindest einen gerade und/oder ungerade vordefinierten punktsymmetrischen Bereichs 110. Die Erzeugungseinrichtung 206 ist ausgebildet, um unter Verwendung der Entwurfsdaten 204 den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 auf, an oder in einem Darstellungsmedium zu erzeugen, um denselben herzustellen.
Gemäß einem Ausführungsbeispiel ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren, wobei der zumindest eine vordefinierte punktsymmetrische Bereich 110 ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweist, und/oder wobei eine erste Hälfte einer Fläche des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 beliebig vorgegeben wird und eine zweite Hälfte der Fläche durch Punktspiegelung und/oder Invertierung von Grauwerten und/oder Farbwerten konstruiert wird. Zusätzlich oder alternativ ist die Erzeugungseinrichtung 206 ausgebildet, um den zumindest einen vordefinierten punktsymmetrischen Bereich 110 durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen zu erzeugen. Zusätzlich oder alternativ weist das Darstellungsmedium hierbei Glas, Stein, Keramik, Kunststoff, Gummi, Metall, Beton, Gips, Papier, Pappe, Lebensmittel oder eine optische Anzeigeeinrichtung auf.
Gemäß einem Ausführungsbeispiel ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung zumindest eines Musters aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen 110 repräsentieren, wobei zumindest eine Teilmenge der punktsymmetrischen Bereiche 110 an einem regelmäßigen oder unregelmäßigen Raster ausgerichtet sind, direkt aneinander angrenzen und/oder teilweise von mindestens einem benachbarten punktsymmetrischen Bereich 110 durch einen Zwischenraum getrennt sind, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sind und/oder in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sind. Zusätzlich oder alternativ ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung zumindest eines Musters mit hierarchischer Symmetrie repräsentieren.
Fig. 3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 300 zum Bereitstellen von Überwach ungsdaten zur Detektion eines beweglichen Objekts. Das Verfahren 300 zum Bereitstellen ist hierbei unter Verwendung der Bereitstellungsvorrichtung aus Fig. 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 300 zum Bereitstellen umfasst einen Schritt 324 des Einlesens, einen Schritt 326 des Bestimmens und optional einen Schritt 330 des Durchführens.
In dem Schritt 324 des Einlesens werden mittels einer Kamera bereitgestellte Bilddaten von einer Schnittstelle zu der Kamera eingelesen. Die Bilddaten repräsentieren ein Kamerabild einer Umgebung der Kamera. Dabei ist in einem Sichtfeld der Kamera zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich in der Umgebung angeordnet. Der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich ist aus Sicht der Kamera durch das bewegliche Objekt zumindest teilweise verdeckbar. Nachfolgend wird in dem Schritt 326 des Bestimmens unter Verwendung der Bilddaten und einer Bestimmungsvorschrift ein Vorhandensein zumindest eines Symmetriezentrums des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs in dem Kamerabild bestimmt, um einen Verdeckungszustand des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs durch das bewegliche Objekt zu ermitteln. Die Überwachungsdaten werden abhängig von dem ermittelten Verdeckungszustand bereitgestellt.
In dem optionalen Schritt 330 des Durchführens wird nachfolgend ein Vergleich des zumindest einen Symmetriezentrums aus dem Kamerabild mit zumindest einem Referenz-Symmetriezentrum aus Referenzdaten bezüglich einer Intensität, eines zeitlichen Intensitätsverlaufs und/oder eines örtlichen Intensitätsverlaufs durchgeführt, um eine intensitätsbezogene Abweichung zwischen dem Symmetriezentrum und dem Referenz-Symmetriezentrum zu bestimmen. Hierbei werden die Überwachungsdaten abhängig von der Abweichung bereitgestellt.
Die im Schritt 324 des Einlesens eingelesenen Bilddaten repräsentieren gemäß einem Ausführungsbeispiel ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen. Dabei wird im Schritt 326 des Bestimmens eine geometrische Anordnung von Symmetriezentren des zumindest einen Musters bestimmt, eine geometrische Abfolge von Symmetriearten der Symmetriezentren bestimmt und/oder unter Verwendung der Abfolge das Muster aus mehreren vordefinierten Mustern bestimmt. Die Anordnung und/oder die Abfolge repräsentiert oder repräsentieren einen Identifikationscode des Musters. Optional werden dabei der Schritt 326 des Bestimmens und/oder der Schritt 330 des Durchführens unabhängig von der Symmetrieart der Symmetriezentren für alle Symmetriezentren gemeinsam ausgeführt oder abhängig von der Symmetrieart der Symmetriezentren für die Symmetriezentren derselben Symmetrieart gesondert ausgeführt.
Fig. 4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zur Detektion eines beweglichen Objekts. Das Verfahren 400 zur Detektion ist dabei unter Verwendung der Detektionsvorrichtung aus Fig. 1 oder einer ähnlichen Vorrichtung ausführbar. Auch ist das Verfahren 400 zur Detektion in Verbindung mit dem Verfahren zum Bereitstellen aus Fig. 3 oder einem ähnlichen Verfahren ausführbar. Das Verfahren 400 zur Detektion umfasst einen Schritt 444 des Auswertens und einen Schritt 446 des Ausgebens.
In dem Schritt 444 des Auswertens werden gemäß dem Verfahren zum Bereitstellen aus Fig. 3 oder einem ähnlichen Verfahren bereitgestellte Überwachungsdaten ausgewertet, um ein von den Überwachungsdaten abhängiges Detektionssignal zu erzeugen. Nachfolgend wird in dem Schritt 446 des Ausgebens das Detektionssignal an eine Schnittstelle zu einer Verarbeitungseinheit zum Ausführen einer Lichtschrankenfunktion ausgegeben, um die Detektion des beweglichen Objekts durchzuführen.
Fig. 5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 500 zum Herstellen. Das Verfahren 500 zum Herstellen ist ausführbar, um zumindest einen vordefinierten punktsymmetrischen Bereich zur Verwendung durch das Verfahren zum Bereitstellen aus Fig. 3 oder ein ähnliches Verfahren und/oder zur Verwendung durch das Verfahren zur Detektion aus Fig. 4 oder ein ähnliches Verfahren herzustellen. Auch ist das Verfahren 500 zum Herstellen in Verbindung mit bzw. unter Verwendung der Vorrichtung zum Herstellen aus Fig. 2 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 500 zum Herstellen umfasst einen Schritt 502 des Generierens und einen Schritt 506 des Erzeugens.
In dem Schritt 502 des Generierens werden Entwurfsdaten generiert, die eine grafische Darstellung des zumindest einen vordefinierten punktsymmetrischen Bereichs repräsentieren. Nachfolgend wird in dem Schritt 506 des Erzeugens unter Verwendung der Entwurfsdaten der zumindest eine vordefinierte punktsymmetrische Bereich auf, an oder in einem Darstellungsmedium erzeugt, um den zumindest einen vordefinierten punktsymmetrischen Bereich herzustellen.
Fig. 6 zeigt schematische Darstellungen von Darstellungsmedien 600 mit Mustern 610 aus vordefinierten punktsymmetrischen Bereichen 110A und HOB gemäß Ausführungsbeispielen. Jeder der vordefinierten punktsymmetrischen Bereiche 110A und 110B entspricht oder ähnelt hierbei dem vordefinierten punktsymmetrischen Bereich aus Fig. 1. In einer ersten Teildarstellung A ist ein Muster 610 aus lediglich beispielhaft 49 vordefinierten punktsymmetrischen Bereichen 110A und HOB gezeigt und in einer zweiten Teildarstellung B ist ein Muster 610 aus lediglich beispielhaft acht vordefinierten punktsymmetrischen Bereichen 110A und HOB gezeigt. Hierbei weisen erste vordefinierte punktsymmetrische Bereiche 110A als Symmetrieart ungerade Punktsymmetrie auf und weisen zweite vordefinierte punktsymmetrische Bereiche HOB als Symmetrieart gerade Punktsymmetrie auf. Auf jedem der Darstellungsmedien 600 ist hierbei ein rauschartiges Bildmuster mit dem jeweiligen Muster 610 gedruckt.
Anhand von Fig. 6 kann eine gemäß Ausführungsbeispielen erfolgende Nutzung von Symmetrien im Bereich des maschinellen Sehens veranschaulicht werden, wobei die Symmetrien für den Menschen nicht oder kaum wahrnehmbar gestaltet sein können, gleichzeitig für Ausführungsbeispiele jedoch robust, örtlich präzise, und mit minimalem Rechenaufwand detektierbar sind. In den Mustern 610 sind hierbei Punktsymmetrien quasi versteckt, die für einen Betrachter kaum erkennbar sind. Durch grafische Hervorhebung der vordefinierten punktsymmetrischen Bereiche 110A und HOB in Fig. 6 sind dieselben für einen menschlichen Betrachter in dem rauschartigen Bildmuster auf den Darstellungsmedien 600 erkennbar. In der ersten Teildarstellung A sind 49 beispielhaft kreisförmige symmetrische Bereiche 110A und 110B enthalten, davon lediglich beispielhaft 25 erste Bereiche 110A mit ungerader Punktsymmetrie und 24 zweite Bereich HOB mit gerader Punktsymmetrie. In der zweiten Teildarstellung B sind die symmetrischen Bereiche 110A und HOB, von denen lediglich beispielhaft fünf eine ungerade Punktsymmetrie und lediglich beispielhaft drei eine gerade Punktsymmetrie aufweisen, größer gewählt als in der ersten Teildarstellung A, und damit insbesondere für größere Kamera- Distanzen bzw. niedrigere Bildauflösungen geeignet. Auf den als Platten ausgeführten Darstellungsmedien 600 befinden sich also kreisförmige symmetrische Bereiche 110A und HOB, wobei im Falle von ungerader bzw. negativer Punktsymmetrie, die Punktspiegelung hell auf dunkel abbildet und umgekehrt, während im Falle von gerader bzw. positiver Punktsymmetrie diese Umkehrung nicht stattfindet. Werden mehrere Muster 610 benötigt, können diese unterscheidbar gestaltet werden. Dies kann über die Anordnung der Symmetriezentren der Bereiche 110A und HOB geschehen, wie in Fig. 6 zu sehen, in der die erste Teildarstellung A und die zweite Teildarstellung B einfach unterscheidbar sind, oder anhand der Abfolge von negativen bzw. ungeraden und positiven bzw. geraden Punktsymmetrien der Bereiche 110A und HOB innerhalb jeweiliger Muster 610.
Fig. 7 zeigt schematische Darstellungen von Darstellungsmedien 600 mit Mustern 610 aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen. Die Muster 610 entsprechen oder ähneln hierbei einem der Muster aus Fig. 6, wobei die Muster 610 in der Darstellung von Fig. 7 ohne grafische Hervorhebung gezeigt sind. In Fig. 7 sind lediglich beispielhaft zehn Darstellungsmedien 600 ähnlich jenen aus Fig. 6 gezeigt.
Fig. 8 zeigt schematische Darstellungen der Darstellungsmedien 600 mit den Mustern 610 aus Fig. 7 mit grafischer Hervorhebung von Mustern bzw. vordefinierten punktsymmetrischen Bereichen 110A und HOB. Es sind lediglich beispielhaft auf den zehn Darstellungsmedien 600 hierbei Muster 610 mit vordefinierten punktsymmetrischen Bereichen 110A und 110B angeordnet bzw. grafisch hervorgehoben dargestellt.
Somit zeigen Fig. 7 und Fig. 8 lediglich beispielhaft zehn auf Unterscheidbarkeit optimierte Muster 610. Jedes Muster 610 weist eine individuelle Anordnung der ungerade und gerade punktsymmetrischen Bereiche 110A und HOB auf. Die Muster 610 sind also durch diese Anordnung codiert. Die Codierungen wurden hier so gewählt und aufeinander abgestimmt und/oder per Training optimiert, dass die zehn Muster 610 selbst dann noch eindeutig erkennbar und unterscheidbar sind, wenn sie rotiert oder gespiegelt oder teilweise verdeckt von der Kamera erfasst werden. In den Mustern 610 aus Fig. 7 und Fig. 8 sind jeweils die punktsymmetrischen Bereiche 110A und HOB in den vier Ecken jedes Darstellungsmediums 600 absichtlich etwas auffälliger gestaltet. Dies ist für die Funktion an sich irrelevant, bietet aber praktische Vorteile bei der manuellen Montage der Darstellungsmedien 600 mit den Mustern 610. Die Darstellungsmedien 600 mit den Mustern 610 können im Rahmen des bereits beschriebenen Herstellungsverfahrens beliebig arrangiert werden, z. B. dreidimensional oder flach in Reihe oder als Fläche. Die Punktsymmetriezentren der Muster 610 können im Rahmen des bereits beschriebenen Bereitstellungsverfahrens und/oder mittels der bereits beschriebenen Bereitstellungsvorrichtung korrekt und präzise gefunden werden. Die Muster 610 können beispielsweise auf stabile Platten beliebiger Größe gedruckt sein, die optional in teilweise rechtwinkliger Anordnung relativ zueinander platziert sein können. Auch bei unscharfer Abbildung der Muster 610 durch die Kamera können die Symmetriezentren hinreichend gut detektiert werden, um damit die beschriebenen Funktionen zu ermöglichen. Somit ist die Detektion der Punktsymmetriezentren robust gegenüber einer unscharfen Abbildung. Das erweitert den Einsatzbereich auf Situationen, in denen mit geringer Schärfentiefe gearbeitet wird, z. B. Szenen mit wenig Licht, oder in denen der Fokus bzw. Autofokus der Kamera fehlerhaft gesetzt ist oder eine perfekt scharfe Abbildung nicht realisierbar ist, z. B. in flüssigen oder trüben oder bewegten Medien oder im Randbereich eines Objektivs oder während einer Relativbewegung zwischen Muster 610 und Kamera (Bewegungsunschärfe, gerichtete Unschärfe). Auch wenn Punktsymmetrien natürlich und insbesondere in vom Menschen gestalteten Umgebungen vorkommen, sind darauf beruhende etwaige Fehldetektionen jedoch anders örtlich verteilt als die auf korrekten Mustern 610 beruhenden Detektionen und somit lassen sich beide Gruppen leicht voneinander trennen bzw. unterscheiden.
Um zu vermitteln, dass das vorstehend genannte Bereitstellungsverfahren auch für nichtebene und sogar für elastische Oberflächen in Bewegung funktioniert, können die Muster 610 aus Fig. 7 und Fig. 8 beispielsweise auf Papier gedruckt und zu einer flexiblen Schachtel zusammengefügt werden. Auch bei nichtebenen oder elastischen Oberflächen (wie beispielsweise aus Papier) funktioniert das vorstehend genannte Bereitstellungsverfahren problemlos. Dies ermöglicht die Bestimmung von Bewegungen dieser Oberflächen. Papier erlaubt im Gegensatz zu vielen Stoffen zwar keine Scherung, jedoch ist die Punktsymmetrie auch invariant gegenüber der Scherung, so dass diese keine Schwierigkeit darstellt.
Insbesondere eine Lage der Symmetriezentren in den Kamerabildern kann präzise ermittelt werden. Es kann jedoch in verschiedenen Anwendungen auch von Interesse sein, diese präzise Vermessung auf die gesamte Fläche des Musters 610 auszudehnen. Also für jeden Punkt bzw. Pixel des Musters 610 anzugeben, wo dieser sich im Kamerabild befindet. Das erlaubt dann z. B., kleinste Abweichungen zwischen dem real beobachteten Muster 610 und dem idealen Muster gemäß Konstruktion (Ground Truth) zu ermitteln. Dies ist beispielsweise von Interesse, wenn das Muster 610 auf einer nicht glatten oder nicht starren Oberfläche gedruckt aufgebracht ist und dadurch z. B. veränderliche Falten oder Dellen im Muster 610 entstehen, deren genaue Form ermittelt werden soll. Insbesondere Muster mit Zufallscharakter sind ausgezeichnet geeignet, um korrespondierende Punkte von einem ersten Bild zu einem zweiten Bild zu finden. Dabei können das erste und zweite Bild in zeitlicher Abfolge mit derselben Kamera aufgenommen sein oder von zwei Kameras aus unterschiedlicher Perspektive.
Insbesondere soll nun der Fall betrachtet werden, wenn das erste Bild ein reales Bild von einer Kamera ist und das zweite Bild ein künstlich erzeugtes (gespeichertes) Bild des gegebenen Musters, auch Referenzbild genannt, das z. B. anhand der gefundenen Symmetriezentren so ins zweite Bild platziert wurde (z. B. skaliert, gedreht, affin abgebildet, projiziert), dass es dem realen (ersten) Bild möglichst nahekommt. Beim Referenzbild können ggf. Verarbeitungsschritte übersprungen bzw. eingespart werden, die beim ersten Bild, das von der Kamera kommt, notwendig sind, z. B. Schritte der Bildvorverarbeitung. Dann können nachfolgend bekannte Methoden z. B. des optischen Flusses oder der Disparitätsschätzung angewendet werden, um z. B. für jeden Pixel im Kamerabild die Korrespondenz im Referenzbild zu finden - oder umgekehrt. Damit ergibt sich also ein zweischrittiges Vorgehen: Im ersten Schritt werden die gefundenen Symmetriezentren und ggf. die enthaltene Codierung ausgenutzt, um das reale Bild auf das bekannte Muster zu registrieren oder grob auszurichten. Dies stellt dann die Initialisierung dar, um im zweiten Schritt z. B. mit Methoden des optischen Flusses nochmals die kleinsten Abweichungen im Sinne örtlicher Verschiebungen zwischen registriertem realem Bild und Muster präzise zu ermitteln, und zwar bei Bedarf für jeden Punkt bzw. Pixel des Bildes oder des Musters 610. Der aufzuwendende Rechenaufwand für den zweiten Schritt ist umso kleiner, je kleiner der Suchbereich ist. Hier ist er in der Regel sehr klein - aufgrund der guten Initialisierung aus dem ersten Schritt. Da beide Schritte wenig Rechenaufwand beanspruchen, wird auf üblichen Rechnerplattformen ein hoher Pixel-Durchsatz erreicht, der als Produkt aus Bildwiederholrate [Bilder/s] und Bildgröße [Pixel/Bild] definiert ist. Wenn stellenweise keine Übereinstimmung auffindbar ist, ist dies in der Regel dadurch zu erklären, dass die Sicht auf das Muster 610 durch ein Objekt verdeckt ist. Hieraus können Rückschlüsse auf eine Form bzw. einen Umriss des verdeckenden Objekts gezogen werden.
Für das vorstehend genannte zweischrittige Vorgehen soll das Referenzbild bereitgestellt werden. Das kann so gelöst werden, dass für alle in Frage kommenden Muster 610 das zugehörige Referenzbild in einem Speicher vorgehalten wird. Der hiermit einhergehende Speicheraufwand kann reduziert werden, indem man nur die jeweiligen Parameter speichert, die notwendig sind, um das Referenzbild bei Bedarf neu zu errechnen bzw. zu generieren. Die Muster 610 können beispielsweise nach einfachen Regeln mit Hilfe eines Quasi- Zufallszahlen-Generators erzeugt werden. Das Wort „Quasi“ deutet hier an, dass der Zufallszahlen-Generator in Wirklichkeit nach deterministischen Regeln arbeitet und seine Ergebnisse daher reproduzierbar sind, was hier von Vorteil ist. Unter Regeln ist hier beispielsweise zu verstehen, welchen Durchmesser die symmetrischen Bereiche 110A und HOB haben und wie die Spiegelung durchzuführen ist und wie das Muster 610 aus mehreren Mustern mit unterschiedlichem Detaillierungsgrad gewichtet zusammengesetzt wird, z. B. damit es bei kurzen, mittleren und großen Distanzen gut detektierbar ist. Es genügt dann, nur die Initialisierungsdaten (Seeds) des Quasi-Zufallszahlen- Generators und ggf. die Auswahl der Regeln für den Bau des Musters 610 zu speichern. Mittels dieser Bildungsvorschrift kann das Referenzmuster bei Bedarf immer wieder neu und identisch erzeugt (und anschließend wieder gelöscht) werden.
Zusammengefasst lässt sich das zweischrittige Vorgehen beispielsweise etwa wie folgt darstellen. Im ersten Schritt werden die Symmetriezentren gefunden und ihre Vorzeichen ermittelt. Mit Vorzeichen ist hier die Fallunterscheidung zwischen ungerader und gerader Symmetrie gemeint. Durch einen Vergleich der Abfolge der Vorzeichen wird ermittelt, um welches von mehreren Mustern es sich handelt. Die Abfolge der Vorzeichen des Musters 610 kann auch als Code bezeichnet werden. Dieser ist kompakt beschreibbar und benötigt bei einem Muster 610 mit beispielsweise 8><8 Symmetriezentren höchstens 64 bit. Zum Zweck des Vergleichs sollten alle existierenden bzw. in Frage kommenden Codes gespeichert sein. Aus dieser Menge wird der Code gesucht, der mit der Beobachtung möglichst widerspruchsfrei übereinstimmt. Dieses Ergebnis ist in der Regel eindeutig. Diese Suche ist auch dann noch möglich, wenn die Kamera z. B. wegen Verdeckung nur einen Teil des Musters 610 erfassen kann, denn der Code bietet in diesem Beispiel mit 8><8 Symmetriezentren eine sehr große Zahl von bis zu 264 Möglichkeiten, während die Zahl der gefertigten Muster 610 viel kleiner sein wird, so dass eine hohe Redundanz gegeben ist. Für jeden gespeicherten Code sollten auch die Informationen wie Parameter und Auswahl der Regeln gespeichert sein, die notwendig sind, um das Referenzbild zu erzeugen. Dieses wird für den zweiten Schritt erzeugt, z. B. nach Bedarf, also erst zu dem Zeitpunkt, wenn es benötigt wird, und ggf. nur temporär.
Anhand der im ersten Schritt gefundenen Positionen der Symmetriezentren in den Koordinaten des Kamerabilds und den bekannten, dazu korrespondierenden Positionen im Referenzbild kann eine Transformationsvorschrift errechnet werden, die diese Koordinaten möglichst gut ineinander abbildet, zum Beispiel mit einer projektiven oder affinen Abbildung, die im Sinne der kleinsten Quadrate optimiert wird. Mit dieser Transformation und geeigneter Filterung der Bilddaten können die beiden Bilder in ein gemeinsames Koordinatensystem transformiert (gewarpt) werden, z. B. in das Koordinatensystem des Kamerabilds oder in das Koordinatensystem des Referenzbilds oder in ein beliebiges drittes Koordinatensystem. Die beiden somit bereits aufeinander ausgerichteten Bilder werden anschließend genauer verglichen, z. B. mit Methoden des optischen Flusses. Beispielsweise wird für jedes Pixel des ersten Bildes, vorzugsweise unter Berücksichtigung seiner Umgebung, das beste korrespondierende Pixel, mit Umgebung, des zweiten Bildes gesucht. Die relative Verschiebung der korrespondierenden Positionen kann als Verschiebungsinformation, insbesondere als absolute Koordinaten oder als Verschiebungsvektor ausgedrückt werden. Die Ermittlung eines solchen Verschiebungsvektors kann mit Sub-Pixel-Genauigkeit erfolgen, die Korrespondenz liegt dann in der Regel nicht auf dem Pixelraster, sondern dazwischen. Diese Information erlaubt hochgenaue Analysen auf der gesamten Fläche des im Kamerabild erfassten Musters 610, z. B. um mit elastischen Mustern Verformungen oder Verzerrungen des Musters 610 bzw. seines Trägers/Darstellungsmediums 600 oder aber bei starren Mustern Abweichungen der Abbildung im optischen Pfad zu analysieren.
Ist eine gesuchte Korrespondenz im erwarteten Bereich nicht auffindbar, kann so auf eine lokale Verdeckung des Musters 610 zurückgeschlossen werden. Ursache der Verdeckung kann z. B. ein Objekt sein, das auf dem Muster 610 liegt, oder ein zweites Muster, das das erste Muster teilweise verdeckt. Aus dieser Verdeckungsanalyse können ebenfalls wertvolle Informationen geschöpft werden, z. B. Masken oder Umrisse der Objekte. Fig. 9 zeigt schematische Darstellungen von vordefinierten punktsymmetrischen Bereichen 110A und HOB gemäß Ausführungsbeispielen. Jeder der vordefinierten punktsymmetrischen Bereiche 110A und 110B entspricht oder ähnelt hierbei dem vordefinierten punktsymmetrischen Bereich aus einer der vorstehend beschriebenen Figuren. In einer ersten Teildarstellung A ist ein zweiter punktsymmetrischer bzw. gerade punktsymmetrischer Bereich HOB einschließlich seines Symmetriezentrums 112 gezeigt und in einer zweiten Teildarstellung B ist ein erster punktsymmetrischer bzw. ungerade punktsymmetrischer Bereich 110A einschließlich seines Symmetriezentrums 112 gezeigt. Die vordefinierten punktsymmetrischen Bereiche 110A und HOB repräsentieren hierbei mit Graustufen gebildete Bereiche.
Die Verwendung der Punktsymmetrie hat gegenüber anderen Symmetrieformen die Vorteile, dass sie bei Drehung des Musters und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs, um die Sichtachse, erhalten bleibt, dass bei Verkippung des Musters und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs, also unter schrägen Perspektiven, ebenfalls erhalten bleibt. Drehung und Verkippung des Musters /oder des zumindest einen vordefinierten punktsymmetrischen Bereichs stellen kein Problem für die Detektion der ungeraden und geraden Punktsymmetrien dar, denn diese bleiben dabei erhalten. Dadurch ist das vorstehend bereits genannte Verfahren zum Bereitstellen bzw. Bereitstellungsverfahren auch für schräge Perspektiven auf das Muster bzw. den zumindest einen vordefinierten punktsymmetrischen Bereich geeignet. Bei gerader Punktsymmetrie bleibt beispielsweise ein Grauoder Farbwert bei der Punktspiegelung erhalten.
Punktsymmetrisch zu dem Symmetriezentrum 112 in der ersten Teildarstellung A von Fig. 9 findet man zu jedem Grauwert g jeweils denselben Partner-Grauwert gpG = g. In der zweiten Teildarstellung B von Fig. 9 ist ungerade Punktsymmetrie dargestellt, wobei der Grauwert jeweils invertiert wird: Beispielsweise wird weiß zu schwarz und umgekehrt, hellgrau zu dunkelgrau und umgekehrt. In diesem Beispiel mit Grauwerten g im Intervall 0 < g < 1 wurden die punktgespiegelten Grauwerte gpu auf die einfachstmögliche Weise gemäß gpu = 1 - g aus den originalen Grauwerten g aus einer in der Darstellung von Fig. 9 oben gezeigten Hälfte des Bereichs 110A gebildet. Es können auch Nichtlinearitäten in die Invertierung integriert werden, beispielsweise Gamma- Korrekturen, z. B. um andere Nichtlinearitäten in der Bilddarstellung und Bildaufnahme zu kompensieren. Die Bildung geeigneter ungerader oder gerader punktsymmetrischer Muster ist entsprechend einfach. Beispielsweise wird die in der Darstellung von Fig. 9 oben gezeigte Hälfte des jeweiligen Bereichs 110A bzw. HOB beliebig festgelegt oder per Zufall generiert. Die in der Darstellung von Fig. 9 unten gezeigte Hälfte ergibt sich dann daraus, und zwar per Punktspiegelung mit Invertierung der Grauwerte für ungerade Punktsymmetrie oder ohne Invertierung der Grauwerte für gerade Punktsymmetrie.
Diese Betrachtung bzw. Erzeugung lässt sich auch auf farbige Muster und/oder vordefinierter punktsymmetrischer Bereiche erweitern. Bei der ungeraden Punktsymmetrie können hierbei die punktgespiegelten RGB-Werte durch Invertierung der einzelnen originalen RGB-Werte gebildet werden, was wieder die einfachste Möglichkeit darstellt, also rpu = 1 - r (rot), gpu = 1 - g (g steht hier für grün), bpu = 1 - b (blau). So wird beispielsweise dunkelviolett auf hellgrün abgebildet und blau auf orange. Farbige Muster können mehr Information als monochrome Muster repräsentieren, was vorteilhaft sein kann. Voraussetzung für die Nutzung dieses Vorteils ist, dass bei der Umwandlung des Originalbilds, d.h. Farbbild einer Kamera oder eines anderen bildgebenden Sensors, in Deskriptoren die Farbinformation auch ausgenutzt wird.
Nachfolgend soll auch unter Bezugnahme auf die vorstehend beschriebenen Figuren auf eine konkrete Ausführung der Muster 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B eingegangen werden.
Hinsichtlich einer Anordnung der Muster 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder HOB können, wie z. B. in Fig. 6, die punktsymmetrischen Bereiche 110 bzw. 110A und/oder HOB beispielsweise kreisförmig sein und können diese wiederum meistens in einem regelmäßigen Gitter in dem Muster 610 angeordnet sein. Zwischen den kreisförmigen Bereichen 110 bzw. 110A und/oder HOB können beispielsweise Flächen ungenutzt bleiben. Dazu gibt es Alternativen: Beispielsweise können die Bereiche 110 bzw. 110A und/oder HOB quadratisch sein und lückenlos aneinander anschließen, so dass die gesamte Fläche ausgenutzt wird, oder die symmetrischen Bereiche 110 bzw. 110A und/oder 110B können regelmäßige Sechseckflächen sein, die ebenfalls lückenlos aneinander anschließen, so dass die gesamte Fläche ausgenutzt wird.
Fig. 10 zeigt in diesem Zusammenhang eine schematische Darstellung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen 110A und HOB gemäß einem Ausführungsbeispiel. Die vordefinierten punktsymmetrischen Bereiche 110A und HOB entsprechen oder ähneln hierbei den vordefinierten punktsymmetrischen Bereichen aus Fig. 1, Fig. 6 und/oder Fig. 8. Die Bereiche 110A und HOB in Fig. 10 sind jeweils kreisförmig und sind auf einem hexagonalen Raster angeordnet. Hierbei kann ein Abstand zwischen Rasterpunkten bzw. Symmetriezentren dem Kreisdurchmesser entsprechen. So kann eine ungenutzte Fläche 1010 zwischen den Bereichen 110A und HOB in dem Muster 610 minimiert werden.
Auch andere Anordnungen und Formen, z. B. Rechtecke, Polygone etc., sind möglich, die auch miteinander in Form und/oder Größe kombiniert werden können. Beispielsweise ein Wechsel von Fünf- und Sechsecken wie auf einem gewöhnlichen Fußball. Auch können die Formen anders angeordnet, z. B. gedreht sein, ggf. mit unsymmetrischen Bereichen dazwischen. Es ist auch möglich, dass das Symmetriezentrum außerhalb des punktsymmetrischen Bereichs selbst liegt. Dies ist beispielsweise bei einem Kreisring als Form der Fall. Es ist auch nicht nötig, dass alle punktsymmetrischen Bereiche in einer gemeinsamen Ebene liegen. Sie können stattdessen auf unterschiedlichen, im Raum angeordneten Flächen liegen, die auch uneben sein dürfen.
Die Muster 610 und/oder der zumindest eine vordefinierte punktsymmetrische Bereich 110 bzw. 110A und/oder HOB kann bzw. können auf unterschiedlichste Art gebildet sein. Nachfolgend sind lediglich einige Beispiele angegeben.
Zufallsmuster bzw. Quasi-Zufallsmuster wie Rauschmuster. Diese wurden, durch Einbeziehen niedriger Ortsfrequenzanteile, so gebildet, dass sie auch bei mittleren und größeren Distanzen von der Kamera noch als ausreichend kontrastreiche Rauschmuster wahrgenommen werden. Sogenanntes weißes Rauschen, d. h. unkorrelierte Grauwerte, wäre hierfür ungeeignet. Ästhetische, ggf. regelmäßige Muster, wie Blumenmuster, Rankenmuster (Blätter, Zweige, Blüten), Ornamentmuster, Mosaiken, mathematische Muster, traditionelle Muster, Zwiebelmuster, Muster aus ikonischen Symbolen (Herzen usw.). Nachahmen von Zufallsmustern aus der Natur, z. B. Ackerboden, Waldboden, Rasen, Kiesstrand, Sand, Schüttgut (Schotter, Salz, Reis, Samenkörner), Marmor, Bruchstein, Beton, Ziegelstein, Schiefer, Asphaltoberfläche, Sternenhimmel, Wasseroberfläche, Filz, Hammerschlaglack, rostiges Eisenblech, Schaffell, verstreute Partikel, usw. Fotos von Szenen mit beliebigem Inhalt. Um aus einem solchen Muster einen für die hierin genannten Zwecke geeigneten punktsymmetrischen Bereich und/oder ein Muster zu erzeugen, gibt man eine Hälfte der jeweiligen Fläche beliebig vor und konstruiert die zweite Hälfte durch Punktspiegelung und ggf. Invertierung der Grauwerte bzw. Farbwerte. Siehe hierzu auch Fig. 9 als einfaches Beispiel.
Hinsichtlich Material, Oberfläche und Herstellung des Musters 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder HOB kommen zahlreiche Möglichkeiten in Frage. Die folgende Liste erhebt keinen Anspruch auf Vollständigkeit: Schwarzweiß-, Graustufen- oder Mehrfarbdruck auf unterschiedlichste Materialien, Druck auf oder hinter Glas oder transparente Folie, Druck auf oder hinter Mattglas oder semitransparente Folie, Relief in Stein oder Glas oder Kunststoff oder Gummi, Relief in gebrannten Materialien wie Steingut, Terrakotta oder Keramik, Relief-Guss in Metall oder Beton oder Gips, Prägung in Kunststoff oder Papier/Pappe, Ätzung in Glas- oder Metall- oder Keramikoberfläche, Fräsung in Holz, Pappe, Metall, Stein etc., Brandoberfläche in Holz oder Papier, photographische Belichtung von Papier oder anderen Materialien, vergängliche bzw. verrottende bzw. wasserlösliche Muster für Kurzzeit-Anwendungen in pflanzlichem Material, Asche, Sand, Holz, Papier, auf Früchten, Schalen von Lebensmitteln etc., Darstellung als Hologramm, Darstellung auf einem Monitor oder Display, ggf. auch zeitlich veränderlich, Darstellung auf einer LCD-Folie oder einer sonstigen Display-Folie, ggf. auch zeitlich veränderlich, etc.
Hinsichtlich reliefartiger Herstellungsmöglichkeiten, wie auch im Fall von Fräsung, Prägung, Stanzung usw., ist anzumerken, dass der Bereich von der Kamera als ungerade und/oder gerade symmetrisch wahrgenommen werden soll. Daher kann es nötig sein, bereits beim Entwurf z. B. eine spätere Beleuchtung, wie beispielsweise schrägen Lichteinfall auf ein Relief, und Nichtlinearitäten in der optischen Abbildung und sonstige Störungen zu berücksichtigen. Es ist nicht entscheidend, dass die 3D-Form bzw. das Relief an sich die gerade und/oder ungerade Punktsymmetrieart aufweist, sondern das von der Kamera aufgenommene Bild diese Symmetrie zeigt. Dabei sind auch Lichteinfall bzw. Beleuchtungsrichtung und Reflexion des Lichts an der Oberfläche relevant und sollten beim Entwurf mitbedacht werden. Hinsichtlich Bildaufnahme und Beleuchtung sei angemerkt, dass für eine Erfassung des Musters 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder HOB die Aufnahmetechnik geeignet ausgelegt sein sollte. Insbesondere ist es bei schnellen Relativbewegungen zwischen Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B und Kamera ratsam, eine geeignete Beleuchtung (z.B. Blitzlicht oder Stroboskoplicht oder helles LED-Licht) zu verwenden, damit die Belichtungszeit und somit die Bewegungsunschärfe im Bild klein gehalten werden kann. Für verschiedene Anwendungen ist es sinnvoll, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder HOB auf eine transparente oder semitransparente Oberfläche aufzubringen. Dies ermöglicht, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder HOB von der einen Seite zu beleuchten und von der anderen Seite zu beobachten. Mit dieser Lösung lassen sich störende Reflexionen der Lichtquelle auf dem Darstellungsmedium wirkungsvoll vermeiden. Für die Anordnung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder HOB, Lichtquelle und Kamera besteht jeweils grundsätzlich die Freiheit, die Vorderseite oder die Rückseite des Trägers bzw. Darstellungsmediums zu wählen. Bei der Wahl kann auch die Gefahr der Verschmutzung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder HOB oder Kamera oder Abnutzung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder HOB eine Rolle spielen: So kann es z. B. sinnvoll sein, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder HOB und Kamera rückseitig anzubringen, weil sie sich dort besser z. B. vor Staub oder Wasser schützen lassen oder weil Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder HOB dort vor mechanischer Abnutzung geschützt ist bzw. sind. In der nachveröffentlichten DE 10 2020 202 160 ist ein Verfahren offenbart, das auch in Ausführungsbeispielen genutzt wird, um zuverlässig und mit sehr geringem Rechenaufwand symmetrische Bereiche bzw. Muster in einem Bild zu finden. Hierbei wird das Originalbild, d. h. ein Farbbild oder Grauwertbild einer Kamera oder eines anderen bildgebenden Sensors, in ein Bild von Deskriptoren umgewandelt, wobei ein Deskriptor jeweils anhand einer lokalen Umgebung des Originalbilds gebildet wird. Dabei ist der Deskriptor eine andere Repräsentationsform für den lokalen Bildinhalt, der diesen in einer einfacher zu verarbeitenden Form aufbereitet. Unter einfacher ist dabei unter anderem zu verstehen: enthält Information über die Umgebung des Punkts und nicht nur über den Punkt selbst, weitgehende Invarianz gegenüber Helligkeit bzw. Beleuchtung und deren Änderung und geringere Empfindlichkeit gegenüber Rauschen des Sensors. Das Deskriptorbild kann die gleiche Auflösung wie das Originalbild aufweisen, sodass etwa pro Pixel des Originalbilds ein Deskriptor vorliegt. Andere Auflösungen sind ebenfalls möglich, alternativ oder zusätzlich.
Aus dem jeweiligen Deskriptor, der in einer Rechnereinheit als Binärwort dargestellt ist, oder aus jeweils mehreren benachbarten Deskriptoren wird eine Signatur gebildet, welche die lokale Umgebung des Pixels des Originalbilds möglichst charakteristisch beschreibt. Die Signatur kann auch mit dem Deskriptor oder einem Teil davon identisch sein. Die Signatur wird als Adresse für den Zugriff auf eine Nachschlagetabelle (Lookup-Tabelle) verwendet. Besteht die Signatur aus N bit, kann demnach auf eine Nachschlagetabelle der Größe 2N (das bedeutet: 2 hoch N) zugegriffen werden. Es ist von Vorteil, die Wortlänge N der Signatur nicht zu groß zu wählen, da der Speicherbedarf für die Tabelle exponentiell mit N wächst: Beispielsweise 8 < N < 32. Die Signatur bzw. der Deskriptor ist so konstruiert, dass Signatur-Symmetrien mit einfachen Operationen, z. B. bit-weises XOR (Exklusiv-Oder) auf einem Teil der Bits, ermittelt werden können. Beispiel: SP = s A RP, wobei s eine Signatur der Länge N bit darstellt und RP einen darauf abgestimmten Reflektor (R) für Punktsymmetrie (P). Das Zeichen A steht für die bit-weise XOR-Operation. Die Signatur SP steht also für das punktsymmetrische Gegenstück zur Signatur s. Diese Beziehung gilt auch in umgekehrter Richtung. Steht die Konstruktion des Deskriptors bzw. der Signatur fest, ist damit automatisch auch der Reflektor festgelegt (und konstant). Durch seine Anwendung auf eine beliebige Signatur kann diese in ihr symmetrisches Gegenstück umgewandelt werden. Es existiert ein Algorithmus, der zur gegebenen Signatur am aktuellen Pixel ein oder mehrere symmetrisches Signatur-Pixel, innerhalb eines optional eingeschränkten Suchfensters, findet. Das Symmetriezentrum liegt dann mittig auf der Verbindungslinie zwischen den Positionen dieser beiden Pixel. Dort oder möglichst in der Nähe wird ein Stimmgewicht abgegeben und in einer Abstimmungsmatrix (voting map) gesammelt. In der Abstimmungsmatrix häufen sich die abgegebenen Stimmgewichte an Orten der gesuchten Symmetriezentren. Diese können somit gefunden werden können, z. B. indem man die Abstimmungsmatrix nach Häufungspunkten durchsucht. Dies funktioniert für Punktsymmetrie, horizontale Achsensymmetrie, vertikale Achsensymmetrie, sowie bei Bedarf weiteren Symmetrien, z. B. Spiegelsymmetrie an weiteren Achsen, sowie Rotationssymmetrie. Eine noch präzisere Lokalisierung mit Sub-Pixel- Genauigkeit ist möglich, wenn bei der Auswertung der Abstimmungsmatrix zur Ermittlung der Häufungspunkte und präzisen Lokalisierung der Symmetriezentren auch jeweils die lokale Umgebung in die Betrachtung einbezogen wird.
In Fig. 15 der DE 10 2020 202 160 ist ein Algorithmus illustriert, der punktsymmetrische Korrespondenzen zu der aktuell betrachteten Signatur finden kann. Dabei waren jedoch nur gerade Punktsymmetrien berücksichtigt.
Gemäß Ausführungsbeispielen ist dieser Algorithmus auf ungerade Punktsymmetrien erweitert. Besonders vorteilhaft ist dabei, dass die ungeraden und geraden Symmetrien in nur einem gemeinsamen Durchlauf gleichzeitig ermittelt werden können. Das spart Zeit, weil nur ein Durchlauf durch das Signaturbild erforderlich ist statt zwei Durchläufe, und Latenz. Wenn nur ein Durchlauf (statt zwei) erforderlich ist, kann durch Verarbeitung im Stream-Modus das Ergebnis der Symmetriesuche mit sehr viel geringerer Latenz bereitgestellt werden. Dabei wird die Verarbeitung bereits begonnen, sobald die ersten Pixeldaten von der Kamera ankommen und die Verarbeitungsschritte dicht hintereinander ausgeführt. Das heißt die Signatur wird bereits berechnet, sobald die notwendigen Bilddaten aus der lokalen Umgebung des aktuellen Pixels vorliegen. Für die gerade gebildete Signatur wird umgehend die Suche nach Symmetrien durchgeführt. Sobald Teile der Abstimmungsmatrix fertig sind, was der Fall ist, wenn sie nicht mehr Teil des Suchbereichs sind und dies auch nicht mehr werden, können diese sofort ausgewertet und evtl, gefundene Symmetrien (starke Symmetriezentren) umgehend ausgegeben werden. Dieses Vorgehen führt zu sehr geringen Latenzen, die typischerweise nur wenigen Bildzeilen entsprechen, abhängig von der Höhe des Suchbereichs. Geringe Latenzen sind wichtig, wenn schnell reagiert werden soll, z. B. innerhalb einer Regelschleife, bei der eine Aktuatorik die relative Pose zwischen Symmetrieobjekt und Kamera beeinflusst. Auch kann Speicher gespart werden. Die Abstimmungsmatrix (voting map) kann für beide Symmetrieformen, d.h. gerade Punktsymmetrie und ungerade Punktsymmetrie, gemeinsam genutzt werden, wobei die beiden Symmetrieformen bzw. Symmetriearten mit unterschiedlichem Vorzeichen an der Abstimmung teilnehmen, z. B. Subtraktion des Stimmgewichts bei ungerader Punktsymmetrie und Addition des Stimmgewichts bei gerader Punktsymmetrie. Dies wird nachfolgend noch näher erläutert. Ferner kann durch eingesparten Speicher auch Energie gespart werden. Die oben beschriebene latenzarme Realisierungsmöglichkeit führt auch dazu, dass nur wenige Zwischendaten gespeichert zu werden brauchen, im Gegensatz zu ganzen Bildern. Dieses Arbeiten mit wenig Speicher ist insbesondere für kosten kritische eingebettete Systeme (Embedded Systems) wichtig und führt außerdem zur Einsparungen beim Energiebedarf.
Fig. 11 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1150 gemäß einem Ausführungsbeispiel. Die Nachschlagtabelle 1150 ist durch die Bestimmungseinrichtung der Vorrichtung zum Bereitstellen aus Fig. 1 oder einer ähnlichen Vorrichtung verwendbar. Anders ausgedrückt ist ein Ausführungsbeispiel für ein algorithmisches Vorgehen bei einer Suche nach punktsymmetrischen Korrespondenzen in Fig. 11 als Momentaufnahme im Zusammenhang mit der Vorrichtung zum Bereitstellen aus Fig. 1 oder einer ähnlichen Vorrichtung und/oder dem Verfahren zum Bereitstellen aus Fig. 3 oder einem ähnlichen Verfahren dargestellt.
Insbesondere ähnelt die Darstellung in Fig. 11 auch Fig. 15 der nach veröffentlichten DE 10 2020 202 160, wobei hier Fig. 11 zusätzlich eine Erweiterung um gerade und ungerade Punktsymmetrie umfasst.
Die Nachschlagtabelle 1150 kann hier auch als eine Einstiegstabelle bezeichnet werden. Gezeigt ist ein Pixelgitter 1100, in dem für ein aktuell betrachtetes bzw. bearbeitetes Pixel eine Signatur s mit dem beispielhaften Wert 2412 erzeugt wurde. Anders ausgedrückt zeigt Fig. 11 eine Momentaufnahme während einer Bildung einer Verkettung von Pixeln bzw. Pixelkoordinaten mit identischer Signatur s. Zur besseren Übersichtlichkeit sind zwei von bis zu N möglichen Ketten dargestellt, und zwar zur Signatur SPG=364 und zur Signatur SPU=3731. In dem Pixelgitter 1100 kann pro Pixel ein Verweis auf die Position der letzten Vorgängersignatur gespeichert werden, die denselben Signaturwert hatte. So entsteht jeweils eine Verkettung der Positionen mit identischer Signatur. Die Signaturwerte selbst brauchen somit nicht gespeichert zu werden. In der Nachschlagtabelle 1150 bzw. Einstiegstabelle mit N Tabellenfeldern ist pro Signaturwert eine entsprechende Einstiegsposition in dem Pixelgitter 1100 gespeichert. Dabei entspricht N einer Anzahl möglicher Signaturwerte. Der gespeicherte Wert kann auch „ungültig“ sein. Der Inhalt der Nachschlagtabelle 1150 bzw. Einstiegstabelle und das Bild von Verweisen (Verkettungsbild) verändern sich dynamisch.
Eine z. B. zeilenweise Bearbeitung Pixel für Pixel in dem Pixelgitter 1100 begann z. B. oben links in Fig. 11, wie es durch einen Pfeil veranschaulicht ist, und ist aktuell bis zu einem Pixel fortgeschritten, das die Signatur s = 2412 aufweist. Verkettungen zwischen Pixelpositionen mit jeweils identischer Signatur s sind lediglich für einen ersten Bildbereich 1101 gespeichert. Für einen zweiten Bildbereich 1102 im unteren Bildteil sind die Verkettungen und Signaturen zum dargestellten Zeitpunkt noch nicht bekannt, und für einen dritten Bildbereich 1103 im oberen Bildteil werden die Verkettungen, z. B. aufgrund einer Beschränkung eines Suchbereichs, nicht mehr benötigt, wobei ein Verkettungsspeicher für Pixel in dem dritten Bildbereich 1103 wieder freigegeben werden kann.
Für die soeben gebildete Signatur s wird durch Anwendung eines Reflektors RPG die gerade punktgespiegelte Signatur SPG= 364 gebildet. Der Index PG steht für Punktsymmetrie, Gerade. Nachfolgend wird auch der Index PU verwendet, der für Punktsymmetrie, Ungerade, steht. Dieser Wert wird als Adresse in die Nachschlagtabelle 1150 verwendet, um den Einstieg in diejenige Verkettung von Pixelpositionen zu finden, denen derselbe Signaturwert SPG = 364 zugeordnet ist. Die Nachschlagtabelle 1150 umfasst zum dargestellten Zeitpunkt zwei Elemente: die Einstiegs-Pixelpositionen zur jeweiligen Signatur s mitsamt den durch geschwungene Pfeile veranschaulichten Verweisen darauf. Weitere möglicherweise vorhandene Inhalte der Nachschlagtabelle 1150 sind aus Gründen der Anschaulichkeit nicht dargestellt. Die Verkettung für den Signaturwert SPG = 364 umfasst hier lediglich beispielhaft drei dargestellte Pixelpositionen. Zwei davon liegen in einem Suchbereich 1104, der auch eine andere als die hier dargestellte Form haben kann, z. B. rechteckig oder kreisförmig. Beim unidirektionalen Durchhangeln entlang der Verkettung, beginnend von unten, werden hier zwei punktsymmetrische Korrespondenz- Kandidaten gefunden, die innerhalb des Suchbereichs 1104 liegen. Die dritte Korrespondenz, welche das erste Element der Verkettung für gerade Punktsymmetrie ist, ist hier nicht von Interesse, da sie außerhalb des Suchbereichs 1104 und damit zu weit von der aktuellen Pixelposition entfernt liegt. Falls die Zahl von Symmetriezentrumskandidaten 1112 nicht zu groß ist, kann pro Symmetriezentrumskandidat 1112 ein Stimmgewicht für die Lage des jeweiligen Symmetriezentrums abgegeben werden. Der Symmetriezentrumskandidat 1112 liegt jeweils in der Mitte auf der Verbindungsachse zwischen der Position der Signatur s und der jeweiligen gerade punktgespiegelten Signatur SPG. Falls mehr als ein Symmetriezentrumskandidat 1112 vorliegt, kann das Stimmgewicht jeweils reduziert werden, beispielsweise kann der Kehrwert der Anzahl der Symmetriezentrumskandidaten als jeweiliges Stimmgewicht verwendet werden. Dadurch werden uneindeutige Symmetriezentrumskandidaten geringer gewichtet als eindeutige Symmetriezentrumskandidaten.
Nun wird eine Betrachtung und Verwendung einer ungerade punktgespiegelten Signatur vorgenommen. In der in Fig. 11 dargestellten Momentaufnahme wird für die soeben gebildete Signatur s durch Anwendung eines weiteren Reflektors RPU die ungerade punktgespiegelte Signatur SPU = 3731 gebildet. Analog zum vorstehend beschriebenen Ablauf für die gerade punktgespiegelte Signatur werden dieselben Schritte auch für die ungerade punktgespiegelte Signatur durchgeführt. Der Einstieg in die entsprechende Verkettung wird über dieselbe Nachschlagtabelle 1150 gefunden. Hier verweist die Nachschlagtabelle 1150 auf die für ungerade Punktsymmetrie dargestellte Verkettung für die Signatur 3731. Die ersten beiden Pixelpositionen entlang der Verkettung führen wieder zur Bildung von Symmetriezentrumskandidaten 1112, da sie im Suchbereich 1104 angeordnet sind und weil die Zahl der Symmetriezentrumskandidaten 1112 nicht zu groß ist. Die letzte Pixelposition entlang der Verkettung liegt im dritten Bildbereich 1103. Dieser Bereich wird gar nicht mehr benötigt, da er nicht mehr in den hier zeilenweise gleitenden Suchbereich 1104 kommen kann.
Verweist der nächste Verweis innerhalb einer Verkettung in den dritten Bildbereich 1103, so kann das Durchhangeln entlang der Verkettung abgebrochen werden. Selbstverständlich wird das Durchhangeln ebenfalls abgebrochen, wenn das Ende der Verkettung erreicht ist. In beiden Fällen ist es sinnvoll, die Anzahl der Symmetriezentrumskandidaten 1112 zu beschränken, d. h. bei zu vielen konkurrierenden Symmetriezentrumskandidaten 1112 alle zu verwerfen. Des Weiteren ist es sinnvoll, das Durchhangeln entlang einer Verkettung vorzeitig abzubrechen, wenn nach einer vorgegebenen maximalen Anzahl von Schritten entlang der Verkettung weder ihr Ende noch der dritte Bildbereich 1103 erreicht werden konnte. Auch in diesem Falle sollten alle bis dahin gefundenen Symmetriezentrumskandidaten 1112 verworfen werden.
Speicher für die Verkettung im dritten Bildbereich 1103 kann bereits wieder freigeben werden, so dass lediglich für die Größe des ersten Bildbereichs 1101 Verkettungsspeicher vorgehalten zu werden braucht. Der Verkettungsspeicherbedarf ist also insgesamt gering und hängt hier im Wesentlichen nur von einer Dimension des Suchbereichs 1104, hier Suchbereichshöhe, und von einer Dimension des Signaturbilds, hier Signaturbildbreite, ab.
Es kann sein, dass ein Symmetriezentrumskandidat 1112 bzw. Kandidat für ein Symmetriezentrum nicht immer genau auf eine Pixelposition fällt, sondern es drei weitere Möglichkeiten gibt. Insgesamt gibt es somit vier Möglichkeiten: 1. Punkt bzw. Symmetriezentrumskandidat 1112 fällt auf eine Pixelposition. 2. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen zwei horizontal direkt benachbarte Pixelpositionen.
3. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen zwei vertikal direkt benachbarte Pixelpositionen.
4. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen vier direkt benachbarte Pixelpositionen.
In den mehrdeutigen Fällen 2. bis 4. ist es vorteilhaft, das abzugebende Stimmgewicht gleichmäßig auf die beteiligten Pixelpositionen zu verteilen. Die abgegebenen Stimmgewichte werden in eine Abstimmungsmatrix eingetragen und darin aufsummiert bzw. aufakkumuliert.
Dabei werden nicht nur positive, sondern gleichzeitig auch negative Stimmgewichte verwendet. Insbesondere werden die geraden Symmetrien mit einem anderen Vorzeichen versehen, hier positiv, als die ungeraden Symmetrien, hier negativ. Dies führt zu eindeutigen Ergebnissen: In Bildbereichen ohne Symmetrien, die in der Praxis meistens die Mehrheit darstellen können, halten sich positive und negative Stimmgewichtsabgaben etwa die Waage und heben sich somit in der Abstimmungsmatrix in etwa gegenseitig auf. Im Mittel ergibt sich in der Abstimmungsmatrix also etwa eine Null. Demgegenüber ergeben sich in ungerade symmetrischen oder gerade symmetrischen Bereichen starke Extrema in der Abstimmungsmatrix, und zwar in diesem Ausführungsbeispiel negativwertige Minima bei ungeraden Punktsymmetrien und positivwertige Maxima bei geraden Punktsymmetrien.
Es werden gemäß dem hier dargestellten Ausführungsbeispiel für die ungeraden und geraden Punktsymmetrien dieselben Ressourcen verwendet, d.h. Nachschlagtabelle 1150 bzw. Einstiegstabelle, Verkettungsbild, Abstimmungsmatrix, was insbesondere Speicherbedarf einspart, und es werden beide Symmetrieformen bzw. Symmetriearten in einem gemeinsamen Durchlauf betrachtet, was Zeit und Zwischenspeicher einspart.
Fig. 12 zeigt ein schematisches Diagramm 1200 zu einer Abstimmungsmatrix gemäß einem Ausführungsbeispiel. Das Diagramm 1200 bezieht sich auf eine Abstimmungsmatrix als 3D-Plot für ein mittels der Vorrichtung zum Bereitstellen aus Fig. 1 oder einer ähnlichen Vorrichtung verarbeitetes Kamerabild, in dem das Muster aus der zweiten Teildarstellung von Fig. 6 von einer Kamera aufgenommen wurde. In der Abstimmungsmatrix bzw. dem Diagramm 1200 sind deutlich beispielhaft drei Maxima 1210B und fünf Minima 1210A zu erkennen, die für die drei gerade punktsymmetrischen und fünf ungerade punktsymmetrischen Bereiche des Musters aus der zweiten Teildarstellung von Fig. 6 stehen. Außerhalb dieser Extrema sind die Werte in der Abstimmungsmatrix nahe Null. Somit sind die Extrema sehr einfach zu bestimmen und somit die Lagen der Symmetriezentren im Kamerabild eindeutig und präzise zu ermitteln.
Fig. 12 zeigt, dass diese Extrema sehr deutlich ausgeprägt und somit für die Vorrichtung zum Bereitstellen aus Fig. 1 oder eine ähnliche Vorrichtung und/oder das Verfahren zum Bereitstellen aus Fig. 3 oder ein ähnliches Verfahren einfach und zweifelsfrei detektierbar sind. Die Information über die Art der Symmetrie, d.h. ungerade oder gerade, ist dabei im Vorzeichen enthalten. Eine hochpräzise Ermittlung der Lage der Symmetriezentren mit Sub-Pixel-Genauigkeit ist möglich, wenn bei der Auswertung der Abstimmungsmatrix auch die lokale Umgebung des jeweiligen Extremums in die Betrachtung einbezogen wird. Hierfür sind dem Fachmann entsprechende Methoden bekannt. Bei geeigneter Konstruktion der Muster konkurrieren ungerade und gerade Punktsymmetrien nicht miteinander. Dann weist ein Bildbereich, wenn überhaupt, entweder die ungerade oder die gerade Punktsymmetrieform auf. Selbst wenn ungerade und gerade punktsymmetrische Bereiche nahe beieinander im Kamerabild liegen, kann dafür gesorgt werden, dass ihre Symmetriezentren trotzdem räumlich voneinander getrennt bzw. unterscheidbar bleiben. Dann entstehen durch die gemeinsame Behandlung von negativen und positiven Symmetrien Vorteile im Hinblick auf Ressourcen und Geschwindigkeit.
Gemäß einem Ausführungsbeispiel kann eine getrennte Behandlung ungerader und gerader Punktsymmetrie vorgesehen sein. Sinnvollerweise erfolgt die Aufspaltung vor dem Einträgen in die Abstimmungsmatrix: Statt einer gemeinsamen, vorzeichenbehafteten Abstimmungsmatrix sind dann zwei vorzeichenlose Abstimmungsmatrizen vorgesehen, wobei die Stimmgewichte für negative Symmetrien in die erste und Stimmgewichte für positive Symmetrien in die zweite Abstimmungsmatrix eingetragen werden. Hierbei entsteht ein potenziell interessanter Vorteil: Es können auch Muster konstruiert und vom Detektionsalgorithmus berücksichtigt werden, die gleichzeitig ungerade und gerade Punktsymmetrie aufweisen und deren Symmetriezentrum örtlich zusammenfällt. Eine solche gemischte Symmetrieform ist zwar sehr ungewöhnlich, aber diese Außergewöhnlichkeit gewährleistet, dass Verwechslungen mit zufällig in den Bildern vorkommenden Mustern äußerst unwahrscheinlich sind. Die beiden Abstimmungsmatrizen sind dann nach Maxima zu durchsuchen, die in beiden Matrizen am gleichen Ort vorliegen. Ein weiterer möglicher Vorteil durch die getrennte Behandlung von ungerader und gerader Punktsymmetrie liegt in der einfacheren Parallelisierbarkeit und dadurch ggf. schnelleren Ausführung. Denn durch die Verwendung von zwei Abstimmungsmatrizen können Zugriffskonflikte beim Einträgen der Stimmgewichte vermieden werden, was Wartezeiten einspart.
Fig. 13 zeigt eine schematische Darstellung von beispielhaft in Würfelform angeordneten Mustern 610 gemäß einem Ausführungsbeispiel im Hinblick auf eine korrekte Identifikation eines Rasters 1311. Bei den in Fig. 13 dargestellten Mustern 610 handelt es sich beispielsweise um Muster aus Fig. 7 bzw. Fig. 8, von denen drei hier in einer Würfelform angeordnet sind. Von den Mustern 610 sind detektierte bzw. identifizierte Symmetriezentren 112A und 112B jeweiliger vordefinierter punktsymmetrischer Bereiche der Muster 610 gezeigt, wobei optional auch Vorzeichen und Werte der zugehörigen Extrema in der Abstimmungsmatrix bekannt sein können. Hierbei sind erste Symmetriezentren 112A vordefinierten punktsymmetrischen Bereichen mit ungerader Punktsymmetrie zugeordnet und sind zweite Symmetriezentren 112b vordefinierten punktsymmetrischen Bereichen mit gerader Punktsymmetrie zugeordnet. Für eines der Muster 610 ist ein korrektes Raster 1311 eingezeichnet, an dem die vordefinierten punktsymmetrischen Bereiche und somit die Symmetriezentren 112A und 112B ausgerichtet sind. Für die anderen beiden Muster 610 sind die korrekten Raster zu suchen, wobei in Fig. 13 ferner falsche Lösungen der Rastersuche durch erste Markierungen 1313 veranschaulicht sind und richtige Lösungen der Rastersuche durch zweite Markierung 1314 veranschaulicht sind.
Das Auffinden der zugehörigen korrekten Raster ist eine Aufgabenstellung mit Mehrdeutigkeiten. Nachdem die ungerade/gerade codierten Symmetriezentren 112A und 112B detektiert worden sind, besteht häufig der nächste Schritt darin, diese zu gruppieren und zu ermitteln, welchem Muster 610 diese Gruppe zuzuordnen ist, da ja im Vorhinein nicht immer bekannt ist, welche und wie viele Muster 610 im Bild enthalten sind. Teil dieser Aufgabe kann das Auffinden der Raster 1311 sein, auf denen die Symmetriezentren 112A und 112 B angeordnet sind. Statt quadratischer Raster 1311 kommen auch andere Topologien für die Anordnung der Symmetriezentren 112A und 112B in Frage, z. B. ringförmige konzentrische Anordnungen, siehe z. B. die zweite Teildarstellung in Fig. 6. Stellvertretend werden nachfolgend quadratische Raster 1311 betrachtet.
Die Aufgabe, alleine aus den Positionen der Symmetriezentren 112A und 112B in Fig. 13 die Lage des korrekten Rasters für alle Muster 610 zu bestimmen, stellt unter Umständen ein mehrdeutiges Problem dar. Betrachtet man in Fig. 13 das Muster 610, für welches das korrekte Raster 1311 bereits eingezeichnet ist, fällt es (dem Betrachter) nicht schwer, das korrekte Raster 1311 anzugeben. Bei den beiden anderen Mustern 610, die von der Kamera unter einer deutlich schrägeren Perspektive erfasst werden, wird jedoch klar, dass die Ausgabe uneindeutig sein kann. Es existieren mehrere mögliche Lösungen, wie ein Raster durch die Symmetriezentren 112 A und 112 B gelegt werden könnte. Dabei ist die zunächst bei lokaler Betrachtung naheliegendste Lösung, nämlich die mit annähernd senkrechten Achsen, nicht die richtige, wie anhand der ersten Markierungen 1313 zu sehen ist. Die zweiten Markierungen 1314 liegen dagegen korrekt auf dem Raster. Dies zeigt, dass ein naives Vorgehen, z. B. das Suchen der nächsten Nachbarn des jeweiligen Symmetriezentrums, bei schräger Perspektive eventuell zu einer falschen Lösung führen kann. In der Praxis scheiden Lösungen mit sehr schräger Perspektive aus, weil die Symmetriezentren 112A und 112B dann nicht mehr auffindbar sind.
Fig. 14 zeigt eine schematische Darstellung des in der ersten Teildarstellung von Fig. 6 gezeigten Musters 610 in schräger Perspektive. In einer ersten Teildarstellung A ist in Fig. 14 das Darstellungsmedium 600 mit dem Muster 610 aus den vordefinierten punktsymmetrischen Bereichen 110A und HOB gezeigt. In einer zweiten Teildarstellung B sind in Fig. 14 die mittels der Vorrichtung zum Bereitstellen aus Fig. 1 oder einer ähnlichen Vorrichtung und/oder des Verfahrens zum Bereitstellen aus Fig. 3 oder eines ähnlichen Verfahrens identifizierten bzw. detektierten Symmetriezentren 112A und 112B des Musters 610 gezeigt. Die Symmetriezentren 112 A und 112 B wurden detektiert und zumindest ihre Positionen stehen bereit.
Fig. 15 zeigt das Muster 610 aus der ersten Teildarstellung von Fig. 14 mit einer Hervorhebung eines vordefinierten punktsymmetrischen Bereichs HOB. Dabei ist lediglich beispielhaft ein vordefinierter gerade punktsymmetrischer Bereich 110B grafisch hervorgehoben, um eine Verzerrung des Musters 610 bzw. der Bereiche 110A und HOB durch die schräge Perspektive zu veranschaulichen. Die hier beispielhaft kreisförmig vordefinierten punktsymmetrischen Bereiche 110A und HOB sind durch die schräge Perspektive zu Ellipsen verzerrt.
Nachfolgend wird unter besonderer Bezugnahme auf Fig. 14 und Fig. 15 sowie allgemeine Bezugnahme auf die vorstehend beschriebenen Figuren auf eine Rekonstruktion des korrekten Rasters bzw. der Topologie des Musters 610 eingegangen.
Unter schräger Perspektive wird jeder kreisförmige Bereich 110A und HOB, aus dem die Stimmen für das jeweilige Symmetriezentrum 112A und 112B stammen, zu einer Ellipse. Durch Rückverfolgung der Stimmen, die zu dem jeweiligen Symmetriezentrum 112A, 112B, beispielsweise dem in Fig. 15 hervorgehobenen Symmetriezentrum 112 B mit gerader Punktsymmetrie, beigetragen haben, kann auf die Form und Orientierung der jeweiligen Ellipse zurückgeschlossen werden. Richtung und Verhältnis der Hauptachsen der Ellipse verraten, wie diese gestreckt bzw. entzerrt werden kann, um sie zurück in einen Kreis zu überführen. Es sei der beispielhaft hervorgehobene vordefinierte gerade punktsymmetrische Bereich HOB des Musters 610 betrachtet, der zu dem hervorgehobenen Punktsymmetriezentrum 112 B beiträgt. Per Entwurf bzw. Konstruktion ist dieser Bereich HOB kreisförmig oder näherungsweise kreisförmig, z. B. sechseckig. Unter schräger Perspektive wird dieser Kreis zu einer Ellipse. Bei der Abstimmung zum Identifizieren des Symmetriezentrums 112B tragen symmetrische Punktepaare zur Bildung des Extremums in der Abstimmungsmatrix bei, die innerhalb dieser Ellipse liegen. Gemäß einem Ausführungsbeispiel wird zurückverfolgt, woher im Kamerabild die Punktepaare stammen, die zur Bildung eines hinreichend starken Extremums geführt haben. Zu diesem Zweck wird ein weiterer Verarbeitungsschritt durchgeführt. Es wird zunächst davon ausgegangen, dass die Abstimmung bereits stattgefunden hat und dass die hinreichend starken Symmetriezentren bereits gefunden wurden. Ausgangspunkt ist also eine Situation, wie sie in der zweiten Teildarstellung B von Fig. 14 dargestellt ist. Nachfolgend wird der Prozess der Abstimmung in abgewandelter Form noch einmal durchlaufen. Die bereits existierende Abstimmungsmatrix wird dabei jedoch nicht noch einmal neu gebildet. Stattdessen wird für jedes symmetrische Punktepaar, das einen Beitrag zur Abstimmungsmatrix liefern würde, geprüft, ob der Beitrag zu einem der gefundenen Symmetriezentren 112 A, 112 B beitragen würde und damit im ersten Durchlauf auch bereits beigetragen hat. Falls dies der Fall ist, werden die beiden Positionen des Punktepaars gespeichert bzw. sofort weiterverrechnet. Vorteilhafterweise wird dabei auch der Index des Symmetriezentrums 112A, 112B gespeichert bzw. verwendet, zu dem das symmetrische Punktepaar beiträgt. Auf diese Weise können nachträglich alle Beiträge zu den erfolgreichen Symmetriezentren ermittelt und (zwischen-)gespeichert oder weiterverwendet werden.
Für den Beginn des weiteren Verarbeitungsschritts muss nicht das Ende des ersten Verarbeitungsschritts, d.h. das Bilden der Abstimmungsmatrix und Ermitteln der Symmetriezentren, abgewartet werden, sondern es kann schon vorher gestartet und die bereits fertigen Zwischenergebnisse, d.h. gefundene Symmetriezentren 112A, 112B, des ersten Verarbeitungsschritts genutzt werden. In den so gebildeten Informationen sind dann für jedes gefundene Symmetriezentrum 112A, 112B alle Bildpositionen ablesbar, die dazu beigetragen haben. Diese Positionen liegen im Wesentlichen bzw. von einigen Ausreißern abgesehen innerhalb der Ellipse, wie in Fig. 15 beispielhaft für ein Symmetriezentrum 112 B dargestellt.
Für die Ermittlung der Parameter dieser Ellipse sind dem Fachmann Verfahren bekannt. Beispielsweise kann eine Hauptachsentransformation über die Menge aller zu einem Symmetriezentrum 112A, 112B beitragenden Punkte gebildet werden, um die Orientierung der Hauptachsen und die beiden Durchmesser der Ellipse zu bestimmen. Dies ist sogar möglich, ohne dass die beitragenden Bildpositionen zwischengespeichert zu werden brauchen: Sie können stattdessen umgehend nach Bekanntwerden weiterverrechnet werden. Alternativ kann auch die ellipsenförmige Einhüllende um die Punktemenge ermittelt werden, mit der ein möglichst großer Teil der Punktemenge, etwaige Ausreißer ausgeschlossen, möglichst eng umschlossen wird.
Anstatt eine Menge von Punkten im Sinne einer Liste zu speichern, kann alternativ auch ein Index-Bild, gleichbedeutend mit Index-Matrix, erstellt werden. Es dient dem gleichen Zweck, nämlich der Bildung der Parameter aller Ellipsen, es speichert die Informationen jedoch in anderer Form. Das Index-Bild hat idealerweise die gleiche Größe wie das Signaturbild und ist dazu eingerichtet, Indizes zu speichern, und zwar die den gefundenen Symmetriezentren 112A, 112B zugeordneten Indizes. Ein spezieller Index-Wert, z. B. 0, ist vorgesehen, um zu kennzeichnen, dass noch keine Eintragung vorliegt. Wenn beim Durchlaufen des weiteren Verarbeitungsschritts ein symmetrisches Punktepaar bzw. Signaturpaar gefunden wird, das zu einem i-ten Index beiträgt, dann wird an den beiden zugehörigen Orten der jeweiligen Signaturen jeweils der Index i eingetragen. Somit erhält man am Ende des Durchlaufs ein Index-Bild, in dem alle den Symmetriezentren 112A, 112B zugeordneten Indizes jeweils mehrfach vorkommen, wobei diese ellipsenförmige Bereiche ausbilden: Abgesehen von einigen Ausreißern enthält dann jeder ellipsenförmige Bereich nur Einträge mit einem einheitlichen Index, sowie den Index 0 an den nicht benutzten Positionen. Das Index-Bild kann dann leicht ausgewertet werden, um die Parameter der einzelnen Ellipsen zu bestimmen. Im Übrigen ist es nicht notwendig, das Index- Bild vollständig zu speichern. Sobald sich in einem Teilabschnitt des Index-Bilds die Daten nicht mehr ändern, kann dieser Teil bereits ausgewertet und der Speicher anschließend wieder freigegeben werden. Dies führt auch zu einer geringeren zeitlichen Latenz, sodass Zwischenergebnisse früher bereitgestellt werden können.
Mit den bekannten Ellipsenparametern kann dann die zweidimensionale Anordnung der detektierten Symmetriezentren, siehe Fig. 14, so entzerrt werden, dass diese anschließend auf dem hier lediglich beispielhaft zumindest annähernd quadratischen Raster des Musters 610 liegen. Fig. 16 zeigt eine schematische Darstellung des Musters 610 aus Fig. 15 nach einer perspektivischen Entzerrung gemäß einem Ausführungsbeispiel. Anders ausgedrückt zeigt Fig. 16 zur Veranschaulichung das Muster 610 aus Fig. 15, nachdem es normal bzw. senkrecht zur Richtung der gefundenen Ellipse bzw. des hervorgehobenen elliptisch verzerrten Bereichs HOB um das Verhältnis der beiden Hauptachsenlängen gestreckt wurde. Somit kann das korrekte Raster 1311 auf einfache Weise gefunden werden. Die Ellipse wird im Vergleich mit Fig. 15 also so entzerrt, dass die originale Kreisform des Bereichs 110B wiederhergestellt wird. Anschließend ist es einfach, das Raster 1311, auf dem die Symmetriezentren 112A und 112B liegen, zu ermitteln, bzw. die Nachbarschaftsbeziehungen zwischen den Symmetriezentren 112A und 112B fehlerfrei zu ermitteln. Die Fig. 16 dient hier nur der Veranschaulichung. In der Praxis ist es nicht notwendig, ein Warping des Bildes vorzunehmen. Da die Informationen über die Lagen der Symmetriezentren 112A und 112B bereits in verdichteter Form vorliegen, ist es sinnvoll, nur mit diesen Daten weiterzuarbeiten und ihre Koordinaten zu transformieren, wobei die Transformationsvorschrift aus den ermittelten Ellipsenparametern gebildet wird, und zwar so, dass die Ellipsen zu Kreisen werden.
Im Falle von Kamerabildern, die mit Telebrennweite aufgenommen sind, kann pro Teilabschnitt eine globale Transformation ausreichend sein, um das Raster 1311 zu ermitteln. Im Falle von Kamerabildern, die mit einem Weitwinkelobjektiv (z. B. Fischaugenobjektiv) aufgenommen sind, kann zumindest in Teilbereichen mit lokalen Transformationen gearbeitet werden. Somit kann die vorstehend genannte Transformationsvorschrift global und/oder lokal angewendet werden. Bei der globalen Variante werden alle Projektionszentren mit derselben, gemeinsamen Transformationsvorschrift transformiert. Das ist in vielen Fällen sinnvoll und ausreichend. Die gemeinsame Transformationsvorschrift kann aus der gemeinsamen Betrachtung aller Ellipsen gebildet werden. Wenn die Symmetriezentren 112A und 112 B räumlich auf mehreren Flächen liegen, können die Ellipsen gemäß ihrer Parameter in Gruppen eingeteilt werden. Die zu einer Fläche gehörenden Ellipsen weisen dabei sehr ähnliche Parameter auf - insbesondere wenn die Fläche eben ist. Pro Gruppe kann dann eine globale Transformationsvorschrift ermittelt und angewandt werden. Dieses Vorgehen ist bei Telebrennweite angemessen. Die lokale Transformation ist dann sinnvoll, wenn die Mehrzahl der kreisförmigen Bereiche durch die Abbildung der Kamera in unterschiedlich geformte oder unterschiedlich orientierte Ellipsen abgebildet wird. Das ist insbesondere bei weitwinkligen Kameras oder stark verzerrenden Objektiven der Fall.
Nach Anwendung der Transformation befinden sich die Symmetriezentrumspositionen, die zur selben Fläche gehören, zumindest annähernd auf einem gemeinsamen Raster 1311. Die nächste Aufgabe besteht darin, die Symmetriezentren 112A und 112B den Rasterpositionen zuzuordnen. Dies kann z. B. iterativ in kleinen Schritten durchgeführt werden. Beispielsweise werden für ein Symmetriezentrum 112A, 112B bis zu vier nächste Nachbarn gesucht, die ungefähr gleichen Abstand haben, siehe hierzu auch die Markierungen aus Fig. 13. Von den Nachbarn hangelt man sich weiter zu den weiteren Nachbarn, bis alle erfassten Symmetriezentren 112 A und 112 B, die zu einem Muster 610 gehören, einem gemeinsamen Raster 1311 zugeordnet sind oder davon ausgeschlossen werden können. Trifft man bei dieser Suche nämlich auf Symmetriezentren, die hinsichtlich der Abstände nicht zum gerade betrachteten Raster 1311 passen, werden diese nicht aufgenommen, da es sich wahrscheinlich um Ausreißer handelt oder um Symmetriezentren, die zu anderen Flächen gehören. Diese iterative Suche kann für die anderen Flächen wiederholt werden, sodass am Ende, abgesehen von den Ausreißern, jedes Symmetriezentrum 112A, 112B einer Fläche zugeordnet ist. Für die Flächen kann dann eine Identifizierung der Muster 610 durchgeführt werden, vorzugsweise anhand der mit den Symmetriezentren 112A und 112B verbundenen binären Codierung, die jeweils im Vorzeichen des Extremums enthalten ist.
Fig. 17 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 1710 mit hierarchischer Symmetrie. Das Muster 1710 entspricht oder ähnelt einem Muster aus den vorstehend beschriebenen Figuren. Genauer gesagt weist das Muster 1710 eine zweistufige Hierarchie aus lediglich beispielhaft vier vordefinierten punktsymmetrischen Bereichen 110A und HOB auf. Gemäß dem hier dargestellten Ausführungsbeispiel weist das Muster 1710 lediglich beispielhaft zwei vordefinierte ungerade punktsymmetrische Bereiche 110A und zwei vordefinierte gerade punktsymmetrische Bereiche HOB auf. Das Muster 1710 insgesamt ist hierbei ungerade punktsymmetrisch aufgebaut. Auf einer ersten Hierarchiestufe stehen die in sich gerade punktsymmetrischen Bereiche 110B und die in sich ungerade punktsymmetrischen Bereiche 110A. Auf einer zweiten Hierarchiestufe steht die Gesamtanordnung des ungerade punktsymmetrischen Musters 610B. Das Symmetriezentrum 112 der zweiten Hierarchiestufe ist mit dem gevierteilten Kreis gekennzeichnet.
Fig. 18 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 1810 mit hierarchischer Symmetrie. Das Muster 1810 in Fig. 18 ähnelt hierbei dem Muster aus Fig. 17. Genauer gesagt zeigt Fig. 18 ein weiteres Beispiel für eine zweistufige Hierarchie aus vordefinierten punktsymmetrischen Bereichen HOB. In der ersten Hierarchiestufe seien die vordefinierten punktsymmetrischen Bereiche HOB jeweils in sich gerade punktsymmetrisch. In der zweiten Hierarchiestufe liegt auf Ebene des Musters 1810 eine ungerade Punktsymmetrie vor, mit dem Symmetriezentrum 112 in der Mitte eines zur Veranschaulichung gezeigten gesechstelten Sechsecks. Die ungerade Symmetrie äußert sich hier in einer Invertierung der vordefinierten punktsymmetrischen Bereiche HOB, z. B. dunkles Symbol auf hellem Grund spiegelt sich in helles Symbol auf dunklem Grund.
Fig. 19 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 610 mit hierarchischer Symmetrie. Das Muster 610 ist hierbei aus den Mustern 1710 und 1810 aus Fig. 17 und Fig. 18 bzw. deren invertierter und/oder punktgespiegelter Form aufgebaut. Das Muster 610 weist eine dreistufige Hierarchie aus lediglich beispielhaft zwei Mustern 1710 aus Fig. 17 und zwei Mustern 1810 aus Fig. 18 auf. Die Muster 1710 und 1810 sind ungerade und somit invertiert punktgespiegelt am Symmetriezentrum 112 des Musters 610 in der Mitte eines zur Veranschaulichung gezeigten gesechstelten Sechsecks. Beispielsweise ist das unten rechts in Fig. 19 gezeigte Muster 1710 eine invertierte Form des Musters 1710 oben links. Dieses hierarchische Prinzip kann beliebig fortgesetzt, also auch eine vierte und fünfte Stufe konstruiert werden, und so weiter. Unter Bezugnahme auf Fig. 17, Fig. 18 und Fig. 19 wird nachfolgend weiter auf Muster mit hierarchischer Symmetrie eingegangen. Die symmetrischen Muster 610, 1710, 1810 können mehrstufig aufgebaut werden, so dass es beispielsweise in einer ersten Hierarchiestufe kleinere in sich symmetrische Bereiche gibt, deren gemeinsame Betrachtung eine Symmetrie auf der nächsthöheren Hierarchiestufe ergibt. In Fig. 17 und Fig. 18 ist jeweils beispielhaft gezeigt, wie ein zweistufiges hierarchisches Muster 1710 bzw. 1810 konstruiert sein kann. Darauf aufbauend wird in Fig. 19 ein dreistufiges hierarchisches Muster 610 aufgebaut. In dem Beispiel aus Fig. 19 sind also drei Hierarchiestufen enthalten. Die dritte Hierarchiestufe ist über die gesamte Fläche des Musters 610 ausgedehnt (gestrichelt eingerahmter Bereich) und umfasst das Symmetriezentrum 112. In der zweiten Hierarchiestufe sind es die vier Muster 1710 und 1810 (jeweils mit durchgezogener Linie eingerahmt) mit jeweils einem Symmetriezentrum in der Mitte (hier nicht explizit bezeichnet). In der ersten Hierarchiestufe sind es gemäß dem hier dargestellten Ausführungsbeispiel folglich 16 vordefinierte punktsymmetrische Bereiche mit jeweils einem Symmetriezentrum. Dabei ist die Symmetrie der dritten Hierarchiestufe bereits aus größerer Entfernung sichtbar. Während einer Annäherung werden auch die vier Symmetrien der zweiten Hierarchiestufe sichtbar. In kürzerer Distanz, bzw. wenn die erfasste Auflösung des Musters 610 ausreicht, werden auch die Symmetrien der ersten Hierarchiestufe sichtbar. Somit kann beispielsweise eine visuelle Steuerung (visual servoing) z. B. eines Roboters z. B. in Richtung des Musters 610 oder in eine andere beliebige Richtung über einen großen Distanzbereich ermöglicht werden. Es ist im Allgemeinen nicht nötig, gröbere bzw. höhere Hierarchiestufen zu erfassen, wenn bereits feinere bzw. niedrigere Hierarchiestufen erfasst werden können. Es ist weiterhin auch nicht nötig, alle Symmetrien der jeweiligen Hierarchiestufe gleichzeitig erfassen zu können, beispielsweise wenn es bei sehr kurzer Distanz gar nicht mehr möglich ist, das gesamte Muster 610 im Kamerabild zu erfassen. Es ist offensichtlich, dass gerade und ungerade Symmetrien teilweise frei gewählt und kombiniert werden dürfen. In dieser Festlegung kann auch Zusatzinformation enthalten sein, insbesondere je ein Bit für die Wahl zwischen ungerader und gerader Symmetrie, wobei eine solche Zusatzinformation auf diese Weise an ein erfassendes System übermittelt werden kann. „Teilweise frei“ bedeutet hier, dass sich der restliche Teil der Symmetrieformen auf der jeweiligen Hierarchiestufe aus der nächsthöheren Hierarchiestufe zwangsläufig ergibt. Mit anderen Worten können z. B. in Fig. 18 für die obere Reihe die Muster „X“ und „O“ frei gewählt werden. Die zweite Reihe ergibt sich dann zwangläufig, und zwar hier mit Invertierung, weil auf der nächsten Hierarchiestufe eine negative Punktsymmetrie gewählt ist.
Fig. 20 zeigt schematische Darstellungen von Mustern 610 gemäß Ausführungsbeispielen. In einer ersten Teildarstellung A ist in Fig. 20 ein Muster 610 gezeigt, bei dem es sich beispielhaft um eines der Muster aus Fig. 8 handelt. Die erste Teildarstellung A von Fig. 20 ist ein Beispiel für eine implizite Zusatzinformation, hier lediglich beispielhaft 8 • 8 = 64 bit, die sich anhand der Symmetrieart bzw. des damit assoziierten Vorzeichens der Punktsymmetrie der vordefinierten punktsymmetrischen Bereiche 110A und HOB des Musters 610 ergibt. In einer zweiten Teildarstellung B ist in Fig. 20 ein Muster 610 gezeigt, dass aus lediglich beispielhaft vier vordefinierten punktsymmetrischen Bereichen 110A und 110B aufgebaut ist, hier beispielsweise einem vordefinierten ungerade punktsymmetrischen Bereich 110A und drei vordefinierten gerade punktsymmetrischen Bereichen HOB auf einem quadratischen Raster. Ferner ist in dem Muster 610 hierbei eine Codematrix 2010 für explizite Zusatzinformation angeordnet. Lediglich beispielhaft ist in der Codematrix 2010 die implizite Zusatzinformation aus der ersten Teildarstellung A auf explizite Weise enthalten. Der vordefinierte Bereich 110A mit ungerader Punktsymmetrie kennzeichnet bzw. markiert hier die Anfangszeile der 8 • 8 Matrix, damit eine Auslesereihenfolge eindeutig festgelegt ist.
Nachfolgend wird unter Bezugnahme auf Fig. 20 noch weiter auf eine Übermittlung impliziter oder expliziter Zusatzinformation eingegangen.
Es kann sinnvoll oder notwendig sein, anhand des Musters 610 Zusatzinformationen an einen Empfänger, beispielsweise an einen Rechner, autonomen Roboter etc., zu übermitteln. Die Zusatzinformation kann mehr oder weniger umfangreich sein. Einige veranschaulichen Beispiele für Zusatzinformationen umfassen Haltepunkt, Ladung aufnehmen, Position am Ort 52°07’01.9"N 9°53’57.4"E mit Blickrichtung Südwest, Biege nach links ab, Höchstgeschwindigkeit 20 km/h, Ladestation für Rasenmäher etc. Für die Übermittlung mittels des bildgebenden Sensors bzw. der Kamera existieren verschiedene Möglichkeiten. Insbesondere lassen sich implizit und explizit enthaltene Zusatzinformationen unterscheiden, siehe hierzu die beiden Beispiele in Fig. 20, bei denen 64 bit an Zusatzinformation einmal implizit und einmal explizit bereitgestellt sind. Implizite Zusatzinformation bedeutet, dass diese in den symmetrischen Mustern 610 selbst auf irgendeine Weise mit enthalten ist, während explizite Zusatzinformation im Allgemeinen gesondert von diesen Mustern 610 gestaltet und erfasst wird.
Eine Möglichkeit zur Übermittlung impliziter Zusatzinformation ist anhand der ersten Teildarstellung A von Fig. 20 illustriert: implizite Zusatzinformation als Binärcode. Da bei der Konstruktion des Musters 610 für jeden symmetrischen Bereich 110A und HOB die Wahl zwischen ungerader und gerader Punktsymmetrie getroffen wird, kann somit jeweils eine binäre Zusatzinformation (entsprechend 1 Bit) übermittelt werden. Lässt man zusätzlich auch Muster zu, die gleichzeitig ungerade und gerade punktsymmetrisch sind, so wird aus der binären Zusatzinformation eine ternäre Zusatzinformation, d.h. drei Fälle statt zwei.
Eine weitere Möglichkeit zur Übermittlung von Zusatzinformation ergibt sich durch die Verwendung ungleichmäßiger Abstände zwischen den Symmetriezentren der Bereiche 110A und 110B, d.h. implizite Zusatzinformation anhand der Anordnung. Anders als bei der in Fig. 20 dargestellten Anordnung, wo die Symmetriezentren auf einem quadratischen Raster liegen, wären diese dann unregelmäßig angeordnet, wobei die Zusatzinformation oder ein Teil davon in dieser Anordnung codiert ist. Beispiel: Lässt man zu, dass das jeweilige Symmetriezentrum um eine feste Distanz nach links/rechts und oben/unten verschoben sein darf, so ergeben sich 9 mögliche Positionen, womit Iog2(9) = 3,17 bit an Zusatzinformation pro Symmetriezentrum codierbar sind. Schräge Perspektiven zwischen bildgebendem Sensor und Muster 610 stellen bei keiner der genannten Möglichkeiten ein Problem dar. Beispielsweise kann ein Teil der Symmetriezentren (beispielsweise die äußersten vier in den Ecken) dazu verwendet werden, ein Koordinatensystem bzw. das regelmäßige Basisraster zu definieren. Die zur Codierung verwendeten Abweichungen oder Binär-/Ternärcodes beziehen sich dann auf dieses Basisraster. Die symmetrischen Bereiche 110A und HOB für implizite Zusatzinformation sollten nicht zu klein sein, damit sich in der Abstimmungsmatrix ausreichend markante Extrema ausbilden. Soll eine größere Menge an Zusatzinformation (insbesondere statische, ortsgebundene) an den Empfänger (z. B. einen mobilen Roboter) übermittelt werden, kann es vorteilhaft sein, diese explizit zu codieren.
In der zweiten Teildarstellung B von Fig. 20 ist gezeigt, wie insbesondere statische, ortsgebundene Zusatzinformation explizit an den Empfänger (z. B. einen mobilen Roboter) übermittelt werden kann: Es kann beispielsweise vereinbart sein, dass sich in einem durch die Symmetriezentren definierten Koordinatensystem an bestimmten Koordinaten weitere Informationen befinden, die z. B. binär (schwarz/weiß) oder in weiteren Abstufungen (Graustufen) oder in Farben codiert sind. Das Vorgehen ist dann zweischrittig: In einem ersten Schritt wird anhand ungerader und gerader Symmetrien ein Feld gefunden, zum Beispiel die Codematrix 2010, in dem weitere Informationen codiert sind. In einem zweiten Schritt wird das Feld und somit die darin vorhandene Information ausgelesen. Schräge Perspektiven zwischen bildgebendem Sensor und Muster 610 stellen dabei kein Problem dar, denn für das Auslesen der expliziten Zusatzinformation ist es weder erforderlich, dass die Basisvektoren des gefundenen Koordinatensystems senkrecht zueinander stehen, noch dass sie gleichlang sind. Optional kann das Bild auch so entzerrt werden, dass anschließend ein kartesisches Koordinatensystem vorliegt. Optional kann in dem Feld mit dem Muster 610 auch ein Display installiert sein, das zusätzlich zu zeitlich statischer Information auch zeitlich veränderliche Information übermitteln kann und/oder das über die zeitliche Veränderung Information übermittelt.
Es kann auch eine hochaufgelöste Zusatzinformation im Muster 610 selbst enthalten sein, mit impliziter Fehlererkennung. Somit besteht eine weitere Möglichkeit der Übermittlung von (insbesondere statischer, ortsgebundener) Zusatzinformation besteht über das Muster 610 selbst: Das heißt, die Zusatzinformation ist in des Abfolge der schwarz-weißen oder farbigen oder graustufigen Musters 610 selbst enthalten. Mit der vorgenannten Klassifizierung wäre diese Zusatzinformation zugleich implizit und explizit. Weil das Muster 610 oder zumindest Teile davon Symmetrien aufweist, ist die Zusatzinformation automatisch redundant enthalten, typischerweise jeweils doppelt. Dies gilt sowohl bei ungerader als auch bei gerader Punktsymmetrie. Diese Tatsache kann zur Fehlerkorrektur bzw. Fehlerdetektion ausgenutzt werden. Ist beispielsweise ein Muster 610 verschmutzt, etwa durch Vogelkot, so ist es mit hoher Sicherheit möglich, den dadurch in der Zusatzinformation entstandenen Fehler zu detektieren, denn an der zugehörigen symmetrischen Position liegt derselbe Fehler höchstwahrscheinlich nicht vor.
Fig. 21 zeigt eine schematische Darstellung einer Detektionssituation unter Verwendung eines vordefinierten punktsymmetrischen Bereichs 110 gemäß einem Ausführungsbeispiel. Anders ausgedrückt zeigt Fig. 21 ein System 2100 zur Detektion eines beweglichen Objekts 100. Der vordefinierte punktsymmetrische Bereich 110 entspricht oder ähnelt einem der vordefinierten punktsymmetrischen Bereiche aus einer der vorstehend beschriebenen Figuren. Von dem vordefinierten punktsymmetrischen Bereich 110 ist auch das Symmetriezentrum 112 gezeigt. Ferner sind ein Objekt 100, lediglich beispielhaft in Gestalt eines Fahrzeugs, und eine Einheit aus Kamera 102 und Vorrichtung 120, 140 gezeigt. Das Objekt 100 kann sich entlang einer Bewegungsrichtung durch eine Überwachungsregion zwischen der Kamera 102 und dem vordefinierten punktsymmetrischen Bereich 110 hindurch bewegen.
Das System 2100 umfasst die Vorrichtung 120, 140 und die Kamera 102 sowie den hier beispielhaft lediglich einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110. Die Vorrichtung 120, 140 entspricht oder ähnelt der Vorrichtung 120, 140 aus Fig. 1.
Anders ausgedrückt zeigt Fig. 21 eine einfache Anordnung mit einer Kamera 102 und einem punktsymmetrischen Bereich 110 auf einer gegenüberliegenden Seite einer beispielsweise kegelförmigen überwachten Region bzw. Überwachungsregionen. Verdeckt das Objekt 100 einen überwiegenden Teil der Kamerasicht auf den punktsymmetrischen Bereich 110, wird dies bei einer Ausführung des Verfahrens zum Bereitstellen aus Fig. 3 sowie des Verfahrens zur Detektion aus Fig. 4 und/oder mittels der Bereitstellungsvorrichtung sowie der Detektionsvorrichtung aus Fig. 1 detektiert. Diese Anordnung erlaubt beispielsweise das Zählen von Objekten 100, die sich zwischen der Kamera 102 und dem Bereich 110 hindurch bewegen. Fig. 22 zeigt eine schematische Darstellung einer Detektionssituation unter Verwendung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen 110 gemäß einem Ausführungsbeispiel. Die Darstellung in Fig. 22 entspricht oder ähnelt der Darstellung aus Fig. 21 mit Ausnahme dessen, dass für das System 2100 anstelle eines vordefinierten punktsymmetrischen Bereichs hier ein Muster 610 aus mehreren vordefinierten punktsymmetrischen Bereichen 110 vorgesehen ist. Das Muster 610 entspricht oder ähnelt einem Muster aus einer der vorstehend beschriebenen Figuren. In dem Muster 610 sind die vordefinierten punktsymmetrischen Bereiche 110 beispielhaft entlang einer Linie aufgereiht.
Anders ausgedrückt gehören in Fig. 22 mehrere punktsymmetrische Bereiche 110 zu einem Muster 610, das von nur einer Kamera 102 beobachtet wird. Die Punktsymmetriezentren 112 sind hier auf einer Strecke angebracht, die etwa parallel zu einer Richtung liegt, entlang derer sich das Objekt 100 typischerweise bewegt. Hier verdeckt das Objekt 100 bereits einen punktsymmetrischen Bereich 110 und wird bei der Weiterfahrt weitere Bereiche 110 nacheinander verdecken. Diese Anordnung der Bereiche 110 erlaubt beispielsweise eine Ermittlung von Geschwindigkeit und Länge des Objekts 100.
Fig. 23 zeigt schematische Darstellungen von Detektionssituationen unter Verwendung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel. Das Muster 610 entspricht oder ähnelt einem Muster aus einer der vorstehend beschriebenen Figuren. In einer ersten Teildarstellung A und einer zweiten Teildarstellung B von Fig. 23 ist jeweils ein Muster 610 aus einer Mehrzahl von vordefinierten ungerade punktsymmetrischen Bereichen mit zur Veranschaulichung hervorgehobenen ersten Symmetriezentren 112A und gerade punktsymmetrischen Bereichen mit zur Veranschaulichung hervorgehobenen zweiten Symmetriezentren 112 B gezeigt, wobei das Muster 610 aus Sicht einer Kamera durch ein lediglich beispielhaft als Fahrzeug ausgeführtes Objekt 100 teilweise verdeckt ist. Ferner sind Spiegelungen von einigen Symmetriezentren 112A, 112B des Musters 610 auf einer Fahrbahn erkennbar, auf der sich das Objekt 100 bewegt. Anders ausgedrückt veranschaulicht Fig. 23 eine Präsenzdetektion von Objekten 100, wobei das Muster 610 eine zweidimensionale Anordnung von punktsymmetrischen Bereichen aufweist.
Fig. 24 zeigt eine schematische Darstellung einer Detektionssituation unter Verwendung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel. Das Muster 610 entspricht oder ähnelt einem Muster aus einer der vorstehend beschriebenen Figuren. Genauer gesagt zeigt Fig. 24 hierbei aus der Vogelperspektive eine beispielhafte Anordnung eines Systems 2100 für eine Drei-Wege-Kreuzung, mit einer Kamera 102, die Muster 610, einem Weg 2400 für ein Objekt in Gestalt eines Fahrzeugs, Fußgängers oder anderen Verkehrsteilnehmers innerhalb oder außerhalb eines Gebäudes und lediglich beispielhaft zwei Spiegeln 2403. Die Anordnung mit geeignet ausgerichteten Spiegeln erlaubt es, alle typischerweise genutzten Wege 2400 gleichzeitig zu überwachen. Auf jedem der Wege 2400 verdeckt ein Objekt im Normalfall zweimal ein Strahlenbündel, das zwischen der Kamera 102 dem Muster 610 über die beiden Spiegel 2403 umgelenkt wird. Da dieses Strahlenbündel in Richtung Kamera 102 immer schmaler wird, dürfen die Spiegel 2403 umso kleiner sein, je näher entlang der Sichtlinie sie der Kamera 102 sind. Insbesondere zeigt Fig. 24 eine T- Kreuzung von Gängen in einem Gebäude oder außerhalb eines Gebäudes, wobei insbesondere Personen auf dem Weg 2400 laufen können. In der Darstellung gestrichelt gezeigte Randbereiche repräsentieren die Wände, Fenster, Türen etc.
Fig. 25 zeigt eine schematische Darstellung einer Detektionssituation unter Verwendung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel. Das Muster 610 entspricht oder ähnelt einem Muster aus einer der vorstehend beschriebenen Figuren. Genauer gesagt zeigt Fig. 25 eine beispielhafte Anordnung eines Systems 2100 mit einer Kamera 102, dem Muster 610 und einem Spiegel 2403, aus der Vogelperspektive. Hier befinden sich Kamera 102 und Muster 610 auf derselben Seite der überwachten Region. Die Kamera 102 ist hinter dem Muster 610 versteckt und blickt durch ein Loch im Muster 610. Auf der gegenüberliegenden Seite befindet sich der Spiegel 2403, der so angebracht ist, dass die Kamera 102 das Spiegelbild des gesamten Musters 610 erfassen kann. Hierfür genügt es, wenn der Spiegel 2403 in beiden Dimensionen nur halb so groß ist wie das Muster 610.
Unter Bezugnahme insbesondere auf die Figuren 21 bis 25 werden nachfolgend Ausführungsbeispiele vor dem Hintergrund eines nicht wahrnehmbaren, passiven Lichtschranken- Ersatzes mit versteckten Symmetrien zusammenfassend und mit anderen Worten kurz erläutert.
Das unter Bezugnahme auf Fig. 3 und/oder Fig. 4 beschriebene Verfahren lässt sich im Sinne einer Lichtschranke verwenden. Der gemäß Ausführungsbeispielen ermöglichte Lichtschranken- Ersatz umfasst insbesondere zumindest einen Bereich 110 bzw. ein Muster 610 mit einer oder mehreren darin enthaltenen Punktsymmetrien und einem bildgebenden Sensor, beispielsweise eine Kamera 102. Das Muster 610 beziehungsweise der Bereich 110 und die Kamera 102 sind, sofern kein Spiegel 2403 verwendet wird, auf gegenüberliegenden Seiten angeordnet. Siehe Fig. 21 als Beispiel für eine solche Anordnung. Entweder hat die Kamera 102 freie Sicht auf das Muster 610 bzw. den Bereich 110 oder die Sicht ist durch ein Objekt 100 dazwischen blockiert. Zumindest diese beiden Fälle können gemäß Ausführungsbeispielen unterschieden werden. Es können ähnliche Aufgaben erfüllt werden wie eine klassische Lichtschranke, also z. B. das Vorhandensein von Objekten 100 festzustellen oder Objekte wie beispielsweise Personen, Fahrzeuge, Gegenstände auf einem Fließband usw. zu zählen. Gegenüber herkömmlichen Lichtschranken bieten Ausführungsbeispiele einige nachstehend beispielhaft genannte Vorteile, die in bestimmten Anwendungsszenarien entscheidend sein können.
Das System ist passiv. Es benötigt keine spezielle Lichtquelle. Es kommt mit dem vorhandenen Umgebungslicht aus, z. B. Tageslicht oder Innenbeleuchtung. Das unter Bezugnahme auf Fig. 3 und/oder Fig. 4 beschriebene Verfahren arbeitet zuverlässiger als vergleichbare Verfahren der Bildverarbeitung und ist zudem mit sehr wenig Rechenaufwand durchführbar. Schwankungen von Beleuchtungsintensität, Beleuchtungsfarbe, Helligkeitsverteilung, Farbverteilung, Sichtbedingungen, Schattenwurf, Bildschärfe oder Anordnung stören das Verfahren nicht, da die Eigenschaft der Punktsymmetrie, im Zusammenspiel mit den verwendeten Deskriptoren, davon weitestgehend unbeeinträchtigt bleibt. Das Verfahren kann auch auf ein Referenzbild des Musters 610 verzichten, um das Kamerabild mit der Referenz zu vergleichen. Optional kann aber ein Referenzbild verwendet werden, das z. B. bei Bedarf temporär erzeugt werden kann.
Ein weiterer Vorteil besteht in der Nicht-Wahrnehmbarkeit des Bereichs 110 bzw. Musters 610. Das Muster 610 bzw. der Bereich kann so gestaltet werden, dass der Mensch seinen Zweck praktisch nicht wahrnimmt. Insbesondere ist die Punktsymmetrie - besonders die ungerade Punktsymmetrie - je nach Muster für den Menschen nur sehr schwer auffindbar - selbst wenn er sie sucht. Im Gegensatz dazu ist ein Retroreflektor bei einer herkömmlichen Reflexlichtschranke immer sichtbar. Der Vorteil der Nichtwahrnehmbarkeit kann bedeuten, dass Ausführungsbeispiele besser vor mutwilliger Manipulation geschützt sind, für Kriminelle schwer zu umgehen sind, ästhetisch gestaltete Umgebungen, z. B. Hotel, Museum, Wohnhaus, Büro, Wartesaal, Landschaftsgarten etc., nicht durch störende technische Einrichtungen verunstaltet zu werden brauchen, usw. Das Muster 610 mit Punktsymmetrien kann aber auch bewusst ästhetisch gestaltet werden, denn Symmetrien werden durchaus als ästhetisch empfunden. Den Zweck der Lichtschranke werden die meisten Menschen dann trotzdem nicht erkennen.
Mit einem einzigen derartigen System kann wegen der Flächenhaftigkeit des Kamerasensors eine ganze Strecke oder eine ganze Fläche überwacht werden. Statt nur einen einzigen punktsymmetrischen Bereich 110 im Muster 610 unterzubringen, werden dazu mehrere Bereiche 110 nebeneinander insbesondere für eine Überwachung einer Strecke, siehe Fig. 22, oder nebeneinander und übereinander insbesondere für eine Überwachung einer Fläche, siehe Fig. 23, platziert. Wenn eine Strecke überwacht wird, können daraus auch Geschwindigkeit und Länge der jeweiligen Objekte 100, z. B. Fahrzeuge, ermittelt werden. Die Geschwindigkeit ergibt sich aus dem Abstand benachbarter Symmetriezentren 112 bzw. 112A, 112B und dem zeitlichen Abstand zwischen ihren Verdeckungen bzw. Aufdeckungen. Die Länge des Objekts 100 ergibt sich z. B. aus der Zahl der verdeckten Symmetriezentren 112 bzw. 112A, 112B, oder alternativ aus der Geschwindigkeit und der Zeit zwischen Verdeckung und Aufdeckung eines Symmetriezentrums 112 bzw. 112A, 112B. Mit letzterem Ansatz kann sogar die Länge von Objekten 100 bestimmt werden, die das Muster 610 zeitweise komplett verdecken. Wenn eine Fläche überwacht wird, kann auch die Kontur des Objekts 100 bzw. sein Schattenbild zumindest grob ermittelt werden. Siehe dazu auch Fig. 23.
Zudem bietet ein solches System alle weiteren Vorteile, die sich aus der Nutzung einer Kamera 102 bzw. eines bildgebenden Sensors bekanntermaßen ergeben. Insbesondere kann das Objekt 100 eingehender analysiert werden, z. B. Farbe, Form, Objektklasse, Fahrzeugtyp, Fahrzeugmodell, biometrische Merkmale einer Person. Es wird außer der Kamera 102 kein weiterer Sensor benötigt. Fahrzeuge als Beispiele für Objekte 100 passieren das Muster 610 in zwei Fahrtrichtungen und verdecken zeitweise einen Teil der punktsymmetrischen Bereiche 110. Zusätzlich zum Muster 610 selbst wird hier optional auch dessen Spiegelung auf einer glatten, spiegelnden Oberfläche ausgenutzt, denn die Spiegelungen der punktsymmetrischen Bereiche 110 sind selbst wieder punktsymmetrisch. Siehe hierzu auch Fig. 23. Die Erfassung der Symmetriezentren 112 bzw. 112A, 112B benötigt nur wenige Rechenoperationen und arbeitet somit sehr energieeffizient. Es eignet sich sehr gut für einen dauerhaften Einsatz. Wurde ein Objekt 100 detektiert, können für die genauere Analyse nach Bedarf weitere Algorithmen aktiviert werden, die dann zeitweise mehr Energie kosten dürfen, beispielsweise Deep-Learning-basierte Verfahren.
Falls das vorhandene Umgebungslicht schwach ist, kann dies kompensiert werden, indem die Parameter der Kamera 102 geeignet angepasst werden, wie nachfolgend erläutert. Durch Öffnen der Blende bzw. Verringern der Blendenzahl entstehen fast keine Nachteile, insbesondere wenn die Kameraoptik auf das Muster 610 fokussiert ist. Siehe dazu auch Fig. 23, wo die Präsenz der Objekte 100, die sich außerhalb der Schärfentiefebereichs befinden, trotzdem detektiert werden kann. Sogar wenn das Muster 610 außerhalb des Schärfentiefebereichs liegt, kommt es kaum zu einer Degradation. Das Öffnen der Blende ist also eine bevorzugte Option bei schwachem Umgebungslicht. Durch Verlängern der Belichtungszeit bei der Bildaufnahme entstehen keine Nachteile, sofern die beobachteten Prozesse langsam genug sind. Konkret lautet die Empfehlung, dass die Belichtungszeit klein sein sollte gegenüber der Zeitdauer, in der das Objekt 100 einen punktsymmetrischen Bereich 110 mehr als halb verdeckt. Das Verlängern der Belichtungszeit stellt also eine weitere bevorzugte Option dar, sofern die beobachteten Prozesse nicht zu schnell ablaufen. Es ist jedoch anzumerken, dass durch Erhöhung des Gains bzw. Verstärkungsfaktors der Kamera 102 keine wesentliche Verbesserung entsteht. Eine Anpassung des Gains mag notwendig sein, um den Wertebereich der Kamera 102 sinnvoll einzustellen, führt jedoch im Gegensatz zu den beiden vorgenannten Optionen zu keiner deutlichen Verbesserung im Sinne des Signal- Rausch- Verhältnisses.
Durch Einsatz von einem oder mehreren Spiegeln 2403 kann die überwachte Strecke verlängert und/oder um Ecken geführt werden, ohne dass weitere Kameras benötigt würden. Siehe hierzu Fig. 24. Bei der Spiegelung des Musters 610 bleibt seine Eigenschaft der Punktsymmetrie erhalten - auch seine ungerade bzw. gerade Punktsymmetrie- Eigenschaft. Der jeweilige Spiegel 2403 sollte mindestens so groß sein, dass er das Muster 610 möglichst komplett in die Kamera 102 abbilden kann. Das bedeutet, dass alle Spiegel 2403 kleiner sein dürfen als das Muster 610 und dass sie umso kleiner sein dürfen, je näher sie - entlang der Messtrecke - der Kamera 102 sind. Fig. 24 veranschaulicht dies. Es können auch Spiegel 2403 verwendet bzw. einbezogen werden, die ohnehin vorhanden sind, z. B. Personenspiegel in einem Flur. Wenn mindestens ein Spiegel 2403 zum Einsatz kommt, ist es auch möglich, Kamera 102 und Muster 610 auf derselben Seite der zu überwachenden Region unterzubringen, z. B. die Kamera 102 hinter dem Muster 610 zu verstecken, sodass sie durch ein Loch im Muster auf den Spiegel 2403 schaut, in welchem sie wiederum das gesamte Muster 610 sieht. Ein entsprechendes Ausführungsbeispiel zeigt Fig. 25. Ferner ist es möglich, gleichzeitig die direkte Sicht der Kamera 102 auf das Muster 610 auszunutzen und gleichzeitig auch die Sicht über einen oder mehrere Spiegel 2403. Fig. 23 zeigt ein Beispiel, bei dem die Spiegelung an der Bodenebene die direkte Sicht sinnvoll ergänzt.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

- 62 - Ansprüche
1. Verfahren (300) zum Bereitstellen von Überwachungsdaten (135) zur Detektion eines beweglichen Objekts (100), wobei das Verfahren (300) folgende Schritte aufweist:
Einlesen (324) von mittels einer Kamera (102) bereitgestellten Bilddaten (105) von einer Schnittstelle (122) zu der Kamera (102), wobei die Bilddaten (105) ein Kamerabild einer Umgebung der Kamera (102) repräsentieren, wobei in einem Sichtfeld der Kamera (102) zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich (110; 110A, HOB) in der Umgebung angeordnet ist, wobei der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, 110B) aus Sicht der Kamera (102) durch das bewegliche Objekt (100) zumindest teilweise verdeckbar ist; und
Bestimmen (326) eines Vorhandenseins zumindest eines Symmetriezentrums (112; 112A, 112B) des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (HO; 110A, HOB) in dem Kamerabild unter Verwendung der Bilddaten (105) und einer Bestimmungsvorschrift (128), um einen Verdeckungszustand des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (HO; 110A, HOB) durch das bewegliche Objekt (100) zu ermitteln, wobei die Überwachungsdaten (135) abhängig von dem Verdeckungszustand bereitgestellt werden.
2. Verfahren (300) gemäß Anspruch 1, bei dem die im Schritt (326) des Bestimmens verwendete Bestimmungsvorschrift (128) ausgebildet ist, um zu bewirken, - 63 - dass eine Signatur (s) für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen (s) zu erhalten, wobei jede der Signaturen (s) unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt wird, wobei jedes Filter zumindest eine Symmetrieart aufweist, wobei jede der Signaturen (s) für jedes Filter des Deskriptors ein Vorzeichen aufweist, dass für die Signatur (s) zumindest eine Spiegelsignatur (SPG, SPU) für zumindest eine Symmetrieart der Filter ermittelt wird, dass ein die Signatur (s) aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur (SPG, SPU) entsprechenden Signatur (s) in einem Suchbereich (1104) in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln, und dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum (112; 112A, 112B) zu identifizieren, und/oder wobei zumindest ein Reflektor (RPG, RPU) auf die Vorzeichen einer der Signaturen (s) angewendet wird, um die zumindest eine Spiegelsignatur (SPG, SPU) ZU ermitteln, wobei jeder Reflektor (RPG, RPU) für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweist, wobei der Suchbereich (1104) von zumindest einem der angewendeten Reflektoren (RPG, RPU) abhängig ist. Verfahren (300) gemäß Anspruch 2, bei dem im Schritt (326) des Bestimmens für jedes bereits bestimmte Symmetriezentrum (112; 112A, 112B) unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums (112; 112A, 112B) beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums (112; 112A, 112B) und/ oder des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, HOB) bestimmt wird, wobei - 64 - die Transformationsvorschrift auf die Pixelkoordinaten des Symmetriezentrums (112; 112A, 112B) und/ oder des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, HOB) angewendet wird, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Verfahren (300) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (330) des Durchführens eines Vergleichs des zumindest einen Symmetriezentrums (112; 112A, 112B) aus dem Kamerabild mit zumindest einem Referenz-Symmetriezentrum aus Referenzdaten (115) bezüglich einer Intensität, eines zeitlichen Intensitätsverlaufs und/oder eines örtlichen Intensitätsverlaufs, um eine intensitätsbezogene Abweichung (131) zwischen dem Symmetriezentrum (112; 112A, 112B) und dem Referenz-Symmetriezentrum zu bestimmen, wobei die Überwachungsdaten (135) abhängig von der Abweichung (131) bereitgestellt werden. Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (326) des Bestimmens eine Symmetrieart des zumindest einen Symmetriezentrums (112; 112A, 112B) bestimmt wird, wobei die Symmetrieart eine gerade Punktsymmetrie und/oder eine ungerade Punktsymmetrie repräsentiert, und/oder wobei im Schritt (330) des Durchführens ein Vergleich der Symmetrieart des zumindest einen Symmetriezentrums (112; 112A, 112B) in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz- Symmetriezentrums aus Referenzdaten (115) durchgeführt wird, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum (112; 112A, 112B) und dem zumindest einen Referenz-Symmetriezentrum zu prüfen. Verfahren (300) gemäß Anspruch 5, bei dem die im Schritt (324) des Einlesens eingelesenen Bilddaten (105) ein Kamerabild von zumindest einem Muster (610; 1710, 1810) aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen (110; 110A, 110B) repräsentiert, wobei im Schritt (326) des Bestimmens eine - 65 - geometrische Anordnung von Symmetriezentren (112; 112A, 112 B) des zumindest einen Musters (610; 1710, 1810) bestimmt wird, eine geometrische Abfolge von Symmetriearten der Symmetriezentren (112; 112A, 112 B) bestimmt wird und/oder unter Verwendung der Abfolge das Muster (610; 1710, 1810) aus mehreren vordefinierten Mustern bestimmt wird, wobei die Anordnung und/oder die Abfolge einen Identifikationscode des Musters (610; 1710, 1810) repräsentiert. Verfahren (300) gemäß Anspruch 6, bei dem im Schritt (326) des Bestimmens unter Verwendung der Anordnung der Symmetriezentren (112; 112A, 112B) des zumindest einen Musters (610; 1710, 1810) und/oder der Abfolge von Symmetriearten der Symmetriezentren (112; 112A, 112B) eine implizite Zusatzinformation des zumindest einen Musters (610; 1710, 1810) oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild bestimmt wird, wobei die Anordnung und/oder die Abfolge die Zusatzinformation in codierter Form repräsentiert, wobei die Zusatzinformation auf die Detektion des beweglichen Objekts (100) bezogen ist. Verfahren (300) gemäß einem der Ansprüche 6 bis 7, bei dem der Schritt (326) des Bestimmens und/oder der Schritt (330) des Durchführens unabhängig von der Symmetrieart der Symmetriezentren (112; 112A, 112B) für alle Symmetriezentren (112; 112A, 112B) gemeinsam ausgeführt wird oder abhängig von der Symmetrieart der Symmetriezentren (112; 112A, 112B) für die Symmetriezentren (112; 112A, 112B) derselben Symmetrieart gesondert ausgeführt wird. Verfahren (400) zur Detektion eines beweglichen Objekts (100), wobei das Verfahren (400) folgende Schritte aufweist:
Auswerten (444) von nach dem Verfahren (300) gemäß einem der vorangegangenen Ansprüche bereitgestellten Überwachungsdaten (135), um ein von den Überwachungsdaten (135) abhängiges Detektionssignal (145) zu erzeugen; und - 66 -
Ausgeben des Detektionssignals (145) an eine Schnittstelle (148) zu einer Verarbeitungseinheit zum Ausführen einer Lichtschrankenfunktion, um die Detektion des beweglichen Objekts (100) durchzuführen. Verfahren (500) zum Herstellen zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, HOB) zur Verwendung durch ein Verfahren (300; 400) gemäß einem der vorangegangenen Ansprüche, wobei das Verfahren (500) folgende Schritte aufweist:
Generieren (502) von Entwurfsdaten (204), die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) repräsentieren; und
Erzeugen (506) des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (HO; 110A, HOB) unter Verwendung der Entwurfsdaten (204) auf, an oder in einem Darstellungsmedium (600), um den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich (HO; 110A, HOB) herzustellen. Verfahren (500) gemäß Anspruch 10, bei dem im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (HO; 110A, HOB) als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren, wobei der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, HOB) ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweist, und/oder wobei eine erste Hälfte einer Fläche des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (HO; 110A, HOB) beliebig vorgegeben wird und eine zweite Hälfte der Fläche durch Punktspiegelung und/oder Invertierung von Grauwerten und/oder Farbwerten konstruiert wird, und/oder wobei im Schritt (506) des Erzeugens der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, HOB) durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen erzeugt wird, und/oder wobei das Darstellungsmedium (600) Glas, Stein, Keramik, Kunststoff, Gummi, Metall, Beton, Gips, Papier, Pappe, Lebensmittel oder eine optische Anzeigeeinrichtung aufweist. Verfahren (500) gemäß einem der Ansprüche 10 bis 11, bei dem im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung zumindest eines Musters (610; 1710, 1810) aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen (110; 110A, 110B) repräsentieren, wobei zumindest eine Teilmenge punktsymmetrischen Bereiche (HO; 110A, HOB) an einem regelmäßigen oder unregelmäßigen Raster (1311) ausgerichtet sind, direkt aneinander angrenzen und/oder teilweise von mindestens einem benachbarten gerade und/oder ungerade punktsymmetrischen Bereich (HO; 110A, HOB) durch einen Zwischenraum getrennt sind, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sind und/oder in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sind, und/oder wobei im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung zumindest eines Musters (610; 1710, 1810) mit hierarchischer Symmetrie repräsentieren. Vorrichtung (120; 140; 200), die eingerichtet ist, um die Schritte eines Verfahrens (300; 400; 500) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (124, 126, 130; 144, 146; 202, 206) auszuführen und/oder anzusteuern. System (2100) zur Detektion eines beweglichen Objekts (100), wobei das System (2100) folgende Merkmale aufweist: die Vorrichtung (120; 140) gemäß Anspruch 13; zumindest eine Kamera (102), wobei die Kamera (102) und die Vorrichtung (120; 140) datenübertragungsfähig miteinander verbindbar oder verbunden sind; und zumindest ein nach dem Verfahren (500) gemäß einem der Ansprüche
10 bis 12 hergestellter vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich (110; 110A, HOB), wobei der Bereich (110; 110A, 110B) in einem Blickfeld der Kamera (102) anordenbar oder angeordnet ist. Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (300; 400; 500) gemäß einem der Ansprüche 1 bis 12 auszuführen und/oder anzusteuern.
PCT/EP2021/079475 2020-11-12 2021-10-25 Verfahren zum bereitstellen von überwachungsdaten zur detektion eines beweglichen objekts, verfahren zur detektion eines beweglichen objekts, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung WO2022100988A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202180090216.XA CN116783628A (zh) 2020-11-12 2021-10-25 提供监视数据以检测可移动对象的方法、检测可移动对象的方法、制造至少一个预定义点对称区域的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020214251.3A DE102020214251A1 (de) 2020-11-12 2020-11-12 Verfahren zum Bereitstellen von Überwachungsdaten zur Detektion eines beweglichen Objekts, Verfahren zur Detektion eines beweglichen Objekts, Verfahren zum Herstellen zumindest eines vordefinierten punktsymmetrischen Bereichs und Vorrichtung
DE102020214251.3 2020-11-12

Publications (1)

Publication Number Publication Date
WO2022100988A1 true WO2022100988A1 (de) 2022-05-19

Family

ID=78414026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/079475 WO2022100988A1 (de) 2020-11-12 2021-10-25 Verfahren zum bereitstellen von überwachungsdaten zur detektion eines beweglichen objekts, verfahren zur detektion eines beweglichen objekts, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung

Country Status (3)

Country Link
CN (1) CN116783628A (de)
DE (1) DE102020214251A1 (de)
WO (1) WO2022100988A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020125435A1 (en) * 2001-01-19 2002-09-12 Cofer Darren D. Method and apparatus for detecting objects
WO2007020666A1 (en) * 2005-08-18 2007-02-22 Datasensor S.P.A. Vision sensor for security systems and its operating method
DE102020202160A1 (de) 2020-02-19 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten, Verfahren zum Steuern einer Funktion und Vorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020125435A1 (en) * 2001-01-19 2002-09-12 Cofer Darren D. Method and apparatus for detecting objects
WO2007020666A1 (en) * 2005-08-18 2007-02-22 Datasensor S.P.A. Vision sensor for security systems and its operating method
DE102020202160A1 (de) 2020-02-19 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten, Verfahren zum Steuern einer Funktion und Vorrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEGOL JOSEPH ET AL: "ChromaTag: A Colored Marker and Fast Detection Algorithm", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 22 October 2017 (2017-10-22), pages 1481 - 1490, XP033283007, DOI: 10.1109/ICCV.2017.164 *

Also Published As

Publication number Publication date
CN116783628A (zh) 2023-09-19
DE102020214251A1 (de) 2022-05-12

Similar Documents

Publication Publication Date Title
DE112020004813B4 (de) System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
DE102012112321B4 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE112010004767T5 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
DE202012104890U1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102012108567A1 (de) Verfahren und Vorrichtung zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
DE112020005932T5 (de) Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen
DE102006055758A1 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102017109039A1 (de) Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
EP2005361A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102021201369A1 (de) Verfahren und System zur Bestimmung einer Okklusion bzw. Verdeckung innerhalb eines Kamerasichtfelds
DE112016006213T5 (de) System und Verfahren zum Fusionieren von Ausgängen von Sensoren, die unterschiedliche Auflösungen aufweisen
DE102016100132B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE102019201526A1 (de) Verfahren und System zum Erfassen und Messen der Position eines Bauteils gegenüber einer Referenzposition sowie der Verschiebung und der Verdrehung eines sich relativ zu einem Bezugssystem bewegenden Bauteils
DE112019004963T5 (de) Optikbasiertes mehrdimensionales Ziel- und Mehrfachobjekterkennungs- und verfolgungsverfahren
WO2022100959A1 (de) Verfahren zum bereitstellen von kalibrierungsdaten zum kalibrieren einer kamera, verfahren zum kalibrieren einer kamera, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung
DE102019105293A1 (de) Schätzung der Bewegung einer Bildposition
DE202010017889U1 (de) Anordnung zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
DE10112732C2 (de) Verfahren zur Bestimmung der Lage von Meßbildern eines Objektes relativ zum Objekt
WO2022100960A1 (de) Verfahren zum bereitstellen von navigationsdaten zum steuern eines roboters, verfahren zum steuern eines roboters, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung
WO2022100961A1 (de) Bereitstellen von verformungsdaten für eine verformungsanalyse
DE102010045634A1 (de) Anordnung und Verfahren zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
WO2022100988A1 (de) Verfahren zum bereitstellen von überwachungsdaten zur detektion eines beweglichen objekts, verfahren zur detektion eines beweglichen objekts, verfahren zum herstellen zumindest eines vordefinierten punktsymmetrischen bereichs und vorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21799022

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180090216.X

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21799022

Country of ref document: EP

Kind code of ref document: A1