WO2024056246A1 - Verfahren zum bestimmen einer ist-verteilung von düngerkörnern - Google Patents

Verfahren zum bestimmen einer ist-verteilung von düngerkörnern Download PDF

Info

Publication number
WO2024056246A1
WO2024056246A1 PCT/EP2023/070136 EP2023070136W WO2024056246A1 WO 2024056246 A1 WO2024056246 A1 WO 2024056246A1 EP 2023070136 W EP2023070136 W EP 2023070136W WO 2024056246 A1 WO2024056246 A1 WO 2024056246A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fertilizer
fertilizer grains
collecting device
parameter
Prior art date
Application number
PCT/EP2023/070136
Other languages
English (en)
French (fr)
Inventor
Justus Dreyer
André GROSSE BRINKHAUS
Per-Christian Heisel
Arnd Kielhorn
Florian Rahe
Markus Ströbel-Fröschle
Original Assignee
Amazonen-Werke H. Dreyer SE & Co. KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazonen-Werke H. Dreyer SE & Co. KG filed Critical Amazonen-Werke H. Dreyer SE & Co. KG
Publication of WO2024056246A1 publication Critical patent/WO2024056246A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C17/00—Fertilisers or seeders with centrifugal wheels
    • A01C17/006—Regulating or dosing devices
    • A01C17/008—Devices controlling the quantity or the distribution pattern

Definitions

  • the invention relates to a method for determining an actual distribution of fertilizer grains and a system for recording an image in such a method.
  • the spreading pattern of a fertilizer spreader depends on the flow and flight behavior of the fertilizer grains. These depend, among other things, on the grain size, grain shape, pure density, bulk density, grain strength, moisture, coefficient of friction and surface quality of the grains. Basically, there are recommended setting values for different fertilizer spreaders, especially different centrifugal discs, which can be retrieved from databases or read from so-called spreading tables, taking into account the respective type of fertilizer.
  • deviations from the expected spreading pattern can occur, for example in the event of deviations in fertilizer quality, changes in the inclination of the spreader, spreading mechanism and/or centrifugal disc(s), wind, moisture of the fertilizer, changes in quantity and/or segregation of the grain size fractions. Consequently, the actual distribution of the fertilizers, especially with regard to the lateral distribution, must be checked in practical use.
  • the invention is based on the object of specifying an improved method for determining an actual distribution of fertilizer grains and a system for recording an image in such a method.
  • the invention includes a method according to claim 1 and a system according to claim 16.
  • the method for determining an actual distribution of fertilizer grains includes the steps of laying out at least one collecting device for fertilizer grains; Spreading the fertilizer grains over the at least one collecting device by means of a fertilizer spreader, in particular a centrifugal fertilizer spreader; Recording an image of the at least one sprinkled collecting device with a camera; Locating the fertilizer grains in the image, and calculating an actual distribution of the fertilizer grains on the collecting device and/or along a plurality of collecting devices, the method comprising at least one improving step that improves the localization of the fertilizer grains in the image.
  • At least one collecting device is designed in the process.
  • the at least one collecting device is typically designed so that it is located in an area where fertilizer grains are expected to hit when fertilizer grains are spread.
  • a collecting device here can in particular comprise or be an adhesive mat plate as described in EP 2 923 546 B1.
  • a collecting device can comprise or be, for example, a measuring bowl described in DE 10 2004 017 075 A1, other measuring bowls or another device which is suitable for holding, resting or collecting fertilizer grains at or near the impact site.
  • a combination of different collecting devices for example one or more measuring bowls and one or more adhesive mats, can also be used.
  • the fertilizer grains are spread by a fertilizer spreader, e.g. B. a centrifugal fertilizer spreader or a pneumatic fertilizer spreader.
  • This fertilizer spreader can be a centrifugal spreader. It can comprise at least one, typically two, centrifugal discs, whereby the centrifugal disc(s) can in particular be driven in rotation.
  • the fertilizer spreader can alternatively also be a pneumatic spreader, which applies fertilizer pneumatically via at least one pneumatic delivery line with one or more associated baffle plates.
  • the fertilizer spreader can further comprise a storage container and a dosing unit. Typically, the fertilizer grains are sent via the dosing unit to the spreading mechanism, e.g. B.
  • the fertilizer spreader can z. B. include a metering element per centrifugal disc or per pneumatic delivery line, via which the fertilizer grains (the fertilizer) can be applied to the centrifugal disc or into the pneumatic delivery line in adjustable quantities.
  • the metering element can be, for example, a section of a metering roller.
  • the fertilizer spreader can comprise two centrifugal discs arranged next to one another transversely to the intended direction of travel, with each centrifugal disc being able to comprise one, two or more throwing blades.
  • an introduction system for the fertilizer grains can be arranged, which is designed to guide the fertilizer grains in an adjustable radial and/or concentric direction to a point on the centrifugal disc (feed point).
  • one or more fertilizer spreader parameters in particular, for example, the blade position of the throwing blades on the centrifugal discs, disc diameter of the centrifugal discs, the effective length of the throwing blades, the mounting height of the centrifugal spreader, the inclination of the centrifugal spreader and/or the inclination of the spreading mechanism and/or the Centrifugal discs, the speed of the centrifugal discs and/or the delivery point of the fertilizer grains on the centrifugal disc, the spreading pattern of the fertilizer spreader can be influenced.
  • a camera with which an image of the at least one sprinkled collecting device can be recorded can be, for example, a digital camera, in particular the camera of a mobile device, for example a cell phone or a tablet.
  • the collecting device can be recorded in at least one camera image.
  • the fertilizer grains are located in the image.
  • the fertilizer grains can be located on a mobile device, the on-board computer or on a server.
  • an image analysis can be carried out in which a step is carried out that distinguishes fertilizer grains from the collecting device, for example based on the color differences, the structure, the deviation from a uniform pattern or a flat surface and/or shadows.
  • An actual distribution of the fertilizer grains on the collecting device or along several collecting devices can then be determined, for example by evaluating the area that is covered by fertilizer grains in comparison to the area that is visible from the base of the collecting device and / or based on the known dimensions of the Collection device.
  • an actual distribution of the fertilizer grains on the collecting device can be calculated on a collecting device and/or along several collecting devices.
  • the enhancement step improves the localization of the fertilizer grains in the image.
  • an improvement step can include an improvement in image quality or image evaluation (compared to a method without such a step).
  • the improvement step may include detecting at least one circumstance parameter before taking the image.
  • a circumstance parameter can in particular describe one or more circumstances before and/or during the recording of the image.
  • Such a circumstance parameter can include, for example, environmental information(s), information) about the camera, information(s) about the collecting device, information(s) about the current image quality and/or further information(s).
  • the at least one circumstance parameter can be lighting conditions (in particular, for example brightness), a time of day, a shadow cast, in particular by a machine, for example the fertilizer spreader, a position of the sun, the current cloud cover, the direction of the compass, in particular in relation to the position of the camera, for example in relation to (strike) shadows calculated on a machine, in particular the fertilizer spreader, and/or the direction of image recording, which fall on the collecting device, or which are generated by the structure of the collecting device and the lighting conditions, a GPS position, the inclination of the ground and/or the collecting device, an attitude and/or orientation of the camera, a position (in particular distance to the target surface) of the camera, an inclination of the camera, information about the shape of the collecting device, information about a marking or Marking on
  • model, manufacturer, active setting(s) of the camera e.g. active filters, focal length, aperture, exposure time, sensitivity, resolution, information about a mobile device (which can include the camera, for example ) such as its operating system and operating system version, the recording software, the version of the recording software, and/or the like.
  • active filters e.g. active filters, focal length, aperture, exposure time, sensitivity, resolution
  • information about a mobile device such as its operating system and operating system version, the recording software, the version of the recording software, and/or the like.
  • a circumstance parameter can be taken into account for the setting when taking the image and/or during the evaluation.
  • At least one setting parameter can be adjusted when the image is captured.
  • the exposure time and/or sensitivity can be related to the lighting conditions, the desired recording direction to the direction of the compass, in particular in relation to the position of the camera, e.g. in relation to a machine, e.g. the fertilizer spreader, and/or the direction of the image recording, and/or the position of the sun and/or the calculated shadow can be adjusted.
  • it can be checked or set that no filters and/or certain filters are applied.
  • a predetermined resolution can be used to capture an image.
  • the resolution may be FHD (Full High-Definition - 1920x1080) and/or the optimal resolution of the camera may be used and scaled down to FHD (or another predetermined resolution).
  • FHD Full-Definition - 1920x1080
  • a whole number of pixels can be combined, e.g. 2x2 or 3x3 pixels can be combined. This reduces the resolution to a fraction of the previous resolution, with the previous resolution being a multiple of the resulting resolution. This can be computationally advantageous and can also increase accuracy, as the influence of pixel errors or similar can be reduced. If the previous resolution is reduced to a non-integer factor, pixels must be interpolated. In particular, this can lead to sharp edges becoming blurred.
  • the at least one circumstance parameter may include an environmental parameter and/or a fertilizer spreader parameter.
  • Example environmental parameters can include, for example, lighting conditions, position of the sun, cloud cover, direction, calculated shadows, for example calculated (cast) shadows that fall on the collecting device, in particular through the structure of the collecting device or a machine, for example the fertilizer spreader, and/or the like.
  • Fertilizer spreader parameters can, for example, be one or more of the fertilizer spreader parameters mentioned above, in particular the control setting(s), e.g.
  • the fertilizer spreader parameters can be stored, for example (in particular in an app), for example in a mobile device, the on-board computer or on a server, which can optionally also be configured to carry out one or more further steps of the method.
  • the lighting of the fertilizer spreader in particular work lighting directed at the surface or the spreading fan, in particular the collecting devices, can be switched on if this can contribute to an image improvement due to the lighting conditions.
  • the at least one circumstance parameter can in particular include a camera parameter, for example the camera setting, the type of filter activated in the camera, the set white balance of the camera, the exposure time, the focal length, the sensitivity, the aperture, the ISO setting, an image parameter (e.g. the sharpness and/or the resolution) and/or other (recording) settings.
  • a camera parameter for example the camera setting, the type of filter activated in the camera, the set white balance of the camera, the exposure time, the focal length, the sensitivity, the aperture, the ISO setting, an image parameter (e.g. the sharpness and/or the resolution) and/or other (recording) settings.
  • a setting parameter of the camera e.g. an exposure time, the selected white balance, an ISO setting, focal length, aperture, a filter, a camera angle, tilt angle and/or other camera settings can be adjusted based on at least one circumstance parameter, in particular a camera parameter, in particular on a (new, calculated) target value can be set.
  • Such an adjustment of one (or more) setting parameters to a (new, calculated) target value can be carried out in particular on the basis of at least one circumstance parameter, e.g. a previously measured or known actual value.
  • a white balance can be carried out based on at least one circumstance parameter, for example the measured value of a color card or reference color in the image, which can be visible on the collecting device and/or can use the color of the fertilizer, and thus
  • the camera's setting parameter which specifies the white balance, can be set appropriately for taking the image.
  • lighting conditions and/or sensitivity of the camera can be used as circumstance parameters to adjust one or more setting parameters of the camera.
  • the at least one circumstance parameter includes a camera parameter
  • instructions for improving the at least one camera parameter can be issued.
  • the user can be instructed to change his position, e.g. if the user would otherwise have unfavorable shading and/or if the camera is held unfavorably (e.g. tilted).
  • the image is not suitable (e.g. is out of focus, distorted by excessive camera tilt, has strong shadows and/or is incorrectly exposed), it can be rejected.
  • the user can be instructed to improve the at least one camera parameter, e.g. changing the exposure time, changing the tilt of the camera and/or taking another image from a better position.
  • Such instructions can be provided, for example, by guiding the user using optical and/or acoustic signals.
  • the user can be guided in the correct direction by arrows on a mobile device, for example in the camera display of a mobile device, and/or can be instructed to improve the position by acoustic signals, for example a voice output or an alarm signal in the event of poor positioning.
  • the user can be guided by displaying an augmented reality.
  • assistance for the user can be superimposed on the image in a visible display image of the camera, e.g. to specify a suitable inclination, position, orientation and/or other camera parameters,
  • instructions can be issued to intentionally take an image at an oblique angle to the collecting device in order to avoid casting shadows.
  • the camera parameter can in particular include (or be) a parameter that describes whether the edge of the collecting device remains in the image. If it does not do this, the image cannot be cropped to the catcher, and information about the catcher's area may be lost. In such a case, the user can be instructed, for example, to change the image section.
  • the guidance can, for example, be carried out visually, by arrows or the like, by outputting images on the screen and/or by audio guidance.
  • the image can be captured automatically if the at least one camera parameter meets one or more specific conditions.
  • a continuous or intermittent image recording (similar to a film recording or continuously recorded individual still images) can be carried out and automatic triggering can take place when the collecting device is correctly in the image, for example when it is sharp and complete (e.g. recognized as correctly positioned based on markings). and optionally undistorted in the image.
  • a distortion can be accepted during the automatic recording and this can later be calculated out using the known geometry of the collecting device.
  • image stabilization e.g. by an image stabilizer in hardware or software, can be carried out.
  • the enhancing step may include detecting an area of interest, for example detecting when the capture device is fully in the image.
  • the image in which an area of interest has been detected can be cropped to that area.
  • recognition of an area of interest can occur, for example, before the image is captured or after the image is captured.
  • An image can thus be cropped to the section of a collecting device so that it only includes the areas in the resulting (cropped) image that are relevant for determining the actual distribution of the fertilizer grains.
  • the improvement step can additionally or alternatively include an image processing step that improves the differentiation of the fertilizer grains from the subsoil.
  • all previously determined circumstance parameters and other parameters can be incorporated, for example information about the type of fertilizer and/or information about the collecting device, e.g. the mat, or other information.
  • the type, in particular color, of the fertilizer type, the color of the mat and optionally other parameters, e.g. the white balance, are known, the fertilizer grains can be localized in an image based on these color distributions.
  • the image processing step which improves the differentiation of the fertilizer grains from the substrate, can include a filtering step.
  • the filtering step may include a convolution step.
  • a convolution can, for example, include pixel-by-pixel iterating routines that process a sub-environment of an image, in particular an environment of a few pixels, for example all direct neighbors or a certain number of pixels around the pixel, around the pixel that is currently being processed, and thus a Can improve the differentiation of fertilizer grains from the substrate, in particular highlight image characteristics relevant to the spreading pattern.
  • a convolution step can be carried out, for example, using a convolution matrix (convolution kernel). With such a folding step, for example, sharpening (of some or all edges) of the image can be carried out and/or accentuation of properties of the image and/or other properties of the image can be changed.
  • the filtering step may include a filtering step with a specialized filter that was designed and/or trained based on existing images.
  • the filtering step may include a dilation step and/or an erosion step and/or a histogram adjustment (and/or a contrast spreading).
  • structures on an image can be changed; in particular, existing structures can be highlighted, for example by means of a structured element; for example, fertilizer grains present in an image can be enlarged so that they can be better recognized during subsequent processing.
  • structures on an image can be removed, for example using a mask. This can result in the shape of existing structures, such as fertilizer grains, being easier to see, with potentially abutting fertilizer grains being easier to separate in the image.
  • a histogram can describe brightness and/or contrast and/or color values of an image.
  • the brightness and/or contrast can be adjusted, for example to a reference histogram.
  • histogram adjustment may include ensuring that brightness is evenly distributed across the image. This can lead to improved differentiation of the fertilizer grains from the substrate, especially in unfavorable lighting conditions or shadows.
  • a contrast spread distributed (distribution of the measured brightness over the entire possible range) can lead to an improved differentiation of the fertilizer grains from the background.
  • the filtering step may include a fast Fourier transform and/or filtering with a threshold value.
  • a fast Fourier transformation can, for example, allow the image information to be viewed in the frequency domain. You can therefore optionally, for example with an additional filter, image information with a certain frequency, such as that provided by the structure a collecting device can be filtered out of the image.
  • image information with a certain frequency such as that provided by the structure a collecting device can be filtered out of the image.
  • a fast Fourier transformation for example, only frequencies can be viewed from the image that are smaller than a regularly recurring structure of the collecting device, so that only the (irregular) fertilizer distribution, but not a regular structure of the collecting device, is recognized.
  • Filtering with a threshold value can, for example, include filtering with a gray value of a pixel, a specific color value of a pixel or the like.
  • threshold value filtering particularly if the color of the fertilizer and/or the color of the collecting device is known, a distinction can be made, for example, as to whether a pixel is to be assigned to fertilizer or to the collecting device.
  • the image processing step which improves the differentiation of the fertilizer grains from the substrate, can in particular include one or more of the aforementioned steps, e.g. a convolution step with a fast Fourier transformation and optionally further steps.
  • the improvement step can be adjusted taking into account the at least one circumstance parameter, for example one or more parameters that are included in the improvement step can be checked based on the at least one circumstance parameter and, if they do not correspond to the intended value, can be selected or redefined.
  • the improvement step can thus be adapted to one or more circumstances (during or) before the image is taken, which can in particular prepare for optimal evaluation of the image.
  • an image processing step can be adjusted taking into account the at least one circumstance parameter, in particular, for example, the brightness, the cloudiness, the shadows, the lighting conditions, the type of fertilizer, the frequency and / or regularity of the structure of a collecting device and / or a color of a collecting device.
  • the frequencies taken into account in a fast Fourier transformation can be adapted taking into account the frequency of the structure of the collecting device
  • filtering with a threshold value can be adapted to the brightness and/or lighting conditions and/or a histogram adjustment can be adapted to the lighting conditions and/or shadows.
  • the improvement step may include a histogram adjustment (particularly locally) to produce a uniform image, taking into account the exposure conditions, in particular the sunlight and the shadows.
  • the improvement step can include an adjustment of a Fourier filter in order to, if necessary, still image the small structures of the fertilizer grains.
  • no erosion filter can be used in the improvement step in order not to further reduce the size of the small fertilizer grains in the image.
  • the improvement step may include rectifying the image, as there will be more distortion at the edges.
  • a Kl can be used to adapt the improvement step taking into account the at least one circumstance parameter.
  • circumstance parameters taken into account in the improvement step and/or steps carried out can be selected and/or combined based on the circumstances, which can be described in particular by the circumstance parameters.
  • the improvement step may include a training step for future steps of a method for determining an actual distribution of fertilizer grains.
  • the training step can serve in particular to improve the procedure based on the experience gained.
  • the step of taking an image, the step of locating the fertilizer grains in the image, parts thereof and/or intermediate steps can be trained.
  • one or more image processing steps (for future image processing) can be trained in a training step.
  • a training step can be carried out.
  • the training step can be carried out by a class, for example.
  • the Kl can, for example, be the Kl of a mobile device, e.g. the Kl of a smartphone or tablet.
  • one or more intermediate results from one or more methods for determining the actual distribution and/or one or more previously calculated actual distribution of the fertilizer grains can be taken into account.
  • This training step can, for example, be carried out after each calculation of an actual distribution of the fertilizer grains, after a certain number of calculations of an actual distribution of the fertilizer grains, after a certain period of time, at the request of the user and/or according to other criteria.
  • the training step can take into account one or more user inputs.
  • the user can enter the amount of fertilizer applied and/or other information, with which the plausibility of the calculated actual distribution or similar can be checked.
  • a user input may include a user rating, in particular as feedback.
  • Such a user evaluation can in particular be used to determine whether the improvement step was successful, in particular, for example, whether further steps of an improvement step, for example one or more further training or compensation steps, should be carried out.
  • the improvement step may include a compensation step for foreign bodies detected on the collecting device.
  • these can be identified based on their structure, size and/or color in the image.
  • structures on the collecting device that are significantly larger or significantly smaller than fertilizer grains can be identified as foreign bodies.
  • structures on the collecting device that have a different color than the collecting device and/or the fertilizer grains can also be recognized as foreign bodies.
  • structures on the collecting device that have a different geometry than fertilizer grains can also be recognized as foreign bodies.
  • Another geometry can in particular include that the foreign bodies, e.g. plant residues or leaves, show in one dimension a multiple of the average grain size of the fertilizer used. This means that, for example, they can be ignored when locating the fertilizer grains in the image, for example by not taking them into account in the image processing after they have been identified as foreign bodies.
  • the evaluation takes place pixel by pixel.
  • the detected grains can be provided with a pixel-by-pixel mask and thus marked.
  • all pixels that are assigned to foreign bodies can then be removed from the pixel-by-pixel marking of fertilizer grains, so that only the fertilizer grains remain.
  • Image processing can be parallelized.
  • the image in image processing, the image can be broken down into partial images, which are processed separately and optionally simultaneously, with the results then being combined.
  • the image can be broken down into as many partial images (or a multiple of this number) as the processor cores of the mobile device are available for image processing, or a predetermined number of partial images can be broken down into as many images on a server used for image processing. can be processed in parallel.
  • An improvement step may further include guiding a user through the recording process.
  • a user can visually and/or acoustically through the recording process.
  • a camera for example a camera of a mobile device, it can be visually displayed by signals (and/or acoustically output by signals) what the next steps are that the user should carry out.
  • the user can be guided to next take an image of at least one collecting device.
  • environmental parameters it can be guided to take an image from a specific angle and/or with specific camera settings.
  • the user can, for example, be instructed to change the recording position, for example if a previous image was blurred and/or distorted and/or based on the environmental parameters, in particular including the camera settings, there was no good image, in particular not one suitable for evaluation, in the current position is expected. This can be the case, for example, if there is a risk of overexposure due to the orientation of the camera towards the sun or if there is a risk of shadows being cast by the sun.
  • Such user instructions can be provided, for example, by displaying arrows on a camera display or by audibly issuing instructions or signal tones.
  • a user can be informed, for example visually or acoustically, if the section captured by the image is not suitable, for example only part of the collecting device is shown, shadows are visible on the image and/or the image is distorted.
  • the user can also be guided to next take an image of a specific collecting device, particularly if more than one collecting device is designed in a field. After taking an image of this collecting device, it can be guided to take an image of a next recording device, whereby the order of the collecting devices to be recorded can optionally be specified and optionally can also be changed. This can be particularly advantageous for complex design patterns of the receiving devices. For example, the user can be guided to pick up multiple catchers (if any) in a particular row. In particular, the order in which collecting devices are to be picked up can then be controlled and therefore known.
  • the position and/or identifier of each collecting device must be known so that an actual distribution of fertilizer grains can be calculated.
  • the user interface of the camera and/or the mobile device can be used and instructions can be output on the user interface.
  • the information can be output in the same setting as the camera's user interface or in a different way, for example optically or acoustically as text.
  • instructions for improving a camera parameter as described above or another parameter, for example as described above for a camera parameter can be issued.
  • the guidance can, for example, be carried out visually, by arrows or the like, by outputting images on the screen and/or by audio guidance.
  • the image can be captured automatically, e.g. if at least one camera parameter or other parameter fulfills one or more specific conditions.
  • a continuous image recording (similar to a film recording or continuously recorded individual still images) can be carried out and automatic triggering can take place when the collecting device is correctly in the image, for example when it is sharp, complete and optional (e.g. recognized as correctly positioned based on markings). is not distorted in the image.
  • the user can be guided to change the position in a direction desired for image capture, for example to move or tilt the camera in a specific direction.
  • the recording mode can be adjusted, e.g. a flash can be switched on, external lighting can be switched on and/or a different evaluation routine (e.g. a different filter step, other White balance, other threshold values, additional steps such as contrast spreading or histogram adjustment and/or similar) can be used.
  • a different evaluation routine e.g. a different filter step, other White balance, other threshold values, additional steps such as contrast spreading or histogram adjustment and/or similar
  • information about the collecting device can be taken into account.
  • the geometry and/or the surface and/or the color and/or a (regular) structure of the collecting device and/or an image properties expected due to the (regular) structure of the collecting device, for example shadows generated by a structure of the collecting device be taken into account.
  • one or more of these pieces of information about the collecting device can be taken into account in the image processing step, so that it is thereby taken into account in the actual distribution of the fertilizer grains.
  • the camera inclination can be determined, for example, by the known geometry of the collecting device in the event of a distorted representation in the image. This camera tilt can be taken into account in particular during the image processing step.
  • the camera tilt can be taken into account by determining the dimensions of the collecting device based on the known geometry of the collecting device and the the camera tilt is calculated out.
  • the image processing step only an interesting region of the collecting surface can be considered, since the dimensions of the region under consideration can be derived during the image cropping of the rest of the collecting device.
  • image areas with display deficiencies, such as shadows can also be ignored in the evaluation.
  • the improvement step may include pixel-by-pixel image segmentation using a neural network.
  • the image can be segmented pixel by pixel using a neural network, for example.
  • the fertilizer grains can be highlighted using a neural network and therefore easier to recognize in further image analysis.
  • the improvement step may include classifying or marking recognized objects using a neural network.
  • a neural network can be used to recognize objects and classify or mark them in the image.
  • the fertilizer grains and/or foreign bodies can be classified or marked and further evaluation can take place on this basis. If, for example, the fertilizer grains have been classified or marked, counting the grains can be made easier in the further process.
  • an area from the classification or pixel-wise segmentation
  • the improvement step can further include filtering using a specially trained neural network. Using such a trained neural network, for example, an optimized filter can be determined with the help of one or more circumstance parameters, such as lighting or white balance information, and this can be applied to the images. This can lead to easier and better evaluation when evaluating images.
  • the invention further comprises a system for recording an image in a method for determining an actual distribution of fertilizer grains as described above.
  • the system includes in particular a screen (display), a processor and a memory.
  • the memory includes instructions that, when executed by a processor, optically and/or acoustically guide a user to capture an image of the at least one sprinkled collection device. The guidance can take place, for example, as described above.
  • the memory of the system may further optionally include instructions that, when executed by a processor, include the steps of locating the fertilizer grains in the image, and calculating an actual distribution of the fertilizer grains on the collector, and/or along multiple collection devices, with at least one improvement step improving the localization of the fertilizer grains in the image.
  • Such an improvement step of localizing the fertilizer grains in the image can in particular include one or more of the improvement steps and measures described above.
  • the system can further comprise a communication means of the imaging device, which can allow communication with an on-board computer, for example, e.g. a wireless communication module or a connection for a cable.
  • the on-board computer can also include a communication means that is used to connect to the imaging device is suitable, for example a wireless communication module (matching the communication module of the imaging device) or a connection for a cable (matching the connection of the imaging device).
  • the system may optionally include one or more collection devices.
  • the system can recommend or adjust an order in which the images of the collectors are to be taken.
  • the screen display of the screen can be adapted to one or more environmental parameters. For example, based on an environmental parameter such as brightness, the position of the sun or cloud cover, the screen display can be adjusted, for example the brightness can be increased or a night display mode can be activated.
  • an environmental parameter such as brightness, the position of the sun or cloud cover
  • Figure 1 exemplary steps of a method in which a circumstance parameter is recorded
  • Figure 2 exemplary steps of a method in which fertilizer grains are located
  • Figure 3 exemplary steps of a method with an improvement step
  • Figure 4 exemplary steps of a method with a training step
  • Figure 5 shows an exemplary user interface.
  • Figure 1 shows exemplary steps of a method.
  • at least one circumstance parameter can be recorded before or during the recording of the image (step 101).
  • the brightness can be recorded before the image is taken.
  • one or more setting parameters can be adjusted when the image is captured (step 102).
  • the exposure time can be adjusted to the brightness.
  • the image can then be recorded with the adjusted setting parameter. This allows the localization of the fertilizer grains in the image (step 103) and a subsequent calculation of an actual distribution of the fertilizer grains on the collecting device and/or along several collecting devices (step 104) to be improved.
  • FIG. 2 shows exemplary steps of a method.
  • an image is captured (step 201).
  • An area of interest in the image is then recognized (step 202).
  • the image can then be cropped to the area of interest (step 203).
  • the fertilizer grains can then be located in the (cropped) image (step 204).
  • detection of an area of interest may be performed before the image is captured.
  • an area of interest can be recognized during continuous image capture (similar to a movie recording or continuously captured individual still images).
  • An automatic triggering or a signal to the user can occur, for example, when the area of interest has been recognized (e.g. the complete collecting device) and is correctly in the image, for example if it (e.g. based on markings or an expected shape of the mat in the Image recognized as correctly positioned) is sharp and completely in the image.
  • Figure 3 shows exemplary steps of a method starting with recording an image (step 301). After an image is captured, the enhancement step is adjusted taking into account at least one circumstance parameter (step 302). In other examples (not shown here), an adjustment of the improvement step can take place before or when the image is taken, taking into account at least one circumstance parameter.
  • the image processing step e.g. the selection of the filters
  • a filter used e.g. a threshold value
  • a filter can be adjusted based on the brightness.
  • a filter e.g. a threshold value
  • the improvement step (step 303) can be carried out and an actual distribution of the fertilizer grains can be calculated (step 304).
  • the improvement step which improves the localization of the fertilizer grains in the image, can optionally be included as part of the acquisition of an image and/or as part of the localization of the fertilizer grains in the image, for example during image processing.
  • an improvement step that includes a filter step can be included as part of the image processing, in particular a part of the step of locating the fertilizer grains in the recording.
  • Figure 4 shows further exemplary process steps.
  • Figure 4 shows a training step (step 402), in particular for future steps of a method for determining an actual distribution of fertilizer grains.
  • a training step (step 402) can be carried out, for example, after calculating an actual distribution of the fertilizer grains on the collecting device and/or along several collecting devices (401).
  • Such a training step can, for example, take into account the actual distribution of the fertilizer grains, user input and/or one or more intermediate results from a method for determining the actual distribution. It can be carried out using a Kl, for example.
  • the training step for future image processing steps can thus in particular improve a method for determining the actual distribution, in particular the localization of the fertilizer grains in the image, and make the resulting results more accurate.
  • Figure 5 shows an exemplary user interface as can be used in a method for determining an actual distribution of fertilizer grains or a system for recording an image in a method for determining an actual distribution of fertilizer grains.
  • the user interface can be displayed in particular on a display 1, for example the display of a mobile terminal.
  • a collecting device 2 and fertilizer grains 4 are visible on and next to the collecting device 2.
  • the collecting device is not centered in the image of the display 1 and the user is visually instructed on the user interface, here for example by means of arrow 3a and an instruction 3b, to move the camera accordingly so that the collecting device is centered.
  • the user's guidance may additionally or alternatively include augmented reality and/or non-visual components, e.g., audible components such as a warning signal or other components, e.g., a vibration alarm.
  • augmented reality and/or non-visual components e.g., audible components such as a warning signal or other components, e.g., a vibration alarm.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörner umfassend die Schritte Auslegen von wenigstens einer Auffangvorrichtung für Düngerkörner; Ausstreuen der Düngerkörner über der wenigstens einen Auffangvorrichtung mittels eines Düngerstreuers; Aufnahme eines Bildes der wenigstens einen bestreuten Auffangvorrichtung mit einer Kamera; Lokalisieren der Düngerkörner in dem Bild, und Berechnen einer Ist-Verteilung der Düngerkörnern auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen, wobei das Verfahren mindestens einen Verbesserungsschritt umfasst, der die Lokalisierung der Düngerkörner in dem Bild verbessert.

Description

Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern
Die Erfindung bezieht sich auf ein Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern und ein System zur Aufnahme eines Bildes in einem solchen Verfahren.
Beim Ausstreuen von Düngerkörnern ist das Streubild eines Düngerstreuers abhängig von Fließverhalten und Flugverhalten der Düngerkörner. Diese hängen unter anderem von Korngröße, Kornform, Reindichte, Schüttdichte, Kornfestigkeit, Feuchtigkeit, Reibwert und Oberflächenbeschaffenheit der Körner ab. Grundsätzlich gibt es für unterschiedliche Düngerstreuer, insbesondere unterschiedliche Schleuderscheiben, empfohlene Einstellwerte, die sich unter der Berücksichtigung der jeweiligen Düngersorte aus Datenbanken abrufen oder aus sogenannten Streutabellen ablesen lassen. Allerdings können sich, zum Beispiel bei Abweichungen der Düngerqualität, Änderung der Neigung von Streuer, Streuwerk und/oder Schleuderscheibe(n), Wind, Feuchtigkeit des Düngers, Mengenänderung und/oder Entmischung der Korngrößenfraktionen Abweichungen vom erwarteten Streubild ergeben. Folglich muss die Ist-Verteilung der Dünger, insbesondere in Bezug auf die Querverteilung, in der praktischen Anwendung überprüft werden.
Zu diesem Zweck ist, beispielsweise aus der EP 2 923 546 B1 , bekannt, eine HaftmatteAplatte zum Auffangen und Festhalten ausgestreuter Düngerkörner zu verwenden, über diese Düngerkörner auszustreuen und die Verteilung von auf der HaftmatteAplatte angekommenen Düngerkörnern zu bestimmen.
Der Erfindung liegt nun die Aufgabe zu Grunde, ein verbessertes Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörner und ein System zur Aufnahme eines Bildes in einem solchen Verfahren anzugeben.
Die Erfindung umfasst ein Verfahren nach Anspruch 1 sowie ein System nach Anspruch 16.
Das Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörner umfasst die Schritte Auslegen von wenigstens einer Auffangvorrichtung für Düngerkörner; Ausstreuen der Düngerkörner über der wenigstens einen Auffangvorrichtung mittels eines Düngerstreuers, insbesondere eines Zentrifugal-Düngerstreuers; Aufnahme eines Bildes der wenigstens einen bestreuten Auffangvorrichtung mit einer Kamera; Lokalisieren der Düngerkörner in dem Bild, und Berechnen einer Ist- Verteilung der Düngerkörnern auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen, wobei das Verfahren mindestens einen Verbesserungsschritt umfasst, der die Lokalisierung der Düngerkörner in dem Bild verbessert.
Wenigstens eine Auffangvorrichtung wird im Verfahren ausgelegt. Es können insbesondere eine, zwei, drei oder mehr Auffangvorrichtungen ausgelegt werden. Die wenigstens eine Auffangvorrichtung wird typischerweise so ausgelegt, dass sie in einem Bereich liegt, wo ein Auftreffen von Düngerkörner beim Ausstreuen von Düngerkörnern erwartet wird.
Eine Auffangvorrichtung kann hier insbesondere eine HaftmatteAplatte wie in EP 2 923 546 B1 beschrieben umfassen oder sein. Alternativ kann eine Auffangvorrichtung beispielsweise eine in DE 10 2004 017 075 A1 beschriebene Messschale, andere Messschalen oder eine andere Vorrichtung umfassen oder sein, die dazu geeignet ist, Düngerkörner am oder in der Nähe des Aufprallortes festzuhalten, zum Liegen zu bringen oder zu sammeln. Auch eine Kombination von verschiedenen Auffangvorrichtungen, beispielsweise einer oder mehrerer Messschalen und einer oder mehrerer Haftmatten, können verwendet werden.
Die Düngerkörner werden durch einen Düngerstreuer, z. B. einen Zentrifugal-Düngerstreuer oder einen pneumatischen Düngerstreuer, ausgestreut. Dieser Düngerstreuer kann ein Schleuderstreuer sein. Er kann mindestens eine, typischerweise zwei, Schleuderscheiben umfassen, wobei die Schleuderscheibe(n) insbesondere rotierend angetrieben sein können. Der Düngerstreuer kann alternativ auch ein pneumatischer Streuer sein, der über wenigstens eine pneumatische Förderleitung mit einem oder mehreren zugehörigen Pralltellern Dünger pneumatische ausbringt. Der Düngerstreuer kann des Weiteren einen Vorratsbehälter und eine Dosiereinheit umfassen. Typischerweise werden die Düngerkörner über die Dosiereinheit zu dem Ausbringmechanismus, z. B. auf eine Schleuderscheibe oder in die Pneumatik, eingebracht. Beispielsweise kann der Düngerstreuer z. B. pro Schleuderscheibe oder pro pneumatischer Förderleitung ein Dosierelement umfassen, über das die Düngerkörner (der Dünger) in jeweils einstellbaren Mengen auf die Schleuderscheibe oder in die pneumatische Förderleitung ausgebracht werden können. Im Falle eines pneumatischen Düngerstreuers kann das Dosierelement beispielsweise ein Abschnitt einer Dosierwalze sein.
Beispielsweise kann der Düngerstreuer zwei quer zur beabsichtigten Fahrtrichtung nebeneinander angeordnete Schleuderscheiben umfassen, wobei jede Schleuderscheibe eine, zwei oder mehr Wurfschaufeln umfassen kann. Für jede Schleuderscheibe kann ein Einleitsystem für die Düngerkörner angeordnet sein, das dazu ausgebildet ist, die Düngerkörner in radialer und/oder konzentrischer Richtung einstellbar auf einen Punkt der Schleuderscheibe (Aufgabepunkt) zu führen. Über Einstellung von einem oder mehreren Düngerstreuerparametern, insbesondere z.B. der Schaufelstellung der Wurfschaufeln auf den Schleuderscheiben, Scheibendurchmesser der Schleuderscheiben, der wirksamen Länge der Wurfschaufeln, der Anbauhöhe des Schleuderstreuers, der Neigung des Schleuderstreuers und/oder der Neigung des Streuwerks und/oder der Schleuderscheiben, der Drehzahl der Schleuderscheiben und/oder des Aufgabepunkts der Düngerkörner auf der Schleuderscheibe, kann das Streubild des Düngerstreuers beeinflusst werden.
Eine Kamera, mit der ein Bild der wenigstens einen bestreuten Auffangvorrichtung aufgenommen werden kann, kann beispielsweise eine digitale Kamera, insbesondere die Kamera eines mobilen Endgerätes, z.B. eines Handys oder eines Tablets, sein. Bei der Aufnahme eines Bildes kann die Auffangvorrichtung in wenigstens einem Kamerabild aufgenommen werden.
In dem Bild werden die Düngerkörner lokalisiert. Die Lokalisierung der Düngerkörner kann auf einem mobilen Endgerät, dem Bordrechner oder auf einem Server durchgeführt werden. Dabei kann insbesondere eine Bildanalyse durchgeführt werden, bei der ein Schritt durchgeführt wird, der Düngerkörner von der Auffangvorrichtung unterscheidet, z.B. anhand der Farbunterschiede, der Struktur, der Abweichung zu einem gleichmäßigen Muster oder einer ebenen Fläche und/oder Schattenwurf. Anschließend kann eine Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung oder entlang mehrerer Auffangvorrichtungen bestimmt werden, beispielsweise durch Auswerten der Fläche, die durch Düngerkörner bedeckt ist im Vergleich zu der Fläche, die vom Untergrund der Auffangvorrichtung sichtbar ist und/oder anhand der bekannten Abmessungen der Auffangvorrichtung. Insbesondere kann eine Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung auf einer Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen berechnet werden.
Der Verbesserungsschritt verbessert die Lokalisierung der Düngerkörner in dem Bild. Beispielsweise kann ein solcher Verbesserungsschritt eine Verbesserung der Bildqualität oder der Bildauswertung (gegenüber einem Verfahren ohne einen solchen Schritt) umfassen.
Beispielsweise kann der Verbesserungsschritt umfassen, mindestens einen Umstandsparameter vor Aufnahme des Bildes zu erfassen. Ein Umstandsparameter kann insbesondere einen oder mehrere Umstände vor und/oder während Aufnahme des Bildes beschreiben.
Ein solcher Umstandsparameter kann beispielsweise Umgebungsinformation(en), Informationen) über die Kamera, Information(en) über die Auffangvorrichtung, Information(en) über die aktuelle Bildqualität und/oder weitere Information(en) umfassen. Beispielsweise kann der mindestens eine Umstandsparameter Lichtverhältnisse (insbesondere z.B. Helligkeit), eine Uhrzeit, einen Schattenwurf, insbesondere durch eine Maschine, z.B. den Düngerstreuer, einen Sonnenstand, die aktuelle Bewölkung, die Himmelsrichtung, insbesondere in Bezug auf die Position der Kamera, z.B. in Bezug auf eine Maschine, insbesondere den Düngerstreuer, und/oder die Richtung der Bildaufnahme, berechnete (Schlag-)Schatten, die auf die Auffangvorrichtung fallen, oder die durch die Struktur der Auffangvorrichtung und die Lichtverhältnisse erzeugt werden, eine GPS-Position, die Neigung des Bodens und oder der Auffangvorrichtung, eine Haltung und/oder Ausrichtung der Kamera, eine Position (insbesondere Abstand zur Zielfläche) der Kamera, eine Neigung der Kamera, Information über die Form der Auffangvorrichtung, Information über eine Kennzeichnung oder Markierung an der Auffangvorrichtung, Informationen über die Kamera, z.B. Modell, Hersteller, aktive Einstellung(en) der Kamera, z.B. aktive Filter, Brennweite, Blende, Belichtungszeit, Empfindlichkeit, Auflösung, eine Information über ein mobiles Endgerät (das z.B. die Kamera umfassen kann) wie z.B. dessen Betriebssystem und Betriebssystemversion, die Aufnahmesoftware, die Version der Aufnahmesoftware, und/oder Ähnliches umfassen. Ein solcher Umstandsparameter kann für die Einstellung bei Aufnahme des Bildes und/oder bei der Auswertung berücksichtigt werden.
Aufgrund des mindestens einen erfassten Umstandsparameters kann mindestens ein Einstellparameter bei der Aufnahme des Bildes angepasst werden. Beispielsweise kann die Belichtungszeit und/oder Empfindlichkeit an die Lichtverhältnisse, die gewünschte Aufnahmerichtung an die Himmelsrichtung, insbesondere in Bezug auf die Position der Kamera, z.B. in Bezug auf eine Maschine, z.B. den Düngerstreuer, und/oder die Richtung der Bildaufnahme, und/oder den Sonnenstand und/oder den berechneten Schatten angepasst werden. Alternativ oder zusätzlich kann überprüft oder eingestellt werden, dass keine Filter und/oder bestimmte Filter angewendet werden.
Beispielsweise kann eine vorherbestimmte Auflösung (optional ohne Filter) zur Aufnahme eines Bildes verwendet werden. Dies kann beispielsweise eine standardisierte Auswertung ermöglichen und eine Kompatibilität bei einem Hardware- Wechsel sicherstellen. Beispielsweise kann die Auflösung FHD (Full High-Definition - 1920x1080) betragen und/oder die optimale Auflösung der Kamera verwendet werden und auf FHD (oder eine andere vorherbestimmte Auflösung) herunterskaliertwerden. Beispielsweise kann eine ganze Anzahl von Pixeln zusammengefasst werden, z.B. jeweils 2x2 oder 3x3 Pixel zusammengefasst werden. Dadurch wird die Auflösung auf einen Bruchteil der vorherigen Auflösung reduziert, wobei die vorherige Auflösung ein Vielfaches der resultierenden Auflösung ist. Dies kann rechentechnisch vorteilhaft sein und auch die Genauigkeit erhöhen, da der Einfluss von Pixelfehlern o.ä. reduziert werden kann. Wird die vorherige Auflösung auf einen nicht-ganzzahligen Faktor reduziert, müssen Pixel interpoliert werden. Dies kann insbesondere dazu führen, dass scharfe Kanten verwischen.
Der mindestens eine Umstandsparameter kann einen Umgebungsparameter und/oder einen Düngerstreuerparameter umfassen. Beispielhafte Umgebungsparameter können beispielsweise Lichtverhältnisse, Sonnenstand, Bewölkung, Himmelsrichtung, berechneten Schattenwurf, z.B. berechnete (Schlag-)Schatten, die auf die Auffangvorrichtung fallen, insbesondere durch die Struktur der Auffangvorrichtung oder eine Maschine, z.B. den Düngerstreuer, und/oder Ähnliches umfassen. Düngerstreuerparameter können beispielsweise einen oder mehrere der oben genannten Düngerstreuerparameter, insbesondere die Steuereinstellung(en), z.B. Drehzahl, Wurfweite, Arbeitsbreite, Aufgabepunkt, Abwurfwinkel, Dosiermenge, und/oder Eigenschaft(en) des Düngers, insbesondere beispielsweise Korngröße, mittlere Korngröße, Oberflächeneigenschaften der Düngerkörner, Größenverteilung der Düngerkörner, Kornform, Reindichte, Schüttdichte und/oder Kornfestigkeit umfassen. Die Düngerstreuerparameter können beispielsweise (insbesondere in einer App) abgespeichert sein, z.B. in einem mobilen Endgerät, dem Bordrechner oder auf einem Server, der optional auch zur Durchführung von einem oder mehreren weiteren Schritte des Verfahrens konfiguriert sein kann.
Beispielsweise kann beim Düngerstreuer, unter Berücksichtigung eines Umgebungsparameters, als Einstellparameter, die Beleuchtung des Düngerstreuers, insbesondere eine auf die Fläche bzw. den Streufächer, insbesondere die Auffangvorrichtungen, gerichtete Arbeitsbeleuchtung, eingeschaltet werden, wenn diese aufgrund der Lichtverhältnisse zu einer Bildverbesserung beitragen kann.
Der mindestens eine Umstandsparameter kann insbesondere einen Kameraparameter umfassen, beispielsweise die Kameraeinstellung, die Art der in der Kamera aktivierten Filter, den eingestellten Weißabgleich der Kamera, die Belichtungszeit, die Brennweite, die Empfindlichkeit, die Blende, die ISO-Einstellung, einen Bildparameter (z.B. die Schärfe und/oder die Auflösung) und/oder weitere (Aufnahme-)Einstellungen.
Beispielsweise kann ein Einstellparameter der Kamera, z.B. eine Belichtungszeit, der gewählte Weißabgleich, eine ISO-Einstellung, Brennweite, Blende, ein Filter, ein Kamerawinkel, Neigungswinkel und/oder andere Kameraeinstellungen aufgrund mindestens eines Umstandsparameters, insbesondere eines Kameraparameters, angepasst werden, insbesondere auf einen (neuen, errechneten) Soll-Wert eingestellt werden. Eine solche Anpassung eines (oder mehrerer) Einstellparameters auf einen (neuen, errechneten) Soll-Wert kann insbesondere aufgrund mindestens eines Umstandsparameters, z.B. eines zuvor gemessenen oder bekannten Ist-Werts, erfolgen.
Beispielsweise kann ein Weißabgleich aufgrund mindestens eines Umstandsparameters, z.B. dem gemessenen Wert einer Farbkarte oder Referenzfarbe im Bild, die z.B. auf der Auffangvorrichtung sichtbar sein kann und/oder die Farbe des Düngers nutzen kann, erfolgen und somit kann der Einstellparameter der Kamera, der den Weißabgleich angibt, für die Aufnahme des Bildes passend eingestellt werden. Alternativ oder zusätzlich können Lichtverhältnisse und/oder Empfindlichkeit der Kamera als Umstandsparameter verwendet werden, um einen oder mehr Einstellparameter der Kamera anzupassen.
Optional kann, beispielsweise wenn der mindestens eine Umstandsparameter einen Kameraparameter umfasst, eine Anleitung zur Verbesserung des mindestens einen Kameraparameters ausgegeben werden. Beispielsweise kann der Benutzer dazu angeleitet werden, seine Position zu ändern, z.B. wenn sonst eine ungünstige Beschattung durch den Benutzer erfolgt und/oder wenn die Kamera ungünstig (z.B. verkippt) gehalten wird.
Wird beispielsweise anhand eines Kameraparameters erkannt, dass das Bild nicht geeignet ist (z.B. unscharf ist, durch eine zu starke Kameraneigung verzerrt ist, starke Schlagschatten aufweist und/oder falsch belichtet ist), kann dieses zurückgewiesen werden. Der Benutzer kann dazu angeleitet werden, den mindestens einen Kameraparameter zu verbessern, z.B. die Belichtungszeit zu ändern, die Neigung der Kamera zu ändern und/oder aus einer besseren Position ein weiteres Bild aufzunehmen. Eine solche Anleitung kann beispielsweise durch Führung des Benutzers mittels optischer und/oder akustischer Signale erfolgen. Beispielsweise kann der Benutzer durch Pfeile auf einem mobilen Endgerät, z.B. in der Kameraanzeige eines mobilen Endgerätes, in die richtige Richtung geleitet werden und/oder durch akustische Signale, z.B. eine Sprachausgabe oder ein Alarmsignal bei schlechter Positionierung, zur Verbesserung der Position angeleitet werden. Alternativ oder zusätzlich kann der Benutzer durch Darstellung einer erweiterten Realität angeleitet werden. Dabei können beispielsweise in einem sichtbaren Anzeigebild der Kamera Hilfestellungen für den Benutzer mit dem Bild überlagert werden, z.B. zur Angabe einer geeigneten Neigung, Position, Ausrichtung und/oder weiteren Kameraparameter,
Beispielsweise kann eine Anleitung ausgegeben werden, absichtlich ein Bild unter einem schrägen Winkel gegenüber der Auffangvorrichtung aufzunehmen, um Schlagschatten zu vermeiden. Der Kameraparameter kann insbesondere einen Parameter umfassen (oder sein), der beschreibt, ob der Rand der Auffangvorrichtung im Bild bleibt. Tut er dies nicht, kann das Bild nicht auf die Auffangvorrichtung zugeschnitten werden, sodass möglicherweise Informationen über die Fläche der Auffangvorrichtung verloren gehen. In so einem Fall kann der Benutzer beispielsweise dazu angeleitet werden, den Bildausschnitt zu ändern. Die Führung kann beispielsweise optisch, durch Pfeile oder Ähnliches, durch Ausgabe von Bildern auf dem Bildschirm und/oder durch eine Audioführung erfolgen. Optional kann das Bild automatisch aufgenommen werden, wenn der mindestens eine Kameraparameter eine oder mehrere bestimmte Bedingung(en) erfüllt. Beispielsweise kann dafür eine kontinuierliche oder intermittierende Bildaufnahme (ähnlich einer Filmaufnahme oder laufend aufgenommenen einzelnen Standbildern) durchgeführt werden und ein automatisches Auslösen erfolgen, wenn die Auffangvorrichtung richtig im Bild ist, beispielsweise wenn sie (z.B. anhand von Markierungen als richtig positioniert erkannt) scharf, vollständig und optional unverzerrt im Bild ist. In anderen Ausführungsformen kann eine Verzerrung bei der automatischen Aufnahme in Kauf genommen werden und diese über die bekannte Geometrie der Auffangvorrichtung später herausgerechnet werden.
Optional oder zusätzlich kann, z.B. wenn anhand eines Kameraparameters erkannt wird, dass das Bild unscharf ist, unter bestimmten anderen Bedingung(en) oder immer, eine Bildstabilisation, z.B. durch einen Bildstabilisator in Hardware oder Software, durchgeführt werden.
Der Verbesserungsschritt kann umfassen, einen Bereich von Interesse zu erkennen, beispielsweise zu erkennen, wenn die Auffangvorrichtung vollständig im Bild ist. Optional kann das Bild, auf dem ein Bereich von Interesse erkannt wurde, auf diesen Bereich zugeschnitten werden. Ein solches Erkennen eines Bereichs von Interesse kann beispielsweise vor Aufnahme des Bildes oder nach Aufnahme des Bildes erfolgen. Somit kann ein Bild auf den Ausschnitt einer Auffangvorrichtung zugeschnitten werden, sodass es nur die für die Bestimmung der Ist-Verteilung der Düngerkörner relevanten Bereiche im resultierenden (zugeschnitten) Bild umfasst.
Des Weiteren kann der Verbesserungsschritt zusätzlich oder alternativ einen Bildverarbeitungsschritt umfassen, der die Unterscheidung der Düngerkörner vom Untergrund verbessert. In diesem Verbesserungsschritt können alle zuvor bestimmten Umstandsparameter und weitere Parameter einfließen, beispielsweise Informationen über den Düngertyp und/oder Information über die Auffangvorrichtung, z.B. der Matte, oder andere Informationen. Beispielsweise kann, wenn der Typ, insbesondere Farbe des Düngertyps, die Farbe der Matte und optional weitere Parameter, z.B. der Weißabgleich, bekannt sind, anhand dieser Farbverteilungen eine Lokalisierung der Düngerkörner ein Bild durchgeführt werden.
Optional kann der Bildverarbeitungsschritt, der die Unterscheidung der Düngerkörner vom Untergrund verbessert, einen Filterschritt umfassen.
Beispielsweise kann der Filterschritt einen Faltungsschritt umfassen. Eine Faltung kann beispielsweise pixelweise iterierende Routinen umfassen, die eine Teilumgebung eines Bildes, insbesondere eine Umgebung von einigen Pixel, z.B. allen direkten Nachbarn oder einer bestimmten Anzahl von Pixeln um den Pixel, um den gerade zu bearbeitenden Pixel, verarbeiten und somit eine Unterscheidung der Düngerkörner von der Unterlage verbessern können, insbesondere streubildrelevante Bildcharakteristika hervorheben können. Ein Faltungsschritt kann beispielsweise mittels einer Faltungsmatrix (convolution kernel) durchgeführt werden. Mit solch einem Faltungsschritt kann beispielsweise eine Schärfung (von einigen oder allen Kanten) des Bildes durchgeführt werden und/oder eine Akzentuierung von Eigenschaften des Bildes und/oder andere Eigenschaften des Bildes verändert werden.
Alternativ oder zusätzlich kann der Filterschritt einen Schritt der Filterung mit einem spezialisierten Filter umfassen, der anhand von vorhandenen Bildern ausgelegt und/oder trainiert wurde.
Zusätzlich oder alternativ kann der Filterschritt einen Dilatationsschritt und/oder einen Erosionsschritt und /oder eine Histogrammanpassung (und/oder eine Kontrastspreizung) umfassen.
Mittels eines Dilatationsschrittes können Strukturen auf einem Bild verändert werden, insbesondere können dabei, beispielsweise mittels eines strukturierten Elementes, vorhandene Strukturen hervorgehoben werden, beispielsweise können in einem Bild vorhandene Düngerkörner vergrößert werden, damit diese bei der anschließenden Verarbeitung besser erkannt werden können.
Bei einer Erosion können, beispielsweise mittels einer Maske, Strukturen auf einem Bild entfernt werden. Dies kann dazu führen, dass die Form der vorhandenen Strukturen, zum Beispiel Düngerkörner, besser erkennbar sind, wobei möglicherweise aneinanderstoßende Düngerkörner auf dem Bild leichter getrennt werden können.
Ein Histogramm kann Helligkeit und/oder Kontrast und/oder Farbwerte eines Bildes beschreiben. Bei einer Histogrammanpassung kann die Helligkeit und/oder der Kontrast, z.B. an ein Referenzhistogramm, angepasst werden. Beispielsweise kann die Histogrammanpassung umfassen, dass die Helligkeit gleichmäßig auf das Bild verteilt ist. Dies kann, insbesondere bei ungünstigen Lichtverhältnissen oder Schatten, zu einer verbesserten Unterscheidung der Düngerkörner vom Untergrund führen. Ebenso kann eine Kontrastspreizung (Verteilung der gemessenen Helligkeiten über den gesamten möglichen Bereich) zu einer verbesserten Unterscheidung der Düngerkörner vom Untergrund führen.
Der Filterschritt kann eine schnelle Fouriertransformation und/oder eine Filterung mit einem Schwellenwert umfassen.
Eine schnelle Fouriertransformation kann beispielsweise erlauben, die Bildinformationen im Frequenzbereich zu betrachten. Sie kann somit optional, beispielsweise mit einem zusätzlichen Filter, Bildinformationen mit einer bestimmten Frequenz, wie sie beispielsweise durch die Struktur einer Auffangvorrichtung erzeugt werden können, aus dem Bild herausfiltern. Insbesondere können mit einer schnellen Fouriertransformation beispielsweise nur Frequenzen aus dem Bild betrachtet werden, die kleiner als eine regelmäßig wiederkehrende Struktur der Auffangvorrichtung ist, so dass nur die (unregelmäßige) Düngeverteilung, nicht aber eine regelmäßige Struktur der Auffangvorrichtung erkannt wird.
Eine Filterung mit einem Schwellenwert kann beispielsweise eine Filterung mit einem Grauwert eines Pixels, einem bestimmten Farbwert eines Pixels oder Ähnliches umfassen. Mittels einer solchen Schwellenwertfilterung kann, insbesondere wenn die Farbe des Düngers und/oder Farbe der Auffangvorrichtung bekannt ist, beispielsweise eine Unterscheidung erfolgen, ob ein Pixel jeweils Dünger oder der Auffangvorrichtung zuzuordnen ist.
Der Bildverarbeitungsschritt, der die Unterscheidung der Düngerkörner vom Untergrund verbessert, kann insbesondere einen oder mehrere der zuvor genannten Schritte umfassen, z.B. einen Faltungsschritt mit einer schnellen Fouriertransformation und optional weiteren Schritten.
Der Verbesserungsschritt kann unter Berücksichtigung des mindestens einen Umstandsparameters angepasst werden, beispielsweise kann ein oder mehrere Parameter, die in den Verbesserungsschritt einfließen, aufgrund des mindestens einen Umstandsparameters überprüft und, so sie nicht dem beabsichtigten Wert entsprechen, ausgewählt oder neu festgelegt werden. Somit kann der Verbesserungsschritt auf einen oder mehrere Umstände (bei oder) vor Aufnahme des Bildes angepasst werden, was insbesondere eine optimale Auswertung des Bildes vorbereiten kann.
Beispielsweise kann ein Bildverarbeitungsschritt unter Berücksichtigung des mindestens einen Umstandsparameters angepasst werden, insbesondere beispielsweise der Helligkeit, der Bewölkung, der Schatten, der Lichtverhältnisse, des Düngertyps, der Frequenz und/oder Regelmäßigkeit der Struktur einer Auffangvorrichtung und/oder einer Farbe einer Auffangvorrichtung. Beispielsweise können die bei einer schnellen Fouriertransformation berücksichtigten Frequenzen unter Berücksichtigung der Frequenz der Struktur der Auffangvorrichtung angepasst werden, eine Filterung mit einem Schwellenwert an die Helligkeit- und/oder Lichtverhältnisse angepasst werden und/oder eine Histogrammanpassung an die Lichtverhältnisse und/oder Schatten angepasst werden.
Bei Sonnenlicht und Schatten kann der Verbesserungsschritt unter Berücksichtigung der Belichtungsverhältnisse, insbesondere durch das Sonnenlicht und die Schatten, eine Histogrammanpassung (insbesondere lokal) umfassen, um ein gleichmäßiges Bild zu erzeugen. Alternativ oder zusätzlich kann bei kleinen Düngerkörnern im Verbesserungsschritt eine Anpassung eines Fourierfilters umfasst sein, um ggf. die kleinen Strukturen der Düngerkörner noch abzubilden. Alternativ oder zusätzlich kann beim Verbesserungsschritt kein Erosionsfilter verwendet werden, um die im Bild kleinen Düngerkörner nicht noch zu verkleinern.
Bei kurzer Brennweite kann der Verbesserungsschritt umfassen, das Bild zu rektifizieren, da am Rande stärkere Verzerrungen auftreten.
Beispielsweise kann eine Kl verwendet werden, um den Verbesserungsschritt unter Berücksichtigung des mindestens einen Umstandsparameters anzupassen. Hierbei können insbesondere im Verbesserungsschritt berücksichtigte Umstandsparameter und/oder dabei durchgeführte Schritte anhand der Umstände, die insbesondere durch die Umstandsparameter beschrieben sein können, gewählt und/oder kombiniert werden.
Der Verbesserungsschritt kann einen Trainingsschritt für zukünftige Schritte eines Verfahrens zum Bestimmen einer Ist-Verteilung von Düngerkörnern umfassen. Der Trainingsschritt kann insbesondere dazu dienen, das Verfahren aufgrund der gewonnenen Erfahrung zu verbessern. Beispielsweise kann beim Trainingsschritt der Schritt der Aufnahme eines Bildes, der Schritt des Lokalisierens der Düngerkörner im Bild, Teile davon und/oder Zwischenschritte dazu trainiert werden. Insbesondere kann in einem Trainingsschritt einer oder mehrere Bildverarbeitungsschritte (für zukünftige Bildverarbeitung) trainiert werden.
Insbesondere kann, z.B. nach Abschluss des Berechnens einer Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen ein Trainingsschritt durchgeführt werden.
Der Trainingsschritt kann beispielsweise von einer Kl durchgeführt werden. Die Kl kann beispielsweise die Kl eines mobilen Endgerätes, z.B. die Kl eines Smartphones oder Tablets, sein.
In dem Trainingsschritt kann ein oder mehrere Zwischenergebnisse aus einem oder mehreren Verfahren zum Bestimmen der Ist-Verteilung und/oder eine oder mehrere zuvor berechnete Ist- Verteilung der Düngerkörner, z.B. als Feedback, berücksichtigt werden. Dieser Trainingsschritt kann beispielsweise nach jedem Berechnen einer Ist-Verteilung der Düngerkörner, nach einer bestimmten Anzahl von Berechnungen einer Ist-Verteilung der Düngerkörner, nach einem bestimmten Zeitraum, auf Anforderung des Benutzers und/oder nach anderen Kriterien durchgeführt werden.
Der Trainingsschritt kann eine oder mehrere Benutzereingaben berücksichtigen. Beispielsweise kann der Benutzer die ausgebrachte Düngermenge eingeben und/oder eine andere Information, womit die Plausibilität der berechneten Ist-Verteilung oder Ähnliches überprüft werden kann. Alternativ oder zusätzlich kann eine Benutzereingabe eine Benutzerbewertung, insbesondere als Feedback, umfassen. Mit einer solchen Benutzerbewertung kann insbesondere bestimmt werden, ob der Verbesserungsschritt erfolgreich war, insbesondere beispielsweise, ob weitere Schritte eines Verbesserungsschritts, z.B. ein oder mehrere weitere Trainings- oder Kompensationsschritte, durchgeführt werden sollen.
Der Verbesserungsschritt kann einen Kompensationsschritt für auf der Auffangvorrichtung erkannte Fremdkörper umfassen. Beispielsweise können diese anhand ihrer Struktur, Größe und/oder Farbe im Bild identifiziert werden. Beispielsweise können Strukturen auf der Auffangvorrichtung, die erheblich größer oder erheblich kleiner sind als Düngerkörner als Fremdkörper identifiziert werden. Ebenso können alternativ oder zusätzlich Strukturen auf der Auffangvorrichtung, die eine andere Farbe haben als die Auffangvorrichtung und/oder die Düngerkörner als Fremdkörper erkannt werden. Alternativ oder zusätzlich können auch Strukturen auf der Auffangvorrichtung, die eine andere Geometrie haben als Düngerkörner als Fremdkörper erkannt werden. Eine andere Geometrie kann insbesondere umfassen, dass die Fremdkörper, z.B. Pflanzenreste oder Blätter, in einer Dimension ein Vielfaches der mittleren Korngröße des eingestellten Düngers zeigen. Somit können Sie beispielsweise bei der Lokalisierung der Düngerkörner in dem Bild unberücksichtigt bleiben, beispielsweise, indem sie bei der Bildverarbeitung nicht berücksichtigt werden, nachdem sie als Fremdkörper identifiziert wurden.
Typischerweise findet bei der Auswertung eine pixelweise Auswertung statt. Insbesondere können die erkannten Körner mit einer pixelweisen Maske versehen und so markiert werden. Bei der Erkennung von Fremdkörpern können dann alle Pixel, die Fremdkörpern zugeordnet werden, aus der pixelweisen Markierung von Düngerkörnern herausgenommen werden, so dass nur noch die Düngerkörner übrigbleiben.
Die Bildverarbeitung kann parallelisiert werden. Beispielsweise kann bei der Bildverarbeitung das Bild in Teilbilder zerlegt werden, die separat und optional gleichzeitig verarbeitet werden, wobei anschließend die Ergebnisse kombiniert werden. Beispielsweise kann das Bild in so viele Teilbilder (oder ein Vielfaches dieser Anzahl) zerlegt werden, wie Prozessorkerne des mobilen Endgerätes für die Bildverarbeitung zur Verfügung stehen oder eine vorgegebene Anzahl von Teilbilder zerlegt werden, wie Bilder auf einem Server, der zur Bildverarbeitung eingesetzt wird, parallel verarbeitet werden können.
Ein Verbesserungsschritt kann des Weiteren umfassen, dass ein Benutzer durch den Aufnahmevorgang geführt wird. Beispielsweise kann ein Benutzer optisch und/oder akustisch durch den Aufnahmevorgang geführt werden. Beispielsweise kann auf einer Kamera, beispielsweise einer Kamera eines mobilen Endgerätes, optisch durch Signale angezeigt (und/oder akustisch durch Signale ausgegeben) werden, was die nächsten Schritte sind, die der Benutzer ausführen soll.
Beispielsweise kann der Benutzer geführt werden, als nächstes ein Bild wenigstens einer Auffangvorrichtung aufzunehmen. Anhand von Umgebungsparametern kann er geführt werden, ein Bild aus einem bestimmten Winkel und oder mit bestimmten Kameraeinstellungen aufzunehmen. Der Benutzer kann beispielsweise dazu angeleitet werden, die Aufnahmeposition zu ändern, beispielsweise wenn ein vorheriges Bild unscharf und/oder verzerrt war und/oder anhand der Umgebungsparameter, insbesondere umfassend die Kameraeinstellungen, unter der jetzigen Position kein gutes, insbesondere kein zur Auswertung geeignetes, Bild erwartet wird. Dies kann beispielsweise der Fall sein, wenn aufgrund der Ausrichtung der Kamera gegen die Sonne eine Überbelichtung oder mit der Sonne ein Schattenwurf droht. Eine solche Anleitung des Benutzers kann beispielsweise durch die Anzeige von Pfeilen auf einem Display einer Kamera oder einer akustischen Ausgabe von Anweisungen oder Signaltönen erfolgen. Ein Benutzer kann, beispielsweise optisch oder akustisch, darauf hingewiesen werden, wenn der vom Bild erfasste Ausschnitt nicht geeignet ist, beispielsweise nur ein Teil der Auffangvorrichtung abgebildet ist, Schlagschatten auf dem Bild sichtbar sind und/oder das Bild verzerrt ist.
Der Benutzer kann, insbesondere, wenn mehr als eine Auffangvorrichtung auf einem Feld ausgelegt ist, auch geführt werden, als nächstes ein Bild einer bestimmten Auffangvorrichtung aufzunehmen. Nach der Aufnahme eines Bildes dieser Auffangvorrichtung kann er geführt werden, ein Bild einer nächsten Aufnahmevorrichtung aufzunehmen, wobei optional die Reihenfolge der aufzunehmenden Auffangvorrichtungen vorgegeben werden kann und optional auch geändert werden kann. Dies kann insbesondere bei komplexen Auslegemustern der Aufnahmevorrichtungen vorteilhaft sein. Der Benutzer kann beispielsweise geführt werden, mehrere Auffangvorrichtungen (falls vorhanden) in einer bestimmten Reihe aufzunehmen. Damit kann dann insbesondere die Reihenfolge, in der Auffangvorrichtungen aufgenommen werden sollen, gesteuert und somit bekannt sein.
Bei der anschließenden Auswertung müssen nämlich Position und/oder Kennung einer/jeder Auffangvorrichtung bekannt sein, damit eine Ist-Verteilung von Düngerkörnern berechnet werden kann. Bei der Führung des Benutzers kann beispielsweise die Bedienoberfläche der Kamera und/oder des mobilen Endgerätes, verwendet werden und Anweisungen auf der Bedienoberfläche ausgegeben werden. Hierbei kann eine Ausgabe der Information in der gleichen Einstellung wie der Bedienoberfläche der Kamera ausgegeben werden oder in anderer Weise, beispielsweise optisch oder akustisch als Text. Insbesondere kann bei der Führung des Benutzers eine Anleitung zur Verbesserung eines Kameraparameters wie oben beschrieben oder eines anderen Parameters, beispielsweise wie oben für einen Kameraparameter beschrieben, ausgegeben werden. Die Führung kann beispielsweise optisch, durch Pfeile oder Ähnliches, durch Ausgabe von Bildern auf dem Bildschirm und/oder durch eine Audioführung erfolgen.
Optional kann das Bild automatisch aufgenommen werden, z.B. wenn mindestens ein Kameraparameter oder anderer Parameter eine oder mehrere bestimmte Bedingung(en) erfüllt. Beispielsweise kann dafür eine kontinuierliche Bildaufnahme (ähnlich einer Filmaufnahme oder laufend aufgenommenen einzelnen Standbildern) durchgeführt werden und ein automatisches Auslösen erfolgen, wenn die Auffangvorrichtung richtig im Bild ist, beispielsweise wenn sie (z.B. anhand von Markierungen als richtig positioniert erkannt) scharf, vollständig und optional nicht verzerrt im Bild ist. Während der kontinuierlichen Bildaufnahme kann der Benutzer geführt werden, die Position in eine für die Bildaufnahme gewünschte Richtung zu verändern, z.B. die Kamera in eine bestimmte Richtung zu bewegen oder zu kippen.
Ebenso kann, z.B. anhand eines Umgebungsparameters wie Lichtverhältnissen (z.B. der Helligkeit), des Sonnenstandes oder der Bewölkung, der Aufnahmemodus angepasst werden, z.B. ein Blitz eingeschaltet werden, eine externe Beleuchtung eingeschaltet werden und/oder eine andere Auswertroutine (z.B. ein anderer Filterschritt, anderer Weißabgleich, andere Schwellenwerte, zusätzliche Schritte wie Kontrastspreizung oder Histogrammanpassung und/oder Ähnliches) verwendet werden.
Beim Berechnen der Ist-Verteilung der Düngerkörner kann eine Information über die Auffangvorrichtung berücksichtigt werden. Insbesondere kann dabei die Geometrie und/oder die Fläche und/oder die Farbe und/oder eine (regelmäßige) Struktur der Auffangvorrichtung und/oder eine aufgrund der (regelmäßigen) Struktur der Auffangvorrichtung erwarteten Bildeigenschaften, zum Beispiel durch eine Struktur der Auffangvorrichtung erzeugte Schatten, berücksichtigt werden. Insbesondere können einer oder mehrerer dieser Informationen über die Auffangvorrichtung beim Bildverarbeitungsschritt berücksichtigt werden, sodass er dadurch bei der Ist-Verteilung der Düngerkörner berücksichtigt ist.
Insbesondere kann beispielsweise durch die bekannte Geometrie der Auffangvorrichtung bei einer verzerrten Darstellung im Bild die Kameraneigung bestimmt werden. Diese Kameraneigung kann insbesondere beim Bildverarbeitungsschritt berücksichtigt werden.
Beispielsweise kann die Kameraneigung berücksichtigt werden, indem die Abmessungen der Auffangvorrichtung anhand der bekannten Geometrie der Auffangvorrichtung bestimmt und die die Kameraneigung herausgerechnet wird. Optional kann dann, insbesondere bei dem Bildverarbeitungsschritt, nur eine interessante Region der Auffangfläche betrachtet werden, da bei der Bildzuschneidung der Rest der Auffangvorrichtung die Abmessungen der betrachteten Region abgeleitet werden können. Alternativ oder zusätzlich können auf diese Weise beispielsweise auch Bildbereiche mit Darstellungsmängel, z.B. Schatten, bei der Auswertung unberücksichtigt bleiben.
Der Verbesserungsschritt kann eine pixelweise Bildsegmentierung mittels eines neuronalen Netzes umfassen.
Nach der Aufnahme kann beispielsweise mittels eines neuronalen Netzes das Bild pixelweise segmentiert werden. So lassen sich beispielsweise die Düngerkörner mittels eines neuronalen Netzes hervorheben und damit leichter in der weiteren Bildauswertung erkennen.
Zusätzlich oder alternativ kann der Verbesserungsschritt ein Klassifizieren oder Markieren von erkannten Objekten mittels eines neuronalen Netzes umfassen. Beispielsweise kann ein neuronales Netz verwendet werden, um Objekte zu erkennen und diese im Bild zu klassifizieren oder zu markieren. Hierbei können zum Beispiel die Düngerkörner und/oder Fremdkörper klassifiziert oder markiert werden und es kann auf dieser Basis die weitere Auswertung geschehen. Wenn z.B. die Düngerkörner klassifiziert oder markiert wurden, kann im weiteren Verfahren eine Zählung der Körner erleichtert werden. Alternativ oder zusätzlich kann eine Fläche (aus den Klassifizieren oder der pixelweisen Segmentierung) zur Auswertung verwendet werden. Der Verbesserungsschritt kann des Weiteren eine Filterung mittels eines speziell trainierten neuronalen Netzes umfassen. Mittels solch eines trainierten neuronalen Netzes kann beispielsweise mit Hilfe von einem oder mehreren Umstandsparametern, wie z.B. Beleuchtung oder Informationen zum Weißabgleich, ein optimierter Filter bestimmt werden und dieser auf die Bilder angewendet werden. Dies kann bei der Bildauswertung zur einfacheren und besseren Auswertung führen.
Die Erfindung umfasst des Weiteren ein System zur Aufnahme eines Bildes in einem Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern wie oben beschrieben. Das System umfasst insbesondere einen Bildschirm (Display), einen Prozessor und einen Speicher. Der Speicher umfasst Instruktionen, die, wenn sie durch einen Prozessor ausgeführt werden, einen Benutzer optisch und/oder akustisch zur Aufnahme eines Bildes der wenigstens einen bestreuten Auffangvorrichtung führen. Die Führung kann beispielsweise wie oben beschrieben erfolgen.
Der Speicher des Systems kann des Weiteren optional Instruktionen umfassen, die, wenn sie durch einen Prozessor ausgeführt werden, die Schritte Lokalisieren der Düngerkörner in dem Bild, und Berechnen einer Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen durchführen, wobei mindestens ein Verbesserungsschritt die Lokalisierung der Düngerkörner in dem Bild verbessert. Ein solcher Verbesserungsschritt der Lokalisierung der Düngerkörner in dem Bild kann insbesondere einen oder mehrere der oben beschriebenen Verbesserungsschritte und Maßnahmen umfassen.
Das System kann des Weiteren ein Kommunikationsmittel der bildgebenden Vorrichtung umfassen, das eine Kommunikation mit einem Bordcomputer erlauben kann, beispielsweise , z.B. ein drahtloses Kommunikationsmodul oder einen Anschluss für ein Kabel, Dementsprechend kann auch der Bordcomputer ein Kommunikationsmittel umfassen, das zur Verbindung mit der bildgebenden Vorrichtung geeignet ist, beispielsweise ein (zum Kommunikationsmodul der bildgebenden Vorrichtung passendes) drahtloses Kommunikationsmodul oder einen (zum Anschluss der bildgebenden Vorrichtung passenden) Anschluss für ein Kabel. Das System kann optional eine oder mehrere Auffangvorrichtungen umfassen.
Das System kann, wenn die Ist-Verteilung von Düngerkörnern auf mehr als einer Auffangvorrichtung bestimmt werden soll, eine Reihenfolge empfehlen oder anpassen, in der die Bilder der Auffangvorrichtungen aufzunehmen sind.
Insbesondere bei optischer Führung des Benutzers kann die Bildschirmanzeige des Bildschirms an einen oder mehrere Umgebungsparameter angepasst werden. Beispielsweise kann, z.B. anhand eines Umgebungsparameters wie der Helligkeit, des Sonnenstandes oder der Bewölkung, die Bildschirmanzeige angepasst werden, z.B. die Helligkeit erhöht werden oder ein Nachtanzeigemodus aktiviert werden.
Aspekte der obigen Erfindung ergeben sich aus den anliegenden, nicht maßstabsgetreuen Figuren. Hierbei zeigt
Figur 1 beispielhafte Schritte eines Verfahrens, in denen ein Umstandsparameter erfasst wird,
Figur 2 beispielhafte Schritte eines Verfahrens, in dem Düngerkörner lokalisiert werden,
Figur 3 beispielhafte Schritte eines Verfahrens mit einem Verbesserungsschritt,
Figur 4 beispielhafte Schritte eines Verfahrens mit einem Trainingsschritt,
Figur 5 eine beispielhafte Bedienoberfläche.
Figur 1 zeigt beispielhaft Schritte eines Verfahrens. Insbesondere ist in Figur 1 gezeigt, dass mindestens ein Umstandsparameter vor oder während der Aufnahme des Bildes erfasst (Schritt 101) werden kann. Beispielsweise kann die Helligkeit vor Aufnahme des Bildes erfasst werden. Aufgrund des mindestens einen Umstandsparameters können ein oder mehrere Einstellparameter bei Aufnahme des Bildes angepasst werden (Schritt 102). Beispielsweise kann die Belichtungszeit an die Helligkeit angepasst werden. Dann kann das Bild mit dem angepassten Einstellparameter aufgenommen werden. Dadurch kann das Lokalisieren der Düngerkörner in dem Bild (Schritt 103) und eine anschließende Berechnung einer Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen (Schritt 104) verbessert werden.
Figur 2 zeigt beispielhafte Schritte eines Verfahrens. In dem gezeigten Beispiel wird ein Bild aufgenommen (Schritt 201). Anschließend wird ein Bereich von Interesse in dem Bild erkannt (Schritt 202). Das Bild kann dann auf den Bereich des Interesses zugeschnitten werden (Schritt 203). In dem (zugeschnittenen) Bild können dann die Düngerkörner lokalisiert werden (Schritt 204).
In anderen Beispielen (nicht gezeigt) kann das Erkennen eines Bereiches von Interesse bereits vor Aufnahme des Bildes durchgeführt werden. Beispielsweise kann ein Bereich von Interesse während einer kontinuierliche Bildaufnahme (ähnlich einer Filmaufnahme oder laufend aufgenommenen einzelnen Standbildern) erkannt werden. Ein automatisches Auslösen (oder ein Signal an den Nutzer) kann dann beispielsweise erfolgen, wenn der Bereich von Interesse erkannt wurde (z.B. die vollständige Auffangvorrichtung) und richtig im Bild ist, beispielsweise wenn er (z.B. anhand von Markierungen oder einer erwarteten Form der Matte im Bild als richtig positioniert erkannt) scharf und vollständig im Bild ist.
Figur 3 zeigt beispielhafte Schritte eines Verfahrens beginnend mit der Aufnahme eines Bildes (Schritt 301). Nach der Aufnahme eines Bildes wird der Verbesserungsschritt unter Berücksichtigung mindestens eines Umstandsparameters angepasst (Schritt 302). In anderen Beispielen (hier nicht gezeigt) kann eine Anpassung des Verbesserungsschrittes unter Berücksichtigung mindestens eines Umstandsparameters bereits vor oder bei Aufnahme des Bildes erfolgen.
Beispielsweise kann der Bildverarbeitungsschritt, z.B. die Auswahl der Filter, unter Berücksichtigung des mindestens einen Umstandsparameters erfolgen. So kann beispielsweise aufgrund der Helligkeit ein verwendeter Filter, z.B. ein Schwellenwert, angepasst werden. Alternativ oder zusätzlich kann aufgrund eines oder mehrerer Umstandsparameter, der sich auf den Dünger und/oder die Auffangvorrichtung bezieht, z.B. der Farbe des Düngers und/oder der Auffangvorrichtung, ein Filter, z.B. ein Schwellenwert, angepasst werden.
Nach der Anpassung des Verbesserungsschrittes unter Berücksichtigung mindestens eines Umstandsparameters kann der Verbesserungsschritt (Schritt 303) durchgeführt werden und eine Ist- Verteilung der Düngerkörner berechnet werden (Schritt 304). Der Verbesserungsschritt, der die Lokalisierung der Düngerkörner in dem Bild verbessert, kann optional als Teil der Aufnahme eines Bildes und/oder als Teil der Lokalisierung der Düngerkörner in der Aufnahme, z.B. während der Bildverarbeitung, umfasst sein. Beispielsweise kann ein Verbesserungsschritt, der einen Filterschritt umfasst, als Teil der Bildverarbeitung umfasst sein, insbesondere ein Teil des Schrittes der Lokalisierung der Düngerkörner in der Aufnahme sein.
Figur 4 zeigt weitere beispielhafte Verfahrensschritte. Insbesondere zeigt Figur 4 einen Trainingsschritt (Schritt 402), insbesondere für zukünftige Schritte eines Verfahrens zum Bestimmen einer Ist-Verteilung von Düngerkörnern. Ein solcher Trainingsschritt (Schritt 402) kann beispielsweise nach dem Berechnen einer Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen (401) durchgeführt werden.
Ein solcher Trainingsschritt kann beispielsweise die Ist-Verteilung der Düngerkörner, Benutzereingaben und/oder ein oder mehrere Zwischenergebnisse aus einem Verfahren zum Bestimmen der Ist-Verteilung berücksichtigen. Er kann beispielsweise mittels einer Kl durchgeführt werden. Der Trainingsschritt für zukünftige Bildverarbeitungsschritte kann somit insbesondere ein Verfahren zum Bestimmen der Ist-Verteilung, insbesondere die Lokalisierung der Düngerkörner in dem Bild, verbessern und die resultierenden Ergebnisse genauer machen.
Figur 5 zeigt eine beispielhafte Bedienoberfläche, wie sie in einem Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern oder einem System zur Aufnahme eines Bildes in einem Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern verwendet werden kann.
Die Bedienoberfläche kann insbesondere auf einem Display 1 , z.B. dem Display eines mobilen Endgerätes, angezeigt werden. In dem gezeigten Beispiel ist eine Auffangvorrichtung 2 und Düngerkörner 4 auf und neben der Auffangvorrichtung 2 sichtbar. Die Auffangvorrichtung ist nicht zentriert im Bild des Displays 1 und der Benutzer wird auf der Bedienoberfläche visuell, hier beispielhaft mittels Pfeil 3a und einer Anweisung 3b, angeleitet, die Kamera entsprechend zu bewegen, dass die Auffangvorrichtung zentriert ist.
Anschließend kann ein Bild aufgenommen werden. In anderen Ausführungsformen kann die Anleitung des Benutzers zusätzlich oder alternativ eine erweiterte Realität und/oder nicht-visuelle Komponenten, z.B. akustische Komponenten wie ein Warnsignal oder andere Komponenten, z.B. einen Vibrationsalarm, umfassen.

Claims

Ansprüche Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern umfassend die Schritte: a) Auslegen von wenigstens einer Auffangvorrichtung für Düngerkörner; b) Ausstreuen der Düngerkörner über der wenigstens einen Auffangvorrichtung mittels eines Zentrifugal-Düngerstreuers; c) Aufnahme eines Bildes der wenigstens einen bestreuten Auffangvorrichtung mit einer Kamera, d) Lokalisieren der Düngerkörner in dem Bild, und e) Berechnen einer Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen, wobei das Verfahren mindestens einen Verbesserungsschritt umfasst, der die Lokalisierung der Düngerkörner in dem Bild verbessert. Verfahren nach Anspruch 1 , wobei der Verbesserungsschritt umfasst, mindestens einen Umstandsparameter vor Aufnahme des Bildes zu erfassen. Verfahren nach Anspruch 2, wobei mindestens ein Einstellparameter bei der Aufnahme des Bildes aufgrund des mindestens einen erfassten Umstandsparameters angepasst wird. Verfahren nach Anspruch 2 oder 3, wobei der mindestens eine Umstandsparameter einen Umgebungsparameter und/oder einen Düngerstreuerparameter umfasst. Verfahren nach Anspruch 2 oder 3, wobei der mindestens eine Umstandsparameter einen Kameraparameter umfasst, wobei optional eine Anleitung zur Verbesserung des mindestens einen Kameraparameters ausgegeben wird und/oder wobei das Bild automatisch aufgenommen wird, wenn der mindestens eine Kameraparameter bestimmte Bedingungen erfüllt. Verfahren nach Anspruch 1 bis 5, wobei der Verbesserungsschritt umfasst, ein Bereich von Interesse zu erkennen, wobei das Bild optional auf den Bereich von Interesse zugeschnitten wird. Verfahren nach Anspruch 1 bis 6, wobei der Verbesserungsschritt einen Bildverarbeitungsschritt umfasst, der die Unterscheidung der Düngerkörner vom Untergrund verbessert. Verfahren nach Anspruch 7, wobei der Bildverarbeitungsschritt, der die Unterscheidung der Düngerkörner vom Untergrund verbessert, einen Filterschritt umfasst, wobei optional der Filterschritt einen Faltungsschritt umfasst und/oder wobei optional der Filterschritt einen Dilatationsschritt und/oder einen Erosionsschritt und/oder eine Histogrammanpassung umfasst und/oder wobei der Filterschritt eine schnelle Fouriertransformation und/oder eine Filterung mit einem Schwellenwert umfasst. Verfahren nach Anspruch 2 bis 8, wobei der Verbesserungsschritt unter Berücksichtigung des mindestens einen Umstandsparameters angepasst wird und/oder wobei der Verbesserungsschritt einen Trainingsschritt für zukünftige Schritte eines Verfahrens zum Bestimmen einer Ist-Verteilung von Düngerkörnern umfasst. Verfahren nach Anspruch 1 bis 9, wobei der Verbesserungsschritt einen Kompensationsschritt für auf der Auffangvorrichtung erkannte Fremdkörper umfasst. Verfahren nach Anspruch 1 bis 10, wobei die Bildverarbeitung parallelisiert wird. Verfahren nach Anspruch 1 bis 11 , wobei der Verbesserungsschritt umfasst, dass ein Benutzer durch den Aufnahmevorgang geführt wird, insbesondere optisch und/oder akustisch durch den Aufnahmevorgang geführt wird. Verfahren nach Anspruch 1 bis 12, wobei beim Berechnen der Ist-Verteilung der Düngerkörner eine Information über die Auffangvorrichtung berücksichtigt wird. Verfahren nach Anspruch 1 bis 13, wobei der Verbesserungsschritt eine pixelweise Bildsegmentierung mittels eines neuronalen Netzes umfasst und/oder wobei der Verbesserungsschritt ein Klassifizieren oder Markieren von erkannten Objekten mittels eines neuronalen Netzes umfasst. Verfahren nach Anspruch 1 bis 14, wobei der Verbesserungsschritt eine Filterung mittels eines speziell trainierten neuronalen Netzes umfasst. System zur Aufnahme eines Bildes in einem Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern, gekennzeichnet dadurch, dass das System einen Bildschirm, einen Prozessor und einen Speicher umfasst, der Instruktionen umfasst, die wenn sie durch einen Prozessor ausgeführt werden, einen Benutzer optisch und/oder akustisch zu Aufnahme eines Bildes der wenigstens einen bestreuten Auffangvorrichtung führen, wobei der Speicher optional Instruktionen umfasst, die, wenn sie durch einen Prozessor ausgeführt werden, nach Bildaufnahme die Schritte
Lokalisieren der Düngerkörner in dem Bild, und
Berechnen einer Ist-Verteilung der Düngerkörner auf der Auffangvorrichtung und/oder entlang mehrerer Auffangvorrichtungen durchführen, wobei mindestens ein Verbesserungsschritt die Lokalisierung der Düngerkörner in dem Bild verbessert.
PCT/EP2023/070136 2022-09-15 2023-07-20 Verfahren zum bestimmen einer ist-verteilung von düngerkörnern WO2024056246A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022123599.8A DE102022123599A1 (de) 2022-09-15 2022-09-15 Verfahren zum Bestimmen einer Ist-Verteilung von Düngerkörnern
DE102022123599.8 2022-09-15

Publications (1)

Publication Number Publication Date
WO2024056246A1 true WO2024056246A1 (de) 2024-03-21

Family

ID=87468620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/070136 WO2024056246A1 (de) 2022-09-15 2023-07-20 Verfahren zum bestimmen einer ist-verteilung von düngerkörnern

Country Status (2)

Country Link
DE (1) DE102022123599A1 (de)
WO (1) WO2024056246A1 (de)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004017075A1 (de) 2004-04-07 2005-11-03 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Aus mehreren Teilschalen bestehende Messschale eines mobilen Düngestreuerprüfverfahrens
EP2923546B1 (de) 2014-03-24 2016-11-23 Amazonen-Werke H. Dreyer GmbH & Co. KG Verfahren und vorrichtung zum bestimmen einer verteilung von düngerkörnern
EP3275302A1 (de) * 2016-07-25 2018-01-31 Amazonen-Werke H. Dreyer GmbH & Co. KG Verfahren und haftmatte für die bildgebende bestimmung einer verteilung von landwirtschaftlichem streugut
DE102018007303A1 (de) * 2018-09-17 2020-03-19 Rauch Landmaschinenfabrik Gmbh Verfahren zur Ermittlung der Verteilung von mittels einer Verteilmaschine ausgebrachten Verteilgutpartikeln
DE102018129710A1 (de) * 2018-11-26 2020-05-28 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Verfahren zum Bestimmen von Einstellparametern für eine landwirtschaftliche Streumaschine
DE102018129711A1 (de) * 2018-11-26 2020-05-28 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Verfahren zum Bestimmen von Eigenschaften landwirtschaftlichen Streuguts
EP3785513A1 (de) * 2017-02-02 2021-03-03 Amazonen-Werke H. Dreyer GmbH & Co. KG Haftmatte und verwendung einer haftmatte für die bildgebende bestimmung einer verteilung von landwirtschaftlichem streugut
US20210386051A1 (en) * 2018-10-17 2021-12-16 Robert Bosch Gmbh Method for applying a spray to a field

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014108561A1 (de) 2014-06-18 2015-12-24 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Verfahren und Vorrichtung zur Bestimmen einer Verteilung von Düngerkörnern
DE102015119072A1 (de) 2015-11-06 2017-05-11 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Verfahren zum Bestimmen eines Streubilds eines Schleuderstreuers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004017075A1 (de) 2004-04-07 2005-11-03 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Aus mehreren Teilschalen bestehende Messschale eines mobilen Düngestreuerprüfverfahrens
EP2923546B1 (de) 2014-03-24 2016-11-23 Amazonen-Werke H. Dreyer GmbH & Co. KG Verfahren und vorrichtung zum bestimmen einer verteilung von düngerkörnern
EP3275302A1 (de) * 2016-07-25 2018-01-31 Amazonen-Werke H. Dreyer GmbH & Co. KG Verfahren und haftmatte für die bildgebende bestimmung einer verteilung von landwirtschaftlichem streugut
EP3785513A1 (de) * 2017-02-02 2021-03-03 Amazonen-Werke H. Dreyer GmbH & Co. KG Haftmatte und verwendung einer haftmatte für die bildgebende bestimmung einer verteilung von landwirtschaftlichem streugut
DE102018007303A1 (de) * 2018-09-17 2020-03-19 Rauch Landmaschinenfabrik Gmbh Verfahren zur Ermittlung der Verteilung von mittels einer Verteilmaschine ausgebrachten Verteilgutpartikeln
US20210386051A1 (en) * 2018-10-17 2021-12-16 Robert Bosch Gmbh Method for applying a spray to a field
DE102018129710A1 (de) * 2018-11-26 2020-05-28 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Verfahren zum Bestimmen von Einstellparametern für eine landwirtschaftliche Streumaschine
DE102018129711A1 (de) * 2018-11-26 2020-05-28 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Verfahren zum Bestimmen von Eigenschaften landwirtschaftlichen Streuguts

Also Published As

Publication number Publication date
DE102022123599A1 (de) 2024-03-21

Similar Documents

Publication Publication Date Title
EP2923546B1 (de) Verfahren und vorrichtung zum bestimmen einer verteilung von düngerkörnern
DE4439557C2 (de) Verfahren und Einrichtung zum Eichen der Vergrößerung von Zoomoptik-Systemen
EP2821750A1 (de) Positionsbestimmungsverfahren für ein Vermessungsgerät und ebensolches Vermessungsgerät
EP2924417A2 (de) Verfahren und vorrichtung zum bestimmung der korngrösse eines düngers
DE102012010912B3 (de) Verfahren zum berührungslosen Bestimmen des aktuellen Ernährungszustandes eines Pflanzenbestandes und zum Verarbeiten dieser Information
EP3275302B1 (de) Verfahren und haftmatte für die bildgebende bestimmung einer verteilung von landwirtschaftlichem streugut
DE102018007303A1 (de) Verfahren zur Ermittlung der Verteilung von mittels einer Verteilmaschine ausgebrachten Verteilgutpartikeln
DE102008043189A1 (de) Projektion mit dynamischer Anpassung der Bilddaten
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE3543515C2 (de)
WO2024056246A1 (de) Verfahren zum bestimmen einer ist-verteilung von düngerkörnern
DE19535969A1 (de) Mehrfach abbildendes Linsensystem
DE112020006960T5 (de) Klimatisierungsbetriebs-endgerät, klimatisierungsbetriebs- programm und klimatisierungssystem
DE102017211051A1 (de) System zur Beobachtung von Bereichen mit großem Aspektverhältnis
DE112018000224B4 (de) Verfahren und Vorrichtung zum Bestimmen einer Position eines Schlitzes in einer zu verarbeitenden Probe
DE19645068C1 (de) Verfahren und Zähleinrichtung zum Auszählen von Teilchen, beispielsweise Saatgut- und Körnerproben oder dergleichen
EP2997543A1 (de) Vorrichtung und verfahren zum parametrisieren einer pflanze
DE102017006781A1 (de) Verfahren und Vorrichtung zum Einstellen eines Polarisationsfilters eines Kamerasystems in einem Kraftwagen und Kraftwagen mit einer solchen Vorrichtung
DE4004699A1 (de) Verfahren und vorrichtung zur bestimmung der groessenverteilung von feststoffpartikeln
DE102020129997A1 (de) Strichcodeleser mit kalibrierung der scanner-bildhelligkeit mit mehreren sichtfeldern von einem einzelnen sensor
DE102011110674B4 (de) Vorrichtung zur Bestimmung eines Wachstums einer Pflanze oder eines Bestandes durch eine Höhenbestimmung
EP3540507A1 (de) Bildaufnahmevorrichtung und verfahren zum aufnehmen einer bildaufnahme eines dokuments und verwendung
DE102013219462A1 (de) Fahrwerksvermessung bei Umgebungslicht
DE102022123597A1 (de) Verfahren zum Bestimmen einer Verteilung von Düngerkörnern
DE102007054088A1 (de) Verfahren und Vorrichtung zur Bildverarbeitung insbesondere Bildmessung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23745127

Country of ref document: EP

Kind code of ref document: A1