WO2023006173A9 - Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen - Google Patents

Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen Download PDF

Info

Publication number
WO2023006173A9
WO2023006173A9 PCT/EP2021/070826 EP2021070826W WO2023006173A9 WO 2023006173 A9 WO2023006173 A9 WO 2023006173A9 EP 2021070826 W EP2021070826 W EP 2021070826W WO 2023006173 A9 WO2023006173 A9 WO 2023006173A9
Authority
WO
WIPO (PCT)
Prior art keywords
poultry
leg
reference points
neural network
image data
Prior art date
Application number
PCT/EP2021/070826
Other languages
English (en)
French (fr)
Other versions
WO2023006173A8 (de
WO2023006173A1 (de
Inventor
Christoph Fabian Isernhagen
Oliver Schlesiger
Florian Jarck
Original Assignee
Fpi Food Processing Innovation Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fpi Food Processing Innovation Gmbh & Co. Kg filed Critical Fpi Food Processing Innovation Gmbh & Co. Kg
Priority to CA3174181A priority Critical patent/CA3174181A1/en
Priority to PCT/EP2021/070826 priority patent/WO2023006173A1/de
Priority to KR1020247006107A priority patent/KR20240037319A/ko
Priority to CN202180100355.6A priority patent/CN117651490A/zh
Priority to EP21749591.0A priority patent/EP4376624A1/de
Priority to AU2021457761A priority patent/AU2021457761A1/en
Priority to ARP220101967A priority patent/AR126562A1/es
Publication of WO2023006173A1 publication Critical patent/WO2023006173A1/de
Publication of WO2023006173A9 publication Critical patent/WO2023006173A9/de
Publication of WO2023006173A8 publication Critical patent/WO2023006173A8/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C21/00—Processing poultry
    • A22C21/0069—Deboning poultry or parts of poultry
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B5/00—Accessories for use during or after slaughtering
    • A22B5/0017—Apparatus for cutting, dividing or deboning carcasses
    • A22B5/0035—Deboning or obtaining boneless pieces of meat from a carcass
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B5/00—Accessories for use during or after slaughtering
    • A22B5/0017—Apparatus for cutting, dividing or deboning carcasses
    • A22B5/0041—Electronic, robotic or computer assisted cutting, dividing or deboning carcasses
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B5/00—Accessories for use during or after slaughtering
    • A22B5/0064—Accessories for use during or after slaughtering for classifying or grading carcasses; for measuring back fat
    • A22B5/007—Non-invasive scanning of carcasses, e.g. using image recognition, tomography, X-rays, ultrasound
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C17/00—Other devices for processing meat or bones
    • A22C17/004—Devices for deboning meat
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C17/00—Other devices for processing meat or bones
    • A22C17/0073—Other devices for processing meat or bones using visual recognition, X-rays, ultrasounds, or other contactless means to determine quality or size of portioned meat
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a method for training at least one neural network for locating bony parts present in a poultry leg and a non-transitory computer-readable storage medium comprising a program comprising instructions for causing the computer to carry out the method. Furthermore, the invention relates to a method for locating bony parts present in a poultry leg and an arrangement for training at least one neural network for locating bony parts present in a poultry leg and a device for locating bony parts present in a poultry leg.
  • Such methods, arrangements and devices are used in the automatic processing of poultry.
  • the positions and/or location of the thigh and lower leg bones as well as that of the patella are of interest.
  • Document EP 2 532 246 B1 discloses a boning method for bone-in meat using an X-ray system.
  • the poultry leg to be processed is transported between an X-ray source and an X-ray detector and the location and position of the bony parts is determined by analyzing the X-ray data recorded.
  • ADJUSTED SHEET (RULE 91) ISA/EP to safety at work and is costly and maintenance-intensive. In addition, highly qualified specialists are required for handling X-ray radiation.
  • the object is achieved by the method mentioned at the outset for training at least one neural network for the localization of bony parts present in a poultry leg, comprising the steps: providing a large number of poultry legs; capturing images of the front or back sides of the poultry legs in the optically visible wavelength range using an optical camera to generate optical image data for each of the poultry legs; irradiating the back or front of the poultry legs with X-rays from an X-ray source and taking X-ray images on the side of the poultry legs remote from the X-ray source using an X-ray imager to generate X-ray image data on each of the poultry legs; determining reference points for identifying the positions of the bony parts based on the X-ray image data, superimposing the positions of the bony parts and/or the X-ray image data on the optical image data to generate hybrid image data for each of the poultry legs; establishing reference points for identifying the positions of the bony parts based on the hybrid image data; inputting the image data of the optical camera as input data and the reference points
  • the method according to the invention offers the advantage that X-ray technology is only used in the training or learning phase.
  • the position of the bony parts in the poultry legs can be reliably determined solely on the basis of optical images of the poultry legs.
  • the optical image data and the X-ray image data are superimposed on one another.
  • the hybrid image data thus represent an overlay image containing the optical image and the X-ray image of the intact poultry leg. It is therefore possible to use the hybrid image to identify the exact location and position of the bony parts in the poultry leg and to to the external aspect of the intact fowl leg. In this way a correlation is established between the position of the bony parts and the external shape of the poultry leg.
  • reference points include thigh reference points, lower leg reference points and kneecap reference points.
  • the aforementioned reference points offer sufficient accuracy to determine the location and position of the thigh and lower leg bones and the patella.
  • algorithmic complexity for determining these reference points is reduced to a required minimum.
  • the thigh reference points and the lower leg reference points are pairs of points, which each indicate the position of the bone end regions.
  • the position and alignment of said bones in the poultry leg is defined with sufficient accuracy on the basis of the pairs of points.
  • the pairs of points are particularly preferably located on the bone heads, preferably in the center of the respective bone head with respect to the longitudinal direction of the bone.
  • the patella reference points form a point cloud comprising at least one point, with the points of the point cloud referencing edge positions of the patella.
  • a point cloud with one point is usually sufficient to indicate the position of the patella. Alternatively, this one point is chosen so that it is in the middle of the kneecap.
  • a further expedient embodiment of the invention is characterized in that the point cloud comprises at least one upper patella reference point and one lower patella reference point, with the upper and lower patella reference points being localized on a patella edge area.
  • the point cloud particularly preferably includes a third reference point, so that the three reference points form a triangle whose area covers the patella as best as possible. The three reference points mentioned are then - as already mentioned - preferably on the edge of the kneecap.
  • object-related image areas of the optical image data and the x-ray image data are released from the image background before the hybrid image data are generated.
  • the cropping masks out those image areas that do not show the poultry leg or its bony parts. This prevents structures located in the background from being taken into account when training the neural network. Overall, this increases the reliability and precision of the localization of the bony parts.
  • the object is also achieved by the non-transitory computer-readable storage medium mentioned at the outset, comprising a program comprising instructions for causing the computer to execute the method for training at least one neural network for locating bony parts present in a poultry leg.
  • the object is achieved by the initially mentioned method for locating bony parts present in a poultry leg, comprising the steps: conveying the poultry legs in a conveying direction by means of a conveying device; capturing digital images of the front or back sides of the poultry legs using a first optical imager for each of the poultry legs conveyed past the imager; sequentially providing the digital images as input data to a first neural network configured to locate the bony portions, the first neural network being trained to locate the bony portions according to the aforementioned method of training the at least one neural network; Determining position data of the bony parts using the first neural network and providing the position data for display and/or forwarding to a downstream machine for processing the poultry legs on the basis of the determined position data.
  • the method according to the invention offers the advantage that in order to localize the bony parts present in the poultry legs, images of the poultry legs only have to be recorded in the optically visible area.
  • the method according to the invention is therefore free of X-ray technology during operation.
  • the outlay on equipment required is thus considerably reduced compared to the methods known from the prior art.
  • the method according to the invention is therefore considerably less expensive than the methods known from the prior art.
  • reference points include thigh reference points, lower leg reference points and kneecap reference points.
  • the aforementioned reference points offer sufficient accuracy to determine the location and position of the thigh and lower leg bones and the patella.
  • algorithmic complexity for determining these reference points is reduced to a required minimum.
  • the thigh reference points and the lower leg reference points are pairs of points, which each indicate the position of the bone end regions.
  • the position and alignment of said bones in the poultry leg is defined with sufficient accuracy on the basis of the pairs of points.
  • the pairs of points are particularly preferably located on the bone heads.
  • the patella reference points form a point cloud comprising at least one point, with the points of the point cloud referencing edge positions of the patella.
  • a point cloud with one point is usually sufficient to indicate the position of the patella. Alternatively, this one point is chosen so that it is in the middle of the kneecap.
  • a further expedient embodiment of the invention is characterized in that the point cloud comprises at least one upper patella reference point and one lower patella reference point, with the upper and lower patella reference points being localized on a patella edge area.
  • the point cloud particularly preferably includes a third reference point, so that the three reference points form a triangle whose area covers the patella as best as possible. The three reference points mentioned are then - as already mentioned - preferably on the edge of the kneecap.
  • a further expedient embodiment of the invention is characterized by determining a cutting line course of the localized bony parts from the position data provided by means of a control unit of the downstream machine and moving a control-movably equipped knife of the downstream machine by means of the control unit along this cutting line course in order to debone the poultry leg.
  • the poultry leg can be optimally deboned.
  • a preferred development of the invention is characterized in that the recorded digital images of the poultry legs are supplied as input data to the first neural network of a leg side detection device before being provided, which is set up to carry out leg side detection and to determine whether the digital images in question are of a right or a left poultry leg and, if the digital image does not correspond to a predetermined leg side, mirroring the image data of the respective digital image about a virtual axis in order to convert the digital image of a right poultry leg into an apparent digital image of a left poultry leg and vice versa.
  • the virtual axis is a vertical axis.
  • both the complexity of the neural network is reduced and the required training outlay for the neural network is also significantly reduced, since it only has to be trained with one type of poultry leg.
  • the neural network is designed to process left poultry legs, digital images of right poultry legs are first mirrored as described. Due to the reflection, the partial image of the poultry leg then appears as if it were from a
  • the neural network designed for processing left poultry legs. If the neural network is designed for processing right poultry legs, the procedure is correspondingly reversed and the partial images of left poultry legs are mirrored as described before processing by the neural network.
  • a further expedient embodiment of the invention is characterized in that the leg side is recognized by means of a second neural network that has been trained with images of poultry legs of the specified leg side.
  • the second neural network is preferably trained exclusively with images of left or right poultry legs. If the second neural network is designed to recognize left poultry legs, for example, it indicates that no left leg has been recognized when an image of a right poultry leg is input. Failure to recognize a left fowl leg implies that it is a right leg.
  • a preferred further development of the invention is characterized in that the digital images of the poultry legs are supplied to a front/back side detection device before being provided as input data to the first neural network and/or before leg side detection, which is set up to detect a front/back side to carry out detection and to determine whether the respective digital image shows the front or the back of the poultry leg and, if the digital image does not correspond to a predetermined front/back side, to leave a hanging receptacle of the conveyor device that holds the respective poultry leg and can be swivel-controlled about its vertical axis, a performing a 180° rotation and capturing a digital image from the side of the poultry leg pointing to the first optical imager by means of a second optical imager, which is downstream of the first optical imager with respect to the conveying direction.
  • the front refers to the outside or skin side of the poultry leg, while the back refers to the inside or flesh side of the poultry leg. Regardless of the orientation of the poultry legs, the localization of the bony parts can therefore be fully automatic.
  • the front of the poultry legs is always chosen as the specified side, because this is due to the larger muscle proportion of flesh and the resulting curved surface in the digital images offer better clues for locating the bony parts.
  • a further expedient embodiment of the invention is characterized in that the front/back side recognition takes place by means of a third neural network that has been trained with images of poultry legs of the given front/back side.
  • the third neural network is preferably trained exclusively with images of the front or back of poultry legs. For example, if the third neural network is designed to recognize front sides of poultry legs, this indicates that no front side has been recognized when an image of a rear side of poultry legs is input. Not recognizing a front side implies that it is the back side.
  • an arrangement for training at least one neural network for locating bony parts present in a poultry leg comprising a set-up for recording images of the front or back sides of the poultry legs in the optically visible wavelength range and for generating optical image data optical camera attached to each of the poultry legs; an X-ray source arranged to irradiate the back or front of the poultry legs with X-ray radiation and an X-ray imager arranged to take X-ray images on the side of the poultry legs remote from the X-ray source and adapted to generate X-ray image data for each of the poultry legs; a display and input device designed to display the x-ray image data and/or to display hybrid image data and to input reference points to be defined, which are used to identify the positions of the bony parts; a superimposing unit designed to superimpose the optical image data with the X-ray image data and/or the reference points to generate the hybrid image data for each of the poultry legs; at least one neural network and a learning cycle control unit, which is designed
  • the arrangement according to the invention offers the advantage that X-ray technology is only used in the training or learning phase.
  • the position of the bony parts in the poultry legs can be reliably determined solely on the basis of optical images of the poultry legs.
  • the optical image data and the X-ray image data are superimposed on one another.
  • the hybrid image data thus represent an overlay image containing the optical image of the intact poultry leg and the x-ray image. It is therefore possible to use the hybrid image to identify the exact location and position of the bony parts in the poultry leg and to relate this to the external view of the intact poultry leg. In this way, a correlation between the location of the bony parts and the external shape of the poultry leg is created and learned by the neural network.
  • reference points include thigh reference points, lower leg reference points and kneecap reference points.
  • the aforementioned reference points offer sufficient accuracy to determine the location and position of the thigh and lower leg bones and the kneecap.
  • the algorithmic complexity for determining these reference points is reduced to a required minimum.
  • the thigh reference points and the lower leg reference points are pairs of points, which each indicate the position of the bone end regions.
  • the position and alignment of said bones in the poultry leg is defined with sufficient accuracy on the basis of the pairs of points.
  • the pairs of points are particularly preferably located on the bone heads.
  • a further expedient embodiment of the invention is characterized in that the patella reference points form a point cloud comprising at least one point, with the points of the point cloud referencing edge positions of the patella.
  • a point cloud with one point is usually sufficient to indicate the position of the kneecap. Alternatively, this one point is chosen so that it is in the middle of the kneecap.
  • the point cloud comprises at least one upper patella reference point and a lower patella reference point. reference point, where the superior and inferior patellar reference points are located on a patellar rim region.
  • the point cloud particularly preferably includes a third reference point, so that the three reference points form a triangle whose area covers the patella as best as possible.
  • the three reference points mentioned are then - as already mentioned - preferably on the edge of the kneecap.
  • a further expedient embodiment of the invention is characterized in that the arrangement is designed to release object-related image areas of the optical image data and the x-ray image data from the image background before the hybrid image data are generated.
  • the cropping masks out those image areas that do not show the poultry leg or its bony parts. This prevents structures located in the background from being taken into account when training the neural network. Overall, this increases the reliability and precision of the localization of the bony parts.
  • a device for locating bony parts present in a poultry leg comprising a conveyor device set up for conveying the poultry legs in a conveying direction; a first optical imager configured to capture digital images of the front or back sides of the poultry legs; a first neural network designed to localize the bony parts, which has been trained according to a method according to any one of claims 1 to 6, and an input unit set up to sequentially provide the digital images as input data to the first neural network, the first neural network being set up To determine position data of the bony parts and to provide the position data for display and/or forwarding to a downstream machine for processing the poultry legs on the basis of the position data determined.
  • the device according to the invention is therefore free of X-ray technology.
  • the required expenditure on equipment is thus compared to that known from the prior art
  • the dangers associated with X-ray technology no longer exist and the use of highly qualified personnel can be dispensed with.
  • expensive components of the X-ray technology are no longer required during operation and the required maintenance effort is significantly lower.
  • the device according to the invention is therefore considerably less expensive than the devices known from the prior art. However, it is in no way inferior to X-ray-based devices in terms of the precision of the localization of the bony parts.
  • reference points include thigh reference points, lower leg reference points and kneecap reference points.
  • the aforementioned reference points offer sufficient accuracy to determine the location and position of the thigh and lower leg bones and the kneecap.
  • the algorithmic complexity for determining these reference points is reduced to a required minimum.
  • An expedient embodiment of the invention is characterized in that the thigh reference points and the lower leg reference points are pairs of points, each of which designates the position of the bone end regions.
  • the position and alignment of said bones in the poultry leg is defined with sufficient accuracy on the basis of the pairs of points.
  • the pairs of points are particularly preferably located on the bone heads.
  • a point cloud with one point is usually sufficient to indicate the position of the kneecap. Alternatively, this one point is chosen so that it is in the middle of the kneecap.
  • the patella reference points form a point cloud comprising at least one point, with the points of the point cloud referencing edge positions of the patella.
  • a point cloud with one point is usually sufficient to indicate the position of the kneecap. Alternatively, this one point is chosen so that it is in the middle of the kneecap.
  • a further expedient embodiment of the invention is characterized in that the point cloud comprises at least one upper patella reference point and one lower patella reference point, with the upper and lower patella reference points being localized on a patella edge area.
  • the point cloud particularly preferably includes a third reference point, so that the three reference points form a triangle whose area covers the patella as best as possible.
  • the three reference points mentioned are then - as already mentioned - preferably on the edge of the kneecap.
  • a further expedient embodiment of the invention is characterized by a control unit of the downstream machine that is set up to determine a cutting line course of the localized bony parts from the position data provided, the control unit also being designed to send a control-movably equipped knife to the downstream machine along this cutting line course for processing the poultry legs move to debone the chicken leg.
  • the poultry legs can be deboned in an optimal manner.
  • the cutting line can be brought as close as possible to them in order to leave as little residual flesh as possible on the bony parts.
  • the position of the incision which is usually in the area of the kneecap, can also be precisely determined in this way. The present invention thus makes it possible to debone poultry legs fully automatically.
  • the device further comprises a leg side detection device which is designed to carry out leg side detection based on the captured digital images of the poultry legs before providing them as input data to the first neural network and to determine whether the respective digital images are of a right or a left poultry leg and, if the digital image does not correspond to a predetermined leg side, mirroring the image data of the respective digital image about a virtual axis in order to convert the digital image of a right poultry leg into an apparent digital image of a left poultry leg and vice versa.
  • a leg side detection device which is designed to carry out leg side detection based on the captured digital images of the poultry legs before providing them as input data to the first neural network and to determine whether the respective digital images are of a right or a left poultry leg and, if the digital image does not correspond to a predetermined leg side, mirroring the image data of the respective digital image about a virtual axis in order to convert the digital image of a right poultry leg into an apparent digital image of a left poultry leg and vice versa.
  • the neural network is designed to process left poultry legs
  • digital images of right poultry legs are first mirrored as described. Due to the reflection, the partial image of the poultry leg then appears as if it had been taken from a left poultry leg. In this way it is possible to localize the bony parts in poultry legs using the image data from both right and left poultry legs using the neural network designed for processing left poultry legs.
  • the neural network is designed for processing right poultry legs, the procedure is correspondingly reversed and the partial images of left poultry legs are mirrored as described before processing by the neural network.
  • the leg side recognition includes a second neural network that has been trained with images of poultry legs of the specified leg side.
  • the second neural network is preferably trained exclusively with images of left or right poultry legs. If the second neural network is designed to recognize left poultry legs, for example, it indicates that no left leg has been recognized when an image of a right poultry leg is input. Failure to recognize a left fowl leg implies that it is a right leg.
  • a further expedient embodiment of the invention is characterized in that the device further comprises a front/back side recognition device which is set up before the digital images of the poultry legs are provided as input data to the first neural network and/or before the leg side recognition is carried out, a front /back side detection and to determine whether the respective digital image shows the front or the back of the poultry leg and, if the digital image does not match a predetermined front/back side, to leave a hanging receptacle of the conveyor device that holds the respective poultry leg and can be swivel-controlled about its vertical axis, to perform a 180° rotation and to capture a digital image from the side of the poultry leg pointing to the first optical imager by means of a second optical imager, which is downstream of the first optical imager with respect to the conveying direction.
  • a front/back side recognition device which is set up before the digital images of the poultry legs are provided as input data to the first neural network and/or before the leg side recognition is carried out, a front /back side detection and to determine whether the
  • the front side of the poultry legs is preferably always selected as the specified side, because due to the greater proportion of muscle meat and the resulting curved surface in the digital images, these offer better clues for localizing the bony parts.
  • the front/back recognition device includes a third neural network that has been trained with images of poultry legs of the specified front/back.
  • the third neural network is preferably trained exclusively with images of the front or back of poultry legs. For example, if the third neural network is designed to recognize front sides of poultry legs, this indicates that no front side has been recognized when an image of a rear side of poultry legs is input. Not recognizing a front side implies that it is the back side.
  • a non-transitory computer-readable storage medium comprising a program comprising instructions for causing the computer to carry out the above-described method for locating bony parts present in a fowl leg.
  • FIG. 1 shows a top view of the arrangement according to the invention for training at least one neural network for the localization of bony parts present in a poultry leg
  • FIG. 2 shows a schematic view of a first optical imager and a poultry leg located in front of it
  • FIG. 3 shows a schematic view of a hybrid image based on the hybrid image data
  • ADJUSTED SHEET (RULE 91) ISA/EP 4 shows a schematic view of the device according to the invention for locating bony parts
  • Fig. 5 is a block diagram
  • Fig. 7 is a side view of the device shown in Fig. 4 and
  • FIG. 8 shows a schematic representation of the front/back side detection device.
  • FIG. 1 shows a top view of the arrangement according to the invention for training at least one neural network for localizing bony parts present in a poultry leg 10 .
  • these bony parts are in particular the thigh bone 11, the lower leg bone 12 and the kneecap.
  • the following statements serve both to explain the arrangement mentioned and to describe in more detail the method according to the invention for training the neural network mentioned.
  • the invention comprises an optical camera 14 which is set up to take pictures of the front or back sides of the poultry legs 10 in the optically visible wavelength range.
  • the optical camera 14 is thus designed to generate optical image data for each of the poultry legs 10 .
  • the front of the poultry legs 10 is preferably aligned with the optical camera 14 so that only images of the front of the poultry leg are recorded.
  • the poultry legs 10 with their Rear side to the optical camera 14 are aligned. In this case, only images of the rear side of the poultry leg are recorded.
  • the poultry legs 10 can be transported in the conveying direction 16, for example by means of a conveying device--not shown in the drawing. However, it is also possible for the poultry legs 10 to be positioned in front of the optical camera 14 manually.
  • the invention according to the arrangement further comprises an X-ray source set up for irradiating the back or front of the poultry legs 10 with X-ray radiation 17
  • the X-ray image generator 19 is arranged on the side of the poultry legs 10 facing away from the X-ray source 18 and is designed to generate X-ray image data. In this way, X-ray image data on each of the poultry legs 10 is generated.
  • the optical image data obtained and the X-ray image data form the basis on which the first neural network is trained.
  • the optical image data and the X-ray image data are supplied to a superimposition unit - not shown in the drawing - which is set up to superimpose the optical image data of one of the poultry legs 10 with the X-ray image data of the same poultry leg 10 in order to generate hybrid image data for each of the poultry legs 10.
  • the hybrid images 15 for each of the poultry legs 10 therefore represent an overlay image obtained by superposition, in which the position of the bony parts, in particular the femur 11, the lower leg bone 12 and the kneecap, together with the external shape of the poultry leg 10 are visible.
  • the images are preferably recorded by means of the optical camera 14 and the X-ray image generator 19 in such a way that the respectively recorded image sections of the poultry leg are already as congruent as possible with one another.
  • the superimposition is preferably additionally set up to produce such congruence of the image sections.
  • the reference points 20 for identifying the positions of the bony parts are initially established using the X-ray image data.
  • the determination can be made, for example, by an inspector or semi-automatically. subsequently become
  • ADJUSTED SHEET (RULE 91) ISA/EP the positions of the bony parts determined in this way are superimposed with the optical image data and the hybrid image data for each of the poultry legs 10 is thus generated.
  • the method according to the invention and the device for training the neural network also include the display of the hybrid image data by means of a display and input device—not shown in the drawing.
  • reference points 20 are now defined, for example by an inspector or semi-automatically, which are used to identify the position of the bony parts.
  • the reference points 20 are entered via the input device.
  • Figure 3 shows an example of a schematic view of such a hybrid image 15 based on the hybrid image data.
  • the present invention further comprises a neural network (not shown in the drawing) and a learning cycle control unit.
  • the learning cycle control unit is designed and set up to input the optical image data and the reference points 20, preferably the reference points 20a, 20b, 20c, 20d, 20e, 20f, 20g, as training data for the neural network.
  • the optical image data thus form the input for the neural network
  • the reference points 20 each correspond to the output data of the neural network expected for the respective optical image data and thus form the target data.
  • the learning cycle control unit is configured to repetitively adjust the weights of the neural network based on the difference between the target data and the output data generated by the neural network.
  • the neural network is preferably a multi-layer neural network with a corresponding number of hidden layers.
  • the weights are preferably adjusted during training using the stochastic gradient descent method. For example, the mean squared error from the difference between the target data and the output data generated by the neural network is used as a loss function.
  • the reference points 20 each include two points for identifying thigh 11 and lower leg 12 and three points for identifying the patella.
  • the thigh reference points 20a, 20b mark the position of the thigh bone 11, the lower leg reference points 20c, 20d the position of the lower leg bone 12 and the patella reference points 20e, 20f and 20g the position of the patella.
  • the present invention is not limited to the number of reference points 20 mentioned. Rather, it is also possible to specify more reference points 20 .
  • the thigh reference points 20a, 20b and the lower leg reference points 20c, 20d each form pairs of points. These pairs of points preferably characterize the position of the bone end regions 21.
  • the bone end regions 21 each designate those regions of a bone where the joint heads are located.
  • the patella reference points 20e, 20f, 20g preferably form a point cloud 22, the points of which reference edge positions of the patella.
  • the point cloud 22 includes at least one of the patellar reference points 20e, 20f, 20g. However, the point cloud 22 preferably comprises the three patella reference points 20e, 20f, 20g shown in FIG. 3, which reference the edge of the patella.
  • the point cloud 22 includes at least two of the reference points 20e, 20g, namely a lower patellar reference point and an upper patellar reference point.
  • the superimposition unit is preferably set up to release image areas of the optical image data and the X-ray image data, which are associated with the object, from the image background before the hybrid image data are generated. In other words, image areas that only represent the background are masked in the respective data.
  • the present invention also relates to a non-transitory computer-readable storage medium having a program comprising instructions for causing the computer to carry out the method for training the neural network described above.
  • All common storage types can be used as a storage medium, with for example, CD-ROMs, DVDs, memory sticks, hard drives or cloud storage services.
  • the present invention also includes an apparatus and method for locating bony parts present in the fowl leg 10 .
  • the device comprises a conveying device 23 which is designed to convey the poultry legs 10 in a conveying direction 16 .
  • Digital images 25 of the front or back sides of the poultry legs 10 are recorded by means of a first optical imaging device 24, which is shown schematically in FIG. It has turned out to be particularly advantageous to always capture the front sides of the poultry legs 10 . In principle, however, it is possible to always capture the backs of the poultry legs 10 .
  • the device further comprises a first neural network--not shown in the drawing--which is designed to localize the bony parts in the poultry leg 10.
  • FIG. The first neural network has previously been trained by means of the method according to the invention for training a neural network for locating bony parts present in a poultry leg.
  • the device according to the invention further comprises an input unit--not shown in the drawing--which is set up to sequentially provide the digital images as input data to the first neural network.
  • the first neural network preferably receives the digital images of the front sides of the poultry legs 10 as input data.
  • the correspondingly trained first neural network is set up to determine position data 31 of the bony parts based on this input data and to provide this determined position data 31 for display and/or forwarding to a downstream machine 26 for processing the poultry legs 10 on the basis of the determined position data 31.
  • the steps of the method can also be seen from the block diagram according to FIG.
  • the poultry legs 10 conveyed in the conveying direction 16 by means of the conveying device 23 pass the first optical image generator 24, by means of which digital images 25 of the front or back sides of the poultry legs 10 are recorded at given points in time.
  • the digital images 25 are optionally subjected to pre-processing 28 and their alignment is then checked.
  • the pre-processing 28 of the digital images 25 as well as the implementation of steps 29, 30 are purely optional. On white- More details of the above steps are discussed below.
  • the position data 31 is then determined in step 27 by means of the first neural network. More preferably, the poultry leg 10 is illuminated at least at the time of recording the optical image data, preferably by means of a flashlight.
  • the shape of the neural network can be varied. In principle, all multi-layer networks can be considered.
  • a network structure with 29 layers has proven to be particularly advantageous with regard to the recognition accuracy and at the same time a justifiable algorithmic effort.
  • these 29 layers sixteen are preferably two-dimensional convolution layers. More preferably, the convolutional layers are divided into four blocks, each followed by a max-pooling and a dropout layer.
  • the last layer which uses a sigmoid function, all other layers are activated using a rectifier function.
  • the input layer of the first neural network preferably forms an input layer that is set up to process the digital images with a resolution of preferably 300 ⁇ 300 pixels.
  • the output layer of the first neural network preferably comprises fourteen nodes, each representing the x and y coordinates of the seven reference points 20 . More preferably, the first neural network is set up to carry out all calculations using floating point arithmetic. In particular, the calculations are performed using floating-point numbers, preferably of the "float" type, with a resolution of 16 or 32 bits.
  • the first neural network is also preferably designed using a multiplicity of processors for parallel computation.
  • the reference points 20 each include two points for identifying thigh 11 and lower leg 12 and three points for identifying the patella.
  • the thigh reference points 20a, 20b mark the position of the thigh bone 11, the lower leg reference points 20c, 20d the position of the lower leg bone 12 and the patella reference points 20e, 20f and 20g the position of the patella.
  • the present invention is a matter of course not limited to the number of reference points 20 mentioned. Rather, it is also possible to specify more reference points 20 .
  • the thigh reference points 20a, 20b and the lower leg reference points 20c, 20d each form pairs of points. These pairs of points preferably characterize the position of the bone end regions 21.
  • the patella reference points 20e, 20f, 20g preferably form a point cloud 22, the points of which reference the edge position of the patella.
  • the point cloud 22 includes at least one of the patellar reference points 20e, 20f, 20g.
  • the point cloud 22 preferably comprises the three patella reference points 20e, 20f, 20g shown in FIG. 3, which reference the edge of the patella.
  • the point cloud 22 - as mentioned above - includes only one point, preferably only the upper kneecap reference point 20g or a - not shown in the drawing - point that lies in the middle of the kneecap.
  • the point cloud 22 includes at least two of the reference points 20e, 20g, namely a lower patellar reference point and an upper patellar reference point.
  • the method according to the invention preferably also includes determining a cutting line course from the position data provided by means of a control unit (not shown in the drawing) of the downstream machine 26.
  • a control-movably equipped knife is moved along this cutting line course in order to cut the poultry leg 10 to bone.
  • FIG. 6 shows a flowchart for the pre-processing 28 mentioned at the outset.
  • Step 28 preferably consists in the digital images 25 first being subjected to a lens correction 38 .
  • the background masking 39 is then advantageously carried out in order to release the image area in which the poultry leg 10 is visible.
  • the resolution of the digital image is reduced, for example to a resolution of 300 ⁇ 300 or preferably 100 ⁇ 100 or 128 ⁇ 128 pixels.
  • the present invention is but not limited to the mentioned resolutions. Rather, any other resolution reduction can be used.
  • a color conversion 41 then takes place, for example into a BGR or grayscale image.
  • a conversion to floating point numbers is then preferably carried out using a floating point conversion step 42.
  • the recorded digital images 25 of the poultry legs 10 are supplied to a leg side recognition device 32 shown in FIG. 5 as input data to the first neural network before being provided. This is set up to carry out leg side recognition and to determine whether the respective digital image 25 originates from a right or a left poultry leg.
  • a leg side recognition device 32 shown in FIG. 5 This is set up to carry out leg side recognition and to determine whether the respective digital image 25 originates from a right or a left poultry leg.
  • it is preferably only trained on one type of poultry legs 10, namely either left or right poultry legs 10.
  • the method according to the invention and the device are advantageously set up to automatically determine whether the recorded digital image 25 originates from a right poultry leg 10 or a left poultry leg 10 . If the digital image 25 does not match a specified leg side, the leg side recognition device 32 is set up to mirror the image data of the respective digital image 25 on a virtual axis in order to convert the digital image 25 of a right poultry leg 10 into an apparent digital image 25 of a left poultry leg 10 and vice versa .
  • the digital image 25 is not changed by the leg side recognition device 32 if it recognizes that it is a left poultry leg 10.
  • the digital image 25 is then passed on via the signal flow arrow 34, as shown in FIG.
  • the digital image 25 thus arrives along the signal flow arrows 34 or 36 either directly as an input to the first neural network for locating the bony parts in step 27 or after the image mirroring.
  • the side of the leg is preferably recognized by means of a second neural network that has been trained with images of poultry legs 10 of the given side of the leg, that is to say with left legs, for example.
  • the leg side detection device 32 thus preferably includes the second neural network. If a digital image 25 is recognized which corresponds to the specified side of the leg, then the digital image 25—as previously described—remains unchanged. If the second neural network does not recognize the specified side of the leg, the digital image 25 is mirrored.
  • the digital images 25 of the poultry legs 10 are fed to a front/back side detection device 37 before being provided as input data to the first neural network and/or before the leg side detection.
  • the front/back side recognition device 37 is designed to determine whether the respective digital image 25 shows the front side or the back side of the poultry leg 10 . If the digital image 25 does not match a predetermined front/back side, this is set up to cause the poultry leg 10 to rotate in such a way that the respective other side is directed towards the first optical image generator 24 . This process is shown schematically in FIG.
  • the conveying device 16 comprises a multiplicity of hanging receptacles 43 which are each designed and set up to receive one of the poultry legs 10 .
  • the hanging receptacles 43 are each designed to be pivotable about their vertical axis 44 .
  • Such a hanging receptacle 43 is shown in detail in the side view of the conveyor device 16 in FIG. If it has been determined by means of the front/back side recognition device 37 that the respective poultry leg 10 was not directed with the desired side to the first optical image generator 24, this causes the respective hanging receptacle 43 of the conveyor device 16 to rotate 180° perform step 46.
  • the poultry leg side now pointing to the second optical imager 45 is then detected by means of a second optical imager 45 which is arranged downstream of the first optical imager 24 with respect to the conveying direction 16 .
  • the front/back side recognition is preferably carried out by means of a third neural network which is fed with images of poultry legs of the specified front/back page has been trained. Consequently, the front/back recognition device preferably comprises the third neural network.
  • a non-transitory computer-readable storage medium comprising a program comprising instructions for causing the computer to carry out the method for locating bony parts present in the fowl leg 10.
  • the lenses of the optical camera 14 and the first and second optical imaging devices 24, 45 include polarization filters. These are designed to reduce possible reflections that occur, for example, due to moist or wet surfaces of the poultry legs 10 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Of Meat And Fish (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein (10) vorhandenen knöchernen Teilen. Des Weiteren betrifft die vorliegende Erfindung ein Verfahren und eine Vorrichtung zum Lokalisieren von in einem Geflügelbein (10) vorhandenen knöchernen Teilen, wobei das Verfahren die Schritte Fördern der Geflügelbeine (10) in eine Förderrichtung (16) mittels einer Fördereinrichtung (23), Erfassen von Digitalbildern (25) der Vorder- oder Rückseite jedes der an dem Bildgeber (24) vorbeigeförderten Geflügelbeine (10) mittels eines ersten optischen Bildgebers (24), sequentielles Bereitstellen der Digitalbilder (25) als Eingabedaten an ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, wobei das erste neuronale Netz zum Lokalisieren der knöchernen Teile gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 trainiert worden ist, und Ermitteln von Positionsdaten (31) der knöchernen Teile mittels des ersten neuronalen Netzes und Bereitstellen der Positionsdaten (31) zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine (26) zur Bearbeitung der Geflügelbeine (10) auf Basis der ermittelten Positionsdaten, umfasst.

Description

Verfahren, Vorrichtungen und Anordnung zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen
Beschreibung
Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen sowie ein nichtflüchtiges computerlesbares Speichermedium, umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren auszuführen. Des Weiteren betrifft die Erfindung ein Verfahren zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen sowie eine Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen und eine Vorrichtung zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen.
Derartige Verfahren, Anordnungen und Vorrichtungen kommen bei der automatischen Verarbeitung von Geflügel zum Einsatz. Um Fleischanteile von den Knochen bzw. knöchernen Teilen der Geflügelbeine zu lösen, ist es erforderlich, zunächst die genaue Lage der knöchernen Teile zu bestimmen, um die zum Entbeinen erforderlichen Schnitte optimal positionieren zu können. Insbesondere sind die Positionen und/oder die Lage von Oberschenkel- und Unterschenkel Knochen sowie die der Kniescheibe von Interesse.
Aus dem Dokument EP 2 532 246 B1 geht ein Ausbeinverfahren für Fleisch mit Knochen unter Verwendung eines Röntgensystems hervor. Das zu verarbeitende Geflügelbein wird zwischen einer Röntgenquelle und einem Röntgendetektor hindurchtransportiert und mittels Analyse der erfassten Röntgendaten die Lage und Position der knöchernen Teile bestimmt.
Nachteilig ist, dass derartige bekannte Verfahren es stets erforderlich machen, im laufenden Betrieb Röntgentechnik einzusetzen. Diese stellt besondere Herausforderun-
BERICHTIGTES BLATT (REGEL 91 ) ISA/EP gen an die Arbeitssicherheit und ist kosten- und wartungsintensiv. Zudem ist für den Umgang mit Röntgenstrahlung hochqualifiziertes Fachpersonal erforderlich.
Es ist daher Aufgabe der vorliegenden Erfindung entsprechende Verfahren, Vorrichtungen sowie Anordnungen zur Verfügung zu stellen, die eine Lokalisierung knöcherner Teile in Geflügelbeinen mit großer Präzision bei möglichst geringem apparativem Aufwand erlauben.
Die Aufgabe wird durch das eingangs genannte Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen gelöst, umfassend die Schritte: Bereitstellen einer Vielzahl von Geflügelbeinen; Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine im optisch sichtbaren Wellenlängenbereich mittels einer optischen Kamera zur Erzeugung optischer Bilddaten zu jedem der Geflügelbeine; Bestrahlen der Rück- oder Vorderseite der Geflügelbeine mit Röntgenstrahlung einer Röntgenquelle und Aufnehmen von Röntgenbildern auf der der Röntgenquelle abgewandten Seite der Geflügelbeine mittels eines Röntgenbildgebers zur Erzeugung von Röntgenbilddaten zu jedem der Geflügelbeine; Festlegen von Referenzpunkten zur Kennzeichnung der Positionen der knöchernen Teile anhand der Röntgenbilddaten, Überlagern der optischen Bilddaten mit den Positionen der knöchernen Teile und/oder den Röntgenbilddaten unter Erzeugung von Hybridbilddaten zu jedem der Geflügelbeine; Festlegen von Referenzpunkten zur Kennzeichnung der Positionen der knöchernen Teile anhand der Hybridbilddaten; Eingeben der Bilddaten der optischen Kamera als Eingangsdaten und der Referenzpunkte als Zieldaten als Trainingsdaten für das neuronale Netz; repetierendes Anpassen der Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten.
Das erfindungsgemäße Verfahren bietet den Vorteil, dass ausschließlich in der Trainings- bzw. Anlernphase Röntgentechnik zum Einsatz kommt. Nachdem das neuronale Netz mit dem erfindungsgemäßen Verfahren angelernt worden ist, kann die Lage der knöchernen Teile in den Geflügelbeinen allein anhand optischer Bilder der Geflügelbeine zuverlässig bestimmt werden. Hierzu werden die optischen Bilddaten und die Röntgenbilddaten miteinander überlagert. Die Hybridbilddaten repräsentieren also ein Überlagerungsbild, in dem das optische Bild und das Röntgenbild des intakten Geflügelbeins enthalten sind. Es ist daher möglich, anhand des Hybridbildes die exakte Lage und Position der knöchernen Teile in dem Geflügelbein zu erkennen und diese mit der äußeren Ansicht des intakten Geflügelbeins in Beziehung zu setzen. Auf diese Weise wird eine Korrelation zwischen der Lage der knöchernen Teile und der äußeren Gestalt des Geflügelbeins geschaffen.
Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkel kno- chen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.
Gemäß einer weiteren bevorzugten Ausbildung der Erfindung sind die Oberschenkel re- ferenzpunkte und die Unterschenkelreferenzpunkte Punktpaare, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen, vorzugsweise bezüglich der Knochenlängsrichtung mittig in dem jeweiligen Knochenkopf.
Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke bilden, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzie- ren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.
Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Punktwolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Kniescheibe zu bestimmen, sondern auch deren Größe abzuschätzen, insbesondere deren Länge und Breite. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe. Gemäß einer weiteren bevorzugten Ausführungsform werden objektzugehörige Bildbereiche der optischen Bilddaten und die Röntgenbilddaten vor der Erzeugung der Hybridbilddaten vom Bildhintergrund freigestellt. Durch das Freistellen werden diejenigen Bildbereiche herausmaskiert, die nicht das Geflügelbein bzw. dessen knöcherne Teile zeigen. Auf diese Weise wird verhindert, dass im Hintergrund befindliche Strukturen beim Trainieren des neuronalen Netzes Berücksichtigung finden. Insgesamt wird dadurch die Zuverlässigkeit und Präzision der Lokalisierung der knöchernen Teile erhöht.
Die Aufgabe wird auch durch das eingangs genannte nichtflüchtige computerlesbare Speichermedium, umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen auszuführen, gelöst.
Des Weiteren wird die Aufgabe durch das eingangs genannte Verfahren zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen gelöst, umfassend die Schritte: Fördern der Geflügelbeine in eine Förderrichtung mittels einer Fördereinrichtung; Erfassen von Digitalbildern der Vorder- oder Rückseiten der Geflügelbeine mittels eines ersten optischen Bildgebers zu jedem der an dem Bildgeber vorbeigeförderten Geflügelbeine; sequentielles Bereitstellen der Digitalbilder als Eingabedaten an ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, wobei das erste neuronale Netz zum Lokalisieren der knöchernen Teile gemäß dem zuvor genannten Verfahren zum Trainieren des mindestens einen neuronalen Netzes trainiert worden ist; Ermitteln von Positionsdaten der knöchernen Teile mittels des ersten neuronalen Netzes und Bereitstellen der Positionsdaten zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine zur Bearbeitung der Geflügelbeine auf Basis der ermittelten Positionsdaten.
Das erfindungsgemäße Verfahren bietet den Vorteil, dass zum Lokalisieren der in Geflügelbeinen vorhandenen knöchernen Teile von den Geflügelbeinen ausschließlich Bilder im optisch sichtbaren Bereich erfasst werden müssen. Das erfindungsgemäße Verfahren ist daher im laufenden Betrieb röntgentechnikfrei. Der erforderliche apparative Aufwand wird damit gegenüber den aus dem Stand der Technik bekannten Verfahren erheblich reduziert. Insbesondere durch den Verzicht auf Röntgentechnik bestehen die mit der Röntgentechnik einhergehenden Gefahren nicht mehr und es kann auf den Einsatz hochqualifizierten Personals verzichtet werden. Das erfindungsgemäße Verfahren ist daher im Vergleich zu den aus dem Stand der Technik bekannten Verfahren erheblich kostengünstiger. In der Präzision der Lokalisierung der knöchernen Teile steht es röntgenbasierten Verfahren jedoch in nichts nach.
Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkel kno- chen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.
Gemäß einer weiteren bevorzugten Ausbildung der Erfindung sind die Oberschenkel re- ferenzpunkte und die Unterschenkelreferenzpunkte Punktpaare, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen.
Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke bilden, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzie- ren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.
Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Punktwolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Kniescheibe zu bestimmen, sondern auch deren Größe. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe.
Eine weitere zweckmäßige Ausgestaltung der Erfindung ist gekennzeichnet durch Ermitteln eines Schneidlinienverlaufes der lokalisierten knöchernen Teile aus den bereitgestellten Positionsdaten mittels einer Steuereinheit der nachgeordneten Maschine und Bewegen eines steuerbeweglich eingerichteten Messers der nachgeordneten Maschine mittels der Steuereinheit entlang dieses Schneidlinienverlaufes, um das Geflügelbein zu entbeinen. Auf diese Weise kann das Geflügelbein in optimaler Weise ent- beint werden. Durch Kenntnis der Lage der knöchernen Teile ist es möglich, einen optimalen Schneidlinienverlauf zu ermitteln, so dass das Fleisch von den knöchernen Teilen gelöst wird, aber ein Kontakt des Messers der nachgeordneten Maschine mit den knöchernen Teilen des Geflügelbeins in jedem Fall vermieden wird. Zugleich kann jedoch die Schneidlinie in Kenntnis der Position der knöchernen Teile so dicht wie möglich an diese herangeführt werden, um möglichst wenig Restfleisch an den knöchernen Teilen zu belassen. Auch die Einschnittposition, die in der Regel im Bereich der Kniescheibe liegt, lässt sich so exakt bestimmen. Die vorliegende Erfindung ermöglicht es damit, Geflügelbeine vollautomatisch zu entbeinen.
Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die erfassten Digitalbilder der Geflügelbeine vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz einer Beinseitenerkennungseinrichtung zugeführt werden, die eingerichtet ist, eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder von einem rechten oder einem linken Geflügelbein stammt und, falls das Digitalbild nicht mit einer vorgegebenen Beinseite übereinstimmt, die Bilddaten des jeweiligen Digitalbilds an einer virtuellen Achse zu spiegeln, um das Digitalbild eines rechten Geflügelbeins in ein scheinbares Digitalbild eines linken Geflügelbeins und umgekehrt umzuwandeln. Vorzugsweise ist die virtuelle Achse eine vertikale Achse. Vorteilhafterweise genügt es so, das erste neuronale Netz so auszulegen, dass dieses nur einen Beintyp erkennt, nämlich entweder ein linkes oder ein rechtes Geflügelbein. Hierdurch wird sowohl die Komplexität des neuronalen Netzes reduziert als auch der erforderliche Trainingsaufwand des neuronalen Netzes deutlich reduziert, da dieses nur mit einem Geflügelbeintyp trainiert werden muss. Ist das neuronale Netz beispielsweise auf die Verarbeitung von linken Geflügelbeinen ausgelegt, werden Digitalbilder von rechten Geflügelbeinen zunächst wie beschrieben gespiegelt. Durch die Spiegelung erscheint das Teilbild von dem Geflügelbein dann so, als wäre es von ei-
BERICHTIGTES BLATT (REGEL 91 ) ISA/EP nem linken Geflügelbein aufgenommen. Auf diese Weise ist es möglich, anhand der Bilddaten sowohl von rechten als auch von linken Geflügelbeinen mittels des für die Verarbeitung von linken Geflügelbeinen ausgelegten neuronalen Netzes die knöchernen Teile in Geflügelbeinen zu lokalisieren. Ist das neuronale Netz für die Verarbeitung von rechten Geflügelbeinen ausgelegt, wird entsprechend andersherum verfahren und jeweils die Teilbilder von linken Geflügelbeinen wie beschrieben vor der Verarbeitung durch das neuronale Netz gespiegelt.
Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Beinseitenerkennung mittels eines zweiten neuronalen Netzes erfolgt, das mit Bildern von Geflügelbeinen der vorgegebenen Beinseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das zweite neuronale Netz jeweils ausschließlich mit Bildern von linken oder rechten Geflügelbeinen trainiert. Ist das zweite neuronale Netz beispielsweise zur Erkennung von linken Geflügelbeinen ausgelegt, zeigt dieses bei Eingabe eines Bildes von einem rechten Geflügelbein an, dass kein linkes Bein erkannt worden ist. Das Nichterkennen eines linken Geflügelbeines impliziert, dass es sich um ein rechtes Bein handelt.
Eine bevorzugte Weiterbildung der Erfindung ist dadurch gekennzeichnet, dass die Digitalbilder der Geflügelbeine vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz und/oder vor der Beinseitenerkennung einer Vorder-/Rückseitenerken- nungseinrichtung zugeführt werden, die eingerichtet ist, eine Vorder-/Rückseiten- erkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder die Vorderseite oder die Rückseite des Geflügelbeins zeigt und, falls das Digitalbild nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, eine das jeweilige Geflügelbein haltende und um deren Hochachse schwenksteuerbewegliche Hängeaufnahme der Fördereinrichtung zu verlassen, eine 180°-Drehung auszuführen und von der zum ersten optischen Bildgeber weisenden Seite des Geflügelbeins ein Digitalbild mittels eines zweiten optischen Bildgebers, der dem ersten optischen Bildgeber bezüglich der Förderrichtung nachgeordnet ist, zu erfassen. Dies bietet den Vorteil, dass die Geflügelbeine bezüglich ihrer Vorder-/Rückseitenausrichtung nicht vorsortiert werden müssen. Die Vorderseite bezeichnet dabei die Außen- bzw. Hautseite des Geflügelbeins, während die Rückseite die Innen- bzw. Fleischseite des Geflügelbeins bezeichnet. Unabhängig von der Ausrichtung der Geflügelbeine kann daher die Lokalisierung der knöchernen Teile vollautomatisch erfolgen. Bevorzugt wird als vorgegebene Seite stets die Vorderseite der Geflügelbeine gewählt, weil diese aufgrund des größeren Muskel- fleischanteils und der dadurch gewölbten Oberfläche in den Digitalbildern bessere Anhaltspunkte zur Lokalisierung der knöchernen Teile bieten.
Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Vorder-/Rückseitenerkennung mittels eines dritten neuronalen Netzes erfolgt, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rückseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das dritte neuronale Netz jeweils ausschließlich mit Bildern der Vorder- oder Rückseite von Geflügelbeinen trainiert. Ist das dritte neuronale Netz beispielsweise zur Erkennung von Geflügelbeinvorderseiten ausgelegt, zeigt dieses bei Eingabe eines Bildes von einer Geflügelbeinrückseite an, dass keine Vorderseite erkannt worden ist. Das Nichterkennen einer Vorderseite impliziert, dass es sich um die Rückseite handelt.
Darüber hinaus wird die Aufgabe auch durch eine Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen gelöst, umfassend eine zum Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine im optisch sichtbaren Wellenlängenbereich eingerichtete und zur Erzeugung optischer Bilddaten zu jedem der Geflügelbeine ausgebildete optische Kamera; eine zum Bestrahlen der Rück- oder Vorderseite der Geflügelbeine mit Röntgenstrahlung eingerichtete Röntgenquelle und ein zum Aufnehmen von Röntgenbildern auf der der Röntgenquelle abgewandten Seite der Geflügelbeine eingerichteter und zur Erzeugung von Röntgenbilddaten zu jedem der Geflügelbeine ausgebildeter Röntgenbildgeber; eine zum Anzeigen der Röntgenbilddaten und/oder zum Anzeigen von Hybridbilddaten und zum Eingeben von festzulegenden Referenzpunkten, die zur Kennzeichnung der Positionen der knöchernen Teile dienen, ausgebildete Anzeige- und Eingabeeinrichtung; eine zum Überlagern der optischen Bilddaten mit den Röntgenbilddaten und/oder den Referenzpunkten unter Erzeugung der Hybridbilddaten zu jedem der Geflügelbeine ausgebildete Überlagerungseinheit; mindestens ein neuronales Netz und eine Lernzyklus-Steuereinheit, die zum Eingeben der Bilddaten als Eingangsdaten und der Referenzpunkte als Zieldaten als Trainingsdaten für das neuronale Netz ausgebildet und eingerichtet ist, wobei die Lernzyklus-Steuereinheit eingerichtet ist, Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten repetierend anzupassen. Die erfindungsgemäße Anordnung bietet den Vorteil, dass ausschließlich in der Trainings- bzw. Anlernphase Röntgentechnik zum Einsatz kommt. Nachdem das neuronale Netz mit dem erfindungsgemäßen Verfahren angelernt worden ist, kann die Lage der knöchernen Teile in den Geflügelbeinen allein anhand optischer Bilder der Geflügelbeine zuverlässig bestimmt werden. In der Trainingsphase werden die optischen Bilddaten und die Röntgenbilddaten miteinander überlagert. Die Hybridbilddaten repräsentieren also ein Überlagerungsbild, in dem das optische Bild des intakten Geflügelbeins und das Röntgenbild enthalten sind. Es ist daher möglich, anhand des Hybridbildes die exakte Lage und Position der knöchernen Teile in dem Geflügelbein zu erkennen und diese mit der äußeren Ansicht des intakten Geflügelbeins in Beziehung zu setzen. Auf diese Weise wird eine Korrelation zwischen der Lage der knöchernen Teile und der äußeren Gestalt des Geflügelbeins geschaffen sowie von dem neuronalen Netz gelernt.
Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkelknochen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.
Gemäß einer weiteren bevorzugten Ausbildung der Erfindung sind die Oberschenkelreferenzpunkte und die Unterschenkelreferenzpunkte Punktpaare, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen.
Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke bilden, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzieren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.
Gemäß einer weiteren bevorzugten Ausführungsform umfasst die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenrefe- renzpunkt, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Kniescheibe zu bestimmen, sondern auch deren Größe. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe. Alternativ ist es möglich, dass die Punktwolke - wie eingangs erwähnt - nur einen Punkt umfasst, vorzugsweise nur den oberen Kniescheibenreferenzpunkt oder einen Punkt, der in der Mitte der Kniescheibe liegt.
Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Anordnung ausgebildet ist, objektzugehörige Bildbereiche der optischen Bilddaten und der Röntgenbilddaten vor der Erzeugung der Hybridbilddaten vom Bildhintergrund freizustellen. Durch das Freistellen werden diejenigen Bildbereiche herausmaskiert, die nicht das Geflügelbeine bzw. dessen knöcherne Teile zeigen. Auf diese Weise wird verhindert, dass im Hintergrund befindliche Strukturen beim Trainieren des neuronalen Netzes Berücksichtigung finden. Insgesamt wird dadurch die Zuverlässigkeit und Präzision der Lokalisierung der knöchernen Teile erhöht.
Ferner wird die Aufgabe durch eine Vorrichtung zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen, umfassend eine zum Fördern der Geflügelbeine in eine Förderrichtung eingerichtete Fördereinrichtung; einen zum Erfassen von Digitalbildern der Vorder- oder Rückseiten der Geflügelbeine ausgebildeten ersten optischen Bildgeber; ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, das gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 trainiert worden ist, sowie eine zum sequentiellen Bereitstellen der Digitalbilder als Eingabedaten an das erste neuronale Netz eingerichtete Eingabeeinheit, wobei das erste neuronale Netz eingerichtet ist, Positionsdaten der knöchernen Teile zu ermitteln und die Positionsdaten zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine zur Bearbeitung der Geflügelbeine auf Basis der ermittelten Positionsdaten bereitzustellen, gelöst.
Die erfindungsgemäße Vorrichtung ist daher röntgentechnikfrei. Der erforderliche apparative Aufwand wird damit gegenüber den aus dem Stand der Technik bekannten
BERICHTIGTES BLATT (REGEL 91 ) ISA/EP Vorrichtungen erheblich reduziert. Insbesondere durch den Verzicht auf Röntgentechnik bestehen die mit der Röntgentechnik einhergehenden Gefahren nicht mehr und es kann auf den Einsatz hochqualifizierten Personals verzichtet werden. Zudem sind keine teuren Komponenten der Röntgentechnik im laufenden Betrieb mehr erforderlich und der erforderliche Wartungsaufwand ist erheblich geringer. Die erfindungsgemäße Vorrichtung ist daher im Vergleich zu den aus dem Stand der Technik bekannten Vorrichtungen erheblich kostengünstiger. In der Präzision der Lokalisierung der knöchernen Teile steht es röntgenbasierten Vorrichtungen jedoch in nichts nach.
Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkelkno- chen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.
Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Oberschenkel referenzpunkte und die Unterschenkelreferenzpunkte Punktpaare sind, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.
Gemäß einer weiteren bevorzugten Ausführungsform bilden die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzieren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.
Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Knie-
BERICHTIGTES BLATT (REGEL 91 ) ISA/EP scheibe zu bestimmen, sondern auch deren Größe. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe.
Eine weitere zweckmäßige Ausbildung der Erfindung ist gekennzeichnet durch eine zum Ermitteln eines Schneidlinienverlaufes der lokalisierten knöchernen Teile aus den bereitgestellten Positionsdaten eingerichtete Steuereinheit der nachgeordneten Maschine, wobei die Steuereinheit ferner ausgebildet ist, zur Bearbeitung der Geflügelbeine ein steuerbeweglich eingerichtetes Messer der nachgeordneten Maschine entlang dieses Schneidlinienverlaufes zu bewegen, um das Geflügelbein zu entbeinen. Auf diese Weise kann das Geflügelbeinen in optimaler Weise entbeint werden. Durch Kenntnis der Lage der knöchernen Teile ist es möglich, einen optimalen Schneidlinienverlauf zu ermitteln, so dass das Fleisch von den knöchernen Teilen gelöst wird, aber ein Kontakt des Messers der nachgeordneten Maschine mit den knöchernen Teilen des Geflügelbeins in jedem Fall vermieden wird. Zugleich kann jedoch die Schneidlinie in Kenntnis der Position der knöchernen Teile so dicht wie möglich an diese herangeführt werden, um möglichst wenig Restfleisch an den knöchernen Teilen zu belassen. Auch die Einschnittposition, die in der Regel im Bereich der Kniescheibe liegt, lässt sich so exakt bestimmen. Die vorliegende Erfindung ermöglicht es damit, Geflügelbeine vollautomatisch zu entbeinen.
Gemäß einer weiteren bevorzugten Ausbildung der Erfindung umfasst die Vorrichtung weiter eine Beinseitenerkennungseinrichtung, die ausgebildet ist, anhand der erfassten Digitalbilder der Geflügelbeine vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder von einem rechten oder einem linken Geflügelbein stammt und, falls das Digitalbild nicht mit einer vorgegebenen Beinseite übereinstimmt, die Bilddaten des jeweiligen Digitalbilds an einer virtuellen Achse zu spiegeln, um das Digitalbild eines rechten Geflügelbeins in ein scheinbares Digitalbild eines linken Geflügelbeins und umgekehrt umzuwandeln. Vorteilhafterweise genügt es, das erste neuronale Netz so auszulegen, dass dieses nur einen Beintyp erkennt, nämlich entweder ein linkes oder ein rechtes Geflügelbein. Hierdurch wird sowohl die Komplexität des neuronalen Netzes reduziert als auch der erforderliche Trainingsaufwand des neuronalen Net- zes erheblich reduziert, da dieses nur mit einem Geflügelbeintyp trainiert werden muss. Ist das neuronale Netz beispielsweise auf die Verarbeitung von linken Geflügelbeinen ausgelegt, werden Digitalbilder von rechten Geflügelbeinen zunächst wie beschrieben gespiegelt. Durch die Spiegelung erscheint das Teilbild von dem Geflügelbein dann so, als wäre es von einem linken Geflügelbein aufgenommen. Auf diese Weise ist es möglich, anhand der Bilddaten sowohl von rechten als auch von linken Geflügelbeinen mittels des für die Verarbeitung von linken Geflügelbeinen ausgelegten neuronalen Netzes die knöchernen Teile in Geflügelbeinen zu lokalisieren. Ist das neuronale Netz für die Verarbeitung von rechten Geflügelbeinen ausgelegt, wird entsprechend andersherum verfahren und jeweils die Teilbilder von linken Geflügelbeinen wie beschrieben vor der Verarbeitung durch das neuronale Netz gespiegelt.
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfasst die Beinseitenerkennung ein zweites neuronales Netz, das mit Bildern von Geflügelbeinen der vorgegebenen Beinseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das zweite neuronale Netz jeweils ausschließlich mit Bildern von linken oder rechten Geflügelbeinen trainiert. Ist das zweite neuronale Netz beispielsweise zur Erkennung von linken Geflügelbeinen ausgelegt, zeigt dieses bei Eingabe eines Bildes von einem rechten Geflügelbein an, dass kein linkes Bein erkannt worden ist. Das Nichterkennen eines linken Geflügelbeines impliziert, dass es sich um ein rechtes Bein handelt.
Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Vorrichtung weiter eine Vorder-/Rückseitenerkennungseinrichtung umfasst, die eingerichtet ist, bevor die Digitalbilder der Geflügelbeine als Eingabedaten an das erstes neuronale Netz bereitgestellt und/oder bevor die Beinseitenerkennung durchgeführt wird, eine Vorder-/Rückseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder die Vorderseite oder die Rückseite des Geflügelbeins zeigt und, falls das Digitalbild nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, eine das jeweilige Geflügelbein haltende und um deren Hochachse schwenksteuerbewegliche Hängeaufnahme der Fördereinrichtung zu verlassen, eine 180°- Drehung auszuführen und von der zum ersten optischen Bildgeber weisenden Seite des Geflügelbeins ein Digitalbild mittels eines zweiten optischen Bildgebers, der dem ersten optischen Bildgeber bezüglich der Förderrichtung nachgeordnet ist, zu erfassen. Dies bietet den Vorteil, dass die Geflügelbeine bezüglich ihrer Vorder-/Rückseitenaus- richtung nicht vorsortiert werden müssen. Unabhängig von der Ausrichtung der Geflü- gelbeine kann daher die Lokalisierung der knöchernen Teile vollautomatisch erfolgen. Bevorzugt wird als vorgegebene Seite stets die Vorderseite der Geflügelbeine gewählt, weil diese aufgrund des größeren Muskelfleischanteils und der dadurch gewölbten Oberfläche in den Digitalbildern bessere Anhaltspunkte zur Lokalisierung der knöchernen Teile bieten.
Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Vor- der-/Rückseitenerkennungseinrichtung ein drittes neuronales Netz umfasst, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rückseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das dritte neuronale Netz jeweils ausschließlich mit Bildern der Vorder- oder Rückseite von Geflügelbeinen trainiert. Ist das dritte neuronale Netz beispielsweise zur Erkennung von Geflügelbeinvorderseiten ausgelegt, zeigt dieses bei Eingabe eines Bildes von einer Geflügelbeinrückseite an, dass keine Vorderseite erkannt worden ist. Das Nichterkennen einer Vorderseite impliziert, dass es sich um die Rückseite handelt.
Die Aufgabe wird auch durch ein nichtflüchtiges computerlesbares Speichermedium umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das zuvor beschriebene Verfahren zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen auszuführen, gelöst.
Weitere bevorzugte und/oder zweckmäßige Merkmale und Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen und der Beschreibung. Besonders bevorzugte Ausführungsformen werden anhand der beigefügten Zeichnung näher erläutert. In der Zeichnung zeigt:
Fig. 1 eine Draufsicht der erfindungsgemäßen Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbeinvorhandenen knöchernen Teilen,
Fig. 2 eine schematische Ansicht eines ersten optischen Bildgebers und eines sich davor befindenden Geflügelbeins,
Fig. 3 eine schematische Ansicht eines auf den Hybridbilddaten basierenden Hybridbildes,
BERICHTIGTES BLATT (REGEL 91 ) ISA/EP Fig. 4 eine schematische Ansicht der erfindungsgemäßen Vorrichtung zum Lokalisieren knöcherner Teile
Fig. 5 ein Blockschaltbild,
Fig. 6 ein Flussdiagramm der Vorverarbeitung,
Fig. 7 eine Seitenansicht, der in Fig. 4 gezeigten Vorrichtung und
Fig. 8 eine schematische Darstellung der Vorder-/Rückseitenerkennungsein- richtung.
Die erfindungsgemäßen Verfahren, das erfindungsgemäße Speichermedium sowie die erfindungsgemäße Vorrichtung werden im Folgenden näher erläutert.
Figur 1 zeigt eine Draufsicht der erfindungsgemäßen Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein 10 vorhandenen knöchernen Teilen. Bei diesen knöchernen Teilen handelt es sich, wie in Figur 3 gezeigt, insbesondere um den Oberschenkelknochen 11 , den Unterschenkelknochen 12 sowie die Kniescheibe. Nachfolgende Ausführungen dienen sowohl der Erläuterung der genannten Anordnung als auch der näheren Beschreibung des erfindungsgemäßen Verfahrens zum Trainieren des genannten neuronalen Netzes.
Zum Trainieren des neuronalen Netzes ist es zunächst erforderlich, eine Vielzahl Geflügelbeine 10 bereitzustellen. Die Erfindung gemäß Anordnung umfasst eine optische Kamera 14, die zum Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine 10 im optisch sichtbaren Wellenlängenbereich eingerichtet ist. Die optische Kamera 14 ist also ausgebildet, optische Bilddaten zu jedem der Geflügelbeine 10 zu erzeugen. Bevorzugt sind die Geflügelbeine 10 mit ihrer Vorderseite zu der optischen Kamera 14 ausgerichtet, so dass ausschließlich Bilder der Geflügelbein-Vorderseite aufgenommen werden. Es ist jedoch auch möglich, dass die Geflügelbeine 10 mit ihrer Rückenseite zur optischen Kamera 14 ausgerichtet sind. In diesem Fall werden ausschließlich Bilder der Geflügelbein-Rückseite aufgenommen.
Die Geflügelbeine 10 können beispielsweise mittels einer - in der Zeichnung nicht gezeigten - Fördereinrichtung in Förderrichtung 16 transportiert werden. Es ist jedoch auch möglich, dass die Geflügelbeine 10 manuell vor der optischen Kamera 14 positioniert werden.
Die Erfindung gemäß Anordnung umfasst weiter eine zum Bestrahlen der Rück- oder Vorderseite der Geflügelbeine 10 mit Röntgenstrahlung 17 eingerichtete Röntgenquelle
18 sowie einen zum Aufnehmen von Röntgenbildern eingerichteten Röntgenbildgeber
19 bzw. Röntgenbildsensor. Der Röntgenbildgeber 19 ist auf der der Röntgenquelle 18 abgewandten Seite der Geflügelbeine 10 angeordnet und zur Erzeugung von Röntgenbilddaten ausgebildet. Auf diese Weise werden Röntgenbilddaten zu jedem der Geflügelbeine 10 erzeugt.
Die gewonnenen optischen Bilddaten und die Röntgenbilddaten bilden die Grundlage, auf Basis derer das erste neuronale Netz trainiert wird. Die optischen Bilddaten und die Röntgenbilddaten werden einer - in der Zeichnung nicht gezeigten - Überlagerungseinheit zugeführt, die eingerichtet ist, jeweils die optischen Bilddaten eines der Geflügelbeine 10 mit den Röntgenbilddaten desselben Geflügelbeines 10 zu überlagern, um Hybridbilddaten zu jedem der Geflügelbeine 10 zu erzeugen. Die Hybridbilder 15 zu jedem der Geflügelbeine 10 repräsentieren also ein durch Superposition gewonnenes Überlagerungsbild, in dem die Lage der knöchernen Teile, insbesondere des Oberschenkelknochens 11 , des Unterschenkelknochens 12 und der Kniescheibe, zusammen mit der äußeren Gestalt des Geflügelbeins 10 sichtbar sind. Vorzugsweise erfolgt die Aufnahme der Bilder mittels der optischen Kamera 14 sowie des Röntgenbildgebers 19 in der Weise, dass die jeweils aufgenommenen Bildausschnitte des Geflügelbeins bereits möglichst deckungsgleich miteinander sind. Vorzugsweise ist die Überlagerung zusätzlich eingerichtet, eine solche Deckungsgleichheit der Bildausschnitte herzustellen.
Gemäß einer weiteren vorteilhaften Ausbildung der Erfindung werden zunächst die Referenzpunkte 20 zur Kennzeichnung der Positionen der knöchernen Teile anhand der Röntgenbilddaten festgelegt. Die Festlegung kann beispielsweise von einem Inspekteur vorgenommen werden oder halbautomatisch erfolgen. Anschließend werden
BERICHTIGTES BLATT (REGEL 91 ) ISA/EP die so ermittelten Positionen der knöchernen Teile mit den optischen Bilddaten überlagert und so die Hybridbilddaten zu jedem der Geflügelbeine 10 erzeugt.
Das erfindungsgemäße Verfahren sowie die Vorrichtung zum Trainieren des neuronalen Netzes umfasst weiter das Anzeigen der Hybridbilddaten mittels einer - in der Zeichnung nicht gezeigten - Anzeige- und Eingabeeinrichtung. Anhand der angezeigten Hybriddaten werden nun beispielsweise durch einen Inspekteur oder halbautomatisch Referenzpunkte 20 festgelegt, die zur Kennzeichnung der Position der knöchernen Teile dienen. Die Referenzpunkte 20 werden über die Eingabeeinrichtung eingegeben.
Figur 3 zeigt beispielhaft eine schematische Ansicht eines solchen auf den Hybridbilddaten basierenden Hybridbildes 15.
Die vorliegende Erfindung umfasst weiter ein - in der Zeichnung nicht gezeigtes - neuronales Netz und eine Lernzyklus-Steuereinheit. Die Lernzyklus-Steuereinheit ist zum Eingeben der optischen Bilddaten und der Referenzpunkte 20, bevorzugt der Referenzpunkte 20a, 20b, 20c, 20d, 20e, 20f, 20g, als Trainingsdaten für das neuronale Netz ausgebildet und eingerichtet. Die optischen Bilddaten bilden also die Eingabe für das neuronale Netz, während die Referenzpunkte 20 jeweils den zu den jeweiligen optischen Bilddaten erwarteten Ausgabedaten des neuronalen Netzes entsprechen und damit die Zieldaten bilden.
Zum Trainieren des neuronalen Netzes ist die Lernzyklus-Steuereinheit eingerichtet, die Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten repetierend anzupassen. Bei dem neuronalen Netz handelt es sich vorzugsweise um ein mehrschichtiges neuronales Netz mit einer entsprechenden Anzahl an verborgenen Schichten. Bevorzugt werden die Gewichte beim Training mittels des Verfahrens des stochastischen Gradientenabstiegs angepasst. Als Verlustfunktion wird beispielsweise aus der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten der mittlere quadratische Fehler herangezogen.
Der Aufbau derartiger neuronaler Netze sowie die Anpassung der Gewichte des neuronalen Netzes auf Basis des Fehlers zwischen gewünschten Ausgabedaten und Ziel- daten ist hinlänglich bekannt, so dass an dieser Stelle auf weitere Ausführungen hierzu verzichtet wird.
Vorzugsweise umfassen die Referenzpunkte 20 jeweils zwei Punkte zur Kennzeichnung von Oberschenkel 11 und Unterschenkel 12 sowie drei Punkte zur Kennzeichnung der Kniescheibe. So kennzeichnen die Oberschenkelreferenzpunkte 20a, 20b die Lage des Oberschenkelknochens 11 , die Unterschenkelreferenzpunkte 20c, 20d die Position des Unterschenkelknochens 12 und die Kniescheibenreferenzpunkte 20e, 20f und 20g die Lage der Kniescheibe. Selbstverständlich ist die vorliegende Erfindung nicht auf die genannte Anzahl an Referenzpunkten 20 beschränkt. Vielmehr ist es möglich, auch mehr Referenzpunkte 20 vorzugeben.
Weiter bevorzugt bilden die Oberschenkelreferenzpunkte 20a, 20b sowie die Unterschenkelreferenzpunkte 20c, 20d jeweils Punktpaare. Diese Punktpaare kennzeichnen vorzugsweise die Position der Knochenendbereiche 21. Die Knochenendbereiche 21 bezeichnen jeweils diejenigen Bereich eines Knochens, an denen sich die Gelenkköpfe befinden. Vorzugsweise bilden die Kniescheibenreferenzpunkte 20e, 20f, 20g eine Punktwolke 22, deren Punkte Randpositionen der Kniescheibe referenzieren. Die Punktwolke 22 umfasst mindestens einen der Kniescheibenreferenzpunkte 20e, 20f, 20g. Vorzugsweise umfasst die Punktwolke 22 jedoch die in Figur 3 gezeigten drei Kniescheibenreferenzpunkte 20e, 20f, 20g, die den Rand der Kniescheibe referenzieren.
Gemäß einer weiteren bevorzugten Ausführung der Erfindung umfasst die Punktwolke 22 jedenfalls zwei der Referenzpunkte 20e, 20g, nämlich einen unteren Kniescheibenreferenzpunkt und einen oberen Kniescheibenreferenzpunkt.
Vorzugsweise ist die Überlagerungseinheit eingerichtet, objektzugehörige Bildbereiche der optischen Bilddaten und der Röntgenbilddaten vor der Erzeugung der Hybridbilddaten von Bildhintergrund freizustellen. Anders ausgedrückt werden Bildbereiche, die nur den Hintergrund darstellen in den jeweiligen Daten maskiert.
Die vorliegende Erfindung betrifft auch ein nichtflüchtiges computerlesbares Speichermedium mit einem Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das zuvor beschriebene Verfahren zum Trainieren des neuronalen Netzes auszuführen. Als Speichermedium kommen alle gängigen Speichertypen in Frage, bei- spielsweise, CD-ROMs, DVDs, Speicher-Sticks, Festplatten oder Cloud-Speicher- Dienste.
Die vorliegende Erfindung umfasst auch eine Vorrichtung sowie ein Verfahren zum Lokalisieren von in dem Geflügelbein 10 vorhandenen knöchernen Teilen. Die erfindungsgemäße Vorrichtung sowie das erfindungsgemäße Verfahren werden im Folgenden zunächst anhand der Figur 4 näher erläutert. Die Vorrichtung umfasst eine Fördereinrichtung 23, die zum Fördern der Geflügelbeine 10 in eine Förderrichtung 16 ausgebildet ist. Mittels eines ersten optischen Bildgebers 24, der schematisch in Figur 2 dargestellt ist, werden Digitalbilder 25 der Vorder- oder Rückseiten der Geflügelbeine 10 erfasst. Als besonders vorteilhaft hat sich herausgestellt, stets die Vorderseiten der Geflügelbeine 10 zu erfassen. Grundsätzlich ist es jedoch möglich, stets die Rückseiten der Geflügelbeine 10 zu erfassen. Die Vorrichtung umfasst weiter ein - in der Zeichnung nicht gezeigtes - erstes neuronales Netz, das zum Lokalisieren der knöchernen Teile in dem Geflügelbein 10 ausgebildet ist. Das erste neuronale Netz ist zuvor mittels des erfindungsgemäßen Verfahrens zum Trainieren eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen trainiert worden.
Die erfindungsgemäße Vorrichtung umfasst weiter eine - in der Zeichnung nicht gezeigte - Eingabeeinheit, die eingerichtet ist, die Digitalbilder als Eingabedaten an das erste neuronale Netz sequenziell bereitzustellen. Mit anderen Worten erhält das erste neuronale Netz vorzugsweise die Digitalbilder der Vorderseiten der Geflügelbeine 10 als Eingangsdaten. Das entsprechend trainierte erste neuronale Netz ist eingerichtet, basierend auf diesen Eingabedaten Positionsdaten 31 der knöchernen Teile zu ermitteln und dieser ermittelten Positionsdaten 31 zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine 26 zur Bearbeitung der Geflügelbeine 10 auf Basis der ermittelten Positionsdaten 31 bereitzustellen.
Die Schritte des Verfahrens gehen ergänzend aus dem Blockschaltbild gemäß Figur 5 hervor. Die mittels der Fördereinrichtung 23 in Förderrichtung 16 geförderten Geflügelbeine 10 passieren den ersten optischen Bildgeber 24, mittels dessen zu gegebenen Zeitpunkten Digitalbilder 25 der Vorder- oder Rückseiten der Geflügelbeine 10 erfasst werden. Optional werden die Digitalbilder 25 einer Vorverarbeitung 28 unterzogen sowie anschließend deren Ausrichtung geprüft. Wie gesagt, ist die Vorverarbeitung 28 der Digitalbilder 25 ebenso wie Durchführung der Schritte 29, 30 rein optional. Auf wei- tere Details der vorgenannten Schritte wird weiter unten eingegangen. Grundsätzlich ist es also möglich, die Digitalbilder 25 ohne weitere Vorverarbeitung im Schnitt 27 als Eingabedaten für das erste neuronale Netz sequenziell bereitzustellen. Wie zuvor beschrieben, erfolgt dann im Schritt 27 die Ermittlung der Positionsdaten 31 mittels des ersten neuronalen Netzes. Weiter bevorzugt wird jedenfalls zum Aufnahmezeitpunkt der optischen Bilddaten das Geflügelbein 10 beleuchtet, vorzugsweise mittels Blitzlichts.
Die Gestalt des neuronalen Netzes kann vielfältig sein. Grundsätzlich kommen sämtliche mehrschichtigen Netze in Betracht. Als besonders vorteilhaft bezüglich der Erkennungsgenauigkeit bei gleichzeitig vertretbarem algorithmischem Aufwand hat sich eine Netzstruktur mit 29 Schichten erwiesen. Von diesen 29 Schichten sind vorzugweise sechzehn zweidimensionale Faltungsschichten. Weiter bevorzugt sind die Faltungsschichten in vier Blöcke aufgeteilt, welche jeweils von einer Max- Pooling- und einer Dropout-Schicht gefolgt werden. Vorteilhafterweise werden mit Ausnahme der letzten Schicht, bei der eine Sigmoid-Funktion verwendet wird, alle anderen Schichten mit Hilfe einer Rectifier-Funktion aktiviert.
Die Eingangsschicht des ersten neuronalen Netzes bildet vorzugsweise eine Eingangsschicht, die eingerichtet ist, die Digitalbilder mit einer Auflösung von vorzugsweise 300 x 300 Pixeln zu verarbeiten. Die Ausgabeschicht des ersten neuronalen Netzes umfasst bevorzugt vierzehn Knoten, die jeweils die x- und y-Koordinaten der sieben Referenzpunkte 20 repräsentieren. Weiter bevorzugt ist das erste neuronale Netz eingerichtet, sämtliche Berechnungen unter Nutzung der Fließkommaarithmetik auszuführen. Insbesondere erfolgen die Berechnungen mittels Fließkommazahlen, bevorzugt vom Typ „float“, mit einer Auflösung von 16 oder 32 Bit. Weiter bevorzugt ist das erste neuronale Netz mittels einer Vielzahl von Prozessoren zur parallelläufigen Berechnung ausgebildet.
Vorzugsweise umfassen die Referenzpunkte 20 jeweils zwei Punkte zur Kennzeichnung von Oberschenkel 11 und Unterschenkel 12 sowie drei Punkte zur Kennzeichnung der Kniescheibe. So kennzeichnen die Oberschenkelreferenzpunkte 20a, 20b die Lage des Oberschenkelknochens 11 , die Unterschenkelreferenzpunkte 20c, 20d die Position des Unterschenkelknochens 12 und die Kniescheibenreferenzpunkte 20e, 20f und 20g die Lage der Kniescheibe. Selbstverständlich ist die vorliegende Erfindung nicht auf die genannte Anzahl an Referenzpunkten 20 beschränkt. Vielmehr ist es möglich, auch mehr Referenzpunkte 20 vorzugeben.
Weiter bevorzugt bilden die Oberschenkelreferenzpunkte 20a, 20b sowie die Unterschenkelreferenzpunkte 20c, 20d jeweils Punktpaare. Diese Punktpaare kennzeichnen vorzugsweise die Position der Knochenendbereiche 21. Vorzugsweise bilden die Kniescheibenreferenzpunkte 20e, 20f, 20g eine Punktwolke 22, deren Punkte Randposition der Kniescheibe referenzieren. Die Punktwolke 22 umfasst mindestens einen der Kniescheibenreferenzpunkte 20e, 20f, 20g. Vorzugsweise umfasst die Punktwolke 22 jedoch die in Figur 3 gezeigten drei Kniescheibenreferenzpunkte 20e, 20f, 20g, die den Rand der Kniescheibe referenzieren. Alternativ ist es möglich, dass die Punktwolke 22 - wie eingangs erwähnt - nur einen Punkt umfasst, vorzugsweise nur den oberen Kniescheibenreferenzpunkt 20g oder einen - in der Zeichnung nicht gezeigten - Punkt, der in der Mitte der Kniescheibe liegt.
Gemäß einer weiteren bevorzugten Ausführung der Erfindung umfasst die Punktwolke 22 jedenfalls zwei der Referenzpunkte 20e, 20g, nämlich einen unteren Kniescheibenreferenzpunkt und einen oberen Kniescheibenreferenzpunkt.
Das erfindungsgemäße Verfahren umfasst bevorzugt auch das Ermitteln eines Schneidlinienverlaufes aus den bereitgestellten Positionsdaten mittels einer - in der Zeichnung nicht gezeigten - Steuereinheit der nachgeordneten Maschine 26. Mittels der Steuereinheit der nachgeordneten Maschine 26 wird ein steuerbeweglich eingerichtetes Messer entlang dieses Schneidlinienverlaufes bewegt, um das Geflügelbein 10 zu entbeinen. Durch Kenntnis der Positionen der knöchernen Teile in dem Geflügelbein 10 ist es möglich einen optimalen Schneidlinienverlauf zu ermitteln, um möglichst wenig Restfleisch an den jeweiligen Knochen zu belassen, gleichzeitig jedoch zu verhindern, dass das Messer in die knöchernen Teile selbst schneidet.
Figur 6 zeigt ein Flussdiagramm zu der eingangs angesprochenen Vorverarbeitung 28. Der Schritt 28 besteht vorzugsweise darin, dass die Digitalbilder 25 zunächst einer Linsenkorrektur 38 unterzogen werden. Anschließend erfolgt vorteilhafterweise die Hintergrundmaskierung 39, um den Bildbereich freizustellen, in dem das Geflügelbein 10 sichtbar ist. Weiter bevorzugt wird in einem nächsten Downsampling-Schritt 40 die Auflösung des Digitalbildes reduziert, beispielsweise auf eine Auflösung von 300 x 300 oder vorzugsweise 100 x 100 oder 128 x 128 Pixeln. Die vorliegende Erfindung ist je- doch nicht auf die genannten Auflösungen beschränkt. Vielmehr kann jede andere Auflösungsreduzierung zur Anwendung kommen. Optional erfolgt anschließend eine Farbkonversion 41 , beispielsweise in ein BGR- oder Graustufenbild. Zur Anpassung des Digitalbildes 25 zur Eingabe an das erste neuronale Netz erfolgt anschließend vorzugsweise eine Konvertierung in Fließkommazahlen mittels eines Fließkommakonvertierungsschrittes 42.
Weiter bevorzugt werden die erfassten Digitalbilder 25 der Geflügelbeine 10 vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz einer in Figur 5 gezeigten Beinseitenerkennungseinrichtung 32 zugeführt. Diese ist eingerichtet, eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder 25 von einem rechten oder einem linken Geflügelbein stammt. Um den Trainingsaufwand und die algorithmische Komplexität des ersten neuronalen Netzes so gering wie möglich zu halten, ist dieses vorzugsweise nur auf einen Typ der Geflügelbeine 10, nämlich entweder linke oder rechte Geflügelbeine 10 trainiert. Um eine zuverlässige Erkennung der knöchernen Teile mittels des ersten neuronalen Netzes zu gewährleisten, ist es daher erforderlich, die Digitalbilder 25 von den „richtigen“ Geflügelbeinen 10 zu erstellen, also beispielsweise immer von linken Geflügelbeinen, wenn das neuronale Netz zuvor mit linken Geflügelbeinen 10 trainiert worden ist.
Vorteilhafterweise sind das erfindungsgemäße Verfahren sowie die Vorrichtung eingerichtet, automatisch zu ermitteln, ob das aufgenommene Digitalbild 25 von einem rechten Geflügelbein 10 oder einem linken Geflügelbein 10 stammt. Falls das Digitalbild 25 nicht mit einer vorgegebenen Beinseite übereinstimmt, ist die Beinseitenerkennungseinrichtung 32 eingerichtet, die Bilddaten des jeweiligen Digitalbilds 25 an einer virtuellen Achse zu spiegeln, um das Digitalbild 25 eines rechten Geflügelbeins 10 in ein scheinbares Digitalbild 25 eines linken Geflügelbeins 10 und umgekehrt umzuwandeln.
Ist das erste neuronale Netz beispielsweise mit linken Geflügelbeinen 10 trainiert worden, so wird mittels der Beinseitenerkennungseinrichtung 32 das Digitalbild 25 nicht verändert, falls diese erkennt, dass es sich um ein linkes Geflügelbein 10 handelt. Die Weitergabe des Digitalbildes 25 erfolgt dann, wie in Figur 5 gezeigt, über den Signalflusspfeil 34. Andernfalls wird das Digitalbild 25 entlang des Signalflusspfeils 35 geleitet, um im Schritt 33, wie zuvor beschrieben, gespiegelt zu werden. Das Digitalbild 25 gelangt so entlang der Signalflusspfeile 34 oder 36 entweder direkt als Eingabe an das erste neuronale Netz zum Lokalisieren der knöchernen Teile im Schritt 27 oder nach der Bildspiegelung.
Vorzugsweise erfolgt die Beinseitenerkennung mittels eines zweiten neuronalen Netzes, das mit Bildern von Geflügelbeinen 10 der vorgegebenen Beinseite trainiert worden ist, also beispielsweise mit linken Beinen. Die Beinseitenerkennungseinrichtung 32 umfasst also bevorzugt das zweite neuronale Netz. Wird ein Digitalbild 25 erkannt, das der vorgegebenen Beinseite entspricht, so bleibt das Digitalbild 25 - wie zuvor beschrieben - unverändert. Erkennt das zweite neuronale Netz nicht die vorgegebene Beinseite, wird das Digitalbild 25 gespiegelt.
Weiter bevorzugt werden die Digitalbilder 25 der Geflügelbeine 10 vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz und/oder vor der Beinseitenerkennung einer Vorder-/Rückseitenerkennungseinrichtung 37 zugeführt. Die Vorder-/Rück- seitenseitenerkennungseinrichtung 37 ist ausgebildet, festzustellen, ob das jeweilige der Digitalbilder 25 die Vorderseite oder die Rückseite des Geflügelbeins 10 zeigt. Falls das Digitalbild 25 nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, ist diese eingerichtet, eine Drehung des Geflügelbeines 10 derart zu veranlassen, dass dieses mit der jeweils anderen Seite zu dem ersten optischen Bildgeber 24 gerichtet ist. Dieser Vorgang ist schematisch in der Figur 8 dargestellt.
Die Fördereinrichtung 16 umfasst hierzu eine Vielzahl an Hängeaufnahmen 43, die jeweils zur Aufnahme eines der Geflügelbeine 10 ausgebildet und eingerichtet sind. Die Hängeaufnahmen 43 sind jeweils schwenksteuerbeweglich um deren Hochachse 44 ausgebildet. In der Seitenansicht der Fördereinrichtung 16 in Figur 8 ist eine solche Hängeaufnahme 43 im Detail gezeigt. Sofern mittels der Vorder-Rückseitenerken- nungseinrichtung 37 festgestellt worden ist, dass das jeweilige Geflügelbein 10 nicht mit der gewünschten Seite zu dem ersten optischen Bildgeber 24 gerichtet war, veranlasst diese die jeweilige Hängeaufnahme 43 der Fördereinrichtung 16, eine 180°-Dre- hung im Schritt 46 auszuführen. Anschließend wird mittels eines zweiten optischen Bildgebers 45, der dem ersten optischen Bildgeber 24 bezüglich der Förderrichtung 16 nachgeordnet ist, die nun zu dem zweiten optischen Bildgeber 45 zeigende Geflügelbeinseite erfasst.
Vorzugsweise erfolgt die Vorder-/Rückseitenseitenerkennung mittels eines dritten neuronalen Netzes, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rück- seite trainiert worden ist. Die Vorder-/Rückseitenerkennungseinrichtung umfasst folglich vorzugsweise das dritte neuronale Netz.
Die Aufgabe wird durch ein nichtflüchtiges computerlesbares Speichermedium, umfas- send ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren zum Lokalisieren von in dem Geflügelbein 10 vorhandenen knöchernen Teilen auszuführen, gelöst.
Gemäß einer vorteilhaften Ausbildung der Erfindung umfassen die Objektive der opti- sehen Kamera 14 sowie der ersten und zweiten optischen Bildgeber 24, 45 Polarisationsfilter. Diese sind dazu ausgebildet, mögliche Reflexionen zu reduzieren, die beispielsweise durch feuchte oder nasse Oberflächen der Geflügelbeine 10 entstehen.

Claims

- 25 -
Ansprüche
1. Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein (10) vorhandenen knöchernen Teilen, umfassend folgende Schritte:
Bereitstellen einer Vielzahl von Geflügelbeinen (10),
- Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine (10) im optisch sichtbaren Wellenlängenbereich mittels einer optischen Kamera (14) zur Erzeugung optischer Bilddaten zu jedem der Geflügelbeine (10),
Bestrahlen der Rück- oder Vorderseite der Geflügelbeine (10) mit Röntgenstrahlung (17) einer Röntgenquelle (18) und Aufnehmen von Röntgenbildern auf der der Röntgenquelle (18) abgewandten Seite der Geflügelbeine (10) mittels eines Röntgenbildgebers (19) zur Erzeugung von Röntgenbilddaten zu jedem der Geflügelbeine (10),
Festlegen von Referenzpunkten (20) zur Kennzeichnung der Positionen der knöchernen Teile anhand der Röntgenbilddaten,
Überlagern der optischen Bilddaten mit den Positionen der Röntgenbilddaten unter Erzeugung von Hybridbilddaten zu jedem der Geflügelbeine,
Eingeben der optischen Bilddaten der optischen Kamera als Eingangsdaten und der Referenzpunkte als Zieldaten als Trainingsdaten für das neuronale Netz, repetierendes Anpassen der Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten. 2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Referenzpunkte (20) Oberschenkelreferenzpunkte (20a, 20b), Unterschenkelreferenzpunkte (20c, 20d) sowie Kniescheibenreferenzpunkte (20e, 20f, 20g) umfassen.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Oberschenkelreferenzpunkte (20a, 20b) und die Unterschenkelreferenzpunkte (20c, 20d) Punktpaare sind, die jeweils die Position der Knochenendbereichen (21) bezeichnen.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Kniescheibenreferenzpunkte (20e, 20f, 20g) eine mindestens einen Punkt umfassende Punktwolke (22) bilden, wobei die Punkte der Punktwolke (22) Randpositionen der Kniescheibe referenzieren.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt (20g) sowie einen unteren Kniescheibenreferenzpunkt (20e) umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte (20g, 20e) auf einem Kniescheibenrandbereich lokalisiert sind.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass objektzugehörige Bildbereiche der optischen Bilddaten und die Röntgenbilddaten vor der Erzeugung der Hybridbilddaten vom Bildhintergrund freigestellt werden.
7. Nichtflüchtiges computerlesbares Speichermedium umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen. Verfahren zum Lokalisieren von in einem Geflügelbein (10) vorhandenen knöchernen Teilen, umfassend die Schritte:
Fördern der Geflügelbeine (10) in eine Förderrichtung (16) mittels einer Fördereinrichtung (23),
Erfassen von Digitalbildern (25) der Vorder- oder Rückseiten der Geflügelbeine (10) mittels eines ersten optischen Bildgebers (24) zu jedem der an dem Bildgeber (24) vorbeigeförderten Geflügelbeine (10), sequentielles Bereitstellen der Digitalbilder (25) als Eingabedaten an ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, wobei das erste neuronale Netz zum Lokalisieren der knöchernen Teile gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 trainiert worden ist,
Ermitteln von Positionsdaten (31) der knöchernen Teile mittels des ersten neuronalen Netzes und
Bereitstellen der Positionsdaten (31) zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine (26) zur Bearbeitung der Geflügelbeine (10) auf Basis der ermittelten Positionsdaten. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte (20a, 20b), Unterschenkelreferenzpunkte (20c, 20d) sowie Kniescheibenreferenzpunkte (20e, 20f, 20g) umfassen. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Oberschenkelreferenzpunkte (20a, 20b) und die Unterschenkelreferenzpunkte (20c, 20d) Punktpaare sind, die jeweils die Position der Knochenendbereiche (21) bezeichnen. - 28 - Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Kniescheibenreferenzpunkte (20e, 20f, 20g) eine mindestens einen Punkt umfassende Punktwolke (22) bilden, wobei die Punkte der Punktwolke (22) Randpositionen der Kniescheibe referenzieren. Verfahren nach Anspruch 11 , dadurch gekennzeichnet, dass die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt (20g) sowie einen unteren Kniescheibenreferenzpunkt (20e) umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte (20g, 20e) auf einem Kniescheibenrandbereich lokalisiert sind. Verfahren nach einem der Ansprüche 8 bis 12, gekennzeichnet durch Ermitteln eines Schneidlinienverlaufes aus den bereitgestellten Positionsdaten (31) mittels einer Steuereinheit der nachgeordneten Maschine (26) und Bewegen eines steuerbeweglich eingerichteten Messers der nachgeordneten Maschine (26) mittels der Steuereinheit entlang dieses Schneidlinienverlaufes, um das Geflügelbein (10) zu entbeinen. Verfahren nach einem der Ansprüche 8 bis 13, dadurch gekennzeichnet, dass die erfassten Digitalbilder (25) der Geflügelbeine (10) vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz einer Beinseitenerkennungseinrichtung (32) zugeführt werden, die eingerichtet ist, eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder (25) von einem rechten oder einem linken Geflügelbein (10) stammt und, falls das Digitalbild (25) nicht mit einer vorgegebenen Beinseite übereinstimmt, die Bilddaten des jeweiligen Digitalbilds (25) an einer virtuellen Achse zu spiegeln, um das Digitalbild (25) eines rechten Geflügelbeins (10) in ein scheinbares Digitalbild eines linken Geflügelbeins (10) und umgekehrt umzuwandeln. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Beinseitenerkennung mittels eines zweiten neuronalen Netzes erfolgt, das mit Bildern von Geflügelbeinen (10) der vorgegebenen Beinseite trainiert worden ist. - 29 -
16. Verfahren nach einem der Ansprüche 8 bis 15, dadurch gekennzeichnet, dass die Digitalbilder (25) der Geflügelbeine (10) vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz und/oder vor der Beinseitenerkennung einer Vorder-/Rückseitenerkennungseinrichtung (37) zugeführt werden, die eingerichtet ist, eine Vorder-/Rückseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder (25) die Vorderseite oder die Rückseite des Geflügelbeins (10) zeigt und, falls das Digitalbild (25) nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, eine das jeweilige Geflügelbein (10) haltende und um deren Hochachse (44) schwenksteuerbewegliche Hängeaufnahme (43) der Fördereinrichtung (16) zu verlassen, eine 180°-Drehung auszuführen und von der zum ersten optischen Bildgeber (24) weisenden Seite des Geflügelbeins (10) ein Digitalbild (25) mittels eines zweiten optischen Bildgebers (25), der dem ersten optischen Bildgeber (24) bezüglich der Förderrichtung (16) nachgeordnet ist, zu erfassen.
17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die Vorder-/Rück- seitenerkennung mittels eines dritten neuronalen Netzes erfolgt, das mit Bildern von Geflügelbeinen (10) der vorgegebenen Vorder-/Rückseite trainiert worden ist.
18. Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein (10) vorhandenen knöchernen Teilen, umfassend eine Vielzahl von Geflügelbeinen (10), eine zum Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine (10) im optisch sichtbaren Wellenlängenbereich eingerichtete und zur Erzeugung optischer Bilddaten zu jedem der Geflügelbeine (10) ausgebildete optische Kamera (14), - 30 - eine zum Bestrahlen der Rück- oder Vorderseite der Geflügelbeine (10) mit Röntgenstrahlung (17) eingerichtete Röntgenquelle (18) und ein zum Aufnehmen von Röntgenbildern auf der der Röntgenquelle (18) abgewandten Seite der Geflügelbeine (10) eingerichteter und zur Erzeugung von Röntgenbilddaten zu jedem der Geflügelbeine (10) ausgebildeter Röntgenbildgeber (19), eine zum Anzeigen der Röntgenbilddaten und/oder zum Anzeigen von Hybridbilddaten und zum Eingeben von festzulegenden Referenzpunkten, die zur Kennzeichnung der Positionen der knöchernen Teile dienen, ausgebildete Anzeige- und Eingabeeinrichtung, eine zum Überlagern der optischen Bilddaten mit den Röntgenbilddaten und/oder den Referenzpunkten unter Erzeugung der Hybridbilddaten zu jedem der Geflügelbeine (10) ausgebildete Überlagerungseinheit, mindestens ein neuronales Netz und eine Lernzyklus-Steuereinheit, die zum Eingeben der optischen Bilddaten als Eingangsdaten und der Referenzpunkte als Zieldaten als Trainingsdaten für das neuronale Netz ausgebildet und eingerichtet ist, wobei die Lernzyklus-Steuereinheit eingerichtet ist, Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten repetierend anzupassen. Anordnung nach Anspruch 18, dadurch gekennzeichnet, dass die Referenzpunkte (20) Oberschenkelreferenzpunkte (20a, 20b), Unterschenkelreferenzpunkte (20c, 20d) sowie Kniescheibenreferenzpunkte (20e, 20f, 20g) umfassen. Anordnung nach Anspruch 19, dadurch gekennzeichnet, dass die Oberschenkelreferenzpunkte (20a, 20b) und die Unterschenkelreferenzpunkte (20c, 20d) Punktpaare sind, die jeweils die Position der Knochenendbereiche (21) bezeichnen. - 31 - Anordnung nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass die Kniescheibenreferenzpunkte (20e, 20f, 20g) eine mindestens einen Punkt umfassende Punktwolke (22) bilden, wobei die Punkte der Punktwolke (22) Randpositionen der Kniescheibe referenzieren. Anordnung nach Anspruch 21 , dadurch gekennzeichnet, dass die Punktewolke (22) wenigstens einen oberen Kniescheibenreferenzpunkt (20g) sowie einen unteren Kniescheibenreferenzpunkt (20e) umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte (20g, 20e) auf einem Kniescheibenrandbereich lokalisiert sind. Anordnung nach einem der Ansprüche 18 bis 22, dadurch gekennzeichnet, dass die Überlagerungseinheit eingerichtet ist, objektzugehörige Bildbereiche der optischen Bilddaten und der Röntgenbilddaten vor der Erzeugung der Hybridbilddaten vom Bildhintergrund freizustellen. Vorrichtung zum Lokalisieren von in einem Geflügelbein (10) vorhandenen knöchernen Teilen, umfassend eine zum Fördern der Geflügelbeine (10) in eine Förderrichtung (16) eingerichtete Fördereinrichtung (23), einen zum Erfassen von Digitalbildern (25) der Vorder- oder Rückseiten der Geflügelbeine (10) ausgebildeten ersten optischen Bildgeber (24), ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, das gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 trainiert worden ist, sowie eine zum sequentiellen Bereitstellen der Digitalbilder (25) als Eingabedaten an das erste neuronale Netz eingerichtete Eingabeeinheit, wobei - 32 - das erste neuronale Netz eingerichtet ist, Positionsdaten (31) der knöchernen Teile zu ermitteln und die Positionsdaten (31) zur Anzeige und/ oder Weitergabe an eine nachgeordnete Maschine (26) zur Bearbeitung der Geflügelbeine (10) auf Basis der ermittelten Positionsdaten (31) bereitzustellen.
25. Vorrichtung nach Anspruch 24, dadurch gekennzeichnet, dass die Referenzpunkte (20) Oberschenkelreferenzpunkte (20a, 20b), Unterschenkelreferenzpunkte (20c, 20d) sowie Kniescheibenreferenzpunkte (20e, 20f, 20g) umfassen.
26. Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, dass die Oberschenkelreferenzpunkte (20a, 20b) und die Unterschenkelreferenzpunkte (20c, 20d) Punktpaare sind, die jeweils die Position der Knochenendbereiche (21) bezeichnen.
27. Vorrichtung nach Anspruch 25 oder 26, dadurch gekennzeichnet, dass die Kniescheibenreferenzpunkte (20e, 20f, 20g) eine mindestens einen Punkt umfassende Punktwolke (22) bilden, wobei die Punkte der Punktwolke (22) Randpositionen der Kniescheibe referenzieren.
28. Vorrichtung nach einem der Ansprüche 25 bis 27, dadurch gekennzeichnet, dass die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind.
29. Vorrichtung nach einem der Ansprüche 24 bis 28, gekennzeichnet durch eine zum Ermitteln eines Schneidlinienverlaufes der lokalisierten knöchernen Teile aus den bereitgestellten Positionsdaten (31) eingerichtete Steuereinheit der nachgeordneten Maschine (26), wobei die Steuereinheit ferner ausgebildet ist, zur Bearbeitung der Geflügelbeine (10) ein steuerbeweglich eingerichtetes - 33 -
Messer der nachgeordneten Maschine (26) entlang dieses Schneidlinienverlaufes zu bewegen, um das Geflügelbein (10) zu entbeinen.
30. Vorrichtung nach einem der Ansprüche 24 bis 29, weiter umfassend eine Beinseitenerkennungseinrichtung (32), die ausgebildet ist, anhand der erfassten Digitalbilder (25) der Geflügelbeine (10) vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder (25) von einem rechten oder einem linken Geflügelbein (10) stammt und, falls das Digitalbild (25) nicht mit einer vorgegebenen Beinseite übereinstimmt, die Bilddaten des jeweiligen Digitalbilds (25) an einer virtuellen Achse zu spiegeln, um das Digitalbild (25) eines rechten Geflügelbeins (10) in ein scheinbares Digitalbild (25) eines linken Geflügelbeins (10) und umgekehrt umzuwandeln.
31. Vorrichtung nach Anspruch 30, dadurch gekennzeichnet, dass die Beinseitenerkennung ein zweites neuronales Netz umfasst, das mit Bildern von Geflügelbeinen (10) der vorgegebenen Beinseite trainiert worden ist.
32. Vorrichtung nach einem der Ansprüche 24 bis 31 , weiter umfassend eine Vor- der-/Rückseitenerkennungseinrichtung (37), die eingerichtet ist, bevor die Digitalbilder (25) der Geflügelbeine (10) als Eingabedaten an das erstes neuronale Netz bereitgestellt und/oder bevor die Beinseitenerkennung durchgeführt wird, eine Vorder-/Rückseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder (25) die Vorderseite oder die Rückseite des Geflügelbeins (10) zeigt und, falls das Digitalbild (25) nicht mit einer vorgegebenen Vor- der-/Rückseite übereinstimmt, eine das jeweilige Geflügelbein (10) haltende und um deren Hochachse (44) schwenksteuerbewegliche Hängeaufnahme (43) der Fördereinrichtung (23) zu verlassen, eine 180°-Drehung auszuführen und von der zum ersten optischen Bildgeber (24) weisenden Seite des Geflügelbeins ein Digitalbild (25) mittels eines zweiten optischen Bildgebers (45), der dem ersten optischen Bildgeber (24) bezüglich der Förderrichtung (16) nachgeordnet ist, zu erfassen. Vorrichtung nach Anspruch 32, dadurch gekennzeichnet, dass die Vorder-/ Rückseitenerkennungseinrichtung (37) ein drittes neuronales Netz umfasst, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rückseite trainiert worden ist. Nichtflüchtiges computerlesbares Speichermedium umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren nach einem der Ansprüche 8 bis 17 auszuführen.
PCT/EP2021/070826 2021-07-26 2021-07-26 Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen WO2023006173A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CA3174181A CA3174181A1 (en) 2021-07-26 2021-07-26 Methods, apparatuses and arrangement for locating bony parts present in a poultry leg
PCT/EP2021/070826 WO2023006173A1 (de) 2021-07-26 2021-07-26 Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen
KR1020247006107A KR20240037319A (ko) 2021-07-26 2021-07-26 가금류 다리에 존재하는 뼈 부분을 찾는 방법, 장치 및 배치
CN202180100355.6A CN117651490A (zh) 2021-07-26 2021-07-26 用于定位存在于家禽腿中的骨部分的方法、设备和机构
EP21749591.0A EP4376624A1 (de) 2021-07-26 2021-07-26 Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen
AU2021457761A AU2021457761A1 (en) 2021-07-26 2021-07-26 Methods, devices and arrangement for locating bony parts present in a poultry leg
ARP220101967A AR126562A1 (es) 2021-07-26 2022-07-25 Metodos, aparatos y disposición para ubicar partes óseas presentes en una pata de ave de corral

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2021/070826 WO2023006173A1 (de) 2021-07-26 2021-07-26 Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen

Publications (3)

Publication Number Publication Date
WO2023006173A1 WO2023006173A1 (de) 2023-02-02
WO2023006173A9 true WO2023006173A9 (de) 2023-04-06
WO2023006173A8 WO2023006173A8 (de) 2023-11-02

Family

ID=77180002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/070826 WO2023006173A1 (de) 2021-07-26 2021-07-26 Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen

Country Status (7)

Country Link
EP (1) EP4376624A1 (de)
KR (1) KR20240037319A (de)
CN (1) CN117651490A (de)
AR (1) AR126562A1 (de)
AU (1) AU2021457761A1 (de)
CA (1) CA3174181A1 (de)
WO (1) WO2023006173A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056793A1 (ja) 2010-10-27 2012-05-03 株式会社前川製作所 Ｘ線を用いた骨付き肉の脱骨方法及び装置
US10721947B2 (en) * 2016-07-29 2020-07-28 John Bean Technologies Corporation Apparatus for acquiring and analysing product-specific data for products of the food processing industry as well as a system comprising such an apparatus and a method for processing products of the food processing industry
JP2020183876A (ja) * 2019-04-26 2020-11-12 株式会社前川製作所 特徴点認識システムおよびワーク処理システム

Also Published As

Publication number Publication date
AU2021457761A1 (en) 2024-02-22
CN117651490A (zh) 2024-03-05
AR126562A1 (es) 2023-10-25
EP4376624A1 (de) 2024-06-05
WO2023006173A8 (de) 2023-11-02
WO2023006173A1 (de) 2023-02-02
CA3174181A1 (en) 2023-01-26
KR20240037319A (ko) 2024-03-21

Similar Documents

Publication Publication Date Title
EP3883716B1 (de) Erkennung von bearbeitungsfehlern eines laserbearbeitungssystems mithilfe von tiefen faltenden neuronalen netzen
DE102012204019B4 (de) Verfahren zur Reduzierung von Bewegungsartefakten
EP0880109B1 (de) Verfahren zur Ermittlung der Transformation zwischen einem Objekt und seiner dreidimensionalen Darstellung und Anordnung zur Durchführung des Verfahrens
EP3401411B1 (de) Verfahren und vorrichtung zur fehlerstellenerkennung bei biegeschlaffen körpern, insbesondere tierhäuten
DE102018110749B3 (de) Verfahren zum Überprüfen eines Druckzylinders und eine entsprechende Anordnung
DE112007001360T5 (de) Stent-Inspektionssystem
DE102008037692A1 (de) Verfahren, Anordnung und Computerprogramm zur quantitativen Bifurkationsanalyse bei Angiographiebildern
DE60308295T2 (de) Vorrichtung und Verfahren für Hochgeschwindigkeitsröntgeninspektion
DE102012107278A9 (de) Verfahren und Vorrichtung zur Überwachung einer Fleischverarbeitungsmaschine
DE3336470A1 (de) Verfahren und anordnung zum vergleich von bildern
DE10245720A1 (de) Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs
DE202015102791U1 (de) System zur Erfassung von Bilddaten einer Oberfläche eines Objekts und Kamerasystem zur Verwendung in einem solchen System
EP1262147B1 (de) Vorrichtung und Verfahren zur Anpassung der Strahlungsdosis einer Röntgenstrahlungsquelle
DE102005021001A1 (de) Bildbasiertes Verfahren zum Detektieren und Entfernen von kleinen Fragmenten in segmentierten dreidimensionalen Volumina
DE102017215059B3 (de) Verfahren zum Betrieb einer bildgebenden Röntgeneinrichtung, insbesondere Computertomograph, Röntgeneinrichtung und Computerprogrammprodukt
EP3210537B1 (de) Erstellung eines dreidimensionalen abbilds eines körperteils durch ein röntgengerät
EP2527103A1 (de) Verfahren zum Festlegen der auszuschneidenden Teile eines flächigen Materials unter Verwendung eines Fotos
WO2023006173A9 (de) Verfahren, vorrichtungen und anordnung zum lokalisieren von in einem geflügelbein vorhandenen knöchernen teilen
EP3637362A1 (de) Verfahren zur anpassung eines bildeindrucks
DE19855250A1 (de) Verfahren zur Bildoptimierung eines Röntgenbildes
EP3298439B1 (de) Korrektur von röntgenbildern
WO2022194744A1 (de) Verfahren für eine überprüfung von gepäckstücken zur erkennung von objekten
WO2008031369A1 (de) System und verfahren zur bestimmung der position und der orientierung eines anwenders
DE102006041028B3 (de) Verfahren zur Bildregistrierung bei einem Röntgendurchleuchtungsverfahren
DE102022202064A1 (de) Röntgenprüfgerät und röntgenprüfverfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21749591

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180100355.6

Country of ref document: CN

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112024000854

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: AU2021457761

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 20247006107

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2021457761

Country of ref document: AU

Date of ref document: 20210726

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020247006107

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2021749591

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021749591

Country of ref document: EP

Effective date: 20240226

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112024000854

Country of ref document: BR

Free format text: APRESENTE DOCUMENTOS COMPROBATORIOS QUE EXPLIQUEM E REGULARIZEM A INCLUSAO DA PRIORIDADE PCT/EP2021/070826 DE 26/07/2021 CONSTANTE NO FORMULARIO DA PETICAO NO 870240003946 E QUE NAO CONSTA NO PEDIDO INTERNACIONAL. A EXIGENCIA DEVE SER RESPONDIDA EM ATE 60 (SESSENTA) DIAS DE SUA PUBLICACAO E DEVE SER REALIZADA POR MEIO DA PETICAO GRU CODIGO DE SERVICO 207.

ENP Entry into the national phase

Ref document number: 112024000854

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20240116