WO2019012092A1 - Stunning device for automatically stunning slaughter animals - Google Patents

Stunning device for automatically stunning slaughter animals Download PDF

Info

Publication number
WO2019012092A1
WO2019012092A1 PCT/EP2018/069048 EP2018069048W WO2019012092A1 WO 2019012092 A1 WO2019012092 A1 WO 2019012092A1 EP 2018069048 W EP2018069048 W EP 2018069048W WO 2019012092 A1 WO2019012092 A1 WO 2019012092A1
Authority
WO
WIPO (PCT)
Prior art keywords
stunning
body part
module
slaughter
slaughtering
Prior art date
Application number
PCT/EP2018/069048
Other languages
German (de)
French (fr)
Inventor
Robert Tönnies
Original Assignee
Bernd-Tönnies-Stiftung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102017115683.6A external-priority patent/DE102017115683A1/en
Priority claimed from DE102018107840.4A external-priority patent/DE102018107840A1/en
Application filed by Bernd-Tönnies-Stiftung filed Critical Bernd-Tönnies-Stiftung
Priority to DE112018003558.1T priority Critical patent/DE112018003558A5/en
Publication of WO2019012092A1 publication Critical patent/WO2019012092A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B3/00—Slaughtering or stunning
    • A22B3/02—Slaughtering or stunning by means of bolts, e.g. slaughtering pistols, cartridges
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B5/00—Accessories for use during or after slaughtering
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B5/00—Accessories for use during or after slaughtering
    • A22B5/0064—Accessories for use during or after slaughtering for classifying or grading carcasses; for measuring back fat
    • A22B5/007—Non-invasive scanning of carcasses, e.g. using image recognition, tomography, X-rays, ultrasound

Definitions

  • the invention relates to an anesthetic device for the automated stunning of slaughter animals, comprising (i) a slaughtering apparatus, (ii) a positioning unit for
  • Exposure position on the basis of the images produced by the imaging device and (v) a control unit for controlling the positioning unit and / or the
  • Such a device is known from the document US 6,623,348 Bl. This shows various plants and methods for manipulating carcasses, including a system and a corresponding method for the automated stunning of slaughter animals with a slaughtering apparatus, a positioning unit for positioning the slaughtering apparatus, a camera, a controller and a software module for detecting the carcasses
  • slaughtered animal is to be understood as an animal intended or at least suitable for slaughtering, examples of slaughter animals are cattle, pigs, sheep, goats and other cloven-hoofed animals, horses and others Equidae, rabbits, etc.
  • the stunning device for the automated stunning of slaughter animals, comprising (i) a slaughtering apparatus, (ii) a positioning unit for
  • the recognition module is designed as an object recognition and tracking module for recognizing and tracking said body part and for tracking the moving with a movement of the body part of the slaughter animal engagement position on the images of the imaging device.
  • Such object recognition and object tracking modules are typically implemented using object recognition and object tracking modules.
  • Software modules as they are known for example from the automotive sector. There they are used in driver assistance systems, where they are used for autonomous parking, for example.
  • object recognition usually describes a method for identifying one or more objects within an object space by means of optical, acoustic or other physical recognition methods.
  • optical, acoustic or other physical recognition methods For example, the presence of an object in an image or a region but also its position and location is determined. It is therefore a 3D recognition.
  • Object recognition methods to distinguish certain objects or patterns from other objects.
  • the actual object must first be described mathematically.
  • Frequently used methods of image processing are edge detection, transformations and size and color recognition.
  • the characteristic features recognized in these methods, such as edges, color features, etc. are then assigned to the individual objects.
  • Object recognition and object tracking methods are used when fast-moving objects in a picture or a series of pictures have to be tracked.
  • mathematical correctors are used, which can adapt to the object.
  • the individual features have motion profiles, which can also be used for assignment to respective objects. In a living animal, different parts of the body result from one
  • Object recognition and object tracking module due to the motion profile of their characteristics are recognized as respective objects in the images and tracked dynamically over time.
  • the corresponding information can be used by the control unit to control the positioning unit and / or the battlegroup, the
  • the body part of the slaughter animal which is relevant for the slaughter apparatus with stunning apparatus is usually the head or the forehead of the head.
  • anesthesia by means of a butchery apparatus, it will inevitably also get into the image area or object space of the imaging device as of a certain point in time and be detected quite analogously as another object.
  • the slaughtering apparatus itself is a device used to slaughter slaughter animals during slaughter.
  • the battlegroup is usually designed as a bolt gun and rather rarely as Kugelschussapparat.
  • the object recognition and object tracking module is adapted to recognize the body part via characteristic features, wherein the module is further adapted to track the movement of the exposure position via the movement of a selected group of these characteristics having a predetermined relative position to the exposure position. Does it come from the view of the imaging device to an overlap of
  • Butchery apparatus and body part with the exposure position so only features with a certain relative position to the exposure position for tracking the object "body part with exposure” can be used because the other features are completely or partially hidden by the slaughtering apparatus or are difficult to see by its shadow.
  • the frame rate and the operating speed of the object recognition and object tracking module must be correspondingly high.
  • the object recognition and object tracking module is set up to determine the engagement position by means of position prediction of future positions of the engagement position, ie to track a previous position profile of the engagement position and to predict a future position profile. These future positions are estimated in particular by temporal filters, in particular by Kalman filters.
  • the control unit controls the positioning unit and / or the slaughtering apparatus in such a way that the slaughtering apparatus or its firing bolt is at the action position at the appropriate time.
  • the imaging optical device has at least one camera or is designed as a camera.
  • a camera system with several cameras can also be provided. It is preferably provided that the camera or at least one of the cameras as an infrared camera and / or 3D camera, in particular Lichtlaufzeitn is formed. Both camera types have advantages in terms of anesthetizing slaughter animals. According to a preferred embodiment of the invention it is provided that the
  • Positioning unit has a robot arm over which the slaughtering machine is positioned.
  • Such a positioning with robotic arm is basically known from the aforementioned document US 6,623,348 Bl.
  • this positioning unit must be sufficiently fast and precise.
  • the robot arm has at least four degrees of freedom.
  • the degrees of freedom can be rotational as well as translational nature.
  • the slaughtering apparatus of the position of action in a moving slaughter animal can be tracked sufficiently well.
  • the positioning unit and / or the slaughtering apparatus on a telescopic rod assembly with a plurality of in- and slide apart elements.
  • Telescope rod assembly is moved to the located at the top of the telescopic rod assembly battlegroup, in the battlegroup with
  • Telescopic rod assembly is moved to the located at the top of the telescopic rod assembly shot pin. If the positioning unit has a robot arm, then the telescopic pole arrangement is preferably arranged at the free end of this robot arm.
  • the stunning device is a lighting device, in particular a
  • Lighting device whose wavelength range matched to the wavelength range of the imaging device or at least one of the imaging devices is, has.
  • the positioning and alignment of this lighting device is adapted to the setup.
  • the stunning device is designed as a semi-automatic, the battling device is triggered only manually.
  • Image processing units for determining coordinates of the exposure position on the basis of the images produced by the at least one imaging device independently of one another, and (b) a control unit which adjusts the coordinates of the exposure positions determined via the image processing units and these only if a plurality of, preferably approves all, determined action positions as detected engagement position.
  • the invention further relates to a method for the automated positioning of a
  • Slaughtering apparatus for anaesthetising slaughtered animals by means of (i) a positioning unit for positioning the slaughtering apparatus, (ii) at least one imaging device for detecting a body part of the slaughtered animal which has an operative position for the slaughtering apparatus
  • Exposure position on the basis of the images created by the imaging device and (iv) a control unit for controlling the positioning unit and / or the
  • the recognition module is designed as an object recognition and object tracking module, which is used to track the movement of the body part of the
  • the object recognition by the object recognition and Object tracking module is performed on characteristic features, wherein the module tracks the movement of the action position on the movement of a selected group of these characteristic features, which has a predetermined relative position to
  • the invention relates to a computer program product comprising program parts which are set up in a processor of a computer for carrying out the aforementioned method.
  • the invention also relates to a use of an object recognition and object tracking module for tracking the movement of a
  • Anesthetic device in particular an anesthetic device as mentioned above, wherein the module recognizes and tracks said body part via images of an imaging device.
  • 1 shows an anesthetic site with a slaughtered animal and a stunning device according to a preferred embodiment of the invention
  • 2 shows an image of the head of the slaughtered animal with various features recognized by an object recognition and object tracking module of the stunning device
  • FIG. 3 shows a slaughtering apparatus with a telescopic rod assembly for a
  • FIG. 4 shows a positioning unit with a telescopic rod arrangement and a
  • Fig. 5 shows the head of the slaughtered animal with an alternatively designed module for measuring the head position.
  • Fig. 1 shows an anesthetic site 10 with a slaughtered animal 12 in a box bounded by gates 14 and a stunning device 16 for automated stunning of the slaughtered animal in the box.
  • the slaughtered animal 12 shown here is a cattle.
  • Other animals for which this stunning device 16 can be used are, for example, sheep, pig, etc.
  • the stunning device 16 has a slaughtering apparatus 18 and a positioning unit 20 for positioning the slaughtering apparatus 18.
  • the shotgun apparatus 18 shown here is a bolt gun.
  • the positioning unit 20 is a robot arm 22 which is fastened in an area above the head end of the box.
  • the robot arm 22 has a plurality of joints, and at a movable end of the arm 22, the slaughtering apparatus 18 is mounted.
  • the stunning device 16 further comprises an imaging device 24 for visually detecting the slaughtered animal 12.
  • the imaging device 24 shown here is a camera 26. This camera 26 is also attached to the robot arm 22, more precisely obliquely behind the rifle gun 18.
  • At least one further imaging device may be provided (not shown in the example).
  • the positioning unit 20 as well as the slaughtering apparatus 18 are controlled by a computer 28 - shown here as a kind of PC with tower, screen, keyboard and mouse.
  • the computer 28 therefore on the one hand forms a control unit 30 for controlling these components 18, 20 of the stunning device 16, on the other hand it forms a
  • Object recognition and object tracking module 32 which is set up to recognize the various body parts of the slaughter animal 14 or at least the body part 34 of the slaughter animal 12 to which the slaughtering apparatus 18 is to act in the sense of object recognition.
  • object recognition usually refers to the identification of one or more objects within an object space by means of optical or other recognition methods. Thus, for example, the presence of an object in an image or a region but also its position and location is determined.
  • Image processing is used to object detection methods to certain objects
  • Image processing is the edge detection, transformations as well as size and
  • Color recognition The characteristic features recognized in these methods, such as edges, color features, etc., are then assigned to the individual objects.
  • control unit 30 is a software-based control unit 30 and the object recognition and object tracking module 32 is a software module or a software-based module.
  • the computer 28 has at least one processor (not shown) and at least one data memory.
  • FIG. 2 now shows a recognized object of an image.
  • the corresponding picture is
  • an image of a picture taken by the camera 26 of FIG. The picture shows next to the object shown here, namely the head 36 of the slaughter animal 12 other objects such.
  • the object "head 36 of a bovine” has, for example, the features: two eyes 38, two horns 40, two ears 42 and a mouth 44, which are relative in the object are arranged to each other in a very specific way. These features 38, 40, 42, 44 are in turn linked to the mentioned characteristic features.
  • the feature eye 38 is associated, for example, with a characteristic brightness feature
  • the features horn 40 and ear 42 with characteristic edges
  • the feature mouth 44 with a characteristic color feature.
  • the object recognition and object tracking module 32 determines the position and dynamics of the corresponding object, in this case the body part 34 "head 36.
  • the action position 46 for the battlegroup or the bolt or ball of this apparatus 46 on the Object / body part 34 can be determined by the recognized features of the object / body part 34.
  • the object recognition and object tracking module 32 is configured to recognize the body portion 34 via characteristic features 38, 40, 42, 44, wherein the module 32 is further configured to track the movement of the exposure position via movement of a selected group of these characteristic features 38, 40 which have a predetermined relative position to the action position 46.
  • the action position 46 results over mutually crossing imaginary connecting lines 48 between a respective horn 40 and an eye 38. At the point of intersection of these imaginary lines 48, the action position 46 is located.
  • the slaughtering apparatus 18 of the body part 34 tracked and finally put on, the slaughtering apparatus 18 is triggered. This can be done technically (e.g.
  • Control unit 30 both automatically or “by hand” via a
  • Anesthesia device 16 thus designed as a semi-automatic, the battling device 18 is triggered only manually.
  • Object tracking module 32 may also recognize and track exposure position 46 based on the images created by imager 24 based on a different type of detection mechanism
  • Detection module done. It is crucial that the detection and tracking is done so quickly that the slaughtering apparatus 18 can be brought into position quickly enough via the positioning unit 20.
  • the slaughtering apparatus 18 should, if possible, be guided to the head 36 of the animal 12 with a rapid but not jerky movement.
  • the movement of the positioning unit 20 (in particular of the robot arm 22 of the positioning unit 20) with the slaughtering apparatus 18 must be triggered at a certain point in time.
  • a key challenge for the image processing software in addition to detecting the ideal exposure position 46 and the ideal angle of impact on the head surface, is therefore to track that exposure position 46 as the animal 12 moves the head 36. In doing so, both translational and rotational movements around the different axes have to be considered.
  • a bolt gun 18 designed as a bolt gun must be placed directly on the scalp of the animal 12 to ensure the penetration of the bolt into the necessary depth of the skull.
  • FIG. 3 shows a slaughtering apparatus 18 with a telescoping rod arrangement 52. In the non-triggered state (left-hand representation), this element has a plurality of elements 54 pushed one inside the other, which rapidly move when the slaughtering apparatus 18 is triggered
  • the front element 54 is the firing pin 50, which is thereby catapulted forward and thus penetrates into the animal's skull (right illustration).
  • the firing pin 50 forming the foremost element 54 may be made massive to increase the impact energy or equipped with an additional weight.
  • the drive of the telescopic rod assembly 52 can be done for example by a propellant charge or by compressed air.
  • a hydraulic or electric drive are conceivable.
  • rubber rings may be inserted as a buffer between the individual elements 54 of the telescopic arrangement, similar to a conventional bolt gun.
  • Fig. 4 shows a positioning unit 20 with telescopic rod assembly 52.
  • the slaughtering apparatus 18 is suspended at the top of this telescopic rod assembly 52 and can be moved up to the anesthetic head of the animal 36 and there the stunning by remote release of the battleship apparatus 18 are made.
  • the meeting point may be, for example, by a laser, the side of the
  • Telescopic pole assembly 52 is mounted, illuminated.
  • the image processing software can then determine the exact orientation of the animal by comparing the nominal meeting position and the position of the projected laser spot on the head 36 of the slaughtered animal
  • the battlegroup 18 may only be deployed if it is a safe
  • Stun shot can be done. This presupposes that the head 36 of the animal 12 moves only sufficiently slowly so that the ideal action position 46 on the head 36 can be determined and tracked accurately enough. In addition, the maximum speed and acceleration of the robotic arm 22 sets limits to the achievable accuracy for fast head movements.
  • one or more sensors can be additionally arranged at appropriate positions. These sensors have only the task of detecting the movements of the head 36. If the speed of the head movement exceeds a preset limit value, the triggering of the
  • Battleshooting apparatus 18 blocked until the speed falls below the limit and a precise shot is thus possible again.
  • These sensors must be able to detect both translational and rotational movements about the various axes. These may be, for example, cameras 26, from whose image sequences with the aid of algorithms the displacement of the image of the head 36 can be measured and the speed can be deduced. Also the evaluation of a reduced image sharpness with fast movements is possible.
  • FIG. 5 shows, in a schematic representation, the head 36 of the slaughtered animal with an alternatively configured recognition module for measuring the head or active position.
  • slaughtering apparatus 18 may only be triggered if it is ensured that the stunning shot can take place in the absolutely correct place. This assumes that the ideal meeting place on the head 36 can be determined and tracked accurately enough.
  • the recognition module includes a plurality of imaging devices 24 and a plurality
  • Image processing units 56 each of the imaging devices 24 being signal-technically linked to each of the image processing units 56 (arrows 58).
  • Image processing units 56 independently of the other image processing units 56 determine the coordinates of the exposure position 46. At least one of the image processing units 56, in particular each of the image processing units 56, includes
  • Each of the image processing units 56 is in turn signal connected to a central control unit 60 (arrows 62) integrated with the control unit 30 or superordinated to the control unit 30 as the control unit for triggering the slaughtering apparatus 18.
  • the result is the following function:
  • imaging devices 24 image sensors
  • the signals from the imaging devices 24 are then sent via data lines (arrows 58) to the various stand-alone image processing units 56 with their own image processing hardware as well as different image processing algorithms.
  • Each image processing unit 56 determines the coordinates of the exposure position 46 independently of the other image processing units 56 in this way are sent via data lines (arrows 62) to the central control unit 60. This only releases a triggering of the slaughtering apparatus 18 if there is a sufficiently high agreement in the determined action position 46. For example, at least two (or alternatively three) matches at the determined engagement position 46 must be achieved by the image processing units 56 to enable firing of the slaughtering apparatus 18 at this position 46.
  • Imaging devices 24 In order to enable detection of the exposure position 46 by means of a plurality of imaging devices 24 in this manner, these imaging devices 24 must be correctly matched to each other. Imaging devices 24 generally provide a brightness value for each pixel, with one pixel each mapping a defined angular element of the environment. This angular range depends both on the properties of an imaging detector and imaging optics of the imaging devices 24 and on the orientation and positioning of this imaging device 24. Various imaging
  • devices 24 naturally form the same point in space that is visible to all imaging devices 24 on different pixels.
  • the imaging devices 24 In order to achieve that the angle or pixel coordinates supplied by the various imaging devices 24 become comparable and conclusions to the absolute Allow 3D coordinates in space, the imaging devices 24 must be accurately measured or calibrated to each other. During the calibration, for example, for all imaging devices 24, visible, approximately punctiform objects (a type of calibration objects 64) can each be placed at several locations in the room and recorded by all imaging devices 24. By triangulation then the orientations of the imaging devices 24 can be determined.
  • the respective calibration object 64 is to be designed so that it provides sufficient contrast for all imaging devices 24. It may, for example, be an incandescent lamp, which also represents a well-recognizable object for a thermal imaging camera. If this calibration object 64 is attached to the robot arm 22, a direct calibration of the coordinate systems of the imaging devices 24 to the robot coordinate system can be achieved, which is essential for the correct placement of the gun 18. This calibration of all participating coordinate systems can be performed automatically and quickly after each shot, if necessary, to detect any misalignment of the imaging devices 24, for example by mechanical loads and compensate as much as possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a stunning device (16) for automatically stunning slaughter animals (12), comprising: a slaughter pistol device (18), a positioning unit (20) for positioning the slaughter pistol device (18), at least one imaging device (24) for capturing a body part (34) of the slaughter animal (12), said part having an effective position (46) for the slaughter pistol device (18), and - a detection module for detecting the effective position (46) on the basis of the images generated by the imaging device (24) and a control unit (30) for actuating the positioning unit (20) and/or the slaughter pistol device (18) depending on the detected effective position (46). The detection module is designed as an object detection and object tracking module (32) for detecting and tracking said body part (34) and/or tracking the effective position (46) which moves together with the movement of the body part (34) of the slaughter animal (12) via the images of the imaging device (24). The invention additionally relates to a corresponding method for automatically positioning a slaughter pistol device (18) for stunning slaughter animals (12) and to a corresponding computer program product.

Description

Betäubungsvorrichtung zur automatisierten Betäubung von Schlachttieren  Stunning device for automated stunning of slaughter animals
B e s c h r e i b u n g Description
Die Erfindung betrifft eine Betäubungsvorrichtung zur automatisierten Betäubung von Schlachttieren, mit (i) einem Schlachtschussapparat, (ii) einer Positioniereinheit zum The invention relates to an anesthetic device for the automated stunning of slaughter animals, comprising (i) a slaughtering apparatus, (ii) a positioning unit for
Positionieren des Schlachtschussapparats, (iii) zumindest einer bildgebenden Einrichtung zum Erfassen einer Körperpartie des Schlachttiers, die eine Einwirkposition für den Positioning the slaughtering apparatus, (iii) at least one imaging device for detecting a body part of the slaughtered animal, which has an operative position for the slaughtering apparatus
Schlachtschussapparat aufweist, (iv) einem Erkennungsmodul zum Erkennen der (Iv) a recognition module for recognizing the
Einwirkposition auf Grundlage der von der bildgebenden Einrichtung erstellten Bilder und (v) einer Steuereinheit zur Ansteuerung der Positioniereinheit und/oder des Exposure position on the basis of the images produced by the imaging device and (v) a control unit for controlling the positioning unit and / or the
Schlachtschussapparats in Abhängigkeit von der erkannten Einwirkposition. Battlegroup depending on the detected exposure position.
Eine derartige Vorrichtung ist aus der Druckschrift US 6,623,348 Bl bekannt. Diese zeigt diverse Anlagen und Verfahren zum Manipulieren von Tierkörpern, darunter eine Anlage und ein entsprechendes Verfahren zur automatisierten Betäubung von Schlachttieren mit einem Schlachtschussapparat, einer Positioniereinheit zum Positionieren des Schlachtschussapparats, einer Kamera, einem Controller und einem Softwaremodul zum Erkennen der Such a device is known from the document US 6,623,348 Bl. This shows various plants and methods for manipulating carcasses, including a system and a corresponding method for the automated stunning of slaughter animals with a slaughtering apparatus, a positioning unit for positioning the slaughtering apparatus, a camera, a controller and a software module for detecting the carcasses
Einwirkposition auf Grundlage der von der Kamera erstellten Bilder, wobei der Controller die Positioniereinheit und/oder den Schlachtschussapparat in Abhängigkeit von der erkannten Einwirkposition ansteuert. Die in dieser Druckschrift beschriebenen Anlagen und Verfahren unterscheiden jedoch nicht zwischen Tierkörpern bereits getöteter oder zumindest betäubter Tiere und lebenden Tieren, die erst betäubt werden sollen. Letztere weisen eine erheblich höhere und komplexere eigene Dynamik auf. Es ergibt sich bei lebenden Tieren, die erst betäubt werden sollen, also die Notwendigkeit eines dynamischen Nachführens des Schlachtschussapparates. Impact position based on the images created by the camera, wherein the controller controls the positioning unit and / or the battleshot apparatus depending on the detected exposure position. The plants and methods described in this document however, do not distinguish between carcases of animals already killed or at least stunned and live animals intended to be first stunned. The latter have a much higher and more complex own dynamics. In the case of live animals, which are to be stunned first, there is the need for a dynamic tracking of the battlegroup.
Bei der im Zusammenhang mit der Erfindung verwendete Wendung„Betäubungsvorrichtung zur Betäubung von Schlachttieren" soll der Begriff„Schlachttier" lediglich angeben, dass mittels der Betäubungsvorrichtung eine solche Betäubung an einem Tier vorgenommen werden kann, wie sie für ein anschließendes Schlachten dieses Tieres notwendig ist. Gleiches gilt für den feststehenden Begriff„Schlachtschussapparat". Unter einem Schlachttier soll im Zusammenhang mit der Erfindung ein zur Schlachtung vorgesehenes oder dazu zumindest geeignetes Tier zu verstehen sein. Beispiele für Schlachttiere sind Rinder, Schweine, Schafe, Ziegen und andere Paarhufer, Pferde und andere Einhufer, Kaninchen, etc. In the context of the invention, the term "anesthetic for anesthetizing animals for slaughter", the term "slaughtered animal" is intended merely to indicate that the anesthetic device can be used to stun an animal as necessary for subsequent slaughter of that animal. The same applies to the established term "slaughtering apparatus." In the context of the invention, a slaughtered animal is to be understood as an animal intended or at least suitable for slaughtering, examples of slaughter animals are cattle, pigs, sheep, goats and other cloven-hoofed animals, horses and others Equidae, rabbits, etc.
Es ist die Aufgabe der Erfindung entsprechende Maßnahmen anzugeben, die ein derartiges dynamisches Nachführen des Schlachtschussapparats ermöglichen. Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben. It is the object of the invention to provide appropriate measures that allow such dynamic tracking of the slaughtering apparatus. The object is achieved by the features of the independent claims. Advantageous embodiments of the invention are specified in the subclaims.
Bei der erfindungsgemäßen Betäubungsvorrichtung zur automatisierten Betäubung von Schlachttieren, mit (i) einem Schlachtschussapparat, (ii) einer Positioniereinheit zum In the stunning device according to the invention for the automated stunning of slaughter animals, comprising (i) a slaughtering apparatus, (ii) a positioning unit for
Positionieren des Schlachtschussapparats, (iii) zumindest einer bildgebenden Einrichtung zum Erfassen einer Körperpartie des Schlachttiers, die eine Einwirkposition für den  Positioning the slaughtering apparatus, (iii) at least one imaging device for detecting a body part of the slaughtered animal, which has an operative position for the slaughtering apparatus
Schlachtschussapparat aufweist, (iv) einem Erkennungsmodul zum Erkennen der (Iv) a recognition module for recognizing the
Einwirkposition auf Grundlage der von der bildgebenden Einrichtung erstellten Bilder und (v) einer Steuereinheit zur Ansteuerung der Positioniereinheit und/oder des Exposure position based on the images created by the imaging agency and (v) a control unit for controlling the positioning unit and / or the
Schlachtschussapparats in Abhängigkeit der erkannten Einwirkposition ist vorgesehen, dass das Erkennungsmodul als Objekterkennungs- und Objektverfolgungsmodul zum Erkennen und Verfolgen besagter Körperpartie und zum Nachverfolgen der sich mit einer Bewegung der Körperpartie des Schlachttiers mitbewegenden Einwirkposition über die Bilder der bildgebenden Einrichtung ausgebildet ist. Battling apparatus as a function of the detected exposure position is provided that the recognition module is designed as an object recognition and tracking module for recognizing and tracking said body part and for tracking the moving with a movement of the body part of the slaughter animal engagement position on the images of the imaging device.
Derartige Objekterkennungs- und Objektverfolgungsmodule sind in der Regel Such object recognition and object tracking modules are typically
Softwaremodule, wie sie beispielsweise aus dem Automotiv-Bereich bekannt sind. Dort finden sie bei Fahrerassistenzsystemen Anwendung, wo sie beispielsweise beim autonomen Einparken genutzt werden. Software modules, as they are known for example from the automotive sector. There they are used in driver assistance systems, where they are used for autonomous parking, for example.
Der Begriff Objekterkennung beschreibt in der Regel ein Verfahren zum Identifizieren eines oder mehrerer Objekte innerhalb eines Objektraums mittels optischer, akustischer oder anderer physikalischer Erkennungsverfahren. So wird zum Beispiel das Vorhandensein eines Objektes in einem Bild oder einem Bereich aber auch dessen Position und Lage bestimmt. Es handelt sich also um eine 3D-Erkennung. In der abstrakten Bildverarbeitung dienen The term object recognition usually describes a method for identifying one or more objects within an object space by means of optical, acoustic or other physical recognition methods. Thus, for example, the presence of an object in an image or a region but also its position and location is determined. It is therefore a 3D recognition. Serve in abstract image processing
Objekterkennungsmethoden dazu, bestimmte Objekte beziehungsweise Muster von anderen Objekten zu unterscheiden. Dazu muss das eigentliche Objekt zunächst mathematisch beschrieben werden. Oft genutzte Verfahren der Bildverarbeitung sind die Kantenerkennung, Transformationen sowie Größen- und Farberkennung. Die bei diesen Verfahren erkannten charakteristischen Merkmale wie Kanten, Farbmerkmale, etc. werden dann den einzelnen Objekten zugeordnet. Objekterkennungs- und Objektverfolgungsmethoden kommen dann zum Einsatz, wenn sich schnell bewegende Objekte in einem Bild beziehungsweise einer Bilderserie verfolgt werden müssen. Dann kommen mathematische Korrektoren zum Einsatz, die sich an das Objekt anpassen können. Die einzelnen Merkmale besitzen Bewegungsprofile, die ebenfalls zu Zuordnung zu jeweiligen Objekten genutzt werden können. Bei einem lebenden Tier ergeben sich unterschiedliche Körperpartien, die von einem Object recognition methods to distinguish certain objects or patterns from other objects. For this purpose, the actual object must first be described mathematically. Frequently used methods of image processing are edge detection, transformations and size and color recognition. The characteristic features recognized in these methods, such as edges, color features, etc., are then assigned to the individual objects. Object recognition and object tracking methods are used when fast-moving objects in a picture or a series of pictures have to be tracked. Then mathematical correctors are used, which can adapt to the object. The individual features have motion profiles, which can also be used for assignment to respective objects. In a living animal, different parts of the body result from one
Objekterkennungs- und Objektverfolgungsmodul aufgrund des Bewegungsprofils ihrer Merkmale als jeweilige Objekte in den Bildern erkannt und über die Zeit dynamisch verfolgt werden. Die entsprechenden Informationen können von der Steuereinheit zur Ansteuerung der Positioniereinheit und/oder des Schlachtschussapparats genutzt werden, den Object recognition and object tracking module due to the motion profile of their characteristics are recognized as respective objects in the images and tracked dynamically over time. The corresponding information can be used by the control unit to control the positioning unit and / or the battlegroup, the
Schlachtschussapparat dynamisch nachzuführen. Die für die Betäubungsvorrichtung mit Schlachtschussapparat relevante Körperpartie des Schlachttieres ist in der Regel der Kopf oder die Stirnpartie des Kopfes. Bei der Betäubung mittels Schlachtschussapparat wird dieser ab einem bestimmten Zeitpunkt zwangsläufig auch in den Bildbereich beziehungsweise Objektraum der bildgebenden Einrichtung geraten und ganz analog als weiteres Objekt erkannt. Dynamically track the battlegroup. The body part of the slaughter animal which is relevant for the slaughter apparatus with stunning apparatus is usually the head or the forehead of the head. In the case of anesthesia by means of a butchery apparatus, it will inevitably also get into the image area or object space of the imaging device as of a certain point in time and be detected quite analogously as another object.
Das Nachschlagewerk: Herbert Süße, Erik Roder:„Bildverarbeitung und Objekterkennung: Computer Vision in Industrie und Medizin"; Springer-Verlag 2014 (ISBN 978-3-8348-2606- 0) gibt einen Überblick über aktuelle Verfahren und Anwendungen der 2D- und SD- Bildanalyse sowie der Objekterkennung. The reference book: Herbert Süße, Erik Roder: "Image Processing and Object Recognition: Computer Vision in Industry and Medicine", Springer-Verlag 2014 (ISBN 978-3-8348-2606- 0) provides an overview of current processes and applications of 2D and SD image analysis and object recognition.
Der Schlachtschussapparat selbst ist ein Gerät, das bei der Schlachtung zum Betäuben von Schlachttieren verwendet wird. Der Schlachtschussapparat ist meist als Bolzenschussapparat ausgebildet und eher selten als Kugelschussapparat. The slaughtering apparatus itself is a device used to slaughter slaughter animals during slaughter. The battlegroup is usually designed as a bolt gun and rather rarely as Kugelschussapparat.
Gemäß einer bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass das According to a preferred embodiment of the invention it is provided that the
Objekterkennungs- und Objektverfolgungsmodul zur Erkennung der Körperpartie über charakteristische Merkmale eingerichtet ist, wobei das Modul weiterhin eingerichtet ist, die Bewegung der Einwirkposition über die Bewegung einer ausgewählten Gruppe dieser charakteristischen Merkmalen zu verfolgen, die eine vorgegebene Relativposition zur Einwirkposition aufweisen. Kommt es aus Sicht der bildgebenden Einrichtung zu einem Überlapp von The object recognition and object tracking module is adapted to recognize the body part via characteristic features, wherein the module is further adapted to track the movement of the exposure position via the movement of a selected group of these characteristics having a predetermined relative position to the exposure position. Does it come from the view of the imaging device to an overlap of
Schlachtschussapparat und Körperpartie mit der Einwirkposition, so können nur noch Merkmale mit einer bestimmten Relativposition zur Einwirkposition zur Verfolgung des Objekts„Körperpartie mit Einwirkposition" genutzt werden, da die anderen Merkmale ganz oder teilweise vom Schlachtschussapparat verdeckt werden oder durch dessen Schattenwurf schwer erkennbar sind. Butchery apparatus and body part with the exposure position, so only features with a certain relative position to the exposure position for tracking the object "body part with exposure" can be used because the other features are completely or partially hidden by the slaughtering apparatus or are difficult to see by its shadow.
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung erfolgt das According to a further preferred embodiment of the invention, the
Nachverfolgen der sich mit einer Bewegung der Körperpartie des Schlachttiers Following up with a movement of the body part of the slaughtered animal
mitbewegenden Einwirkposition in Echtzeit oder quasi-Echtzeit. Dazu muss die Bildfrequenz und die Arbeitsgeschwindigkeit des Objekterkennungs- und Objektverfolgungsmoduls entsprechend hoch sein. moving position in real time or quasi-real time. For this, the frame rate and the operating speed of the object recognition and object tracking module must be correspondingly high.
Mit Vorteil ist vorgesehen, dass das Objekterkennungs- und Objektverfolgungsmodul eingerichtet ist, die Einwirkposition mittels Positionsvoraussagen künftiger Positionen der Einwirkposition zu bestimmen, also einen bisherigen Positionsverlauf der Einwirkposition nachzuverfolgen und einen zukünftigen Positionsverlauf vorherzusagen. Dabei werden diese künftigen Positionen insbesondere per zeitlichem Filter, insbesondere per Kaiman-Filter, abgeschätzt. Gleichzeitig steuert die Steuereinheit die Positioniereinheit und/ oder den Schlachtschussapparat derart an, dass der Schlachtschussapparat bzw. dessen Schussbolzen zu entsprechender Zeit an der Einwirkposition ist. It is advantageously provided that the object recognition and object tracking module is set up to determine the engagement position by means of position prediction of future positions of the engagement position, ie to track a previous position profile of the engagement position and to predict a future position profile. These future positions are estimated in particular by temporal filters, in particular by Kalman filters. At the same time, the control unit controls the positioning unit and / or the slaughtering apparatus in such a way that the slaughtering apparatus or its firing bolt is at the action position at the appropriate time.
Gemäß noch einer weiteren bevorzugten Ausführungsform der Erfindung weist die bildgebende optische Einrichtung mindestens eine Kamera auf oder ist als Kamera ausgebildet. Neben einer Einzelkamera kann also auch ein Kamerasystem mit mehreren Kameras vorgesehen sein. Dabei ist bevorzugt vorgesehen, dass die Kamera oder zumindest eine der Kameras als Infrarotkamera und/oder 3D-Kamera, insbesondere Lichtlaufzeitkamera, ausgebildet ist. Beide Kameratypen haben Vorteile in Bezug auf die Betäubung von Schlachttieren. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die According to yet another preferred embodiment of the invention, the imaging optical device has at least one camera or is designed as a camera. In addition to a single camera, therefore, a camera system with several cameras can also be provided. It is preferably provided that the camera or at least one of the cameras as an infrared camera and / or 3D camera, in particular Lichtlaufzeitkamera is formed. Both camera types have advantages in terms of anesthetizing slaughter animals. According to a preferred embodiment of the invention it is provided that the
Positioniereinheit einen Roboterarm aufweist, über den der Schlachtschussapparat positioniert wird. Eine solche Positioniereinheit mit Roboterarm ist grundsätzlich aus der eingangs erwähnten Druckschrift US 6,623,348 Bl bekannt. Für eine dynamische Nachführung des Schlachtschussapparats muss diese Positioniereinheit jedoch hinreichend schnell und präzise sein.  Positioning unit has a robot arm over which the slaughtering machine is positioned. Such a positioning with robotic arm is basically known from the aforementioned document US 6,623,348 Bl. However, for dynamic tracking of the slaughtering apparatus, this positioning unit must be sufficiently fast and precise.
Dabei ist mit Vorteil vorgesehen, dass der Roboterarm mindestens vier Freiheitsgrade aufweist. Die Freiheitsgrade können rotatorischer wie translatorischer Natur sein. Über die vier Freiheitsgrade kann der Schlachtschussapparat der Einwirkposition bei einem sich bewegenden Schlachttier hinreichend gut nachgeführt werden. It is advantageously provided that the robot arm has at least four degrees of freedom. The degrees of freedom can be rotational as well as translational nature. By means of the four degrees of freedom, the slaughtering apparatus of the position of action in a moving slaughter animal can be tracked sufficiently well.
Gemäß einer weiteren bevorzugten Ausgestaltung der Erfindung weist die Positioniereinheit und/oder der Schlachtschussapparat eine Teleskopstangenanordnung mit mehreren in- und auseinander schiebbaren Elementen auf. Bei der Positioniereinheit mit According to a further preferred embodiment of the invention, the positioning unit and / or the slaughtering apparatus on a telescopic rod assembly with a plurality of in- and slide apart elements. With the positioning unit with
Teleskopstangenanordnung wird der an der Spitze der Teleskopstangenanordnung befindliche Schlachtschussapparat verschoben, bei dem Schlachtschussapparat mit Telescope rod assembly is moved to the located at the top of the telescopic rod assembly battlegroup, in the battlegroup with
Teleskopstangenanordnung wird der an der Spitze der Teleskopstangenanordnung befindliche Schussbolzen verschoben. Weist die Positioniereinheit einen Roboterarm auf, so ist die Teleskopstangenanordnung bevorzugt am freien Ende dieses Roboterarms angeordnet.  Telescopic rod assembly is moved to the located at the top of the telescopic rod assembly shot pin. If the positioning unit has a robot arm, then the telescopic pole arrangement is preferably arranged at the free end of this robot arm.
Gemäß noch einer weiteren bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die Betäubungsvorrichtung eine Beleuchtungseinrichtung, insbesondere eine According to yet another preferred embodiment of the invention, it is provided that the stunning device is a lighting device, in particular a
Beleuchtungseinrichtung deren Wellenlängenbereich auf den Wellenlängenbereich der bildgebenden Einrichtung oder zumindest einer der bildgebenden Einrichtungen abgestimmt ist, aufweist. Die Positionierung und Ausrichtung dieser Beleuchtungseinrichtung ist an das Setup angepasst. Lighting device whose wavelength range matched to the wavelength range of the imaging device or at least one of the imaging devices is, has. The positioning and alignment of this lighting device is adapted to the setup.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist die Betäubungs Vorrichtung als Halbautomat ausgebildet, dessen Schlachtschussapparat nur manuell auslösbar ist. According to a preferred embodiment of the invention, the stunning device is designed as a semi-automatic, the battling device is triggered only manually.
Schließlich ist mit Vorteil vorgesehen, dass das Erkennungsmodul (a) mehrere Finally, it is advantageously provided that the recognition module (a) several
Bildverarbeitungs-Einheiten zum Ermitteln von Koordinaten der Einwirkposition auf Grundlage der von der zumindest einen bildgebenden Einrichtung erstellten Bilder unabhängig voneinander, sowie (b) eine Kontrolleinheit aufweist, die die Koordinaten der über die Bildverarbeitungs-Einheiten ermittelten Einwirkpositionen abgleicht und diese nur bei Übereinstimmung mehrerer, vorzugsweise aller, ermittelten Einwirkpositionen als erkannte Einwirkposition billigt. Die Erfindung betrifft weiterhin ein Verfahren zur automatisierten Positionierung einesImage processing units for determining coordinates of the exposure position on the basis of the images produced by the at least one imaging device independently of one another, and (b) a control unit which adjusts the coordinates of the exposure positions determined via the image processing units and these only if a plurality of, preferably approves all, determined action positions as detected engagement position. The invention further relates to a method for the automated positioning of a
Schlachtschussapparats zur Betäubung von Schlachttieren mittels (i) einer Positioniereinheit zum Positionieren des Schlachtschussapparats, (ii) zumindest einer bildgebenden Einrichtung zum Erfassen einer Körperpartie des Schlachttiers, die eine Einwirkposition für den Slaughtering apparatus for anaesthetising slaughtered animals by means of (i) a positioning unit for positioning the slaughtering apparatus, (ii) at least one imaging device for detecting a body part of the slaughtered animal which has an operative position for the slaughtering apparatus
Schlachtschussapparat aufweist, (iii) einem Erkennungsmodul zum Erkennen der (Iii) a recognition module for recognizing the
Einwirkposition auf Grundlage der von der bildgebenden Einrichtung erstellten Bilder und (iv) einer Steuereinheit zur Ansteuerung der Positioniereinheit und/oder des Exposure position on the basis of the images created by the imaging device and (iv) a control unit for controlling the positioning unit and / or the
Schlachtschussapparats in Abhängigkeit der erkannten Einwirkposition. Es ist vorgesehen, dass das Erkennungsmodul als Objekterkennungs- und Objektverfolgungsmodul ausgebildet ist, welches zum Nachverfolgen der sich mit einer Bewegung der Körperpartie des Battlegroup depending on the detected exposure position. It is provided that the recognition module is designed as an object recognition and object tracking module, which is used to track the movement of the body part of the
Schlachttiers mitbewegenden Einwirkposition über die Bilder der bildgebenden Einrichtung die besagte Körperpartie erkennt und verfolgt. Slaughtered animals with moving exposure position on the images of the imaging device recognizes the said body part and pursued.
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Objekterkennung durch das Objekterkennungs- und Objektverfolgungsmodul über charakteristische Merkmale erfolgt, wobei das Modul die Bewegung der Einwirkposition über die Bewegung einer ausgewählten Gruppe dieser charakteristischen Merkmale verfolgt, die eine vorgegebene Relativposition zur According to a preferred embodiment of the method according to the invention it is provided that the object recognition by the object recognition and Object tracking module is performed on characteristic features, wherein the module tracks the movement of the action position on the movement of a selected group of these characteristic features, which has a predetermined relative position to
Einwirkposition aufweisen. Have exposure position.
Die im Zusammenhang mit den Ausführungsformen der erfindungsgemäßen The in connection with the embodiments of the invention
Betäubungsvorrichtung genannten weiteren Maßnahmen sind analog auch bei entsprechenden Ausführungsformen des erfindungsgemäßen Verfahrens vorgesehen. Die Erfindung betrifft ein Computerprogrammprodukt welches Programmteile umfasst, die in einem Prozessor eines Computers geladen zur Durchführung des vorstehend genannten Verfahrens eingerichtet sind. Anesthesia device said additional measures are provided analogously in corresponding embodiments of the method according to the invention. The invention relates to a computer program product comprising program parts which are set up in a processor of a computer for carrying out the aforementioned method.
Die Erfindung betrifft schließlich auch eine Verwendung eines Objekterkennungs- und Objektverfolgungsmoduls zum Nachverfolgen der sich mit einer Bewegung einer Finally, the invention also relates to a use of an object recognition and object tracking module for tracking the movement of a
Körperpartie eines Schlachttiers mitbewegenden Einwirkposition einer Body part of a slaughter animal mitbewegenden Einwirkposition one
Betäubungsvorrichtung, insbesondere einer vorstehend genannten Betäubungsvorrichtung, wobei das Modul über Bilder einer bildgebenden Einrichtung die besagte Körperpartie erkennt und verfolgt. Anesthetic device, in particular an anesthetic device as mentioned above, wherein the module recognizes and tracks said body part via images of an imaging device.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegenden Zeichnungen anhand eines bevorzugten Ausführungsbeispiels exemplarisch erläutert, wobei die nachfolgend dargestellten Merkmale sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen können. Es zeigen: The invention will now be described by way of example with reference to the accompanying drawings with reference to a preferred embodiment, wherein the features shown below, both individually and in combination may represent an aspect of the invention. Show it:
Fig. 1 einen Betäubungsplatz mit einem Schlachttier und einer Betäubungsvorrichtung gemäß einer bevorzugten Ausführungsform der Erfindung, Fig. 2 ein Bild des Kopfes des Schlachttiers mit diversen von einem Objekterkennungs- und Objektverfolgungsmodul der Betäubungsvorrichtung erkannten Merkmalen, 1 shows an anesthetic site with a slaughtered animal and a stunning device according to a preferred embodiment of the invention, 2 shows an image of the head of the slaughtered animal with various features recognized by an object recognition and object tracking module of the stunning device,
Fig. 3 einen Schlachtschussapparat mit einer Teleskopstangenanordnung für eine Fig. 3 shows a slaughtering apparatus with a telescopic rod assembly for a
Betäubungsvorrichtung, Stunning device,
Fig. 4 eine Positioniereinheit mit einer Teleskopstangenanordnung und einem 4 shows a positioning unit with a telescopic rod arrangement and a
Schlachtschussapparat für eine Betäubungsvorrichtung und Fig. 5 den Kopf des Schlachttiers mit einem alternativ ausgestalteten Modul zur Vermessung der Kopfposition. Fig. 5 shows the head of the slaughtered animal with an alternatively designed module for measuring the head position.
Die Fig. 1 zeigt einen Betäubungsplatz 10 mit einem Schlachttier 12 in einer von Gattern 14 begrenzten Box und einer Betäubungsvorrichtung 16 zum automatisierten Betäuben des in der Box befindlichen Schlachttiers. Das hier gezeigte Schlachttier 12 ist ein Rind. Andere Tiere, für die diese Betäubungsvorrichtung 16 genutzt werden kann sind zum Beispiel Schaf, Schwein, etc. Die Betäubungsvorrichtung 16 weist einen Schlachtschussapparat 18 und eine Positioniereinheit 20 zum Positionieren des Schlachtschussapparats 18 auf. Der hier gezeigte Schlachtschussapparat 18 ist ein Bolzenschussgerät. Die Positioniereinheit 20 ist im gezeigten Beispiel ein Roboterarm 22 der in einem Bereich oberhalb des Kopfendes der Box befestigt ist. Der Roboterarm 22 weist mehrere Gelenke auf und an einem beweglichen Ende des Arms 22 ist der Schlachtschussapparat 18 befestigt. Die Betäubungsvorrichtung 16 weist weiterhin eine bildgebende Einrichtung 24 zum visuellen Erfassen des Schlachttiers 12 auf. Die hier gezeigte bildgebende Einrichtung 24 ist eine Kamera 26. Diese Kamera 26 ist ebenfalls am Roboterarm 22 befestigt, genauer gesagt schräg hinter dem Schlachtschussapparat 18. Fig. 1 shows an anesthetic site 10 with a slaughtered animal 12 in a box bounded by gates 14 and a stunning device 16 for automated stunning of the slaughtered animal in the box. The slaughtered animal 12 shown here is a cattle. Other animals for which this stunning device 16 can be used are, for example, sheep, pig, etc. The stunning device 16 has a slaughtering apparatus 18 and a positioning unit 20 for positioning the slaughtering apparatus 18. The shotgun apparatus 18 shown here is a bolt gun. In the example shown, the positioning unit 20 is a robot arm 22 which is fastened in an area above the head end of the box. The robot arm 22 has a plurality of joints, and at a movable end of the arm 22, the slaughtering apparatus 18 is mounted. The stunning device 16 further comprises an imaging device 24 for visually detecting the slaughtered animal 12. The imaging device 24 shown here is a camera 26. This camera 26 is also attached to the robot arm 22, more precisely obliquely behind the rifle gun 18.
Alternativ oder zusätzlich kann zumindest eine weitere bildgebende Einrichtung vorgesehen sein (im Beispiel nicht gezeigt). Die Positioniereinheit 20 wie auch der Schlachtschussapparat 18 werden mittels eines Computers 28 - hier als eine Art PC mit Tower, Bildschirm, Tastatur und Maus dargestellt - angesteuert. Der Computer 28 bildet daher einerseits eine Steuereinheit 30 zur Ansteuerung dieser Komponenten 18, 20 der Betäubungsvorrichtung 16, andererseits bildet er ein Alternatively or additionally, at least one further imaging device may be provided (not shown in the example). The positioning unit 20 as well as the slaughtering apparatus 18 are controlled by a computer 28 - shown here as a kind of PC with tower, screen, keyboard and mouse. The computer 28 therefore on the one hand forms a control unit 30 for controlling these components 18, 20 of the stunning device 16, on the other hand it forms a
Objekterkennungs- und Objektverfolgungsmodul 32, welches eingerichtet ist die diversen Körperpartien des Schlachttiers 14 oder aber zumindest die Körperpartie 34 des Schlachttiers 12 auf die der Schlachtschussapparat 18 einwirken soll, im Sinne einer Objekterkennung zu erkennen. Unter dem Begriff Objekterkennung versteht man in der Regel das Identifizieren eines oder mehrerer Objekte innerhalb eines Objektraums mittels optischer oder anderer Erkennungsverfahren. So wird zum Beispiel das Vorhandensein eines Objektes in einem Bild oder einem Bereich aber auch dessen Position und Lage bestimmt. In der abstrakten Object recognition and object tracking module 32, which is set up to recognize the various body parts of the slaughter animal 14 or at least the body part 34 of the slaughter animal 12 to which the slaughtering apparatus 18 is to act in the sense of object recognition. The term object recognition usually refers to the identification of one or more objects within an object space by means of optical or other recognition methods. Thus, for example, the presence of an object in an image or a region but also its position and location is determined. In the abstract
Bildverarbeitung dienen Objekterkennungsmethoden dazu, bestimmte Objekte Image processing is used to object detection methods to certain objects
beziehungsweise Muster von anderen Objekten zu unterscheiden. Dazu muss das eigentliche Objekt zunächst mathematisch beschrieben werden. Oft genutzte Verfahren der or to distinguish patterns from other objects. For this purpose, the actual object must first be described mathematically. Often used procedures of
Bildverarbeitung sind die Kantenerkennung, Transformationen sowie Größen- und Image processing is the edge detection, transformations as well as size and
Farberkennung. Die bei diesen Verfahren erkannten charakteristischen Merkmale wie Kanten, Farbmerkmale, etc. werden dann den einzelnen Objekten zugeordnet.  Color recognition. The characteristic features recognized in these methods, such as edges, color features, etc., are then assigned to the individual objects.
Die Steuereinheit 30 ist im gezeigten Beispiel eine softwarebasierte Steuereinheit 30 und das Objekterkennungs- und Objektverfolgungsmodul 32 ist ein Softwaremodul oder ein softwarebasiertes Modul. Der Computer 28 weist zumindest einen (nicht gezeigten) Prozessor und zumindest einen Datenspeicher auf. In the example shown, the control unit 30 is a software-based control unit 30 and the object recognition and object tracking module 32 is a software module or a software-based module. The computer 28 has at least one processor (not shown) and at least one data memory.
Die Fig. 2 zeigt nun ein erkanntes Objekt eines Bildes. Das entsprechende Bild ist FIG. 2 now shows a recognized object of an image. The corresponding picture is
beispielsweise ein Bild einer mittels der Kamera 26 aus Fig. 1 gemachten Bilderreihe. Das Bild zeigt neben dem hier gezeigten Objekt, nämlich dem Kopf 36 des Schlachttiers 12 noch andere Objekte wie z. B. andere Körperpartien des Schlachttiers 12, Teile der Box wie etwa dem Gatter 14, Teile des Roboterarms 22, Teile der Schlachtschussapparatur 18, Schatten, Reflexionen und Hintergrunddetails. Aus all diesen Bildkomponenten erkennt das Objekterkennungs- und Objektverfolgungsmodul 32 nun die Körperpartie 34 des Schlachttiers als Objekt und verfolgt dieses Objekt in der Bilderserie der Kamera 26 nach. For example, an image of a picture taken by the camera 26 of FIG. The picture shows next to the object shown here, namely the head 36 of the slaughter animal 12 other objects such. Other body parts of the slaughter animal 12, parts of the box such as the gate 14, parts of the robot arm 22, parts of the slaughtering apparatus 18, shadows, reflections and background details. From all these image components recognizes that Object recognition and object tracking module 32 now the body part 34 of the slaughtered animal as an object and tracks this object in the series of images of the camera 26 after.
Die Erkennung des Objekts„Körperpartie" 34 erfolgt wie gesagt über charakteristische Merkmale. Das Objekt„Kopf 36 eines Rindes" weist zum Beispiel die Merkmale: zwei Augen 38, zwei Hörner 40, zwei Ohren 42 und ein Maul 44 auf, die im Objekt relativ zu einander auf ganz bestimmte Weise angeordnet sind. Diese Merkmale 38, 40, 42, 44 sind dabei ihrerseits mit den erwähnten charakteristischen Merkmalen verknüpft. So ist das Merkmal Auge 38 beispielsweise mit einem charakteristischen Helligkeitsmerkmal verbunden, die Merkmale Horn 40 und Ohr 42 mit charakteristischen Kanten und das Merkmal Maul 44 mit einem charakteristischen Farbmerkmal. The object "head 36 of a bovine" has, for example, the features: two eyes 38, two horns 40, two ears 42 and a mouth 44, which are relative in the object are arranged to each other in a very specific way. These features 38, 40, 42, 44 are in turn linked to the mentioned characteristic features. Thus, the feature eye 38 is associated, for example, with a characteristic brightness feature, the features horn 40 and ear 42 with characteristic edges and the feature mouth 44 with a characteristic color feature.
Durch das Erkennen und Zuordnen der Merkmale bestimmt das Objekterkennungs- und Objektverfolgungsmodul 32 die Position und die Dynamik des entsprechenden Objektes, hier also der Körperpartie 34„Kopf 36. Die Einwirkposition 46 für den Schlachtschussapparat bzw. den Bolzen oder die Kugel dieses Apparates 46 auf dem Objekt / der Körperpartie 34 lässt sich über die erkannten Merkmale des Objekts / der Körperpartie 34 bestimmen. By recognizing and assigning the features, the object recognition and object tracking module 32 determines the position and dynamics of the corresponding object, in this case the body part 34 "head 36. The action position 46 for the battlegroup or the bolt or ball of this apparatus 46 on the Object / body part 34 can be determined by the recognized features of the object / body part 34.
Das Objekterkennungs- und Objektverfolgungsmodul 32 ist zur Erkennung der Körperpartie 34 über charakteristische Merkmale 38, 40, 42, 44 eingerichtet, wobei das Modul 32 weiterhin eingerichtet ist, die Bewegung der Einwirkposition über die Bewegung einer ausgewählten Gruppe dieser charakteristischen Merkmalen 38, 40 zu verfolgen, die eine vorgegebene Relativposition zur Einwirkposition 46 aufweisen. Im gezeigten Beispiel ergibt sich die Einwirkposition 46 über einander kreuzende gedachte Verbindungslinien 48 zwischen je einem Horn 40 und einem Auge 38. Beim Kreuzungspunkt dieser gedachten Linien 48 befindet sich die Einwirkposition 46. The object recognition and object tracking module 32 is configured to recognize the body portion 34 via characteristic features 38, 40, 42, 44, wherein the module 32 is further configured to track the movement of the exposure position via movement of a selected group of these characteristic features 38, 40 which have a predetermined relative position to the action position 46. In the example shown, the action position 46 results over mutually crossing imaginary connecting lines 48 between a respective horn 40 and an eye 38. At the point of intersection of these imaginary lines 48, the action position 46 is located.
Kommt es aus Sicht der bildgebenden Einrichtung 24 (hier also der Kamera 26) zu einem Überlapp von Schlachtschussapparat 18 und Körperpartie 34 mit der Einwirkposition 46, was beim Aufsetzen des Schlachtschussapparates 18 auf die Körperpartie 34 an der Einwirkposition 46 natürlich immer passieren muss, so können nur noch Merkmale 38, 40, 42, 44 mit einer bestimmten Relativposition zur Einwirkposition 46 zur Verfolgung des Objekts„Körperpartie 34 mit Einwirkposition" genutzt werden, da die anderen Merkmale ganz oder teilweise vom Schlachtschussapparat 18 verdeckt werden oder durch dessen Schattenwurf schwer erkennbar sind. If it comes from the viewpoint of the imaging device 24 (here, the camera 26) to an overlap of battleship apparatus 18 and body part 34 with the action position 46, what course must always happen when placing the slaughtering apparatus 18 on the body part 34 at the action position 46, so only features 38, 40, 42, 44 can be used with a certain relative position to Einwirkposition 46 for tracking the object "body part 34 with exposure position" since the other features are completely or partially obscured by the battleship apparatus 18 or are difficult to recognize by its shadow cast.
Ist der Schlachtschussapparat 18 der Körperpartie 34 nachgeführt und schließlich aufgesetzt, so wird der Schlachtschussapparat 18 ausgelöst. Dies kann technisch (z.B. über die If the slaughtering apparatus 18 of the body part 34 tracked and finally put on, the slaughtering apparatus 18 is triggered. This can be done technically (e.g.
Steuereinheit 30) sowohl automatisch oder aber auch„von Hand" über eine Control unit 30) both automatically or "by hand" via a
Benutzerschnittstelle des Computers 28 erfolgen. Im zweiten Fall ist die User interface of the computer 28 done. In the second case is the
Betäubungsvorrichtung 16 also als Halbautomat ausgebildet, dessen Schlachtschussapparat 18 nur manuell auslösbar ist. Alternativ zu dem im Beispiel beschriebenen Objekterkennungs- und Anesthesia device 16 thus designed as a semi-automatic, the battling device 18 is triggered only manually. As an alternative to the object detection and in the example described
Objektverfolgungsmodul 32 kann das Erkennen und Nachverfolgen der Einwirkposition 46 auf Grundlage der von der bildgebenden Einrichtung 24 erstellten Bilder auch auf Grundlage einer andersartigen Erkennungsmechanismus mittels eines dementsprechenden  Object tracking module 32 may also recognize and track exposure position 46 based on the images created by imager 24 based on a different type of detection mechanism
Erkennungsmoduls erfolgen. Entscheidend ist, dass das Erkennen und Nachverfolgen derart schnell erfolgt, dass der Schlachtschussapparat 18 über die Positioniereinheit 20 schnell genug in Position gebracht werden kann. Detection module done. It is crucial that the detection and tracking is done so quickly that the slaughtering apparatus 18 can be brought into position quickly enough via the positioning unit 20.
Der Schlachtschussapparat 18 sollte möglichst mit einer schnellen, aber nicht ruckartigen Bewegung an den Kopf 36 des Tiers 12 herangeführt werden. Um dies zu erreichen, muss zu einem bestimmten Zeitpunkt die Bewegung der Positioniereinheit 20 (insbesondere des Roboterarms 22 der Positioniereinheit 20) mit dem Schlachtschussapparat 18 ausgelöst werden. Bis der Schlachtschussapparat 18 an seinem Ziel, der Einwirkposition 46 am Kopf 36, angekommen ist, vergeht allerdings noch eine gewisse Zeit zur Überwindung der Strecke. Eine zentrale Herausforderung für die Bildverarbeitungs-Software ist neben der Erkennung der idealen Einwirkposition 46 und des idealen Einwirkwinkels auf der Kopfoberfläche daher die Verfolgung dieser Einwirkposition 46, wenn das Tier 12 den Kopf 36 bewegt. Dabei müssen sowohl Translations- als auch Rotations-Bewegungen um die verschiedenen Achsen betrachtet werden. The slaughtering apparatus 18 should, if possible, be guided to the head 36 of the animal 12 with a rapid but not jerky movement. In order to achieve this, the movement of the positioning unit 20 (in particular of the robot arm 22 of the positioning unit 20) with the slaughtering apparatus 18 must be triggered at a certain point in time. However, it will take some time to overcome the track until the slaughtering apparatus 18 has arrived at its target, the action position 46 at the head 36. A key challenge for the image processing software, in addition to detecting the ideal exposure position 46 and the ideal angle of impact on the head surface, is therefore to track that exposure position 46 as the animal 12 moves the head 36. In doing so, both translational and rotational movements around the different axes have to be considered.
Um die ideale Einwirkposition 46 zu verfolgen und in die Zukunft zu extrapolieren, wird hier der Einsatz von zeitlichen Filtern vorgeschlagen. Ein bekanntes und auch in der In order to pursue the ideal exposure position 46 and to extrapolate into the future, the use of temporal filters is proposed here. A well known and also in the
Militärtechnik für ähnliche Probleme häufig eingesetztes Filter ist das Kaiman-Filter. Die Position und Bewegung des gesuchten Punktes wird dabei aus den bisher beobachteten Positionen berechnet (prädiziert) und mit der gerade tatsächlich gemessenen Position aktualisiert. Military technique for similar problems Frequently used filter is the Kalman filter. The position and movement of the searched point is calculated (predicted) from the previously observed positions and updated with the actual measured position.
Diese Prädiktion erlaubt es, die Position der idealen Einwirkposition 46 für den Zeitpunkt vorherzuberechnen, an dem ein Schussbolzen 50 des Schlachtschussapparats 18 das Ziel erreicht haben wird. Weitere etwaige Messpunkte der Bildverarbeitungs-Software, die nach dem Start der Schlachtschussapparat-Bewegung gemessen wurden, können der Steuerung als Update übermittelt werden, um die Treff-Fehler weiter zu verringern. Ein als Bolzenschussgerät ausgestalteter Schlachtschussapparat 18 muss direkt auf die Kopfhaut des Tieres 12 aufgesetzt werden, um das Eindringen des Bolzens bis in die notwendige Tiefe des Schädels zu gewährleisten. Die Verwendung eines This prediction makes it possible to predict the position of the ideal engagement position 46 for the time at which a firing pin 50 of the slaughtering apparatus 18 will have reached the target. Any other measuring points of the image processing software that were measured after the start of the rifle movement can be sent to the controller as an update, to further reduce the hit errors. A bolt gun 18 designed as a bolt gun must be placed directly on the scalp of the animal 12 to ensure the penetration of the bolt into the necessary depth of the skull. The use of a
Kugelschussapparates ermöglicht zwar die Erzielung einer Betäubungswirkung auch über eine gewisse Entfernung, allerdings sind damit auch die bei Schusswaffen üblichen Risiken wie zum Beispiel Abpraller verbunden. Although shot-blasting machines make it possible to achieve an anesthetic effect even over a certain distance, this also involves the usual risks associated with firearms, such as rebounds.
Um eine mit einem Bolzenschussgerät vergleichbare Wirkung über eine Entfernung im Bereich von einigen Zentimetern bis zu einigen Dezimetern zu erzielen, weist die In order to achieve a comparable effect with a bolt gun over a distance in the range of a few centimeters to a few decimeters, the
Positioniereinheit 20 zum Positionieren des Schlachtschussapparats 18 und/oder der Schlachtschussapparat 18 zum Bewegen des Schussbolzens 50 eine Teleskopstangenanordnung 52 mit mehreren in- und auseinander schiebbaren Elementen 54 sowie einem (nicht gezeigten) Antrieb auf. Die Fig. 3 zeigt einen Schlachtschussapparat 18 mit Teleskopstangenanordnung 52. Diese weist im nicht-ausgelösten Zustand (linke Darstellung) mehreren ineinander geschobenen Elemente 54 auf, welche bei Auslösung des Schlachtschussapparates 18 schnell Positioning unit 20 for positioning the slaughtering apparatus 18 and / or the Butchery apparatus 18 for moving the firing pin 50, a telescopic rod assembly 52 with a plurality of in- and deployable elements 54 and a (not shown) drive on. FIG. 3 shows a slaughtering apparatus 18 with a telescoping rod arrangement 52. In the non-triggered state (left-hand representation), this element has a plurality of elements 54 pushed one inside the other, which rapidly move when the slaughtering apparatus 18 is triggered
auseinandergeschoben werden. Das vordere Element 54 ist der Schussbolzen 50, der dabei nach vorne katapultiert wird und so in den Tierschädel eindringt (rechte Darstellung). Das den Schussbolzen 50 bildende vorderste Element 54 kann zur Erhöhung der Einschlagenergie dabei massiv ausgeführt sein oder mit einem Zusatzgewicht ausgerüstet werden. be pushed apart. The front element 54 is the firing pin 50, which is thereby catapulted forward and thus penetrates into the animal's skull (right illustration). The firing pin 50 forming the foremost element 54 may be made massive to increase the impact energy or equipped with an additional weight.
Der Antrieb der Teleskopstangenanordnung 52 kann beispielsweise durch eine Treibladung oder durch Druckluft erfolgen. Auch ein hydraulischer oder elektrischer Antrieb sind denkbar. Zwischen den einzelnen Elementen 54 der Teleskopanordnung können ähnlich wie bei einem konventionellen Bolzenschussgerät beispielsweise Gummiringe als Puffer eingelegt sein. The drive of the telescopic rod assembly 52 can be done for example by a propellant charge or by compressed air. A hydraulic or electric drive are conceivable. For example, rubber rings may be inserted as a buffer between the individual elements 54 of the telescopic arrangement, similar to a conventional bolt gun.
Die Fig. 4 zeigt eine Positioniereinheit 20 mit Teleskopstangenanordnung 52. Alternativ oder zusätzlich ist der Schlachtschussapparat 18 an der Spitze dieser Teleskopstangenanordnung 52 aufgehängt und kann zur Betäubung an den Kopf 36 des Tieres herangefahren werden und dort die Betäubung per Fernauslösung des Schlachtschussapparates 18 vorgenommen werden. Fig. 4 shows a positioning unit 20 with telescopic rod assembly 52. Alternatively or additionally, the slaughtering apparatus 18 is suspended at the top of this telescopic rod assembly 52 and can be moved up to the anesthetic head of the animal 36 and there the stunning by remote release of the battleship apparatus 18 are made.
Der Treffpunkt kann beispielsweise durch einen Laser, der seitlich an der The meeting point may be, for example, by a laser, the side of the
Teleskopstangenanordnung 52 angebracht ist, beleuchtet werden. Die Bildverarbeitungs- Software kann dann durch Vergleich der Soll-Treffposition und der Position des projizierten Laserpunktes auf dem Kopf 36 des Schlachttiers die exakte Ausrichtung der Telescopic pole assembly 52 is mounted, illuminated. The image processing software can then determine the exact orientation of the animal by comparing the nominal meeting position and the position of the projected laser spot on the head 36 of the slaughtered animal
Teleskopstangenanordnung 52 vornehmen, diese dann schnell ausfahren und den Make Teleskopstangenanordnung 52, then quickly extend and the
Schussapparat 18 auslösen. Wenn der abzudeckende Winkel- und Entfernungsbereich hinreichend klein ist, könnte das von einer zentralen Position in der Betäubungsbox erfolgen, sodass zur korrekten Trigger the firing device 18. If the range of angles and distances to be covered is sufficiently small, this could be done from a central position in the anesthetic box, so that the correct
Ansteuerung der Position nur eine Ausrichtung von zwei Winkeln nötig wäre. Der Schlachtschussapparat 18 darf nur dann ausgelöst werden, wenn ein sicherer Driving the position would require only an alignment of two angles. The battlegroup 18 may only be deployed if it is a safe
Betäubungsschuss erfolgen kann. Dies setzt voraus, dass sich der Kopf 36 des Tiers 12 nur hinreichend langsam bewegt, damit die ideale Einwirkposition 46 am Kopf 36 genau genug bestimmt und verfolgt werden kann. Außerdem setzt die maximale Geschwindigkeit und Beschleunigung des Roboterarms 22 Grenzen der erreichbaren Genauigkeit bei zu schnellen Kopfbewegungen.  Stun shot can be done. This presupposes that the head 36 of the animal 12 moves only sufficiently slowly so that the ideal action position 46 on the head 36 can be determined and tracked accurately enough. In addition, the maximum speed and acceleration of the robotic arm 22 sets limits to the achievable accuracy for fast head movements.
Um zu verhindern, dass bei zu schnellen Kopfbewegungen ein möglicher Weise nicht hinreichend genauer Betäubungsschuss ausgelöst wird, können zusätzlich ein oder mehrere Sensoren an geeigneten Positionen angeordnet werden. Diese Sensoren haben lediglich die Aufgabe, die Bewegungen des Kopfes 36 zu erfassen. Überschreitet die Geschwindigkeit der Kopfbewegung einen vorgegebene Grenzwert, wird ein Auslösen des In order to prevent a possible manner not sufficiently accurate stunning shot is triggered in too fast head movements, one or more sensors can be additionally arranged at appropriate positions. These sensors have only the task of detecting the movements of the head 36. If the speed of the head movement exceeds a preset limit value, the triggering of the
Schlachtschussapparates 18 so lange blockiert, bis die Geschwindigkeit den Grenzwert unterschreitet und ein genauer Schuss damit wieder möglich ist. Diese Sensoren müssen sowohl Translations- als auch Rotations-Bewegungen um die verschiedenen Achsen detektieren können. Es kann sich dabei beispielsweise um Kameras 26 handeln, aus deren Bildfolgen mit Hilfe von Algorithmen die Verschiebung des Abbildes des Kopfes 36 gemessen und auf die Geschwindigkeit geschlossen werden kann. Auch die Auswertung einer reduzierten Bildschärfe bei schnellen Bewegungen ist möglich. Battleshooting apparatus 18 blocked until the speed falls below the limit and a precise shot is thus possible again. These sensors must be able to detect both translational and rotational movements about the various axes. These may be, for example, cameras 26, from whose image sequences with the aid of algorithms the displacement of the image of the head 36 can be measured and the speed can be deduced. Also the evaluation of a reduced image sharpness with fast movements is possible.
Darüber hinaus könnten beispielsweise auch Sensoren verwendet werden, die speziell Objektgeschwindigkeiten hintergrundfrei messen können. Es könnten etwa Doppler-Radar oder Laser- Sensoren eingesetzt werden. Die Fig. 5 zeigt in einer schematischen Darstellung den Kopf 36 des Schlachttiers mit einem alternativ ausgestalteten Erkennungsmodul zur Vermessung der Kopf- bzw. Einwirkposition. In addition, for example, sensors could be used that can specifically measure object speeds without background. For example, Doppler radar or laser sensors could be used. FIG. 5 shows, in a schematic representation, the head 36 of the slaughtered animal with an alternatively configured recognition module for measuring the head or active position.
Kerngedanke ist hier, dass der (in dieser Figur nicht gezeigte) Schlachtschussapparat 18 nur dann ausgelöst werden darf, wenn sichergestellt ist, dass der Betäubungsschuss an der absolut richtigen Stelle erfolgen kann. Dies setzt voraus, dass der ideale Treffpunkt auf dem Kopf 36 genau genug bestimmt und verfolgt werden kann. The central idea here is that the slaughtering apparatus 18 (not shown in this figure) may only be triggered if it is ensured that the stunning shot can take place in the absolutely correct place. This assumes that the ideal meeting place on the head 36 can be determined and tracked accurately enough.
Das Erkennungsmodul umfasst mehrere bildgebende Einrichtungen 24 und mehrere The recognition module includes a plurality of imaging devices 24 and a plurality
Bildverarbeitungs-Einheiten 56, wobei jede der bildgebenden Einrichtungen 24 mit jeder der Bildverarbeitungs-Einheiten 56 signaltechnisch verknüpft ist (Pfeile 58). Jede der Image processing units 56, each of the imaging devices 24 being signal-technically linked to each of the image processing units 56 (arrows 58). Each of the
Bildverarbeitungs-Einheiten 56 ermittelt unabhängig von den anderen Bildverarbeitungs- Einheiten 56 die Koordinaten der Einwirkposition 46. Zumindest eine der Bildverarbeitungs- Einheiten 56, insbesondere jede der Bildverarbeitungs-Einheiten 56, umfasst ein Image processing units 56 independently of the other image processing units 56 determine the coordinates of the exposure position 46. At least one of the image processing units 56, in particular each of the image processing units 56, includes
Objekterkennungs- und Objektverfolgungsmodul 32. Jede der Bildverarbeitungs-Einheiten 56 ist ihrerseits signaltechnisch mit einer zentralen Kontroll-Einheit 60 verbunden (Pfeile 62), die in die Steuereinheit 30 integriert ist, oder der Steuereinheit 30 bezüglich der Auslösung des Schlachtschussapparates 18 als Kontrollinstanz übergeordnet. Es ergibt sich folgende Funktion: Object recognition and object tracking module 32. Each of the image processing units 56 is in turn signal connected to a central control unit 60 (arrows 62) integrated with the control unit 30 or superordinated to the control unit 30 as the control unit for triggering the slaughtering apparatus 18. The result is the following function:
Um zu verhindern, dass in unsicheren Situationen (z.B. bei zu geringem Kontrast zwischen Auge und Fell) ein möglicher Weise nicht hinreichend genauer Betäubungsschuss ausgelöst wird, sind mehrere bildgebende Einrichtungen 24 (Bildsensoren) an geeigneten Positionen angeordnet. Die Signale der bildgebenden Einrichtungen 24 werden dann über Datenleitungen (Pfeile 58) an die verschiedenen, eigenständigen Bildverarbeitungs-Einheiten 56 mit eigener Bildverarbeitungs-Hardware sowie unterschiedlichen Bildverarbeitungs-Algorithmen gesendet. Jede Bildverarbeitungs-Einheit 56 ermittelt auf diese Weise unabhängig von den anderen Bildverarbeitungs-Einheiten 56 die Koordinaten der Einwirkposition 46. Diese werden über Datenleitungen (Pfeile 62) an die zentrale Kontroll-Einheit 60 gesendet. Diese gibt ein Auslösen des Schlachtschussapparates 18 nur frei, wenn eine hinreichend hohe Übereinstimmung bei der ermittelten Einwirkposition 46 herrscht. Beispielsweise müssen durch die Bildverarbeitungs-Einheiten 56 zumindest zwei (oder alternativ sogar drei) Übereinstimmungen bei der ermittelten Einwirkposition 46 erreicht werden, um ein Auslösen des Schlachtschussapparates 18 an dieser Position 46 freizugeben. In order to prevent a possibly insufficiently precise stunning shot being triggered in unsafe situations (eg, if the eye and coat contrast too little), several imaging devices 24 (image sensors) are arranged at suitable positions. The signals from the imaging devices 24 are then sent via data lines (arrows 58) to the various stand-alone image processing units 56 with their own image processing hardware as well as different image processing algorithms. Each image processing unit 56 determines the coordinates of the exposure position 46 independently of the other image processing units 56 in this way are sent via data lines (arrows 62) to the central control unit 60. This only releases a triggering of the slaughtering apparatus 18 if there is a sufficiently high agreement in the determined action position 46. For example, at least two (or alternatively three) matches at the determined engagement position 46 must be achieved by the image processing units 56 to enable firing of the slaughtering apparatus 18 at this position 46.
Überschreiten die Differenzen zwischen den von den verschiedenen Bildverarbeitungs- Algorithmen ermittelten Koordinaten einen festgelegten Höchstwert, so ist die Qualität der errechneten Koordinaten offenbar unzureichend. Dann wird die Kommandierung des Schlachtschussapparats 18 und/oder der Positioniereinheit 20 so lange blockiert, bis hinreichend viele der Bildverarbeitungs-Einheiten 56 Koordinaten der Einwirkposition 46 liefern, deren Abweichungen voneinander unterhalb der festgelegten Grenzen liegen und ein genauer Schuss damit wieder möglich ist. If the differences between the coordinates determined by the different image processing algorithms exceed a fixed maximum value, then the quality of the calculated coordinates is apparently insufficient. The commanding of the slaughtering apparatus 18 and / or the positioning unit 20 is then blocked until a sufficient number of the image processing units 56 supply coordinates of the action position 46 whose deviations from one another are below the defined limits and a precise shot is possible again.
Um ein Erkennen der Einwirkposition 46 mittels mehrerer bildgebender Einrichtungen 24 auf diese Weise zu ermöglichen, müssen diese bildgebenden Einrichtungen 24 korrekt aufeinander abgestimmt sein. Bildgebende Einrichtungen 24 liefern im Allgemeinen einen Helligkeitswert für jedes Pixel, wobei ein Pixel jeweils ein definiertes Winkelelement der Umgebung abbildet. Dieser Winkelbereich hängt sowohl von den Eigenschaften eines bildgebenden Detektors und einer abbildenden Optik der bildgebenden Einrichtungen 24 als auch von der Ausrichtung und Positionierung dieser bildgebende Einrichtung 24 ab. Verschiedene bildgebende In order to enable detection of the exposure position 46 by means of a plurality of imaging devices 24 in this manner, these imaging devices 24 must be correctly matched to each other. Imaging devices 24 generally provide a brightness value for each pixel, with one pixel each mapping a defined angular element of the environment. This angular range depends both on the properties of an imaging detector and imaging optics of the imaging devices 24 and on the orientation and positioning of this imaging device 24. Various imaging
Einrichtungen 24 bilden daher naturgemäß denselben, für alle bildgebenden Einrichtungen 24 sichtbaren Punkt im Raum auf unterschiedliche Pixel ab. Therefore, devices 24 naturally form the same point in space that is visible to all imaging devices 24 on different pixels.
Um zu erreichen, dass die von den diversen bildgebenden Einrichtungen 24 gelieferten Winkel- bzw. Pixel-Koordinaten vergleichbar werden und Rückschlüsse auf die absoluten 3D-Koordinaten im Raum zulassen, müssen die bildgebenden Einrichtungen 24 genau vermessen oder zueinander kalibriert werden. Bei der Kalibrierung können beispielsweise für alle bildgebenden Einrichtungen 24 sichtbare, näherungsweise punktförmige Objekte (eine Art Kalibrierungsobjekte 64) jeweils an mehreren Stellen im Raum platziert und von allen bildgebende Einrichtungen 24 aufgenommen werden. Durch Triangulation können dann die Ausrichtungen der bildgebenden Einrichtungen 24 bestimmt werden. In order to achieve that the angle or pixel coordinates supplied by the various imaging devices 24 become comparable and conclusions to the absolute Allow 3D coordinates in space, the imaging devices 24 must be accurately measured or calibrated to each other. During the calibration, for example, for all imaging devices 24, visible, approximately punctiform objects (a type of calibration objects 64) can each be placed at several locations in the room and recorded by all imaging devices 24. By triangulation then the orientations of the imaging devices 24 can be determined.
Das jeweilige Kalibrierungsobjekt 64 ist dabei so zu gestalten, dass es für alle bildgebenden Einrichtungen 24 genügend Kontrast bietet. Es kann sich beispielsweise um eine Glühlampe handeln, die auch für eine Wärmebildkamera ein gut zu erkennendes Objekt darstellt. Wird dieses Kalibrierungsobjekt 64 am Roboterarm 22 befestigt, kann eine direkte Kalibrierung der -Koordinatensysteme der bildgebenden Einrichtungen 24 auf das Roboter-Koordinatensystem erreicht werden, was zur korrekten Platzierung des Schussapparates 18 unerlässlich ist. Diese Kalibrierung aller beteiligter Koordinatensysteme kann bei Bedarf nach jedem Schuss automatisch und schnell ausgeführt werden, um etwaige Fehljustagen der bildgebenden Einrichtungen 24 z.B. durch mechanische Belastungen zu erkennen und soweit möglich auszugleichen. The respective calibration object 64 is to be designed so that it provides sufficient contrast for all imaging devices 24. It may, for example, be an incandescent lamp, which also represents a well-recognizable object for a thermal imaging camera. If this calibration object 64 is attached to the robot arm 22, a direct calibration of the coordinate systems of the imaging devices 24 to the robot coordinate system can be achieved, which is essential for the correct placement of the gun 18. This calibration of all participating coordinate systems can be performed automatically and quickly after each shot, if necessary, to detect any misalignment of the imaging devices 24, for example by mechanical loads and compensate as much as possible.
Bezugszeichen: Reference numerals:
10 Betäubungsplatz 10 stun place
12 Schlachttier  12 slaughter animals
14 Gatter  14 gates
16 Betäubungsvorrichtung  16 stunning device
18 Schlachtschussapparat  18 battlegroup
20 Positioniereinheit  20 positioning unit
22 Roboterarm  22 robot arm
24 bildgebende Einrichtung  24 imaging device
26 Kamera  26 camera
28 Computer  28 computers
30 Steuereinheit  30 control unit
32 Objekterkennungs- und Objektverfolgungsmodul 32 Object recognition and object tracking module
34 Körperpartie (Schlachttier) 34 body part (slaughter animal)
36 Kopf (Schlachttier)  36 head (slaughtered animal)
38 Auge (Merkmal)  38 eye (characteristic)
40 Horn  40 horn
42 Ohr  42 ear
44 Maul  44 mouth
46 Einwirkposition  46 exposure position
48 gedachte Verbindungslinie  48 imaginary connecting line
50 Schussbolzen  50 bolts
52 Teleskopstangenanordnung  52 telescopic rod assembly
54 Element (Teleskopstangenanordnung)  54 element (telescopic rod arrangement)
56 Bildverarbeitungs-Einheit  56 image processing unit
58 Pfeil  58 arrow
60 Kontroll-Einheit  60 control unit
62 Pfeil Kalibrierungsobj ekt 62 arrow Calibration object

Claims

P a t e n t a n s p r ü c h e P a n t a n s p r e c h e
1. Betäubungs Vorrichtung (16) zur automatisierten Betäubung von Schlachttieren (12), mit: 1. Anesthetic device (16) for the automated stunning of slaughter animals (12), comprising:
- einem Schlachtschussapparat (18),  - a slaughtering machine (18),
einer Positioniereinheit (20) zum Positionieren des Schlachtschussapparats a positioning unit (20) for positioning the slaughtering apparatus
(18), (18)
zumindest eine bildgebende Einrichtung (24) zum Erfassen einer Körperpartie (34) des Schlachttiers (12), die eine Einwirkposition (46) für den  at least one imaging device (24) for detecting a body part (34) of the slaughtered animal (12), which has an operative position (46) for the
Schlachtschussapparat (18) aufweist,  Slaughtering apparatus (18),
einem Erkennungsmodul zum Erkennen der Einwirkposition (46) auf  a detection module for detecting the action position (46)
Grundlage der von der bildgebenden Einrichtung (24) erstellten Bilder und  Basis of the images produced by the imaging agency (24) and
einer Steuereinheit (30) zur Ansteuerung der Positioniereinheit (20) und/oder des Schlachtschussapparats (18) in Abhängigkeit der erkannten Einwirkposition (46), dadurch gekennzeichnet, dass das Erkennungsmodul als Objekterkennungs- und a control unit (30) for controlling the positioning unit (20) and / or the slaughtering apparatus (18) as a function of the detected action position (46), characterized in that the detection module as object recognition and
Objektverfolgungsmodul (32) zum Erkennen und Verfolgen besagter Körperpartie (34) und zum Nachverfolgen der sich mit einer Bewegung der Körperpartie (34) des Schlachttiers (12) mitbewegenden Einwirkposition (46) über die Bilder der bildgebenden Einrichtung (24) ausgebildet ist. An object tracking module (32) for recognizing and tracking said body part (34) and for tracking the engagement position (46) moving with movement of the body part (34) of the slaughtered animal (12) over the images of the imaging device (24).
2. Betäubungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das 2. stunning device according to claim 1, characterized in that the
Objekterkennungs- und Objektverfolgungsmodul (32) zur Erkennung der Körperpartie (34) über charakteristische Merkmale (38, 40, 42, 44) eingerichtet ist, wobei das Modul weiterhin eingerichtet ist, die Bewegung der Einwirkposition über die  Object recognition and object tracking module (32) for recognizing the body part (34) via characteristic features (38, 40, 42, 44) is arranged, wherein the module is further arranged, the movement of the exposure position on the
Bewegung einer ausgewählten Gruppe (38, 40) dieser charakteristischen Merkmalen zu verfolgen, die eine vorgegebene Relativposition zur Einwirkposition (46) aufweisen. Betäubungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Nachverfolgung der sich mit einer Bewegung der Körperpartie (34) des Schlachttiers (12) mitbewegenden Einwirkposition (46) in Echtzeit oder quasi-Echtzeit erfolgt. Trace movement of a selected group (38, 40) of these characteristic features having a predetermined relative position to the exposure position (46). Anesthetic device according to claim 1 or 2, characterized in that the follow-up of the movement position (46) moving with a movement of the body part (34) of the slaughter animal (12) takes place in real time or quasi-real time.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Objekterkennungs- und Objektverfolgungsmodul (32) eingerichtet ist, die Einwirkposition (46) mittels Positionsvoraussagen künftiger Positionen der Stunning apparatus according to any one of claims 1 to 3, characterized in that the object recognition and object tracking module (32) is arranged to set the exposure position (46) by means of position prediction of future positions
Einwirkposition (34), die per zeitlichem Filter, insbesondere per Kaiman-Filter, abgeschätzt werden, zu bestimmen. Impact position (34), which are estimated by temporal filter, in particular by Kalman filter, to determine.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die bildgebende Einrichtung (24) mindestens eine Kamera (26) aufweist. Stunning device according to one of claims 1 to 4, characterized in that the imaging device (24) has at least one camera (26).
Betäubungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Kamera (26) oder zumindest eine der Kameras als Infrarotkamera oder 3D-Kamera, insbesondere Lichtlaufzeitkamera, ausgebildet ist. Stunning device according to claim 5, characterized in that the camera (26) or at least one of the cameras as an infrared camera or 3D camera, in particular light runtime camera is formed.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Positioniereinheit (20) einen Roboterarm (22) aufweist, über den der Schlachtschussapparat (18) positionierbar ist. Stunning device according to one of claims 1 to 6, characterized in that the positioning unit (20) has a robot arm (22), via which the slaughtering apparatus (18) can be positioned.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Positioniereinheit (20) und/oder der Schlachtschussapparat (18) eine Teleskopstangenanordnung (52) mit mehreren in- und auseinander schiebbaren Elementen (54) aufweist. Anesthetic device according to one of claims 1 to 7, characterized in that the positioning unit (20) and / or the slaughtering apparatus (18) has a telescopic rod arrangement (52) with a plurality of elements (54) which can be pushed in and out.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 8, gekennzeichnet durch eine Beleuchtungseinrichtung, insbesondere eine Beleuchtungseinrichtung deren Wellenlängenbereich auf den Wellenlängenbereich der bildgebenden Einrichtung (24) oder zumindest einer der bildgebenden Einrichtungen abgestimmt ist. Stunning device according to one of claims 1 to 8, characterized by a lighting device, in particular a lighting device whose Wavelength range is tuned to the wavelength range of the imaging device (24) or at least one of the imaging devices.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Betäubungsvorrichtung (16) als Halbautomat ausgebildet ist, dessen Stunning device according to one of claims 1 to 9, characterized in that the stunning device (16) is designed as a semi-automatic, the
Schlachtschussapparat nur manuell auslösbar ist.  Battleshooting apparatus can only be triggered manually.
Betäubungsvorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass das Erkennungsmodul mehrere Bildverarbeitungs-Einheiten (56) zum Ermitteln von Koordinaten der Einwirkposition auf Grundlage der von der zumindest einen bildgebenden Einrichtung (24) erstellten Bilder unabhängig voneinander, sowie eine Kontrolleinheit (60) aufweist, die eingerichtet ist, die Koordinaten der über die Bildverarbeitungs-Einheiten (56) ermittelten Einwirkpositionen abzugleichen und diese nur bei Übereinstimmung mehrerer ermittelter Einwirkpositionen (46) als erkannte Einwirkposition (46) zu bestätigen. Anesthetic device according to any one of claims 1 to 10, characterized in that the detection module independently of one another a plurality of image processing units (56) for determining coordinates of the exposure position on the basis of the images produced by the at least one imaging device (24), and a control unit (60 ), which is set up to match the coordinates of the action positions determined via the image processing units (56) and to confirm them only if a plurality of determined action positions (46) coincide as the detected action position (46).
12. Verfahren zur automatisierten Positionierung eines Schlachtschussapparats (18) zur Betäubung von Schlachttieren (12) mittels 12. A method for automated positioning of a slaughtering apparatus (18) for stunning ante-slaughter animals (12) by means of
einer Positioniereinheit (20) mittels derer der Schlachtschussapparat (18) positioniert wird,  a positioning unit (20) by means of which the slaughtering apparatus (18) is positioned,
zumindest einer bildgebenden Einrichtung (24) mittels derer eine Körperpartie (34) des Schlachttiers (12), die eine Einwirkposition (46) für den  at least one imaging device (24) by means of which a body part (34) of the slaughtered animal (12) which has an operative position (46) for the
Schlachtschussapparat (18) aufweist, erfasst wird,  Butchery apparatus (18) is detected,
einem Erkennungsmodul, über das die Einwirkposition (46) auf Grundlage der von der bildgebenden Einrichtung (24) erstellten Bilder erkannt wird und  a recognition module, via which the exposure position (46) is detected on the basis of the images produced by the imaging device (24), and
einer Steuereinheit (30) mittels derer die Positioniereinheit (20) und/oder der Schlachtschussapparat (18) in Abhängigkeit der erkannten Einwirkposition (46) angesteuert wird,  a control unit (30) by means of which the positioning unit (20) and / or the slaughtering apparatus (18) is activated as a function of the detected action position (46),
dadurch gekennzeichnet, dass das Erkennungsmodul als Objekterkennungs- und Objektverfolgungsmodul (32) ausgebildet ist, welches zum Nachverfolgen der sich mit einer Bewegung der Körperpartie (34) des Schlachttiers (12) mitbewegenden Einwirkposition (46) über die Bilder der bildgebenden Einrichtung (24) die besagte Körperpartie (34) erkennt und verfolgt. characterized in that the recognition module as object recognition and Object tracking module (32) is formed, which for tracking the moving with a movement of the body part (34) of the slaughtered animal (12) moving engagement position (46) on the images of the imaging device (24) said body part (34) recognizes and tracks.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Objekterkennung durch das Objekterkennungs- und Objektverfolgungsmodul (32) über charakteristische Merkmale (38, 40, 42, 44) erfolgt, wobei das Modul (30) die Bewegung der A method according to claim 12, characterized in that the object recognition by the object recognition and object tracking module (32) via characteristic features (38, 40, 42, 44), wherein the module (30) the movement of the
Einwirkposition (46) über die Bewegung einer ausgewählten Gruppe (38, 40) dieser charakteristischen Merkmale verfolgt, die eine vorgegebene Relativposition zur Einwirkposition (46) aufweisen.  Impact position (46) on the movement of a selected group (38, 40) follows these characteristic features having a predetermined relative position to the exposure position (46).
14. Computerprogrammprodukt umfassend Programmteile, die in einem Prozessor eines Computers geladen zur Durchführung des Verfahrens nach einem der Ansprüche 12 oder 13 eingerichtet sind. 14. A computer program product comprising program parts which are set up in a processor of a computer for carrying out the method according to one of claims 12 or 13.
PCT/EP2018/069048 2017-07-12 2018-07-12 Stunning device for automatically stunning slaughter animals WO2019012092A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112018003558.1T DE112018003558A5 (en) 2017-07-12 2018-07-12 Stunning device for automated stunning of slaughter animals

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017115683.6A DE102017115683A1 (en) 2017-07-12 2017-07-12 Stunning device for automated stunning of slaughter animals
DE102017115683.6 2017-07-12
DE102018107840.4 2018-04-03
DE102018107840.4A DE102018107840A1 (en) 2018-04-03 2018-04-03 Stunning device for automated stunning of slaughter animals

Publications (1)

Publication Number Publication Date
WO2019012092A1 true WO2019012092A1 (en) 2019-01-17

Family

ID=62916681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/069048 WO2019012092A1 (en) 2017-07-12 2018-07-12 Stunning device for automatically stunning slaughter animals

Country Status (2)

Country Link
DE (1) DE112018003558A5 (en)
WO (1) WO2019012092A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672016A (en) * 2019-09-12 2020-01-10 四川农业大学 Cattle body size measuring system and method based on image recognition
CN113331235A (en) * 2021-07-05 2021-09-03 吉林省长春皓月清真肉业股份有限公司 Slaughtering device
DE102021115682A1 (en) 2021-06-17 2022-12-22 Bernd-Tönnies-Stiftung System and method for assisting in the stunning of animals for slaughter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0380513A1 (en) * 1987-08-28 1990-08-08 Europ Vision Syst Centre An adaptive vision-based controller.
DE4325441A1 (en) * 1993-07-29 1995-02-02 Riedel Otto Franz Josef Fully automatic stunning and slaughtering device for pigs and sheep
DE10050560A1 (en) * 2000-10-12 2002-05-02 Innostrat Gmbh Thalwil Method for stunning animals before slaughtering uses at least one laser beam to stun them
US6623348B1 (en) 2000-07-06 2003-09-23 O'neill Richard V. Method and apparatus for slaughtering and processing animals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0380513A1 (en) * 1987-08-28 1990-08-08 Europ Vision Syst Centre An adaptive vision-based controller.
DE4325441A1 (en) * 1993-07-29 1995-02-02 Riedel Otto Franz Josef Fully automatic stunning and slaughtering device for pigs and sheep
US6623348B1 (en) 2000-07-06 2003-09-23 O'neill Richard V. Method and apparatus for slaughtering and processing animals
DE10050560A1 (en) * 2000-10-12 2002-05-02 Innostrat Gmbh Thalwil Method for stunning animals before slaughtering uses at least one laser beam to stun them

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERIK RODER: "Bildverarbeitung und Objekterkennung: Computer Vision in Industrie und Medizin", 2014, SPRINGER-VERLAG

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672016A (en) * 2019-09-12 2020-01-10 四川农业大学 Cattle body size measuring system and method based on image recognition
DE102021115682A1 (en) 2021-06-17 2022-12-22 Bernd-Tönnies-Stiftung System and method for assisting in the stunning of animals for slaughter
CN113331235A (en) * 2021-07-05 2021-09-03 吉林省长春皓月清真肉业股份有限公司 Slaughtering device

Also Published As

Publication number Publication date
DE112018003558A5 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
DE102017128543B4 (en) NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
WO2019012092A1 (en) Stunning device for automatically stunning slaughter animals
EP0018673B1 (en) Method of measuring shooting errors and shooting error measurement device for carrying out the method
DE102014210897A1 (en) Method and device for spotlight positioning
DE102013012839B4 (en) robot system
EP2381207B1 (en) 3D targeting and target designation from IR data
EP1920209B1 (en) Method for optimising the triggering of the firing of a weapon or an artillery gun
DE112015001226T5 (en) Shooting system, firearm and data processing device
EP2645045A2 (en) Device for testing and/or operating a weapon system
DE102018101162A1 (en) Measuring system and method for extrinsic calibration
DE102018211943A1 (en) Radar system for collision avoidance of a robot
DE102018107840A1 (en) Stunning device for automated stunning of slaughter animals
EP3350536B1 (en) Remotely controllable weapon station and method for operating a controllable weapon station
EP3172697A1 (en) Device for optically identifying the sex of a slaughter pig
DE2405195A1 (en) DEVICE FOR SCANNING A THREE-DIMENSIONAL IMAGE
EP3179849B1 (en) Device for controlling stunning of an slaughter animal
DE102011008166A1 (en) Apparatus and method for shooter location
DE102010005198B4 (en) Missile and method for detecting a target
EP2244049B1 (en) Device and method for calculating the destination point of an observation unit, in particular of a firearm simulator
DE102017115683A1 (en) Stunning device for automated stunning of slaughter animals
DE102019007515B4 (en) Image processing method for determining guidance commands for control wings of a guided missile
DE102017221305A1 (en) Method for operating a collaborative robot
EP3034985B1 (en) Method and device for locally stabilizing a radiation spot on a remote target object
DE102020003080A1 (en) Method and control system for controlling a missile towards a target object
EP4239277A1 (en) Device and method for handover of targets

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18740822

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112018003558

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18740822

Country of ref document: EP

Kind code of ref document: A1