WO2023037397A1 - 死亡トリ検出方法 - Google Patents

死亡トリ検出方法 Download PDF

Info

Publication number
WO2023037397A1
WO2023037397A1 PCT/JP2021/032758 JP2021032758W WO2023037397A1 WO 2023037397 A1 WO2023037397 A1 WO 2023037397A1 JP 2021032758 W JP2021032758 W JP 2021032758W WO 2023037397 A1 WO2023037397 A1 WO 2023037397A1
Authority
WO
WIPO (PCT)
Prior art keywords
dead
cage
birds
image
bird
Prior art date
Application number
PCT/JP2021/032758
Other languages
English (en)
French (fr)
Inventor
勝彦 安田
Original Assignee
株式会社ハイテム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ハイテム filed Critical 株式会社ハイテム
Priority to PCT/JP2021/032758 priority Critical patent/WO2023037397A1/ja
Publication of WO2023037397A1 publication Critical patent/WO2023037397A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K45/00—Other aviculture appliances, e.g. devices for determining whether a bird is about to lay

Definitions

  • the present invention relates to a dead bird detection method for detecting the death of a bird in a poultry farm where birds are raised in cages.
  • cage rows in which many cages are arranged horizontally are stacked in multiple layers to raise a large number of birds.
  • mechanizing feeding, water supply, egg collection, feces removal, etc. a large number of birds are bred by a small number of workers.
  • the present invention provides a dead bird detection method that can quickly and accurately detect when a bird dies in a cage while reducing the labor burden on the operator. is the subject.
  • the dead bird detection method comprises: "At a facility where birds are reared using a cage row layer in which multiple cage rows are stacked horizontally, At least one still image is taken for each cage by an imaging device attached to a moving device that moves along a set route, and a first life-and-death determination is made as to whether dead birds are included in the still images. Judgment is performed by the first judgment device, When it is determined that a dead bird is included in the still image as a result of the first life-or-death determination, a moving image shot of the cage that is the same imaging target is used, and the dead bird is added to the moving image. is included.
  • a moving image shot of the same cage which is the same imaging target, is used for the second determination.
  • determining life and death when it is determined that dead birds are included in the still image as a result of the first life and death determination, a moving image is taken and a second life and death determination is performed. Images are constantly being photographed, and when it is determined that a dead bird is included in the still image as a result of the first life-or-death determination, a second life-death determination is performed using moving images before and after that point in time. how to do so.
  • moving images are taken only when it is determined that dead birds are included in the still images as a result of the first life-and-death determination.
  • a moving image can be captured by the same imaging device as the imaging device used for moving images. Therefore, dead birds can be detected with simple equipment.
  • At least the first life-or-death judgment is performed by the first judgment device. Therefore, in the process of judging whether a bird is alive or dead, many parts are mechanized (automated), so that the burden of labor on the operator can be reduced and the judgment can be made quickly.
  • the dead bird detection method has the above configuration, "The second life-and-death judgment is performed by the second judgment device, When it is determined that a dead bird is included in the moving image as a result of the second life-and-death determination, an alarm is generated and cage identification information for identifying the cage to be photographed is notified.” can do.
  • the second life-and-death determination is performed by the second determination device, and as a result, when it is determined that the moving image contains a dead bird, an alarm is generated and the cage identification information is notified. there is Therefore, the operator receives the alarm, goes to the cage identified by the cage identification information, and only needs to remove dead birds from the cage. Therefore, it is possible to further reduce the labor burden on the operator.
  • the dead bird detection method according to the present invention has the above configuration, "The second life-and-death judgment is performed by inputting the moving images into a trained model generated by machine learning using a teacher moving image containing only surviving birds and a teaching moving image containing dead birds as learning data. It is based on the results obtained.
  • the dead bird detection method has the above configuration, "The first life-or-death determination is based on the results of image analysis of the still image with respect to feature points specific to dead birds or surviving birds, and a teacher still image containing only surviving birds and a teacher still image containing dead birds. Judgment based on the result obtained by inputting the still image into a trained model generated by machine learning as learning data, judgment based on the result of visualizing the temperature of the photographing target with an infrared camera, and these any combination of two or more of the determinations.
  • a dead bird detection method capable of quickly and accurately detecting a dead bird in a cage while reducing the labor burden on the operator. be able to.
  • FIG. 1 is a side view showing the positional relationship between a moving device having an imaging device and a cage row layer.
  • FIG. 2(a) is a schematic diagram of a cage in which only live birds are present
  • FIG. 2(b) is a schematic diagram of a cage in which dead birds are present.
  • FIG. 3 is a flow chart explaining the processing in the dead bird detection method of the first embodiment.
  • a dead bird detection method that is a specific embodiment of the present invention and a dead bird detection system using this detection method will be described below with reference to the drawings.
  • cage row layers 1 In the poultry farming facility to which this embodiment is applied, chickens are raised in cage row layers 1 in which cage rows in which a large number of cages 10 are horizontally arranged are stacked in multiple stages.
  • a general cage row layer 1 as shown in FIG. 1, one row is composed of two cage rows arranged back to back.
  • FIG. 1 illustrates a case in which four cage rows are stacked, but the number of stages is not limited to this. Also, although FIG. 1 shows two adjacent cage row layers 1 across an aisle, the number of cage row layers 1 in the facility is not limited to this.
  • each row of cages the side in contact with another row of cages is the rear surface, and the opposite side is the front surface.
  • the bait trough 15 is provided at a position slightly higher than the floor surface so that the bird with its neck out of the cage 10 can peck at the bait.
  • an egg collecting conveyor 16 for collecting eggs is arranged below the feeding trough 15 .
  • the floor of the cage 10 is inclined so as to descend from the back to the front, and the eggs roll on the floor by their own weight and are placed on the egg collection conveyor 16 .
  • a dead bird detection system that uses the dead bird detection method of the first embodiment mainly includes a moving device 30 equipped with an imaging device 41, a first determination device 21, and a second determination device (not shown). do.
  • the moving device 30 is a device that moves in the facility along the row of cages and uses the imaging device 41 to photograph each cage 10 .
  • the mobile device 30 has a base portion 31 having wheels 32 that rotate when driven by a motor, and a column portion 33 vertically erected from the base portion 31.
  • An imaging device 41 is mounted on the column portion 33. installed.
  • the imaging device 41 a device capable of capturing both visible light still images and moving images is used.
  • the imaging devices 41 are provided with four stages, which are the same in number as the number of stages of the cage row, and each stage is composed of two imaging devices 41 that respectively capture images in the left and right directions orthogonal to the traveling direction of the moving device 30 .
  • the moving device 30 moves in the passage between the adjacent cage row layers 1, and the two imaging devices 41 in each stage simultaneously photograph the two cage rows facing each other across the passage.
  • the moving device 30 moves along the cage row layer 1 adjacent to the wall of the facility, only one of the two imaging devices 41 on each stage is operated because there is only one cage row in the horizontal direction.
  • the imaging device 41 on each stage may capture only one of the left and right directions.
  • a mobile device having only one stage of the imaging device 41 may be used.
  • the image pickup device 41 can be moved according to the height of the cage row (which stage). change height. Then, when all the cages 10 belonging to the same height level within the facility have been photographed, the height of the imaging device 41 is changed to photograph all the cages 10 belonging to another level.
  • a movement control device (not shown) that controls movement of the movement device 30 is stored in the base portion 31 .
  • the movement control device is composed of a computer that mainly includes a storage device consisting of a main memory and an auxiliary memory, a processor, and a communication device that communicates with the second determination device. stored in the storage device.
  • the control method for moving the moving device 30 along the cage row is not particularly limited, but (a) a line-shaped guide or a circular or triangular guidance sign along the route of the moving device 30; Placed on the road surface, the moving device 30 moves while detecting linear guides and guidance signs based on photographing and image analysis of the road surface; stores the relative positional relationship with the next IC tag, and moves the mobile device 30 toward the next IC tag based on the reading by the IC tag reader provided in the mobile device 30; (c) Measure facilities in advance and create a map, store the coordinates of the movement route on the map in the control device of the mobile device 30, install the IC tag storing the absolute coordinates on the road surface, and read it.
  • (d) describe the movement route by the distance to go straight and the turning angle and store it in the control device of the movement device 30, and the rotation of the wheels 32
  • the movement distance is accumulated based on the detection of the number and the diameter of the wheels 32, and the difference in the number of revolutions of the left and right wheels 32 is used to turn a predetermined angle.
  • the movement control means moves the moving device 30 along the route by the control as described above, and sends a signal to the imaging device 41 when it reaches the shooting point set on the route to take a still image. .
  • the photographing points are set so that at least one still image is photographed for each cage 10 .
  • the first determination device 21 is a device that determines whether the bird in the cage 10 is alive or dead based on the still image captured by the imaging device 41 as the moving device 30 moves.
  • This device is composed of a computer that mainly includes a memory device consisting of a main memory device and an auxiliary memory device, a processor, and a communication device that communicates with the second determination device. stored in the storage device.
  • the first determination means includes still image acquisition means for acquiring a still image captured by the imaging device 41, first life/death determination means for determining whether the bird is alive or dead based on the still image, and whether the dead bird is included in the still image. When it is determined that there is no dead bird in the still image, it is determined that dead birds are included in the still image.
  • moving image transmission means for causing the image capturing device 41 to capture a moving image when the moving image is captured, adding cage specifying information for specifying the cage 10 to be captured, and transmitting the moving image to the second determination device; and a second movement signal sending means for sending a signal to the movement control means by wire or wirelessly at the time of completion to move the moving device 30 to the next photographing point.
  • the first determination device 21 is supported by the base portion 31 of the moving device 30, and is connected to the imaging device 41 by wire or wirelessly.
  • the determination device 21 may be separated from the mobile device 30 and connected to the imaging device 41 via a communication network such as an intra-facility LAN or the Internet.
  • Methods of determining whether or not a dead bird is included in a still image performed by the first life-and-death determination means include: (1) a method of image analysis of a still image; A method using a trained model, (3) a method of photographing the same photographing area with an infrared camera and a visible light camera at the same time, and (4) a combination of these methods can be mentioned.
  • Method of image analysis of still images Whether or not dead birds are included in still images is determined by image analysis in which feature points peculiar to dead birds or feature points peculiar to living birds are extracted from still images. can judge. For example, during an active time period, such as a time period during which birds are fed, as shown in FIG. In this figure, the legs of surviving birds 51 are visible in the space between the feed trough 15 and the egg collecting conveyor 16 at the bottom of the cage 10 . When edges are extracted by still image analysis, vertical contour lines on the legs of the live bird 51 are detected.
  • the body of the dead bird 52 is visible, and the vertical contour lines of the legs are not detected even by image analysis. Therefore, by extracting the vertical contour line of the leg from the still image as a feature point, determining the feature amount and comparing it with a predetermined threshold value, it is possible to determine whether or not the dead bird 52 is included in the still image. can do
  • the body of the bird is hardly visible in the space below the feeding trough 15 in the cage 10, whereas in the image including the dead bird 52, the body is in the space below the feeding trough 15. It is reflected.
  • the body and legs of the bird are different colors. Therefore, by using the color of the body or legs of the bird as a feature point and the ratio of that color to the area below the feeding trough 15 in the still image as a feature amount, it is possible to determine whether the still image is alive or dead.
  • the teacher image is taken under the same conditions as the shooting conditions when the imaging device 41 actually shoots as the moving device 30 moves.
  • the large number of live bird teacher still images are composed of various still images showing birds facing in various different directions and birds at different positions in the depth direction and left and right directions of the cage 10 .
  • Numerous dead birds containing teacher still images are: birds lying down with only the body visible and no legs visible; birds lying down with the body and legs facing sideways visible; birds with body parts missing; It is desirable to consist of a variety of still images showing birds in the air.
  • any teacher image includes an image with eggs 59 on the egg collecting conveyor 16, an image with different numbers of eggs 59, and an image without eggs 59.
  • the teacher image is an image inside the cage 10
  • the still image actually captured by the imaging device 41 includes the outside of the cage 10
  • the teacher image is an image obtained by photographing only the lower part of the cage 10 while focusing on the legs of the bird, and the input still image shows the entire cage 10
  • the photographing areas of the two are different.
  • the photographing area of the still image for input is matched with the photographing area of the image and the size is made the same, the still image for input is input to the trained model.
  • the process of matching the photographing areas can be performed, for example, by extracting the frame of the cage 10 and the bait trough 15 by image analysis and using them as a reference.
  • a visible light camera and an infrared camera are used as a pair as the imaging device 41, and the same photographing area is photographed simultaneously.
  • An infrared camera visualizes the temperature of an object by detecting the infrared radiation emitted by the object, converting it to temperature, and imaging different temperatures as different colors.
  • the still image acquisition means acquires a set of a visible light image and an infrared image that are simultaneously captured.
  • the first life-and-death determination means extracts a portion in which the bird is captured by image analysis of the visible light image, and specifies the portion by coordinates. The part where the bird is photographed can be extracted based on the color peculiar to the bird, for example, the feather color.
  • the first life-and-death determination means detects the color of the pixels in the infrared light image at the same coordinates as the coordinates specified as the part where the bird appears in the visible light image. Since dead birds have a lower body temperature than live birds, if pixels of a color indicating a low temperature exist within a predetermined range in a portion of the infrared light image where a bird should appear, the bird is determined to be a dead bird. be able to. Therefore, by setting a threshold temperature lower than the general temperature as the body temperature of living birds, it is possible to determine whether or not dead birds are included in the still image.
  • the moving image transmission means of the first determination device 21 sends a signal to the imaging device 41 when the first life-and-death determination means determines that the dead bird is included in the still image, and waits for a predetermined time (for example, 5 seconds to 10 seconds). seconds).
  • a predetermined time for example, 5 seconds to 10 seconds. seconds.
  • the threshold is set low in judgment (3) using an infrared camera, only birds that have been dead for a long time can be detected. . Since it is desirable to be able to detect birds that have just died, if the threshold is set high, there is a risk that a surviving bird will be determined to be a dead bird due to individual differences in the body temperature of birds. In other words, it may not be possible to correctly determine whether a bird is alive or dead in a determination based on a still image.
  • the image capturing device 41 when it is determined that a dead bird is included in the still image, the image capturing device 41 is caused to capture a moving image of the same cage 10 as the cage in which the still image was captured.
  • the moving image is sent to the second determination device by the moving image transmitting means in a state in which cage identification information for identifying the cage 10 to be photographed is attached.
  • the cage identification information is generated by comparing the arrangement order of the cages 10 for which still images are captured as the mobile device 30 moves and the number of still images captured before the moving image is captured. can do.
  • the height at which each image pickup device 41 is supported by the strut portion 33 of the moving device 30 and the direction of the optical axis determine the object to be photographed. positional relationship with the cage 10 is clear. Therefore, by attaching the identification code of each of the plurality of imaging devices 41 to the images photographed by the imaging device 41, it is possible to distinguish the plurality of cages 10 that are the targets of the plurality of still images photographed at the same time. Cage specific information can be generated.
  • the cage identification information can be obtained by image analysis of the identification code. can be done.
  • the second determination device is a device that determines whether the bird in the cage 10 is alive or dead based on the moving image.
  • This device is a computer that mainly includes a memory device consisting of a main memory device and an auxiliary memory device, a processor, a communication device that communicates with the first determination device 21, an alarm device, an input device such as a keyboard, and an output device including a display.
  • a program for causing the computer to function as the second determination means is stored in the storage device.
  • the second determination device is connected to the first determination device 21 via a communication network such as an intra-facility LAN or the Internet.
  • the second determination means includes a moving image acquiring means for acquiring moving images sent from the first determining device 21 and storing them in a storage device as a database associated with the cage specifying information, and determining the life and death of birds based on the moving images. a second means for judging life and death, and operating an alarm device when it is judged that the dead bird is included in the moving image, and displaying the moving image including the dead bird and the cage identification information on the display. and warning means for displaying.
  • the alarm device can be one that emits a warning sound or one that lights or flashes a warning light.
  • Methods for determining whether or not a dead bird is included in a moving image performed by the second life-and-death determining means include (A) a method using a learned model generated by machine learning of the moving image, and (B) A method of extracting an image at a certain point in time and an image after a predetermined time from images constituting a moving image and comparing them can be mentioned.
  • a trained model generated by machine learning of moving images A large number of moving images containing only surviving birds (hereinafter referred to as “surviving bird supervised moving images”) and a large number of moving images containing dead birds
  • a trained model for moving images is generated by machine learning using images (hereinafter referred to as "teacher moving images containing dead birds") as learning data.
  • the generated learned model is stored in the storage device of the second determination device.
  • the probability of the moving image containing only live birds or the probability of the moving image containing dead birds is output.
  • a combination of a convolutional neural network that excels in image recognition and a recursive neural network that has been extended to handle time-series data can be used.
  • the teacher image is taken under the same shooting conditions as when the imaging device 41 actually shoots moving images in the facility. It is desirable that the large number of living bird teacher moving images consist of various moving images showing birds facing in various different directions and birds at different positions in the depth direction and left and right directions of the cage 10 . A large number of dead birds, including teacher videos, include birds lying down with only the body visible and no legs visible; It should preferably consist of a variety of moving images showing birds in flight. It is desirable that any teacher image includes an image with eggs 59 on the egg collecting conveyor 16, an image with different numbers of eggs 59, and an image without eggs 59.
  • (B) A method of extracting and comparing an image at a certain point in time and an image after a predetermined period of time from images that make up a moving image, and comparing a still image at a certain point in time T and a point after a predetermined period of time from continuous images that make up the moving image.
  • a plurality of still images are extracted at time intervals of ⁇ T, such as extracting a still image at (T + ⁇ T) and then extracting a still image at (T + 2 ⁇ T) after the same time has passed,
  • a difference in pixel value is obtained for each of the same coordinates in the images before and after along the .
  • the pixel value difference is zero in a non-moving portion, and the pixel value difference occurs in a moving portion.
  • the immovable parts include the frame of the cage 10, the lattice member, and the feed trough 15, in addition to the dead birds. Since the frames, grid members, and bait troughs 15 have straight contours, dead birds with non-linear contours can be discriminated by image analysis.
  • the part where there is a difference in pixel value is a surviving bird.
  • the dead bird when a dead bird is kicked by a surviving bird, the dead bird also moves, causing a difference in pixel values, which poses a problem.
  • the time interval .DELTA.T is a short time
  • a pixel having a difference in pixel value gradually moves to the surrounding pixels (coordinates) in accordance with natural movement.
  • a dead bird that has been kicked by a living bird moves a great deal instantaneously, so pixels with different pixel values move to distant pixels. Therefore, by setting thresholds for the change in pixel value and the amount of movement of the pixel (coordinates) that causes the change in pixel value, it is possible to determine whether or not dead birds are included in the moving image. .
  • the moving device 30 When the process is started, the moving device 30 is moved to the first photographing point under the control of the movement control means (step P1), and a still image is photographed by the imaging device 41 (step P2). It is desirable to move the mobile device 30 and capture the still image during a time period when the amount of bird activity is high, for example, during a feeding time period.
  • the photographed still image is sent to the first judging device 21, and the life-and-death judgment is performed by the above-described method by the first life-and-death judging means (step P3).
  • the movement control means controls all the images based on the movement signal from the first determination device 21. It is checked whether a still image has been captured at the point (step P9), and if there are still unphotographed points (No in step P9), control is performed to move the moving device 30 toward the next photographing point. After that (step S10), the process returns to the above-described step P2, and a still image is captured.
  • step P4 if it is determined that the still image includes a dead bird in the life-and-death determination by the first life-and-death determination means (Yes in step P4), at the same photographing point at which the still image was photographed, A moving image is captured by the imaging device 41 (step P5). The captured moving image is sent to the second determination device, and the second life-and-death determination means performs life-and-death determination by the method described above (step P6).
  • the alarm device when it is determined that dead birds are included in the moving image (Yes in step P7), the alarm device generates a warning sound and lights/blinks a warning light, and the dead birds are included.
  • Cage identification information identifying the photographing point where the moving image was photographed, in other words, information identifying the cage 10 in which the dead bird is present is displayed on the display of the second determination device (step P8). In response to this, the operator can go to the identified cage 10 and quickly remove dead birds from the cage 10 .
  • step P7 determines whether the moving image contains only live birds, that is, does not contain dead birds. If it is confirmed in step P9 that still images have been captured at all the shooting points (Yes in step P9), the process ends.
  • the first life-or-death determination determines whether the birds in the cage 10 are alive or dead based on a still image
  • dead birds are included in the first life-or-death determination. If it is determined, a moving image is shot for a predetermined time at the same shooting point, and a second life-or-death determination is performed based on the moving image. Therefore, when a bird dies in the cage 10, it can be accurately detected.
  • Still images are captured under the control of the movement control device, the first determination of life and death and the capturing of moving images are performed under the control of the first determination device 21, and the second determination of life and death and the detection of dead birds are performed.
  • the display of alarm occurrence and cage specific information is controlled by the second determination device. Therefore, the work to be done by the operator is only the work of removing dead birds from the cage 10, and the labor burden on the operator can be greatly reduced.
  • the dead bird detection method of the second embodiment when it is determined that dead birds are included in the still image as a result of the first life-and-death determination, moving images are captured using the same imaging device 41 for the same cage, which is the subject of imaging. take a picture.
  • a device different from the imaging device 41 that captures still images always captures moving images. Therefore, the dead bird detection system that uses the dead bird detection method of the second embodiment includes the moving device 30 equipped with the imaging device 41, the first determination device 21, and the second determination device, and in addition to constantly capturing moving images, is provided with a second imaging device.
  • the second imaging device and the cage to be photographed may have a one-to-one correspondence, or a single second imaging device may photograph moving images of a plurality of cages.
  • moving image target cage information specifying a target cage for capturing a moving image is assigned to each of the second imaging devices.
  • the second photographing device has a device for counting time, and stores the photographed moving image in association with the photographing time.
  • the mobile device 30 differs from the first embodiment in the imaging device 41 provided therein.
  • the imaging device 41 used in the second embodiment captures only still images and counts time. It has
  • the hardware configuration of the first determination device 21 is the same as that of the first embodiment, but the functional configuration is different.
  • the first determination means of the second embodiment includes still image acquisition means for acquiring a still image captured by the imaging device 41, first life/death determination means for determining whether the bird is alive or dead based on the still image, and death in the still image.
  • dead bird detection signal transmitting means for transmitting a dead bird detection signal to the second determination device when it is determined that a bird is included; and a movement signal sending means for sending a signal to move the moving device 30 to the next photographing point.
  • the still image acquisition means and the first life/death determination means are the same as in the first embodiment.
  • the second determination device has the same hardware configuration as the first embodiment, but stores a database that associates the identification information of the second imaging device with the moving image target cage information in the storage device. Also, the second determination device differs from the first embodiment in its functional configuration.
  • the second determination means of the second embodiment includes moving image acquiring means for acquiring a moving image from the second imaging device when the dead bird detection signal transmitted from the first determining device is received, and a second life-and-death determination means for determining whether a bird is alive or dead; operating an alarm device when it is determined that a dead bird is included in a moving image; and warning means for displaying on the display.
  • the second life-and-death determination means and warning means are the same as in the first embodiment.
  • a still image is captured as the moving device 30 is moved, and whether or not a dead bird is included in the still image is determined by the first life-and-death determination means.
  • the moving device 30 moves within the facility while capturing still images with the imaging device 41 .
  • a dead bird detection signal is transmitted to the second determination device.
  • the dead bird detection signal includes cage identification information identifying the cage in which the still image was captured and time information indicating the time when the still image was captured.
  • the moving image acquisition means acquires the moving image from the second imaging device upon receiving the dead bird detection signal.
  • the moving image acquisition means refers to a database in which the identification information of the second imaging device and the moving image target cage information are associated, and obtains the moving image target cage information corresponding to the cage specifying information included in the dead bird detection signal.
  • a moving image is acquired from the associated second imaging device. That is, a moving image is obtained from the second imaging device, which is the moving image capturing target of the still image capturing target of the cage in which the dead bird is determined to be included.
  • the moving image acquiring means refers to the time information included in the dead bird detection signal, and refers to the moving image of a predetermined time before and after the time when the still image determined to include the dead bird was taken. For example, a moving image from 3 seconds before to 3 seconds after the still image was captured is acquired.
  • a life-and-death judgment is performed on the acquired moving image by the second life-and-death judgment means.
  • This life-and-death determination is similar to that described above for the first embodiment.
  • an alarm is issued by the alarm device, and information specifying the cage for which the moving image containing the dead bird is photographed is displayed on the display of the second determination device. is also the same as in the first embodiment.
  • the operator who received the warning can go to the identified cage and quickly remove the dead bird from the cage.
  • the first determination device 21 and the second determination device are composed of separate computers, and the first determination device 21 is supported by the moving device 30 as an example.
  • the configuration is not limited to this, and a single computer may serve as both the first determination device 21 and the second determination device.
  • the second determination device acquires a moving image when it is determined that dead birds are included as a result of the first life-and-death determination is exemplified.
  • the photographed moving image is sent to a terminal used by the operator via a communication network together with an alarm signal and information identifying the cage.
  • terminals used by workers fixed PCs can be used, and portable terminals such as notebook computers, tablet terminals, and smart phones can be used.
  • the operator can display the moving image on the display of the terminal and confirm the presence or absence of dead birds with his/her own eyes.
  • the database in which the moving image is associated with the information specifying the cage is stored in the storage device of the second determination device.
  • the present invention is not limited to this, and information specifying the cage 10 to be photographed can also be obtained when photographing a still image, and a database in which this information and the still image are associated can be stored.
  • This database may be stored in the storage device of the first determination device 21, or may be stored in the storage device of the second determination device after being sent from the first determination device 21 to the second determination device.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Birds (AREA)
  • Image Processing (AREA)

Abstract

複数のケージが水平方向に並設されたケージ列が、複数段に積層されているケージ列レイヤを使用してトリを飼育している施設において、設定された経路に沿って移動する移動装置に取り付けられた撮像装置によって、ケージごとに少なくとも一枚の静止画像を撮影し、撮影された静止画像に死亡トリが含まれているか否かの第一の生死判定を第一判定装置によって行い、第一の生死判定の結果、静止画像に死亡トリが含まれていると判定されたときは、同一の撮影対象であるケージについて撮影された動画像を使用し、動画像に死亡トリが含まれているか否かの第二の生死判定を行う。

Description

死亡トリ検出方法
　本発明は、ケージでトリを飼育する養鶏施設において、トリが死亡したときにそれを検出する死亡トリ検出方法に関するものである。
　大規模の養鶏施設では、多数のケージが水平方向に並設されたケージ列が、複数段に積層されているケージ列レイヤを使用して、多数羽のトリを飼育している。このような養鶏施設では、給餌、給水、集卵、除糞などを機械化することにより、少ない人数の作業者で多数羽のトリの飼育を行っている。
　そのため、ケージの中でトリが死亡したとしても、作業者がそれに気づくのが難しい。定期的に作業者が巡回してトリの状況をチェックしようとすると、ケージの数が非常に多いために作業者の労力負担が大きく、所要時間もかかる。
　仮に、死亡したトリが放置されると、ケージ内の衛生環境が悪化し、生きているトリにも悪影響を及ぼすおそれがある。また、鶏卵を生産する養鶏施設では一般的に、ケージ列に沿って集卵用のコンベアを設置し、ケージの床面を傾斜させることにより、卵を自重でコンベア上に転がり出させて回収している。そのため、死亡したトリの身体が障害となって卵の転出が妨げられ、そのまま時間が経過した後で卵がコンベア上に転がり出て回収されることがあると、新鮮な卵の中に古い卵が混入してしまう。新鮮な卵と古い卵は外観では見分けがつかないため、このような事態が発生することは避けなければならない。
　このような問題に対し、多数の監視カメラを施設内に設置してケージを撮影し、管理棟のモニターテレビに映し出すことも提案されている（特許文献１参照）。しかしながら、この場合、施設内を作業者が巡回する労力を省くことはできるものの、作業者がモニターテレビを常時モニタリングしていなくてはならない点で、労力負担は依然として大きいものであった。
　そのため、ケージ内でトリが死亡したときに、作業者の労力負担を低減して、速やか且つ正確に、それを検出することができる技術が要請されていた。
特公平０７－０８５６９６号公報
　そこで、本発明は、上記の実情に鑑み、ケージ内でトリが死亡したときに、作業者の労力負担を低減して、速やか且つ正確に、それを検出することができる死亡トリ検出方法の提供を、課題とするものである。
　上記の課題を解決するため、本発明にかかる死亡トリ検出方法は、
「複数のケージが水平方向に並設されたケージ列が、複数段に積層されているケージ列レイヤを使用してトリを飼育している施設において、
　設定された経路に沿って移動する移動装置に取り付けられた撮像装置によって、ケージごとに少なくとも一枚の静止画像を撮影し、前記静止画像に死亡トリが含まれているか否かの第一の生死判定を第一判定装置によって行い、
　前記第一の生死判定の結果、前記静止画像に死亡トリが含まれていると判定されたときは、同一の撮影対象であるケージについて撮影された動画像を使用し、該動画像に死亡トリが含まれているか否かの第二の生死判定を行う」ものである。
　ケージに死亡トリが存在するか否かを、ケージを撮影した静止画像のみに基づいて判定する場合は、座っている生存トリを、死亡トリと誤判定してしまうおそれがある。これに対し、本構成では、静止画像に基づく第一の生死判定で死亡トリが含まれていると判定された場合に、同一の撮影対象について撮影された動画像を使用し、その動画像に死亡トリが含まれているか否かの第二の生死判定を行う。そのため、静止画像では死亡トリのように見えても、動画像において動きが確認される生存トリを死亡トリと区別することができるため、ケージ内のトリの生死を正確に判定することができる。
　ここで、「第一の生死判定の結果、前記静止画像に死亡トリが含まれていると判定されたときは、同一の撮影対象であるケージについて撮影された動画像を使用して第二の生死判定を行う」方法としては、第一の生死判定の結果として静止画像に死亡トリが含まれていると判定されたことを受けて動画像を撮影し第二の生死判定を行う方法、動画像を常時撮影しておき、第一の生死判定の結果として静止画像に死亡トリが含まれていると判定されたときに、その時点の前後の動画像を使用して第二の生死判定を行う方法、を挙げることができる。
　前者の場合、第一の生死判定の結果として静止画像に死亡トリが含まれていると判定された場合のみ動画像を撮影するため、施設内を移動する移動装置に取り付けられて静止画像を撮影する撮像装置と同一の撮像装置で、動画像の撮影を行うことができる。そのため、簡易な設備で死亡トリを検出することができる。
　後者の場合、動画像は常時撮影しているものの、その動画像をずっとモニタリングする必要も、その動画像の全てを解析する必要もなく、第一の生死判定の結果として静止画像に死亡トリが含まれていると判定された場合のみ、その前後の動画像を使用する。そのため、動画像を効率よく利用することができる。
　また、何れの場合も、少なくとも第一の生死判定を第一判定装置で行っている。そのため、トリの生死を判定する処理において、機械化（自動化）されている部分が多いため、作業者の労力負担を低減して速やかに判定を行うことができる。
　本発明にかかる死亡トリ検出方法は、上記構成において、
「前記第二の生死判定を第二判定装置によって行い、
　前記第二の生死判定の結果、前記動画像に死亡トリが含まれていると判定されたときは、アラームを発生させると共に、撮影対象であるケージを特定するケージ特定情報を報知させる」ものとすることができる。
　本構成では、第二の生死判定を第二判定装置によって行い、その結果、動画像に死亡トリが含まれていると判定されたときは、アラームを発生させると共に、ケージ特定情報を報知している。そのため、作業者はアラームを受けて、ケージ特定情報で特定されたケージに出向き、ケージから死亡トリを除去する作業のみを行えば済む。従って、作業者の労力負担を更に低減することができる。
　本発明にかかる死亡トリ検出方法は、上記構成において、
「前記第二の生死判定は、生存トリのみを含む教師動画像と、死亡トリを含む教師動画像を学習データとした機械学習により生成された学習済みモデルに、前記動画像を入力することにより得られた結果に基づいて行う」ものである。
　これは、第二の生死判定の方法を具体的に特定した構成である。
　本発明にかかる死亡トリ検出方法は、上記構成において、
「前記第一の生死判定は、死亡トリまたは生存トリに特有の特徴点に関して前記静止画像を画像解析した結果に基づく判定、生存トリのみを含む教師静止画像と、死亡トリを含む教師静止画像を学習データとした機械学習により生成された学習済みモデルに、前記静止画像を入力することにより得られた結果に基づく判定、赤外線カメラにより撮影対象の温度を可視化した結果に基づく判定、及び、これらの判定のうちの二以上の組合せ、の何れかである」ものとすることができる。
　これは、第一の生死判定の方法を具体的に特定した構成である。
　以上のように、本発明によれば、ケージ内でトリが死亡したときに、作業者の労力負担を低減して、速やか且つ正確に、それを検出することができる死亡トリ検出方法を提供することができる。
図１は撮像装置を備える移動装置とケージ列レイヤとの位置関係を示す側面図である。 図２（ａ）は生存トリのみが存在するケージの模式図であり、図２（ｂ）は死亡トリが存在するケージの模式図である。 図３は、第一実施形態の死亡トリ検出方法における処理を説明するフローチャートである。
　以下、本発明の具体的な実施形態である死亡トリ検出方法、及び、この検出方法を使用した死亡トリ検出システムについて、図面を用いて説明する。
　本実施形態が適用される養鶏施設は、多数のケージ１０が水平方向に並設されたケージ列が、複数段に積層されているケージ列レイヤ１でトリを飼育している。一般的なケージ列レイヤ１では、図１に示すように、背中合わせに配された二つのケージ列で一段が構成されている。図１では、ケージ列が四段積層されている場合を例示しているが、段数はこれに限定されない。また、図１では、通路を挟んで隣接している二つのケージ列レイヤ１を図示しているが、施設内におけるケージ列レイヤ１の数はこれに限定されない。
　各ケージ列において、他のケージ列と接している側を背面とし、その反対側を正面とすると、各ケージ列の正面には水平方向に長い餌樋１５が設けられている。餌樋１５は、ケージ１０から首を出したトリが餌をついばむことができるように、床面より少し高い位置に設けられている。また、ここでは、採卵用のトリが飼育されている場合を例示しており、餌樋１５の下方には卵を回収する集卵コンベア１６が配されている。ケージ１０の床は、背面から正面に向かって下降するように傾斜しており、卵は自重により床を転がって集卵コンベア１６上に載置される。
　第一実施形態の死亡トリ検出方法を使用する死亡トリ検出システムは、撮像装置４１を備える移動装置３０と、第一判定装置２１と、第二判定装置（図示を省略）とを主な構成とする。
　移動装置３０は、ケージ列に沿って施設内を移動し、撮像装置４１によってケージ１０ごとの撮影を行う装置である。移動装置３０は、モータの駆動により回転する車輪３２を備えるベース部３１と、ベース部３１から鉛直方向に立設している支柱部３３を有しており、この支柱部３３に撮像装置４１が取り付けられている。第一実施形態では、撮像装置４１として、可視光の静止画像と動画像との双方を撮影できる装置を使用する。
　撮像装置４１はケージ列の段数と同数の四段が設けられており、各段は、移動装置３０の進行方向に直交する左右方向をそれぞれ撮影する二つの撮像装置４１からなる。移動装置３０は、隣接するケージ列レイヤ１の間の通路を移動し、各段の二つの撮像装置４１はそれぞれ、通路を挟んで対面している二つのケージ列の撮影を同時に行う。施設の壁に隣接しているケージ列レイヤ１に沿って移動装置３０が移動する際は、左右方向の片側にしかケージ列がないため、各段の二つの撮像装置４１のうち一方のみを動作させる。
　なお、各段の撮像装置４１は、左右方向の一方のみを撮影するものであってもよい。また、撮像装置４１を一段のみ備える移動装置とすることもできる。その場合は、支柱部３３の全長を伸縮させる機構または撮像装置４１を支柱部３３に沿ってスライドさせる機構を設けることにより、ケージ列の高さ（何段目か）に応じて撮像装置４１の高さを変化させる。そして、施設内において同一の高さの段に属する全てのケージ１０についての撮影を終了したら、撮像装置４１の高さを変化させ、別の段に属する全てのケージ１０について撮影を行う。
　ベース部３１には、移動装置３０の移動を制御する移動制御装置（図示を省略）が格納されている。移動制御装置は、主記憶装置及び補助記憶装置からなる記憶装置、プロセッサ、第二判定装置と通信する通信装置を主に具備するコンピュータで構成されており、移動制御手段としてコンピュータを機能させるプログラムが記憶装置に記憶されている。
　移動装置３０をケージ列に沿って移動させる制御の方法は、特に限定されるものではないが、（ａ）移動装置３０の経路に沿ってライン状のガイド、或いは円形や三角形などの誘導標識を路面に配置し、移動装置３０が路面の撮影と画像解析に基づいてライン状のガイドや誘導標識を検出しながら移動するもの、（ｂ）経路に沿って路面にＩＣタグを配置し、ＩＣタグに次のＩＣタグとの相対的な位置関係を記憶させておき、移動装置３０に設けられたＩＣタグ・リーダによる読み取りに基づいて、次のＩＣタグに向かって移動装置３０を移動させるもの、（ｃ）予め施設を計測して地図を作成し、地図における移動経路の座標を移動装置３０の制御装置に記憶させておくと共に、絶対座標を記憶させたＩＣタグを路面に設置し、その読み取りに基づいて検出した自己位置と地図との対比により移動するもの、（ｄ）直進する距離や旋回角度で移動経路を記述して移動装置３０の制御装置に記憶させておくと共に、車輪３２の回転数の検知と車輪３２の径に基づいて移動距離を累積し、左右の車輪３２の回転数の差で所定角度の旋回をさせるもの、を例示することができる。
　移動制御手段は、上記のような制御により、経路に沿って移動装置３０を移動させると共に、経路上に設定された撮影ポイントに到達したときに撮像装置４１に信号を送り、静止画像を撮影させる。撮影ポイントは、ケージ１０ごとに少なくとも一枚の静止画像が撮影されるように設定される。
　第一判定装置２１は、移動装置３０の移動に伴い撮像装置４１が撮影した静止画像に基づいて、撮影されたケージ１０内のトリの生死を判定する装置である。この装置は、主記憶装置及び補助記憶装置からなる記憶装置、プロセッサ、第二判定装置と通信する通信装置を主に具備するコンピュータで構成されており、第一判定手段としてコンピュータを機能させるプログラムが記憶装置に記憶されている。
　第一判定手段は、撮像装置４１が撮影した静止画像を取得する静止画像取得手段と、静止画像に基づいてトリの生死を判定する第一生死判定手段と、静止画像に死亡トリが含まれていないと判定されたときに、移動制御手段に有線または無線で信号を送り、次の撮影ポイントまで移動装置３０を移動させる移動信号送出手段と、静止画像に死亡トリが含まれていると判定されたときに、撮像装置４１に動画像を撮影させ、撮影対象のケージ１０を特定するケージ特定情報を付して、動画像を第二判定装置に送る動画像送信手段と、動画像の撮影が終了した時点で移動制御手段に有線または無線で信号を送り、次の撮影ポイントまで移動装置３０を移動させる第二移動信号送出手段と、を備えている。
　ここでは、第一判定装置２１が移動装置３０のベース部３１に支持されており、撮像装置４１と有線または無線で接続されている場合を例示しているが、これに限定されず、第一判定装置２１が移動装置３０とは離れており、施設内ＬＡＮやインターネットなどの通信ネットワークを介して撮像装置４１と接続されている構成とすることができる。
　第一生死判定手段が行う、静止画像に死亡トリが含まれているか否かの判定の方法としては、（１）静止画像を画像解析する方法、（２）静止画像の機械学習により生成された学習済みモデルを使用する方法、（３）赤外線カメラと可視光カメラで同一の撮影領域を同時に撮影する方法、（４）これらの方法の組合せ、を挙げることができる。
（１）静止画像を画像解析する方法
　死亡トリに特有の特徴点、或いは生存トリに特有の特徴点を、静止画像から抽出する画像解析により、静止画像に死亡トリが含まれているか否かを判定することができる。例えば、トリに給餌する時間帯のような活動時間帯では、図２（ａ）に示すように、生存トリ５１は立っているため、トリの脚が視認される。この図では、ケージ１０の下部において餌樋１５と集卵コンベア１６との間の空間に、生存トリ５１の脚が見えている様子を示している。静止画像の解析によりエッジを抽出すると、生存トリ５１の脚における縦の輪郭線が検出される。
　一方、図２（ｂ）に示すように、死亡トリ５２は胴体が視認され、画像解析しても脚における縦の輪郭線は検出されない。そのため、脚の縦の輪郭線を特徴点として静止画像から抽出し、その特徴量を求めて予め定めた閾値と対比することにより、静止画像に死亡トリ５２が含まれているか否かの生死判定をすることができる。
　また、生存トリ５１のみの画像では、ケージ１０において餌樋１５より下方の空間にトリの胴体は殆ど写っていないのに対し、死亡トリ５２を含む画像では餌樋１５より下方の空間に胴体が写っている。トリの胴体と脚では色が異なる。そこで、トリの胴体の色または脚の色を特徴点とし、静止画像における餌樋１５より下方の面積におけるその色の割合を特徴量とすることにより、静止画像について生死判定をすることができる。
（２）静止画像の機械学習により生成された学習済みモデルを使用する方法
　生存トリのみを含む多数の静止画像（以下、「生存トリ教師静止画像」と称する）と、死亡トリを含む多数の静止画像（以下、「死亡トリ含有教師静止画像」と称する）を学習データとし、機械学習により学習済みモデルを生成する。生成された学習済みモデルは、第一判定装置２１の記憶装置に記憶される。撮像装置４１によって実際に撮影された静止画像を学習済みモデルに入力することにより、生存トリのみを含む画像である確率、或いは、死亡トリを含む画像である確率が出力される。ニューラルネットワークによる機械学習の場合、トリの生死に関する情報が付された教師画像（生存トリ教師静止画像、死亡トリ含有教師静止画像）を学習データとして学習済みモデルを生成した後、生死に関する情報のない教師画像を学習済みモデルに入力しつつ、生死判定のために適した確率が出力されるように、ニューロン間の重み係数を調整する。
　教師画像は、移動装置３０の移動に伴い撮像装置４１が実際に撮影を行うときの撮影条件と、同一の条件で撮影されたものであることが望ましい。多数の生存トリ教師静止画像は、異なる種々の方向を向いているトリ、ケージ１０の奥行方向や左右方向において異なる位置にいるトリが写っている多様な静止画像からなることが望ましい。多数の死亡トリ含有教師静止画像は、倒れていて胴体のみが見え脚の見えないトリ、倒れていて胴体と共に横向きの脚が見えるトリ、身体の一部が欠けているトリ、羽毛が変色しているトリ、が写っている多様な静止画像からなることが望ましい。何れの教師画像も、集卵コンベア１６上に卵５９がある画像、卵５９の数が異なる画像、卵５９のない画像を含むことが望ましい。
　教師画像がケージ１０内部の画像であって、撮像装置４１で実際に撮影された静止画像（以下、「入力用静止画像」と称することがある）にケージ１０の外部まで写っている場合や、教師画像がトリの脚に着目してケージ１０の下部のみを撮影した画像であって、入力用静止画像にはケージ１０の全体が写っている場合など、双方の撮影領域が異なる場合は、教師画像の撮影領域に入力用静止画像の撮影領域を一致させ、サイズを同一にしてから、入力用静止画像を学習済みモデルに入力する。撮影領域を一致させる処理は、例えば、画像解析によりケージ１０のフレームや餌樋１５を抽出し、これらを基準にすることにより行うことができる。
　入力用静止画像を学習済みモデルに入力し、出力された値（確率）を予め定めた閾値と対比することにより、静止画像に死亡トリが含まれているか否かの生死判定をすることができる。
（３）赤外線カメラと可視光カメラで同一の撮影領域を同時に撮影する方法
　この方法では、撮像装置４１として可視光カメラと赤外線カメラを対として用い、同一の撮影領域を同時に撮影する。赤外線カメラは、物体から放射される赤外線を検出し、これを温度に変換して、異なる温度を異なる色として画像化することにより、被写体の温度を可視化する。静止画像取得手段は、同時に撮影された可視光画像と赤外線画像とをセットで取得する。第一生死判定手段は、可視光画像の画像解析によりトリが写っている部分を抽出し、その部分を座標で特定する。トリが写っている部分の抽出は、トリに特有な色、例えば羽毛の色に基づいて抽出することができる。
　第一生死判定手段は、可視光画像においてトリが写っている部分として特定された座標と、同一の座標の赤外光画像において画素の色を検出する。死亡トリは生存トリより体温が低いため、赤外光画像においてトリが写っているはずの部分に、低温であることを示す色の画素が所定範囲で存在すれば、死亡トリであると判定することができる。従って、生存トリの体温として一般的な温度より低い温度に閾値を設定しておくことにより、静止画像に死亡トリが含まれているか否かの生死判定をすることができる。
　第一判定装置２１の動画像送信手段は、第一生死判定手段が静止画像に死亡トリが含まれていると判定したとき、撮像装置４１に信号を送り、所定時間（例えば、５秒～１０秒）だけ動画像を撮影させる。これは、静止画像を画像解析する判定（１）において、トリの脚を特徴点としたときや、静止画像の機械学習により生成された学習済みモデルを使用した判定（２）において、トリの脚を画像に含むか否かに着目した教師画像を学習データとして機械学習を行った場合、座っている（うずくまっている）トリを死亡トリと判定してしまうおそれがあるからである。
　また、死亡してから体温が低下する速度は大きくないため、赤外線カメラを使用した判定（３）において、閾値が低く設定されていると、死亡してからかなり長時間が経過したトリしか検出できない。死亡して間もないトリまで検出できる方が望ましいため、閾値を高く設定すると、トリの体温にも個体差があるため、生存トリを死亡トリと判定してしまうおそれがある。つまり、静止画像に基づく判定では、トリの生死を正しく判定できない場合がある。
　そこで、第一実施形態では、静止画像に死亡トリが含まれていると判定したとき、その静止画像を撮影したケージと同一のケージ１０について、撮像装置４１によって動画像を撮影させる。動画像は、撮影対象のケージ１０を特定するケージ特定情報が付された状態で、動画像送信手段によって第二判定装置に送られる。
　ここで、ケージ特定情報は、移動装置３０の移動に伴い静止画像が撮影されるケージ１０の並び順と、その動画像の撮影の前までに撮影された静止画像の枚数との対比によって、生成することができる。本実施形態のように、複数の撮像装置４１で複数のケージ１０を同時に撮影する場合、各撮像装置４１が移動装置３０の支柱部３３に支持されている高さや光軸の方向により、撮影対象のケージ１０との位置関係が明らかである。そのため、複数の撮像装置４１それぞれの識別コードを、その撮像装置４１によって撮影された画像に付すことにより、同時に撮影された複数の静止画像の対象である複数のケージ１０を区別することができ、ケージ特定情報を生成することができる。
　また、ケージ１０ごと、撮像装置で撮影できる位置に識別コードを表示しておき、その識別コードが含まれるように静止画像の撮影を行えば、識別コードの画像解析によって、ケージ特定情報を得ることができる。
　なお、複数の撮像装置４１で同時に撮影した複数のケージ１０のうち、一部の静止画像のみに死亡トリが含まれていると判定された場合は、そのケージ１０のみについて動画像の撮影を行えばよい。
　第二判定装置は、動画像に基づいて、撮影されたケージ１０内のトリの生死を判定する装置である。この装置は、主記憶装置及び補助記憶装置からなる記憶装置、プロセッサ、第一判定装置２１と通信する通信装置、アラーム装置、キーボードなどの入力装置、ディスプレイを含む出力装置、を主に備えるコンピュータで構成されており、第二判定手段としてコンピュータを機能させるプログラムが記憶装置に記憶されている。第二判定装置は、施設内ＬＡＮやインターネットなどの通信ネットワークを介して第一判定装置２１と接続されている。
　第二判定手段は、第一判定装置２１から送られた動画像を取得し、ケージ特定情報と対応付けたデータベースとして記憶装置に記憶する動画像取得手段と、動画像に基づいてトリの生死を判定する第二生死判定手段と、動画像に死亡トリが含まれていると判定されたときに、アラーム装置を動作させると共に、死亡トリが含まれている動画像とケージ特定情報とをディスプレイに表示させる警告手段と、を備えている。アラーム装置は、警告音を発するものや、警告灯を点灯・点滅させるものとすることができる。
　第二生死判定手段が行う、動画像に死亡トリが含まれているか否かの判定の方法としては、（Ａ）動画像の機械学習により生成された学習済みモデルを使用する方法、（Ｂ）動画像を構成する画像から、ある時点の画像と所定時間経過後の画像を抽出し対比する方法、を挙げることができる。
（Ａ）動画像の機械学習により生成された学習済みモデルを使用する方法
　生存トリのみを含む多数の動画像（以下、「生存トリ教師動画像」と称する）と、死亡トリを含む多数の動画像（以下、「死亡トリ含有教師動画像」と称する）を学習データとし、機械学習により動画像用の学習済みモデルを生成する。生成された学習済みモデルは、第二判定装置の記憶装置に記憶される。
　第一判定装置２１から送られた実際の動画像を学習済みモデルに入力することにより、生存トリのみを含む動画像である確率、或いは、死亡トリを含む動画像である確率が出力される。機械学習には、例えば、画像認識に優れる畳み込みニューラルネットワークと、時系列データを扱えるようにニューラルネットワークが拡張された再帰型ニューラルネットワークを組み合わせて使用することができる。
　これらのニューラルネットワークによる機械学習の場合、トリの生死に関する情報が付された教師画像（生存トリ教師動画像、死亡トリ含有教師動画像）を学習データとして学習済みモデルを生成した後、生死に関する情報のない教師画像を学習済みモデルに入力しつつ、生死判定のために適した確率が出力されるように、ニューロン間の重み係数を調整する。
　教師画像は、撮像装置４１が施設内で実際に動画像の撮影を行うときの撮影条件と同一の条件で撮影されたものであることが望ましい。多数の生存トリ教師動画像は、異なる種々の方向を向いているトリ、ケージ１０の奥行方向や左右方向において異なる位置にいるトリが写っている多様な動画像からなることが望ましい。多数の死亡トリ含有教師動画像は、倒れていて胴体のみが見えて脚の見えないトリ、倒れていて胴体と共に横向きの脚が見えるトリ、身体の一部が欠けているトリ、羽毛が変色しているトリが写っている多様な動画像からなることが望ましい。何れの教師画像も、集卵コンベア１６上に卵５９がある画像、卵５９の数が異なる画像、卵５９のない画像を含むことが望ましい。
　第一判定装置２１から送られた動画像を動画像用の学習済みモデルに入力し、出力された値（確率）を予め定めた閾値と対比することにより、動画像に死亡トリが含まれているか否かの生死判定をすることができる。
（Ｂ）動画像を構成する画像から、ある時点の画像と所定時間経過後の画像を抽出し対比する方法
　動画像を構成する連続画像から、ある時点Ｔにおける静止画像と、所定時間経過した時点（Ｔ＋△Ｔ）における静止画像を抽出し、更に同じ時間だけ経過した時点（Ｔ＋２△Ｔ）における静止画像を抽出するというように、△Ｔの時間間隔で複数の静止画を抽出し、時系列に沿って前後の画像における同一の座標ごとに画素値の差を求める。動画像において不動の部分は画素値の差がゼロであり、動いている部分には画素値に差が生じる。不動の部分としては、死亡トリの他、ケージ１０のフレーム、格子部材、餌樋１５がある。フレーム、格子部材、餌樋１５は輪郭が直線的であるため、輪郭が非直線的である死亡トリと、画像解析によって判別することができる。
　一方、画素値に差が生じている部分は、生存トリであると判定できる。ここで、死亡トリが生存トリに蹴られたとき、死亡トリにも動きが生じ、画素値に差が生じるため問題となる。しかしながら、時間間隔△Ｔは短い時間であるため、生存トリの場合は自然な動きに伴い、画素値に差が生じる画素は、周辺の画素（座標）に少しずつ移動していく。これに対し、生存トリに蹴られた死亡トリは、瞬間的に大きく移動するため、画素値に差が生じる画素が離れた画素に移動する。従って、画素値の変化と、画素値に変化が生じる画素（座標）の移動量にそれぞれ閾値を設定することにより、動画像に死亡トリが含まれているか否かの生死判定をすることができる。
　上記では、死亡トリ検出システムの構成と、各構成の作用・機能について説明した。次に、このシステムで使用される第一実施形態の死亡トリ検出方法における処理の流れを、図３を用いて説明する。
　処理を開始すると、移動制御手段の制御により最初の撮影ポイントまで移動装置３０が移動させられ（ステップＰ１）、撮像装置４１によって静止画像が撮影される（ステップＰ２）。移動装置３０の移動及び静止画像の撮影は、トリの活動量が大きい時間帯、例えば、給餌の時間帯に行うことが望ましい。撮影された静止画像は第一判定装置２１に送られ、第一生死判定手段によって上述した方法で生死判定が行われる（ステップＰ３）。
　その結果、静止画像が生存トリのみを含む、すなわち、死亡トリを含まないと判定されると（ステップＰ４においてＮｏ）、第一判定装置２１からの移動信号に基づき、移動制御手段によって全ての撮影ポイントで静止画像が撮影されたかが確認され（ステップＰ９）、未撮影の撮影ポイントが残っている場合は（ステップＰ９においてＮｏ）、次の撮影ポイントに向かって移動装置３０を移動させる制御が行われた後（ステップＳ１０）、上述のステップＰ２に戻り静止画像の撮影が行われる。
　一方、第一生死判定手段による生死判定により、静止画像に死亡トリが含まれていると判定された場合は（ステップＰ４においてＹｅｓ）、その静止画像が撮影されたのと同一の撮影ポイントにおいて、撮像装置４１によって動画像が撮影される（ステップＰ５）。撮影された動画像は第二判定装置に送られ、第二生死判定手段によって上述した方法で生死判定が行われる（ステップＰ６）。
　その結果、動画像に死亡トリが含まれていると判定された場合は（ステップＰ７においてＹｅｓ）、アラーム装置によって警告音の発生や警告灯の点灯・点滅がなされると共に、死亡トリが含まれている動画像を撮影した撮影ポイントを特定するケージ特定情報、換言すれば、死亡トリが存在するケージ１０を特定する情報が、第二判定装置のディスプレイに表示される（ステップＰ８）。これを受け、作業者は特定されたケージ１０に出向き、死亡トリをケージ１０から除去する作業を速やかに行うことができる。
　第二生死判定手段による判定の結果、動画像が生存トリのみを含む、すなわち、死亡トリを含まないと判定されると（ステップＰ７においてＮｏ）、上述のステップＳ９に移行する。ステップＰ９において、全ての撮影ポイントで静止画像が撮影されたことが確認されると（ステップＰ９においてＹｅｓ）、処理を終了する。
　以上のように、第一実施形態によれば、静止画像に基づいてケージ１０内のトリの生死を判定する第一の生死判定に加え、第一の生死判定で死亡トリが含まれていると判定された場合は、同一の撮影ポイントで所定時間だけ動画像を撮影し、動画像に基づいてケージ１０内のトリの生死を判定する第二の生死判定を行っている。そのため、ケージ１０内でトリが死亡したときに、それを正確に検出することができる。
　そして、静止画像の撮影は移動制御装置の制御により行い、第一の生死判定と動画像の撮影は第一判定装置２１の制御により行い、第二の生死判定と死亡トリが検出された場合のアラーム発生・ケージ特定情報の表示は、第二判定装置の制御により行っている。そのため、作業者の行うべき作業は死亡トリをケージ１０から除去する作業だけでよく、作業者の労力負担を大きく低減することができる。
　次に、第二実施形態の死亡トリ検出方法について説明する。第一実施形態では、第一の生死判定の結果、静止画像に死亡トリが含まれていると判定されたときに、同一の撮影対象であるケージについて、同一の撮像装置４１を使用して動画像を撮影する。これに対し、第二実施形態では、静止画像を撮影する撮像装置４１とは別の装置で、常に動画像を撮影する。そこで、第二実施形態の死亡トリ検出方法を使用する死亡トリ検出システムは、撮像装置４１を備える移動装置３０、第一判定装置２１、及び第二判定装置に加え、動画像を常時撮影するための第二撮像装置を備えている。
　第二撮像装置は、複数が施設内の処々に設置されており、全てのケージの動画像を常に撮影している。第二撮像装置と撮影対象のケージとは１対１で対応していてもよいし、１台の第二撮像装置で複数のケージの動画像を撮影してもよい。何れしても、それぞれの第二撮像装置には、動画像を撮影する対象のケージを特定する動画対象ケージ情報が付与されている。また、第二撮影装置は、時刻をカウントする装置を備えており、撮影した動画像を撮影時刻と対応付けて記憶する。
　移動装置３０は、備えている撮像装置４１において第一実施形態と相違している、第二実施形態で使用される撮像装置４１は、静止画像のみを撮影するものであり、時刻をカウントする装置を備えている。
　第一判定装置２１は、ハード構成は第一実施形態と同様であるが、機能的構成において相違している。第二実施形態の第一判定手段は、撮像装置４１が撮影した静止画像を取得する静止画像取得手段と、静止画像に基づいてトリの生死を判定する第一生死判定手段と、静止画像に死亡トリが含まれていると判定されたときに、死亡トリ検出信号を第二判定装置に送信する死亡トリ検出信号送出手段と、静止画の撮影が終了した時点で移動制御手段に有線または無線で信号を送り、次の撮影ポイントまで移動装置３０を移動させる移動信号送出手段と、を備えている。静止画像取得手段と第一生死判定手段については、第一実施形態と同様である。
　第二判定装置は、ハード構成は第一実施形態と同様であるが、記憶装置に第二撮像装置の識別情報と動画対象ケージ情報を関連付けたデータベースを記憶している。また、第二判定装置は、機能的構成において第一実施形態と相違している。第二実施形態の第二判定手段は、第一判定装置から送信された死亡トリ検出信号を受信したときに、第二撮像装置から動画像を取得する動画像取得手段と、動画像に基づいてトリの生死を判定する第二生死判定手段と、動画像に死亡トリが含まれていると判定されたときに、アラーム装置を動作させると共に、死亡トリが含まれている動画像とケージ特定情報とをディスプレイに表示させる警告手段と、を備えている。第二生死判定手段と警告手段については、第一実施形態と同様である。
　第二実施形態の死亡トリ検出方法における処理の流れを説明する。移動装置３０の移動に伴い静止画像が撮影され、第一生死判定手段によって静止画像に死亡トリが含まれているか否かの判定が行われる点は、第一実施形態と同様である。移動装置３０は、撮像装置４１により静止画像の撮影を行いながら、施設内を移動する。
　第一生死判定手段による生死判定により、静止画像に死亡トリが含まれていると判定された場合は、死亡トリ検出信号が第二判定装置に送信される。このとき、死亡トリ検出信号には、その静止画像が撮影されたケージを特定するケージ特定情報と、静止画像が撮影された時刻を示す時刻情報が含まれる。
　第二判定装置では、死亡トリ検出信号を受けて動画像取得手段が、第二撮像装置から動画像を取得する。このとき、動画像取得手段は、第二撮像装置の識別情報と動画対象ケージ情報とが関連付けられているデータベースを参照し、死亡トリ検出信号に含まれるケージ特定情報と対応する動画対象ケージ情報と関連付けられている第二撮像装置から動画像を取得する。すなわち、死亡トリが含まれていると判定された静止画像の撮影対象であるケージを、動画像の撮影対象としている第二撮像装置から動画像を取得する。また、動画像取得手段は、死亡トリ検出信号に含まれている時刻情報を参照し、死亡トリが含まれていると判定された静止画像が撮影された時刻の前後、所定時間の動画像、例えば、静止画像が撮影された時刻の３秒前から３秒後までの動画像を取得する。
　取得された動画像について、第二生死判定手段によって生死判定が行われる。この生死判定は、第一実施形態について上述したものと同様である。動画像に死亡トリが含まれていると判定された場合、アラーム装置によって警告がなされ、死亡トリが含まれている動画像の撮影対象であるケージを特定する情報が、第二判定装置のディスプレイに表示される点も、第一実施形態と同様である。警告を受けた作業者は、特定されたケージに出向き、死亡トリをケージから除去する作業を速やかに行うことができる。
　以上のように、第二実施形態では、常に動画像を撮影しているものの、その動画像をずっとモニタリングしたり、動画像の全てを解析したりすることなく、静止画像に死亡トリが含まれていると判定された場合のみ、その前後の時間の動画像を使用して生死判定を行っている。そのため、生死判定のために動画像を効率よく利用することができる。また、静止画像による生死判定に動画像による生死判定を組み合わせていることにより、第一実施形態と同様に、生存トリを死亡トリと誤判定する恐れを低減し、死亡トリを正確に検出することができる。
　以上、本発明について好適な実施形態を挙げて説明したが、本発明は上記の実施形態に限定されるものではなく、本発明のスコープを逸脱しない範囲において、種々の改良及び設計の変更が可能である。
　例えば、上記の実施形態では、第一判定装置２１と第二判定装置が別個のコンピュータで構成され、第一判定装置２１が移動装置３０に支持されている場合を例示した。これに限定されず、単一のコンピュータが第一判定装置２１と第二判定装置とを兼ねている構成とすることもできる。
　また、上記では、第一の生死判定の結果、死亡トリが含まれていると判定されたとき、第二判定装置が動画像を取得する場合を例示した。これに限定されず、撮影された動画像が、通信ネットワークを介して作業者が使用する端末に、アラーム信号とケージを特定する情報と共に送られる構成とすることもできる。作業者が使用する端末としては、固定型のＰＣを使用できる他、ノート型パソコン、タブレット端末、スマートフォンなどの携帯型端末を使用することができる。これにより、作業者は端末が備えるディスプレイに動画像を表示させ、死亡トリの存在の有無を自分の目で確認することができる。
　更に、上記では、動画像がケージを特定する情報と対応付けられたデータベースが、第二判定装置の記憶装置に記憶される場合を例示した。これに限定されず、静止画像の撮影に際しても撮影対象のケージ１０を特定する情報を取得し、この情報と静止画像とを対応付けたデータベースを記憶させることもできる。このデータベースは、第一判定装置２１の記憶装置に記憶させても、第一判定装置２１から第二判定装置に送った後で第二判定装置の記憶装置に記憶させてもよい。

Claims (4)

  1. 　複数のケージが水平方向に並設されたケージ列が、複数段に積層されているケージ列レイヤを使用してトリを飼育している施設において、
    　設定された経路に沿って移動する移動装置に取り付けられた撮像装置によって、ケージごとに少なくとも一枚の静止画像を撮影し、前記静止画像に死亡トリが含まれているか否かの第一の生死判定を第一判定装置によって行い、
    　前記第一の生死判定の結果、前記静止画像に死亡トリが含まれていると判定されたときは、同一の撮影対象であるケージについて撮影された動画像を使用し、該動画像に死亡トリが含まれているか否かの第二の生死判定を行う
    ことを特徴とする死亡トリ検出方法。
  2. 　前記第二の生死判定を第二判定装置によって行い、
    　前記第二の生死判定の結果、前記動画像に死亡トリが含まれていると判定されたときは、アラームを発生させると共に、撮影対象であるケージを特定するケージ特定情報を報知させる
    ことを特徴とする請求項１に記載の死亡トリ検出方法。
  3. 　前記第二の生死判定は、生存トリのみを含む教師動画像と、死亡トリを含む教師動画像を学習データとした機械学習により生成された学習済みモデルに、前記動画像を入力することにより得られた結果に基づいて行う
    ことを特徴とする請求項２に記載の死亡トリ検出方法。
  4. 　前記第一の生死判定は、死亡トリまたは生存トリに特有の特徴点に関して前記静止画像を画像解析した結果に基づく判定、生存トリのみを含む教師静止画像と、死亡トリを含む教師静止画像を学習データとした機械学習により生成された学習済みモデルに、前記静止画像を入力することにより得られた結果に基づく判定、赤外線カメラにより撮影対象の温度を可視化した結果に基づく判定、及び、これらの判定のうちの二以上の組合せ、の何れかである
    ことを特徴とする請求項１に記載の死亡トリ検出方法。
PCT/JP2021/032758 2021-09-07 2021-09-07 死亡トリ検出方法 WO2023037397A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032758 WO2023037397A1 (ja) 2021-09-07 2021-09-07 死亡トリ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032758 WO2023037397A1 (ja) 2021-09-07 2021-09-07 死亡トリ検出方法

Publications (1)

Publication Number Publication Date
WO2023037397A1 true WO2023037397A1 (ja) 2023-03-16

Family

ID=85507250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032758 WO2023037397A1 (ja) 2021-09-07 2021-09-07 死亡トリ検出方法

Country Status (1)

Country Link
WO (1) WO2023037397A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160323971A1 (en) * 2014-01-08 2016-11-03 Greengage Lighting Ltd Method of livestock rearing and a livestock shed
JP2018033365A (ja) * 2016-08-31 2018-03-08 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP2019201578A (ja) * 2018-05-22 2019-11-28 Ｎｅｃソリューションイノベータ株式会社 死鳥推定装置、死鳥推定方法、プログラムおよび記録媒体
JP6625068B2 (ja) * 2014-02-17 2019-12-25 エクソラオ・ソチエタ・ア・レスポンサビリタ・リミタータＥｘｏｒａｏ Ｓ．Ｒ．Ｌ． 飼育場における死亡動物の検知装置及び当該装置を用いた死亡動物の検知方法
JP6712660B2 (ja) * 2018-05-24 2020-06-24 大豊産業株式会社 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置
WO2020158307A1 (ja) * 2019-01-30 2020-08-06 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160323971A1 (en) * 2014-01-08 2016-11-03 Greengage Lighting Ltd Method of livestock rearing and a livestock shed
JP6625068B2 (ja) * 2014-02-17 2019-12-25 エクソラオ・ソチエタ・ア・レスポンサビリタ・リミタータＥｘｏｒａｏ Ｓ．Ｒ．Ｌ． 飼育場における死亡動物の検知装置及び当該装置を用いた死亡動物の検知方法
JP2018033365A (ja) * 2016-08-31 2018-03-08 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP2019201578A (ja) * 2018-05-22 2019-11-28 Ｎｅｃソリューションイノベータ株式会社 死鳥推定装置、死鳥推定方法、プログラムおよび記録媒体
JP6712660B2 (ja) * 2018-05-24 2020-06-24 大豊産業株式会社 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置
WO2020158307A1 (ja) * 2019-01-30 2020-08-06 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム

Similar Documents

Publication Publication Date Title
JP7382899B2 (ja) 死亡鶏検知システム
Roosjen et al. Deep learning for automated detection of Drosophila suzukii: potential for UAV‐based monitoring
US10430533B2 (en) Method for automatic behavioral phenotyping
WO2020003310A1 (en) Monitoring livestock in an agricultural pen
EP3900891B1 (en) Pet amusement control apparatus of robot and mobile robot
JP6678898B2 (ja) 死鶏検出方法、及び死鶏検出システム
Geffen et al. A machine vision system to detect and count laying hens in battery cages
CN111310596A (zh) 一种动物患病状态监测系统及方法
CN113662530B (zh) 一种猪只生理生长状态监测预警方法
CN111767794A (zh) 基于机器视觉的笼养家禽异常行为检测方法及检测系统
US20230260327A1 (en) Autonomous livestock monitoring
KR101769963B1 (ko) 소의 승가 행위 판독 시스템
WO2023041904A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
CN114407051A (zh) 畜禽养殖场巡检方法及畜禽养殖场机器人
WO2023037397A1 (ja) 死亡トリ検出方法
CN111985472A (zh) 基于人工智能和主动球机的食槽干草温度图像处理方法
KR100821969B1 (ko) 고단직립식 산란계 케이지내의 산란계 감시시스템
WO2023195063A1 (ja) 死亡トリ検出方法
KR20230026006A (ko) 축사 내 승가행위 감시 시스템 및 감시 방법
CN112153892B (zh) 用于苍蝇管理的装置
KR102462163B1 (ko) 폐사체 감지 시스템
JP7281844B1 (ja) 斃死鶏検出装置およびそれを備える養鶏システム
CN115272943B (zh) 一种基于数据处理的畜牧家禽进食异常识别方法
NL2031623B1 (en) Animal husbandry system
JP7260922B2 (ja) 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE