WO2023191045A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023191045A1
WO2023191045A1 PCT/JP2023/013530 JP2023013530W WO2023191045A1 WO 2023191045 A1 WO2023191045 A1 WO 2023191045A1 JP 2023013530 W JP2023013530 W JP 2023013530W WO 2023191045 A1 WO2023191045 A1 WO 2023191045A1
Authority
WO
WIPO (PCT)
Prior art keywords
animal
information
appearance
cow
image
Prior art date
Application number
PCT/JP2023/013530
Other languages
English (en)
French (fr)
Inventor
美来 山崎
邦雄 尾高
智文 喜瀬
將行 福嶋
公一 成井
祐賀子 中井
孝幸 石井
Original Assignee
古河電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古河電気工業株式会社 filed Critical 古河電気工業株式会社
Publication of WO2023191045A1 publication Critical patent/WO2023191045A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a feeding status acquisition unit that acquires feeding status information including image information obtained by capturing images of livestock, and a feeding status acquisition unit that extracts livestock appearing in the image information acquired by the feeding status acquisition unit and extracts the livestock status.
  • a livestock disease management system is described that includes a disease risk estimation unit that analyzes the disease risk and estimates the disease risk according to the situation of the livestock.
  • Patent Document 2 discloses that a plurality of captured images including a plurality of animals are acquired, and based on the plurality of captured images, movement of an attachment attached to each of the plurality of animals is detected, and the movement of the detected object is detected.
  • a behavioral amount calculation program is described that causes a computer to execute a process of calculating the behavioral amount of each of the plurality of animals according to the movement of an attached object.
  • Patent Document 1 has a problem in that although it is possible to estimate the disease risk as a group, it is not possible to estimate the disease risk or manage the physical condition of each individual.
  • the technique disclosed in Patent Document 2 has a problem in that the accuracy of individual identification may decrease when the number of livestock animals to be observed increases or when the attachment cannot be confirmed on the image.
  • One of the objects of the present invention is to provide an information processing apparatus that accurately identifies the position of an animal in a specific area based on a captured image of the animal in the specific area, thereby enabling individual identification of the animal in the captured image. , to provide an information processing method and program.
  • One aspect of the present invention is to acquire a captured image including an animal kept in a predetermined breeding area, and calculate the area of the animal kept in the breeding area based on the image of the animal in the captured image.
  • a first position information acquisition unit that acquires the position of the animal as first position information, identification information of the animal from a terminal device provided on the animal, and a second position information that indicates the position of the animal within the breeding area.
  • a second location information acquisition unit that obtains location information; and when it is determined that the difference between the first location information and the second location information is less than or equal to a predetermined threshold, the first location information
  • the information processing apparatus includes an individual identification unit that records the identification information related to the second location information in association with each other.
  • the information processing device performs a judgment on appearance determination items set in advance regarding the appearance of the animal based on the captured image of the animal, uses the judgment result as appearance information of the animal, and determines whether the animal is the subject of the judgment.
  • an appearance determination unit that obtains the first position information calculated from the image of the animal and records the identification information associated with the first position information and the appearance information in association with each other; There may be some.
  • the appearance determination unit determines the appearance of the animal using a trained model that has learned the relationship between an image acquired of the animal and appearance information that is a determination result for the appearance determination item set in advance. It may be determined.
  • the appearance determination unit may determine the appearance of the animal based on an image acquired of the animal and criteria for determining characteristics in the image of the animal that are set in advance for the appearance determination item.
  • the second location information may be calculated based on the arrival direction of radio waves transmitted from a terminal device provided on the animal.
  • Appearance information for each individual animal recorded in chronological order by the appearance determining unit is used to predict the timing of at least one of disease, estrus, parturition, growth, and weaning of the animal. You can also use it as
  • Another aspect of the present invention is to acquire a captured image including an animal kept in a predetermined breeding area, and calculate the area of the animal kept in the breeding area based on the image of the animal in the captured image.
  • the process of recording in association with This is an information processing method that executes.
  • the information processing device acquires a captured image including an animal kept in a predetermined breeding area, and the information processing device calculates the captured image based on the image of the animal in the captured image.
  • This is a program that executes a process of recording information in association with the identification information.
  • the present invention it is possible to specify the position of the animal in a specific area based on the captured image of the animal in the specific area, and it is also possible to individually identify the animal based on the captured image.
  • FIG. 1 is a schematic diagram illustrating the overall configuration of an animal appearance determination system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an overview of the functions of an animal appearance determination system in an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating the configuration of hardware and functional blocks of an animal appearance determination device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the configuration of hardware and functional blocks of a sensor device and a position detector in an embodiment of the present invention.
  • FIG. 3 is an explanatory diagram showing an example of processing an image of an animal.
  • FIG. 2 is a schematic diagram showing a comparison between the position of an animal specified from an image and the position of an animal specified from identification information from a sensor device.
  • FIG. 3 is an explanatory diagram showing an example of appearance determination items. It is a figure showing an example of composition of a data storage part for appearance judgment. It is a figure showing an example of composition of a position information storage part. It is a figure showing an example of composition of an appearance information storage part.
  • FIG. 3 is a diagram illustrating a configuration example of a processing target data storage unit. It is a flowchart which shows an example of the positional information calculation process performed by the animal appearance determination apparatus in one embodiment of this invention. It is a flowchart which shows an example of an appearance judgment process performed by an animal appearance judgment device in one embodiment of the present invention.
  • FIG. 1 is a schematic diagram illustrating the overall configuration of an animal appearance determination system 1 according to an embodiment of the present invention.
  • the animal appearance determination system 1 of this embodiment is based on the image taken of the appearance of a cow C reared by a dairy farmer, for example, and determines the determination results regarding predefined appearance determination items. It has the ability to record certain appearance information for each individual animal in chronological order. Animals to be recorded include not only cows C, but also animals that fall into the so-called industrial animal category such as pigs, sheep, horses, and goats, animals kept in zoos, and so-called pet animals. It can include all animals whose acquisition and use would be beneficial.
  • Appearance determination items are not limited to such items, and can be set as appropriate depending on the target animal, the purpose of use of the appearance information, etc.
  • FIG. 1 is a plan view schematically showing one rectangular cow stall CB arranged in a cow shed. For simplicity, FIG. 1 shows a situation in which two cows C1 and C2 are kept in a cow stall CB.
  • a feeding area F, a nursing area M, and a drinking area W are provided at appropriate locations within the cow stall CB, and the cows C1 and C2 can eat feed, drink milk, and drink water at each location. It is configured so that it can be done. Note that the arrangement of the feeding area F, nursing area M, and drinking area W within the cow stall CB is not limited to the example shown in FIG. 1, and can be determined as appropriate.
  • the cows C1 and C2 are equipped with a sensor device 200 that includes a sensor device for monitoring the behavior of each cow and biological information such as heart rate. Unique identification information is assigned to each sensor device 200, and is used as identification information for each cow.
  • the sensor device 200 is provided with a data transmission function, and the data acquired from the sensor device is transmitted together with the identification information, for example, by near field communication (NFC).
  • NFC near field communication
  • An animal appearance determination device 100 which is an information processing device in which the main functions for animal appearance determination in this embodiment are implemented, is installed near a cow shed including a cow stall CB, for example, in an administration building of a dairy farm. Ru.
  • the animal appearance determination device 100 receives various data and identification information from the sensor device 200 attached to the cows C, and uses the received data and identification information to identify the position of each cow C in the cow stall CB.
  • the animal appearance determining device 100 receives radio waves transmitted from the sensor device 200 and determines the position of the sensor device 200 that is the transmitter, that is, the positions of the cows C1 and C2 in the cow stall CB.
  • a position detector 300 is provided, which is a device that generates data for analysis. In the example of FIG. 1, two position detectors 300 are installed at appropriate locations in the cow stall CB, detect the angle of radio waves arriving from the sensor device 200, and transmit the detected angle to the animal appearance determination device 100. .
  • the animal appearance determination device 100 uses the angle data from each position detector 300 to analyze and obtain the position of the cow C in the cow stall CB. As illustrated in FIG.
  • an X-axis, a Y-axis defining a plane coordinate system, and a Z-axis orthogonal thereto can be set in the cow stall CB.
  • the animal appearance determination device 100 may be configured to be able to communicate with an external communication network N such as the Internet, WAN, or LAN.
  • an external communication network N such as the Internet, WAN, or LAN.
  • One or more cameras 400 for capturing images of the cows C are installed inside the cow stall CB. It is desirable that images of the cow C kept in the cow stall CB be taken periodically. Therefore, if the camera 400 is installed in a place where the cow C appears regularly (for example, once a day) in the cow stall CB so as to capture an image of a place near a feeding place or a drinking fountain, It is preferable that images can be periodically acquired for each of the cows C.
  • the camera 400 is, for example, a digital camera having an image sensor such as a CCD, and captures a moving image inside the cow stall CB or a still image at a predetermined time interval, and transmits the image data to the animal appearance determination device 100. do.
  • FIG. 2 shows a schematic configuration and functions of the animal appearance determination system 1 shown in FIG. 1.
  • the animal appearance determination system 1 of this embodiment includes an animal appearance determination device 100. Radio wave reception angle data from a position detector 300 installed in the cow stall CB is input to the animal appearance determination device 100 together with identification information of the sensor device 200. The identification information of the sensor device 200 is included in the data that the position sensor 300 receives from the sensor device 200.
  • the animal appearance determination device 100 uses the position data analysis function F1 to analyze the input radio wave reception angle data and the installation position of the position detector 300, and uses the position information calculation function F2 to analyze the sensor device 200 in the cow stall CB. Calculate the location information of. Since the identification information of the sensor device 200 is linked to each cow C, the position information of the sensor device 200 represents the position of the cow C to which the sensor device 200 is attached within the cow stall CB.
  • the animal appearance determination device 100 acquires image data inside the cow stall CB captured by the camera 400.
  • the acquired image data is analyzed by an image analysis function F3, and an image of a cow C included in each image is extracted by an animal extraction function F4.
  • the position of each cow C within the image is calculated.
  • the position of the cow C in the image is converted to the actual position in the cow stall CB based on the installation position, imaging direction, and angle of view of the camera 400 that captured the image.
  • the positional information based on the signal received from the sensor device 200 (second positional information) and the positional information in the cow stall CB obtained by converting the position of the cow C in the image (first positional information) are , and is compared by the individual identification function F5. If it is determined that there is a correspondence between the positional information based on the image and the positional information based on the signal from the sensor device 200, the image is an image of the cow C to which the sensor device 200 with which the correspondence has been found is attached. It is specified that As described above, since the identification information of the sensor device 200 is associated with the individual information of each cow C, the image and the individual information of the cow C are associated with each other.
  • the existence of a correspondence between the position information based on the image and the position information based on the signal from the sensor device 200 means that the difference (distance) between the positions in the cow stall CB specified by each position information is less than or equal to a predetermined threshold. It means something. In other words, if the position in the cow stall CB indicated by the position information based on the image and the position in the cow stall CB indicated by the position information based on the signal from the sensor device 200 are included within a certain range, the above-mentioned correspondence is applied. It is determined that a relationship exists.
  • the above-mentioned threshold value may be determined as appropriate depending on the target animal, etc., but in the case of the cow of this embodiment, it can be defined on the order of several tens of centimeters, for example.
  • the image of the cow C extracted in each image by the animal extraction function F4 is subjected to judgment processing from the viewpoint of its appearance by the appearance judgment function F6.
  • appearance judgment items four items are set as appearance judgment items: "position of ears,” “degree of eye opening,” “position of head,” and “curvature of back.”
  • Based on the image C quantitative determination is performed for each appearance determination item.
  • the image and individual information of the cow C associated with each other by the individual identification function F5 and the determination results based on the image of each cow C obtained by the appearance determination function F6 are associated, and the appearance information recording function F7 records them in chronological order. It will be recorded.
  • FIG. 1 is block diagrams illustrating the hardware and functional block configurations of the animal appearance determination device 100, sensor device 200, and position detector 300, respectively, in this embodiment.
  • the sensor device 200 is attached to an appropriate part of the body of the cow C, and includes a device that converts the movement of the cow C, which is included in the behavior of the cow C, into a physical quantity and outputs the physical quantity.
  • the sensor device 200 is fixed to a collar and attached to the neck of the cow C, but the sensor device 200 may be configured to be attached to other parts, such as attached to the ear.
  • the sensor device 200 functions as a terminal device that allows the animal appearance determination device 100 to acquire the position of the sensor device 200. Therefore, in this embodiment, it is sufficient for the sensor device 200 to have the function of a terminal device that transmits its own identification information.
  • the configuration of the sensor device 200 as such a terminal device will be explained.
  • the sensor device 200 includes a processing section 210 configured by a processor such as a CPU, and a communication section 220.
  • the processing unit 210 includes an identification information storage unit 211 that stores data that is identification information of the sensor device 200, and an identification information sending unit 212 that sends the identification information data to the outside.
  • the identification information a serial number or the like unique to a device that constitutes the sensor device 200 may be used.
  • the communication unit 220 has a function of receiving identification information data from the identification information sending unit 212 of the processing unit 210 and transmitting it wirelessly using a predetermined communication method.
  • the communication unit 220 is configured as a communication module having a communication function compliant with Bluetooth (registered trademark).
  • the digital data from the identification information sending unit 212 that is sent from the communication unit 220 is sent as Bluetooth data, and is received by the animal appearance determining device 100.
  • Bluetooth data is also received by a position detector 300 installed in the cow stall CB. Note that the above communication method is an example, and the present invention is not limited to this.
  • the position detector 300 functions as a locator for utilizing the direction detection function included in Bluetooth 5.1, for example.
  • the position detector 300 can be configured to include a processing section 310 composed of a processor or the like, an antenna array 320, and a communication section 330.
  • the processing unit 310 may include a radio wave reception unit 311 and a reception angle calculation unit 312 as functional blocks.
  • the arrival angle of a Bluetooth signal can be obtained from the reception angle (Angle of Arrival, AoA) of radio waves.
  • the digital signal of Bluetooth 5.1 includes a monotonous sine wave of a fixed period called Constant Tone Extension (CTE) after normal data communication.
  • CTE Constant Tone Extension
  • the position detector 300 receives this CTE at the radio wave receiving section 311 through the antenna array 320 including a plurality of antennas, and the reception angle calculating section 312 calculates the Bluetooth signal based on the difference in phase angle of the received waves at each antenna. It has a function to calculate the angle of incidence of As will be described later, the reception angle data calculated by the reception angle calculation section 312 of the position detector 300 is transmitted to the animal appearance determination device 100 by the communication section 330.
  • the position detection method for detecting the position of the sensor device 200 is not limited to a method that uses the Bluetooth function, but also a position detection method that uses a satellite positioning system such as GPS, or a method that uses radio waves from a Wi-Fi base station. Other available methods can be employed, such as location methods.
  • the animal appearance determination device 100 is an information processing device such as a server computer or a personal computer, and includes a processing section 110, a storage section 120, an input/output section 130, a data interface (data IF) section 140, and A communication section 150 is provided.
  • the processing section 110, the storage section 120, the input/output section 130, the data IF section 140, and the communication section 150 are connected by a bus (not shown) as an internal communication line.
  • the processing unit 110 is an arithmetic device constituted by a processor such as a CPU, and reads various programs and data from a storage unit 120 (described later) and executes them, thereby realizing the functions of the animal appearance determination device 100.
  • the processing section 110 includes an image data receiving section 111, an image data analyzing section 112, a position data receiving section 113, a position data analyzing section 114, an individual identification section 115, an appearance determining section 116, an appearance information recording section 117, and executes data processing of each functional unit of the appearance information output unit 118. The operation of each functional section will be described later.
  • the storage unit 120 is a storage area for various programs and various data for making the hardware group function as the animal appearance determination device 100, and includes a ROM, RAM, flash memory, semiconductor drive (SSD), hard disk (HDD), etc. It can be composed of Specifically, the storage unit 120 stores a program for causing the processing unit 110 to execute each function of the present embodiment (a control program for the animal appearance determination device 100), various parameters, individual identification, and data used for appearance determination. , data regarding the cow C to be processed, operation input data input from the outside, generated appearance information data, etc. are stored.
  • the input/output unit 130 includes various input devices such as a keyboard, a mouse, a touch panel, and a microphone that enable data input into the animal appearance determination apparatus 100 from the outside, and a monitor display, speakers, etc. for outputting and displaying appearance information data, etc. Consists of output devices.
  • the data IF section 140 has a function of controlling data communication between the processing section 110, the storage section 120, the input/output section 130, and the communication section 150.
  • the communication unit 150 is a communication module that transmits and receives various data to and from the sensor device 200 and the position detector 300, and is configured as hardware such as a network interface card (NIC), for example.
  • the communication unit 150 can also be used by the animal appearance determination device 100 to communicate with the external communication network N illustrated in FIG. Although omitted in this embodiment, the animal appearance determination device 100 may be provided with various control functions for the camera 400 installed in the cow stall CB.
  • the image data receiving unit 111 has a function of receiving image data captured by the camera 400 installed in the cow stall CB.
  • the camera 400 is typically a digital video camera equipped with an imaging device such as a CCD and has a required resolution, but is not limited to this, and may take still images at predetermined time intervals. good.
  • the image data analysis unit 112 analyzes the captured image data of the cow stall CB received by the image data reception unit 111 using image analysis data, and determines whether the cow C is included in the image or not. Regarding the cow C, it has a function of determining the position within the cow stall CB, which is calculated based on the position within the image.
  • FIG. 5 shows an example of an image inside the cow stall CB captured by the camera 400. In the image illustrated in FIG. 5, three cows C1 to C3 are captured.
  • the image data analysis unit 112 uses a learning model trained in advance using image data in which various cows are imaged, which is stored in the image analysis data storage unit 121 of the storage unit 120.
  • the teacher data used for learning is annotation data obtained by specifying regions where cows are imaged in image data including images of various cows.
  • the image data determined to include the cow C is used as data for determining appearance, which will be described later.
  • the image data analysis unit 112 calculates the position of cow C within cow stall CB based on the area of cow C within the image.
  • the area occupied by the cow C in the image that is, the positional coordinates of the rectangular apex in the screen coordinate system, are the installation position coordinates of the camera 400, the angle indicating the imaging direction, for example, the angle (depression angle) that the imaging direction of the camera 400 makes with the horizontal plane.
  • the cow C in the image is projectively transformed into the coordinate system of the real space (world coordinate system) in the cow stall CB, and the cow C in the image is transformed in the real space.
  • the position occupied within a certain cow stall CB can be determined.
  • a transformation matrix for translating and rotating a rectangle indicating the position of the cow C in the screen coordinate system to transform it into a position in the world coordinate system is prepared in advance for each camera 400.
  • the position of the cow C calculated based on this image data is used for individual identification processing of each cow C, which will be described later.
  • the position data receiving unit 113 has a function of receiving position data from the position detector 300.
  • the position data includes, for example, the position coordinates of each position detector 300 in the cow stall CB, and the radio wave reception angle data from the sensor device 200 calculated by the reception angle calculation unit 312 of each position detector 300. be.
  • the position coordinate data of the position detector 300 may be stored in advance in the storage unit 120 as a parameter.
  • the position data analysis unit 114 calculates the position of the sensor device 200 in the cow stall CB using the position coordinate data and radio wave reception angle of the position detector 300 received and acquired by the position data reception unit 113.
  • the position of the sensor device 200 that is the source of radio waves can be determined as the intersection of straight lines drawn from the position of each position detector 300 according to the radio wave reception angle. can. It is also possible to add a position detector 300 depending on the need for position measurement accuracy of the sensor device 200. By matching the obtained position of the sensor device 200 with plane coordinates set in advance in the cow stall CB, it is determined where in the cow stall CB the cow C to which the sensor device 200 is attached is located. I can do it.
  • each sensor device 200 within the cow stall CB calculated by the position data analysis unit 114 is used for individual identification processing of each cow C, which will be described later.
  • the position detection method of the sensor device 200 described above is an example, and other methods may be used, such as calculating position coordinates based on GPS (Global Positioning System) positioning satellite signals or using radio waves from a Wi-Fi base station. You may also use a method.
  • GPS Global Positioning System
  • the individual identification unit 115 uses the estimated position of the cow C in the cow stall CB, which is calculated by the image data analysis unit 112 based on the position of the cow C included in the image data, and the position data analysis unit 114. , has a function of individually identifying each cow C captured in the image by comparing the position of each sensor device 200 in the cow stall CB calculated based on the data from the position detector 300. . As described above, the sensor device 200 attached to each cow C is given a sensor device ID, which is unique identification information, and is received by the appearance determination device 100 via the position detector 300. .
  • FIG. 6 schematically shows a comparison between the position of the cow C in the cow stall CB estimated from the image data and the position of the cow C calculated based on the radio waves received from the sensor device 200.
  • the star mark indicates the position of the cow C estimated from the image data
  • the circle mark indicates the position of the cow C calculated based on the radio waves received from the sensor device 200.
  • the individual identification unit 115 makes it possible to identify which individual the cow C captured in the image is.
  • the location information specified for each cow C is recorded in the location information storage unit 123 illustrated in FIG. 9 as a record in which the recording date and time, the individual ID of the cow C, and the position in the cow stall CB are associated. be done.
  • the appearance determining unit 116 has a function of quantitatively determining the appearance of the cow C based on the image of the cow C included in the image data captured by the camera 400. By quantitatively determining the appearance of each cow C, it can be used for health management, disease prevention, etc. of each cow C.
  • FIG. 7 shows an example of appearance determination items determined in appearance determination in this embodiment. In this embodiment, the appearance judgment items of a calf are shown as an example, and the best judgment is made for each of the four items: "ear position", “eye opening”, “head position”, and "back curvature”. Appearance scores are determined in three stages, from appearance score 0 to appearance score 2.
  • the determination items may be changed as appropriate depending on the subject of appearance determination, such as multiparous dairy cows.
  • the appearance determination unit 116 executes a determination process on the image data including the cow C framed in the image by the image data analysis unit 112 using the appearance determination data stored in the appearance determination data storage unit 122. do.
  • FIG. 8 shows a configuration example of the appearance determination data storage section 122.
  • the appearance determination data illustrated in FIG. 8 includes image data including the cow C, determination items such as the appearance type of the cow C included in images such as the face and body side, eye opening, etc., and associated images.
  • the appearance determination unit 116 can, for example, compare the image of the cow C to be determined and the data for determining the appearance, and determine the appearance score for the image to be determined based on the similarity of the determination items in the image.
  • a quantitative index is derived in advance based on each judgment item such as "ear position" and "eye opening”, and appearance is determined based on the quantitative index. I do.
  • the criterion is quantified so that an appearance score can be assigned based on the degree to which the ears hang from the horizontal line (the angle at which the ears fall).
  • Execute appearance judgment on a new image of cow C using the trained model that has learned the relationship between the appearance image of cow C and the appearance score of each judgment item using the appearance judgment data. etc. can be adopted.
  • the appearance information recording unit 117 has a function of recording the appearance judgment results for each cow C generated by the appearance judgment unit 116 in chronological order as appearance information.
  • the appearance information is recorded in the appearance information storage section 124 of the storage section 120.
  • FIG. 10 shows an example of the configuration of the appearance information storage section 124. In the appearance information storage unit 124 illustrated in FIG. 10, the date and time when the appearance information was recorded, the individual ID of the cow C, the appearance determination items, and the appearance score are recorded in association with each other.
  • the appearance information output unit 118 has a function of extracting and outputting appearance information data from the appearance information storage unit 124 under predetermined conditions through input operations from the input/output unit 130 and the like. For example, by extracting the appearance score corresponding to a specific appearance judgment item of a cow C having a specific individual ID and outputting it as time series data, changes in the health condition of the cow C, diseases, and specific events (weaning, weaning, It can be used to detect signs of labor (parturition, etc.).
  • the processing target data storage unit 125 stores individual information regarding each cow C to be subjected to appearance determination.
  • FIG. 11 shows an example of the configuration of the processing target data storage section 125.
  • the processing target data storage unit 125 illustrated in FIG. The following items are recorded: the breed of the cow, gender, age, health condition, and medical history.
  • the sensor device ID is attached to the sensor data transmitted from each sensor device 200 attached to the cow C to the animal appearance determination device 100, and makes it possible to identify which sensor device 200 has acquired the received sensor data. . Since the sensor device ID is also received by the position detector 300, the position of a specific sensor device 200 and the sensor device ID can be linked. In addition to recording the health condition using a numerical value as shown in the figure, it may also be recorded specifically using text. An appropriate writing format may be used for the medical history.
  • the recording items of the processing target data storage unit 125 can be determined as appropriate without being restricted to the example of FIG. 11.
  • the animal appearance determination device 100 mainly performs a position information calculation process for detecting the position of an animal (a cow in this embodiment) captured in an image, and an appearance determination process for determining the appearance of the animal based on the image. Execute.
  • FIG. 12 is a flowchart showing an example of the process flow of the position information calculation process executed by the animal appearance determination apparatus 100 in this embodiment.
  • the position information calculation process is started, for example, when the animal appearance determining apparatus 100 is turned on and activated, and is executed at regular time intervals.
  • the image data receiving unit 111 of the animal appearance determination device 100 receives image data captured by the camera 400 from the camera 400 (step S11).
  • the image data analysis unit 112 analyzes the image data received from the camera 400 using the image analysis data stored in the image analysis data storage unit 121 (step S12), and analyzes the image of the cow C in the image. A region is extracted (step S13).
  • the image data analysis unit 112 converts the area occupied by the cow C in the image into a spatial coordinate system using the screen coordinate system, the camera coordinate system based on the position of the camera 400 and the imaging direction, and the relationship with the real world spatial coordinate system.
  • the position of the cow C within the cow stall CB is calculated (step S14).
  • the position data analysis unit 114 calculates the position of each sensor device 200 as the position of the cow C from the arrival angle of the radio wave received by the position data reception unit 113 from the position detector 300, and estimates the position based on the image data in step S14.
  • the position of the cow C is compared with the position of the cow C (step S15).
  • the position of the cow C estimated from the image data is verified by the position of the sensor device 200 to be compared, that is, the position of the cow C to which the sensor device 200 is attached. Individual identification is achieved.
  • the verification of the position of the cow C is performed by first assuming that the first position information indicating the position of the cow C estimated based on the image data is the position of the cow C in the cow stall CB, and then verifying the position of the corresponding sensor device 200. In other words, it can be carried out based on whether the position coordinates of any sensor device 200 are detected within a certain range from the position coordinates of the cow C estimated based on the image data.
  • the position of the sensor device 200 is determined as the position of the cow C in the cow stall CB, and whether there is first position information indicating the position of the cow C estimated based on the image data corresponding to these, in other words, the sensor device
  • the position of the cow C can also be verified based on whether the position coordinates of the cow C estimated based on any image data exist within a certain range from the position coordinates of 200.
  • the location data analysis unit 114 records the location of the cow C identified in step S15 in the location information storage unit 123 (step S16).
  • the processing unit 110 determines whether it has received an instruction to end data processing through the input/output unit 130 or the communication unit 150 (step S17). If it is determined that the termination command has not been received (step S17: NO), the processing unit 110 returns to step S11 and continues executing the position information calculation process. If it is determined that the termination command has been received (step S17: YES), the processing unit 110 terminates the position information calculation process.
  • FIG. 13 is a flowchart showing an example of the process flow of the appearance determination process executed by the animal appearance determination apparatus 100 in this embodiment.
  • the appearance determination process is started, for example, when the animal appearance determination apparatus 100 is turned on and activated, and is executed at regular time intervals.
  • Appearance determination processing by the animal appearance determination device 100 is repeatedly executed for each sensor device 200 attached to the cow C while the animal appearance determination device 100 is in operation (loop of step S21).
  • the appearance determination unit 116 acquires the image of the cow C extracted from the image data by the image data analysis unit 112 (step S22).
  • Appearance determination unit 116 extracts images related to appearance determination items from the acquired image of cow C (step S23). Specifically, the appearance determination unit 116 determines that the acquired image includes the head, face, and body side of the cow C, and that the acquired image includes the "head,” "ears,” “eyes,” and "back” related to the appearance determination items. ” can be identified.
  • a learning model trained using a large amount of training data including, for example, the "head”, “ears”, “eyes”, and “back” of the cow C can be used.
  • the body parts related to the appearance determination items are evenly imaged.
  • the camera 400 may be configured to emit sound, light, etc. that causes the cow C to pay attention to the camera 400.
  • the appearance determination unit 116 compares the image related to the extracted appearance determination item with the appearance determination data read from the appearance determination data storage unit 122 (step S24). Specifically, as described above, the appearance determination unit 116 uses appearance determination data for four items: "position of ears,” “opening of eyes,” “position of head,” and “curvature of the back.” Find out the similarity of. Alternatively, a trained model that has learned the relationship between an image of the appearance of cow C and the appearance score of each judgment item using appearance judgment data that is compared with a quantitative index derived in advance based on each judgment item. Processing such as making a determination on a new image of cow C is executed.
  • Appearance determination unit 116 determines an appearance score for each determination item based on the comparison result in step S24 (step S25), and the appearance information recording unit 117 records the appearance score in appearance information storage unit 124 as appearance information (step S25). S26).
  • the appearance judgment items for each cow C are "ear position”, “eye opening”, “head position”, and “back curvature”. ” appearance scores are accumulated in chronological order.
  • ⁇ Use of appearance determination results by animal appearance determination device 100> As described above, according to the animal appearance determination device 100 in this embodiment, for each cow C, the "ear position", “eye opening”, “head position”, and Judgment indicators and appearance scores related to ⁇ curved back'' are accumulated in chronological order. Therefore, for example, temporal changes in appearance scores regarding "ear position,””eyeopening,””headposition,” and “back curvature,” as well as cow C's health status, disease incidence, estrus, and parturition. By analyzing the correlation between events such as weaning, and making the animal appearance determination device 100 learn, the animal appearance determination device 100 of this embodiment can be used to detect changes in the health condition of the cow C, disease occurrence, estrus, etc.
  • cows C in the cow stall CB are imaged periodically, but each cow C is basically in a natural state. If imaging is continued in such a state, for example, if a certain cow C is in poor physical condition and does not move much, or does not change its posture much, an image that can be used as an appearance judgment item for that specific cow C will be obtained. It can be inferred that there is a tendency for the number of images to be taken to be small, or the number of images for specific appearance determination items to be small. In other words, it is considered that changes in the health condition of cow C can be predicted not only by temporal changes in the appearance score but also by temporal changes in the number of images related to appearance determination items.
  • the animal appearance determination device 100 acquires a captured image including a cow C reared in a cow stall CB, and calculates the image of the cow C based on the image of the cow C in the captured image.
  • An image data analysis unit 112 that acquires the position of the cow C in the breeding area as first position information, identification information from the sensor device 200 provided in the cow C, and a second image data that indicates the position of the cow C in the cow stall CB. If it is determined that the difference between the first location information and the second location information is less than or equal to a predetermined threshold, the location data analysis unit 114 obtains the first location information and the second location information. and an individual identification unit 115 that records the identification information related to the location information of No. 2 in association with the identification information.
  • the position of the cow C in the cow stall CB can be specified with high accuracy, thereby making it possible to identify the individual cow C related to the captured image. Become.
  • the animal appearance determination device 100 makes a determination on appearance determination items set in advance regarding the animal's appearance based on the captured image of the animal, uses the determination result as appearance information of the animal, and uses the determination result as the animal's appearance information.
  • an appearance determination unit 116 that records the information in association with each other.
  • the appearance determination unit 116 determines the appearance of the cow C using a trained model that has learned the relationship between the image information acquired about the cow C and the appearance information that is the determination result for the appearance determination item set in advance. may be determined.
  • the appearance determination unit 116 may determine the appearance of the cow C based on the image acquired for the cow C and criteria for determining features in the image of the cow C that are set in advance for appearance determination items.
  • the position information to be compared with the position estimated based on the image of the cow C can be calculated based on the arrival direction of the radio waves transmitted from the sensor device 200 provided on the cow C.
  • the position of the sensor device 200 that is, the cow C, can be detected using the radio waves used for data transmission from the sensor device 200.
  • Appearance information for each individual animal recorded in chronological order by the appearance determining unit is used to predict the timing of at least one of disease, estrus, parturition, growth, and weaning of the animal. You can also use it as
  • the series of processes described above can be executed by hardware or by software.
  • the functional configurations in FIGS. 2 and 3 are merely examples and are not particularly limited. That is, it is sufficient that the animal appearance determination device 100 has a function that can execute the series of processes described above as a whole, and what kind of functional blocks are used to realize this function is particularly shown in FIGS. 2 and 3.
  • the example is not limited to.
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the functional configuration in this embodiment is realized by a processor that executes arithmetic processing, and processors that can be used in this embodiment include various processing units such as a single processor, a multiprocessor, and a multicore processor. In addition, it includes combinations of these various processing devices and processing circuits such as ASICs (Application Specific Integrated Circuits) and FPGAs (Field-Programmable Gate Arrays).
  • ASICs Application Specific Integrated Circuits
  • FPGAs Field-Programmable
  • the computer may be a computer built into dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, such as a general-purpose personal computer.
  • Recording media containing such programs not only consist of removable media such as USB memory that is distributed separately from the device itself in order to provide the program to the user, but also can be pre-installed in the device body and provided to the user. It consists of recording media etc. provided to The removable media includes, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like.
  • Optical discs include, for example, CD-ROMs (Compact Disk-Read Only Memory), DVDs (Digital Versatile Disks), Blu-ray (registered trademark) Discs, and the like.
  • the magneto-optical disk is composed of an MD (Mini-Disk) or the like.
  • the recording medium provided to the user in a state that is pre-installed in the main body of the apparatus is, for example, a ROM in which a program is recorded, a hard disk included in the storage unit 120, or the like.
  • the step of writing a program to be recorded on a recording medium is not only a process that is performed chronologically in accordance with the order, but also a process that is not necessarily performed chronologically but in parallel or individually. It also includes the processing to be executed.
  • Animal appearance determination system 100 Animal appearance determination device 110 Processing unit 115 Individual identification unit 116 Appearance determination unit 120 Storage unit 122 Appearance determination data storage unit 124 Appearance information storage unit 200 Sensor device 300 Position detector 400 Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

特定領域における動物の撮像画像に基づいて、撮像画像に係る当該動物の個体識別を可能とすること。動物容姿判定装置１００は、牛房内で飼育されているウシを含む撮像画像を取得し、前記撮像画像内のウシの画像に基づいて算出したウシの牛房内における位置を、第１の位置情報として取得する画像データ解析部１１２と、ウシに設けたセンサ装置２００からの識別情報と、ウシの牛房内での位置を示す第２の位置情報とを取得する位置データ解析部１１４と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部１１５とを備えている。

Description

情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理装置、情報処理方法及びプログラムに関する。
　安定的な酪農経営を継続する上で、飼育している動物の健康管理を効率的に行うことが重要になってきている。例えば、特許文献１には、家畜を撮像した画像情報を含む飼養状況情報を取得する飼養状況取得部と、前記飼養状況取得部により取得した前記画像情報に映る家畜を抽出して前記家畜の状況を解析し、当該家畜の状況に応じた疾病リスクを推定する疾病リスク推定部とを備える家畜疾病管理システムが記載されている。特許文献２には、複数の動物を含む複数の撮像画像を取得し、前記複数の撮像画像に基づいて、前記複数の動物のそれぞれに装着された装着物の動きを検出し、検出された前記装着物の動きに応じて、前記複数の動物のそれぞれの行動量を算出する処理をコンピュータに実行させることを特徴とする行動量算出プログラムが記載されている。
特開２０２１－１３５９５６号公報 特開２０１８－１４８８４３号公報
　しかし、特許文献１の技術では、群としての疾病リスク推定はできるが、個体ごとの疾病リスク推定、体調管理はできないという問題があった。特許文献２の技術では、観察対象家畜の頭数が増えた場合や画像上で装着物が確認できない場合などに個体識別の精度が低下する場合があるという問題があった。
　本発明の目的の一つは、特定領域における動物の撮像画像に基づいて、当該動物の特定領域における位置を精度よく特定し、もって撮像画像に係る当該動物の個体識別を可能とする情報処理装置、情報処理方法及びプログラムを提供することである。
　本発明の一つの態様は、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する第１の位置情報取得部と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する第２の位置情報取得部と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部とを備えている情報処理装置である。
　前記情報処理装置は、撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第１の位置情報を取得し、当該第１の位置情報に関連付けられている前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部を備えているとしてもよい。
　前記容姿判定部が、前記動物について取得された画像と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用して前記動物の容姿を判定するとしてもよい。
　前記容姿判定部が、前記動物について取得された画像と、前記容姿判定項目についてあらかじめ設定された前記動物の画像における特徴の判断基準とに基づいて前記動物の容姿を判定するとしてもよい。
　前記第２の位置情報は、前記動物に設けた端末装置から送信される電波の到来方向に基づいて算出されるものとすることができる。
　前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用されるとしてもよい。
　本発明の他の態様は、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理、
を実行する情報処理方法である。
　本発明のさらに他の態様は、情報処理装置に、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理とを実行させるプログラムである。
　本発明によれば、特定領域における動物の撮像画像に基づいて、当該動物の特定領域における位置を特定することが可能となるとともに、撮像画像に係る当該動物の個体識別が可能となる。
本発明の一実施形態における動物容姿判定システムの全体構成を例示する模式図である。 本発明の一実施形態における動物容姿判定システムの機能の概要を示すブロック図である。 本発明の一実施形態における動物容姿判定装置のハードウェア及び機能ブロックの構成を例示するブロック図である。 本発明の一実施形態におけるセンサ装置、位置検出器のハードウェア及び機能ブロックの構成を例示するブロック図である。 動物を撮像した画像の処理例を示す説明図である。 画像から特定した動物の位置とセンサ装置からの識別情報から特定した動物の位置とを対比して示す模式図である。 容姿判定項目の例を示す説明図である。 容姿判定用データ記憶部の構成例を示す図である。 位置情報記憶部の構成例を示す図である。 容姿情報記憶部の構成例を示す図である。 処理対象データ記憶部の構成例を示す図である。 本発明の一実施形態における動物容姿判定装置が実行する位置情報算出処理の一例を示すフローチャートである。 本発明の一実施形態における動物容姿判定装置が実行する容姿判定処理の一例を示すフローチャートである。
　以下、本発明について、その実施形態に即して添付図面を参照しながら説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、及び位置関係のみに限定されるものでない。
（実施形態）
＜動物容姿判定システム１＞
　図１は、本発明の一実施形態における動物容姿判定システム１の全体構成を例示する模式図である。図１に示すように、本実施形態の動物容姿判定システム１は、例えば酪農家が飼育しているウシＣの容姿を撮像した画像に基づいて、あらかじめ規定した容姿の判定項目に関しての判定結果である容姿情報を、動物の個体ごとに時系列に記録する機能を備えている。記録対象となる動物には、ウシＣに限らず、ブタ、ヒツジ、ウマ、ヤギ等の、いわゆる産業動物のカテゴリーに入る動物、動物園等で飼育される動物、いわゆる愛玩動物を含む、容姿情報の取得、利用に利益のあるすべての動物が含まれうる。本実施形態では、容姿判定項目として、「耳の位置」、「目の開き度合い」、「頭の位置」、「背中の曲がり」の４項目を設定している。容姿判定項目は、このような項目に限定されることなく、対象の動物、容姿情報の利用目的等に応じて適宜設定することができる。
　図１は、牛舎内に配置されている一つの矩形状の牛房ＣＢを取り出して模式的に示している平面図である。簡単のために、図１では、牛房ＣＢ内に２頭のウシＣ１，Ｃ２が飼育されている状況を示している。
　牛房ＣＢ内には、その適宜の場所に餌場Ｆ、哺乳場Ｍ、水飲み場Ｗが設けられ、それぞれの場所で、ウシＣ１，Ｃ２が餌を食べ、乳を飲み、水を飲むことができるように構成されている。なお、これらの餌場Ｆ、哺乳場Ｍ、水飲み場Ｗの牛房ＣＢ内での配置は、図１の例に限られず適宜定めることができる。
　ウシＣ１，Ｃ２には、それぞれのウシの挙動、心拍数等の生体情報をモニタするためのセンサデバイスを備えるセンサ装置２００が装着されている。各センサ装置２００には固有の識別情報が割り当てられており、各ウシの識別情報として利用される。センサ装置２００にはデータ伝送機能が設けられており、センサデバイスから取得されたデータが、前記の識別情報とともに、例えば近距離無線通信（ＮＦＣ）によって送信される。
　牛房ＣＢを含む牛舎の近傍、例えば酪農家の管理棟等に、本実施形態における動物容姿判定のための主要な機能が実装されている情報処理装置である、動物容姿判定装置１００が設置される。動物容姿判定装置１００は、ウシＣに装着されているセンサ装置２００からの各種データ及び識別情報を受信して、各ウシＣの牛房ＣＢ内における位置の特定等に利用する。
　牛房ＣＢ内には、センサ装置２００から送信される電波を受信して送信元であるセンサ装置２００の位置、すなわち、牛房ＣＢ内でのウシＣ１，Ｃ２の位置を前記動物容姿判定装置１００によって解析するためのデータを生成するデバイスである位置検出器３００が設けられる。図１の例では、２台の位置検出器３００が、牛房ＣＢ内の適宜の場所に設置され、センサ装置２００から到来する電波の角度を検出し、動物容姿判定装置１００へ送信している。動物容姿判定装置１００は、各位置検出器３００からの角度データを利用して、牛房ＣＢ内におけるウシＣの位置を解析して取得する。図１に例示するように、牛房ＣＢ内には、便宜的に、平面座標系を規定するＸ軸、Ｙ軸と、それらに直交するＺ軸を設定しておくことができる。動物容姿判定装置１００は、インターネット、ＷＡＮ、ＬＡＮ等の、外部の通信ネットワークＮと通信可能に構成してもよい。動物容姿判定装置１００、センサ装置２００、位置検出器３００の構成と機能については、関連図面を参照して後述する。
　牛房ＣＢ内には、ウシＣの画像を撮像するための、一又は複数のカメラ４００が設置される。牛房ＣＢ内で飼育されているウシＣについては、定期的にその画像が撮像されることが望ましい。そのため、カメラ４００を、牛房ＣＢ内においてウシＣが定期的に（例えば一日一回）現れるような場所、例えば餌場や水飲み場付近が撮像されるように設置すれば、牛房ＣＢ内のウシＣそれぞれについて定期的に画像を取得することができ好適である。カメラ４００は、例えばＣＣＤ等の撮像素子を有するデジタルカメラであり、牛房ＣＢ内の動画像の撮像、又は所定時間間隔での静止画像の撮像を行い、画像データを動物容姿判定装置１００に送信する。
　図２に、図１の動物容姿判定システム１の概略構成、機能を示している。本実施形態の動物容姿判定システム１は、動物容姿判定装置１００を備える。動物容姿判定装置１００には、牛房ＣＢ内に設置された位置検出器３００からの電波受信角度データが、当該センサ装置２００の識別情報とともに入力される。センサ装置２００の識別情報は、センサ装置２００から位置センサ３００が受信するデータに含まれている。動物容姿判定装置１００は、位置データ解析機能Ｆ１により、入力された電波受信角度データと位置検出器３００の設置位置との解析を行い、位置情報算出機能Ｆ２により、牛房ＣＢ内におけるセンサ装置２００の位置情報を算出する。センサ装置２００の識別情報は各ウシＣと紐付けられているため、センサ装置２００の位置情報は、牛房ＣＢ内での当該センサ装置２００が取り付けられたウシＣの位置を表すこととなる。
　一方、動物容姿判定装置１００は、カメラ４００が撮像した牛房ＣＢ内の画像データを取得する。取得された画像データは、画像解析機能Ｆ３によって解析され、動物抽出機能Ｆ４によって各画像に含まれているウシＣの画像が抽出される。このとき、画像内における各ウシＣの位置が算出される。画像内におけるウシＣの位置は、当該画像を撮像したカメラ４００の設置位置、撮像方向、及び画角に基づいて、実際の牛房ＣＢ内における位置に変換される。
　センサ装置２００から受信した信号に基づく位置情報（第２の位置情報）と、画像内のウシＣの位置から変換して得られた牛房ＣＢ内における位置の情報（第１の位置情報）は、個体識別機能Ｆ５によって対照される。画像に基づく位置情報とセンサ装置２００からの信号に基づく位置情報とに対応関係があると判定された場合、当該画像は対応関係があると認められたセンサ装置２００が取り付けられたウシＣの画像であると特定される。前記のように、センサ装置２００の識別情報は各ウシＣの個体情報と対応づけられているので、前記画像とウシＣの個体情報とが対応づけられることとなる。画像に基づく位置情報とセンサ装置２００からの信号に基づく位置情報とに対応関係があるとは、各位置情報によって特定される牛房ＣＢ内の位置の差分（距離）が、所定の閾値以下であることを意味する。さらに換言すると、画像に基づく位置情報が示す牛房ＣＢ内の位置とセンサ装置２００からの信号に基づく位置情報が示す牛房ＣＢ内の位置とが一定の範囲内に含まれる場合、前記の対応関係が存在すると判断される。前記の閾値は対象の動物等に応じて適宜定めればよいが、本実施形態のウシの場合、例えば数１０ｃｍのオーダーで規定することができる。
　動物抽出機能Ｆ４によって各画像において抽出されたウシＣの画像は容姿判定機能Ｆ６により、その容姿の観点から判定処理が実施される。前記のように、容姿判定項目として、「耳の位置」、「目の開き度合い」、「頭の位置」、「背中の曲がり」の４項目が設定されており、容姿判定機能Ｆ６では、ウシＣの画像に基づいて、各容姿判定項目について定量的な判定が実行される。個体識別機能Ｆ５によって対応づけられたウシＣの画像と個体情報、及び容姿判定機能Ｆ６によって得られた各ウシＣの画像に基づく判定結果とが関連付けられて、容姿情報記録機能Ｆ７によって時系列に記録されていく。
＜動物容姿判定装置１００，センサ装置２００，位置検出器３００＞
　次に、本実施形態における動物容姿判定装置１００、センサ装置２００、位置検出器３００の構成と機能について、具体的に説明する。図３、図４は、それぞれ、本実施形態における動物容姿判定装置１００、センサ装置２００及び位置検出器３００のハードウェア及び機能ブロックの構成を例示するブロック図である。
＜＜センサ装置２００、位置検出器３００＞＞
　まず、図４を参照して、本実施形態におけるセンサ装置２００、位置検出器３００について説明する。センサ装置２００は、ウシＣの身体の適宜部位に装着され、ウシＣの行動に含まれる、ウシＣの移動を物理量に変換して出力するデバイスを備える。本実施形態では、センサ装置２００は例えば首輪に固定されてウシＣの首に装着されるが、耳に装着するなど、他の部位に取り付けるように構成してもよい。
　センサ装置２００は、本実施形態においては当該センサ装置２００の位置を動物容姿判定装置１００にて取得可能とするための端末装置として機能する。したがって、本実施形態においては、センサ装置２００は、自身の識別情報を送信する端末装置の機能を有すれば足りる。ここではそのような端末装置としてのセンサ装置２００の構成について説明する。図４に例示しているように、センサ装置２００は、ＣＰＵ等のプロセッサによって構成される処理部２１０と、通信部２２０とを備える。処理部２１０はセンサ装置２００の識別情報であるデータを記憶している識別情報記憶部２１１と、その識別情報のデータを外部へ送出するための識別情報送出部２１２を備える。識別情報としては、センサ装置２００を構成するデバイス固有のシリアル番号等を利用してもよい。
　通信部２２０は、処理部２１０の識別情報送出部２１２から識別情報データを受け取って、所定の通信方式によって無線送信する機能を有する。本実施形態では、通信部２２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に準拠した通信機能を備えた通信モジュールとして構成されている。通信部２２０から送信される識別情報送出部２１２からのデジタルデータは、Ｂｌｕｅｔｏｏｔｈのデータとして送信され、動物容姿判定装置１００によって受信される。Ｂｌｕｅｔｏｏｔｈのデータはまた、牛房ＣＢ内に設置された位置検出器３００においても受信される。なお上記の通信方式は一例であり、これに制約されるものではない。
　位置検出器３００は、例えばＢｌｕｅｔｏｏｔｈ５．１に含まれている方向検知機能を利用するためのロケータとして機能する。図４に示すように、位置検出器３００は、プロセッサ等で構成される処理部３１０、アンテナアレイ３２０、及び通信部３３０を備えて構成することができる。処理部３１０は、機能ブロックとしての電波受信部３１１と、受信角度算出部３１２とを備えるものとすることができる。Ｂｌｕｅｔｏｏｔｈ５．１においては、電波の受信角度（Ａｎｇｌｅ　ｏｆ　Ａｒｒｉｖａｌ，ＡｏＡ）によりＢｌｕｅｔｏｏｔｈ信号の到来角度を取得することができる。Ｂｌｕｅｔｏｏｔｈ５．１のデジタル信号には、通常のデータ通信の後にＣｏｎｓｔａｎｔ　Ｔｏｎｅ　Ｅｘｔｅｎｓｉｏｎ（ＣＴＥ）と呼ばれる一定期間の単調な正弦波が含まれる。位置検出器３００は、このＣＴＥを複数のアンテナを含むアンテナアレイ３２０を通じて電波受信部３１１で受信し、受信角度算出部３１２において、各アンテナでの受信波の位相角の差に基づいて、Ｂｌｕｅｔｏｏｔｈ信号の入射角を算出する機能を備えている。後述するように、位置検出器３００の受信角度算出部３１２で算出された受信角度データは、通信部３３０によって動物容姿判定装置１００へ伝送される。なお、センサ装置２００の位置を検出する位置検出方式は、Ｂｌｕｅｔｏｏｔｈの機能を利用する方式に限られず、ＧＰＳ等の衛星測位システムを利用した位置検出方式、Ｗｉ－Ｆｉ基地局からの電波を利用した位置特定方式等、他の利用可能な方式を採用することができる。
＜＜動物容姿判定装置１００＞＞
　次に、本発明に係る情報処理装置の一実施形態である動物容姿判定装置１００について説明する。図３に示すように、動物容姿判定装置１００は、サーバコンピュータ又はパーソナルコンピュータなどの情報処理装置であり、処理部１１０、記憶部１２０、入出力部１３０、データインタフェース（データＩＦ）部１４０、及び通信部１５０を備えている。処理部１１０、記憶部１２０、入出力部１３０、データＩＦ部１４０、及び通信部１５０の間は、図示を省略する内部通信線としてのバスによって接続されている。
　処理部１１０は、ＣＰＵ等のプロセッサによって構成される演算装置であり、後述の記憶部１２０から各種プログラム、データを読み込んで実行し、動物容姿判定装置１００の機能を実現する。本実施形態では、処理部１１０は、画像データ受信部１１１、画像データ解析部１１２、位置データ受信部１１３、位置データ解析部１１４、個体識別部１１５、容姿判定部１１６、容姿情報記録部１１７、及び容姿情報出力部１１８の各機能部のデータ処理を実行する。各機能部の動作については後述する。
　記憶部１２０は、ハードウェア群を動物容姿判定装置１００として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスク（ＨＤＤ）などで構成することができる。具体的には、記憶部１２０は、本実施形態の各機能を処理部１１０に実行させるためのプログラム（動物容姿判定装置１００の制御プログラム）、各種パラメータ、個体識別、容姿判定に利用されるデータ、処理対象であるウシＣに関するデータ、外部から入力される操作入力データ、及び生成された容姿情報データ等が記憶される。
　入出力部１３０は、外部から動物容姿判定装置１００へのデータ入力を可能とするキーボード、マウス、タッチパネル、マイク等の各種入力デバイスと、容姿情報データ等を出力表示するためのモニタディスプレイ、スピーカ等の出力デバイスから構成されている。
　データＩＦ部１４０は、処理部１１０、記憶部１２０、入出力部１３０、通信部１５０の間でのデータ通信を制御する機能を有する。
　通信部１５０は、センサ装置２００、位置検出器３００との間で各種データの送受信を行う通信モジュールであり、例えばネットワークインタフェースカード（ＮＩＣ）等のハードウェアとして構成される。通信部１５０は、動物容姿判定装置１００が図１に例示した外部の通信ネットワークＮとの間で通信を実行するのにも使用することができる。本実施形態では省略しているが、動物容姿判定装置１００には、牛房ＣＢ内に設置したカメラ４００の各種制御機能を設けてもよい。
　次に、処理部１１０が実行する各プログラムによって実現される動物容姿判定装置１００の機能について説明する。
　画像データ受信部１１１は、牛房ＣＢ内に設置されたカメラ４００によって撮像された画像データを受信する機能を有する。カメラ４００は、典型的にはＣＣＤ等の撮像素子を備え、所要の解像度を備えたデジタルビデオカメラであるが、それに制約されるものではなく、所定時間間隔で静止画像を撮像するようにしてもよい。
　画像データ解析部１１２は、画像データ受信部１１１が受信した牛房ＣＢ内の撮像画像データを、画像解析用データを用いて解析し、画像内にウシＣが含まれているか、含まれているウシＣについては、その画像内での位置に基づいて算出される牛房ＣＢ内での位置を求める機能を有する。図５に、カメラ４００によって撮像された牛房ＣＢ内の画像例を示している。図５に例示する画像には、３頭のウシＣ１～Ｃ３が撮像されている。画像データ解析部１１２は、記憶部１２０の画像解析用データ記憶部１２１に格納されている、多様なウシが撮像されている画像データを用いてあらかじめ学習させた学習モデルを用いて、各画像内にウシが撮像されているかを調べ、画像内でウシと判別された領域を、例えば図５に例示されているように矩形（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）で枠付けする。（ｘ１，ｙ１）、…は、画像内のスクリーン座標系における矩形頂点の座標を示す。学習に用いられる教師データは、多様なウシの画像を含む画像データについてウシが撮像されている領域を特定してなるアノテーションデータである。ウシＣが含まれていると判定された画像データは、後述する容姿判定のためのデータとして利用される。一方、画像内にウシＣが含まれていると判定された画像については、画像データ解析部１１２によって、画像内におけるウシＣの領域に基づいて、牛房ＣＢ内におけるウシＣの位置が算出される。画像内におけるウシＣが占める領域、すなわち前記の矩形頂点のスクリーン座標系における位置座標は、カメラ４００の設置位置座標、撮像方向を示す角度、例えばカメラ４００の撮影方向が水平面となす角度（俯角）及び牛房ＣＢ内の座標軸に対する角度、並びにカメラ４００の画角に基づいて、牛房ＣＢ内における現実空間の座標系（ワールド座標系）に射影変換され、当該画像内のウシＣが現実空間である牛房ＣＢ内において占める位置を求めることができる。具体的には、スクリーン座標系におけるウシＣの位置を示す矩形を平行移動、及び回転させてワールド座標系における位置に変換するための変換行列をあらかじめ各カメラ４００について用意しておく。この画像データに基づいて算出されたウシＣの位置は、後述する各ウシＣの個体識別処理に利用される。
　位置データ受信部１１３は、位置検出器３００からの位置データを受信する機能を有する。前記のように、位置データは、例えば各位置検出器３００の牛房ＣＢ内における位置座標、各位置検出器３００の受信角度算出部３１２において算出された、センサ装置２００からの電波受信角度データである。位置検出器３００の位置座標データは、あらかじめパラメータとして記憶部１２０に格納しておいてもよい。
　位置データ解析部１１４は、位置データ受信部１１３にて受信、取得した位置検出器３００の位置座標データ及び電波受信角度を用いて、牛房ＣＢ内におけるセンサ装置２００の位置を算出する。図１のように２セットの位置検出器３００を用いると、電波の発信元であるセンサ装置２００の位置は、各位置検出器３００の位置から電波受信角度に従って引いた直線の交点として求めることができる。センサ装置２００の位置測定精度の必要に応じて、位置検出器３００を増設することも可能である。求められたセンサ装置２００の位置を、あらかじめ牛房ＣＢ内に設定した平面座標とマッチングすることで、センサ装置２００が装着されたウシＣが、牛房ＣＢ内のどの場所にいるかを判定することができる。位置データ解析部１１４によって算出された各センサ装置２００の牛房ＣＢ内における位置は、後述する各ウシＣの個体識別処理に利用される。なお、上記のセンサ装置２００の位置検出方式は一例であり、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）の測位衛星信号に基づいて位置座標を算出する、Ｗｉ－Ｆｉ基地局からの電波を利用する等、他の方式を利用するとしてもよい。
　個体識別部１１５は、画像データ解析部１１２によって、画像データに含まれているウシＣの画像内位置に基づいて算出されたウシＣの牛房ＣＢ内における推定位置と、位置データ解析部１１４によって、位置検出器３００からのデータに基づいて算出された各センサ装置２００の牛房ＣＢ内における位置とを対照することにより、画像内に撮像されている各ウシＣの個体識別を行う機能を有する。前記のように、各ウシＣに取り付けられているセンサ装置２００には、固有の識別情報であるセンサ装置ＩＤが付与されており、位置検出器３００を経由して容姿判定装置１００で受信される。センサ装置ＩＤは各ウシＣの個体識別符号である個体ＩＤと紐づけられているので、画像データから推定されたウシＣの位置とセンサ装置２００の位置とを対照することにより、画像データから推定されたウシＣの位置とセンサ装置２００の位置との差分が所定の閾値以下であるか（両位置が牛房ＣＢ内の一定の範囲内に含まれる程度に十分近接しているか）を判定し、画像内のウシＣと個体ＩＤとを関連付けることができる（この関連付けは、処理対象データ記憶部の構成に関して後述する）。図６に、画像データから推定した牛房ＣＢ内のウシＣの位置と、センサ装置２００からの受信電波に基づいて算出されたウシＣの位置とを対照して模式的に示している。図６において、星印は画像データから推定されたウシＣの位置を、丸印はセンサ装置２００からの受信電波に基づいて算出されたウシＣの位置を示している。画像データに基づくウシＣの数がセンサ装置２００の数より少ないのは、牛房ＣＢ内にいるウシＣのうち、カメラ４００の撮像画像からは検出できなかったものが存在することを示している。図６においては、画像データから推定されたウシＣの位置（星印）に、斜線を付した丸印の３頭のウシ（個体ＩＤ＝００１～００３）が対応付けられることが示されている。このように、個体識別部１１５は、画像内に撮像されているウシＣがいずれの個体であるかを特定することを可能としている。各ウシＣについて特定された位置情報は、記録年月日及び時刻、ウシＣの個体ＩＤ、及び牛房ＣＢ内における位置が関連付けられたレコードとして、図９に例示する位置情報記憶部１２３に記録される。
　容姿判定部１１６は、カメラ４００によって撮像された画像データ内に含まれているウシＣの画像に基づいて、そのウシＣの容姿を定量的に判定する機能を有する。ウシＣの容姿を定量的に判定することにより、各ウシＣの健康管理、疾病予防等に利用することができる。図７に、本実施形態における容姿判定で判定される容姿判定項目を例示している。本実施形態では、一例として子牛の容姿判定項目を示しており、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」の４項目について、それぞれ最良判定である容姿スコア０から容姿スコア２までの３段階で判定している。各項目では、耳の位置は高く上がっているほどよく、目は大きく見開いているほどよく、頭の位置は高いほどよく、背中は曲がりがなく真っすぐなほどよいという観点で判定される。乳牛の経産牛など、容姿判定の対象に応じて判定項目は適宜に変更してよい。容姿判定部１１６は、画像データ解析部１１２が画像内において枠付けしたウシＣを含む画像データについて、容姿判定用データ記憶部１２２に格納されている容姿判定用データを利用して判定処理を実行する。図８に、容姿判定用データ記憶部１２２の構成例を示している。図８に例示する容姿判定用データは、ウシＣを含む画像データ、顔、体側等の画像に含まれているウシＣの容姿種別、目の開き等の判定項目、及び対応付けられている画像データの判定項目について付与された容姿スコアが格納されている。容姿判定部１１６は、例えば判定対象のウシＣの画像と容姿判定用データとを対照し、その画像における判定項目の類似度に基づいて判定対象画像についての容姿スコアを決定することができる。容姿判定の手法としては、これに制約されることなく、
・多数のウシＣについて蓄積された画像から、「耳の位置」、「目の開き」などの各判定項目に基づいてあらかじめ定量化指標を導出しておき、その定量化指標に基づいて容姿判定を行う。例えば、「耳の位置」であれば、水平線からの耳のたれ具合（耳の下がり角度）に基づいて容姿スコアを付与できるように判定基準を定量化しておく。
・容姿判定用データにより、ウシＣの容姿の画像と各判定項目の容姿スコアとの関係を学習させた学習済みモデルにのより、あらたなウシＣの画像について容姿判定を実行させる。
等を採用することが可能である。
　容姿情報記録部１１７は、容姿判定部１１６によって生成されたウシＣごとの容姿判定結果を容姿情報として時系列で記録する機能を有する。容姿情報は、記憶部１２０の容姿情報記憶部１２４に記録される。図１０に、容姿情報記憶部１２４の構成例を示している。図１０に例示する容姿情報記憶部１２４は、容姿情報が記録された年月日及び時刻、ウシＣの個体ＩＤ、容姿判定項目及び容姿スコアが関連付けられて記録されている。
　容姿情報出力部１１８は、容姿情報記憶部１２４から入出力部１３０等からの入力操作によって、所定の条件の下で容姿情報データを抽出して出力する機能を有する。例えば特定の個体ＩＤを有するウシＣの特定の容姿判定項目と対応する容姿スコアを抽出して時系列データとして出力させることにより、当該のウシＣの健康状態の変化、疾病や特定イベント（離乳、分娩等）の兆候を捉えるために利用することが可能である。
　処理対象データ記憶部１２５は、容姿判定の対象となる個々のウシＣに関する個別の情報を格納している。図１１に、処理対象データ記憶部１２５の構成例を示している。図１１に例示する処理対象データ記憶部１２５は、容姿判定の対象である各ウシＣに識別符号として付与されている個体ＩＤに対応付けて、センサ装置２００の固有の識別情報であるセンサ装置ＩＤ、ウシとしての種類を示す牛種、性別、年齢、健康状態、及び病歴の各項目が記録されている。センサ装置ＩＤは、ウシＣに取り付けられている各センサ装置２００から動物容姿判定装置１００に送信されるセンサデータに付帯され、受信したセンサデータがどのセンサ装置２００で取得されたかを識別可能としている。センサ装置ＩＤは位置検出器３００においても受信されるので、特定のセンサ装置２００の位置とセンサ装置ＩＤとを紐づけることができる。健康状態は、図示のように判定数値で記録するほか、具体的にテキストで記録してもよい。病歴についても適宜の記載様式を採用してよい。処理対象データ記憶部１２５の記録項目は、図１１の例に制約されることなく、適宜決定することができる。
＜動物容姿判定装置１００によるデータ処理＞
　次に、本実施形態における動物容姿判定装置１００が実行するデータ処理について説明する。動物容姿判定装置１００は、主として、画像に撮像されている動物（本実施形態ではウシ）の位置を検出するための位置情報算出処理と、画像に基づいて動物の容姿を判定する容姿判定処理とを実行する。
＜＜位置情報算出処理＞＞
　図１２に、本実施形態における動物容姿判定装置１００が実行する位置情報算出処理の処理フロー例をフローチャートで示している。位置情報算出処理は、例えば動物容姿判定装置１００の電源投入及び起動を契機として開始され、一定時間間隔ごとに実行される。
　動物容姿判定装置１００の画像データ受信部１１１は、カメラ４００から、カメラ４００が撮像した撮像画像データを受信する（ステップＳ１１）。
　画像データ解析部１１２は、カメラ４００から受信した画像データを、画像解析用データ記憶部１２１に記憶されている画像解析用データを利用して解析し（ステップＳ１２）、画像内におけるウシＣの画像領域を抽出する（ステップＳ１３）。
　画像データ解析部１１２は、画像内におけるウシＣの占める領域を、スクリーン座標系、カメラ４００の位置、撮像方向に基づくカメラ座標系、及び現実世界の空間座標系との関係を用いて空間座標系内の位置に変換し、牛房ＣＢ内におけるウシＣの位置を算出する（ステップＳ１４）。
　一方、位置データ解析部１１４は、位置データ受信部１１３が位置検出器３００から受信した電波の到来角度から各センサ装置２００の位置をウシＣの位置として算出し、ステップＳ１４において画像データに基づき推定したウシＣの位置と対照する（ステップＳ１５）。これにより、画像データから推定されたウシＣの位置が、対照されるセンサ装置２００の位置、すなわちセンサ装置２００が装着されたウシＣの位置によって検証され、画像に撮像されている各ウシＣの個体識別が達成される。なお、ウシＣの位置の検証は、まず画像データに基づき推定したウシＣの位置を示す第１の位置情報をウシＣの牛房ＣＢ内における位置と仮定して、対応するセンサ装置２００の位置があるか、言い換えれば画像データに基づき推定したウシＣの位置座標から一定の範囲内にいずれかのセンサ装置２００の位置座標が検出されているかに基づいて実施することができる。あるいは、まずセンサ装置２００の位置を牛房ＣＢ内でのウシＣの位置とし、これらに対応する画像データに基づき推定したウシＣの位置を示す第１の位置情報があるか、言い換えればセンサ装置２００の位置座標から一定の範囲内にいずれかの画像データに基づき推定したウシＣの位置座標が存在するかに基づいてウシＣの位置を検証することもできる。
　位置データ解析部１１４は、ステップＳ１５において特定されたウシＣの位置を、位置情報記憶部１２３に記録する（ステップＳ１６）。
　処理部１１０は、入出力部１３０あるいは通信部１５０を通じてデータ処理の終了命令を受けているかを判定する（ステップＳ１７）。終了命令を受けていないと判定した場合（ステップＳ１７：ＮＯ）、処理部１１０はステップＳ１１に戻って位置情報算出処理の実行を継続する。終了命令を受けていると判定した場合（ステップＳ１７：ＹＥＳ）、処理部１１０は位置情報算出処理を終了する。
＜＜容姿判定処理＞＞
　図１３に、本実施形態における動物容姿判定装置１００が実行する容姿判定処理の処理フロー例をフローチャートで示している。容姿判定処理は、例えば動物容姿判定装置１００の電源投入及び起動を契機として開始され、一定時間間隔ごとに実行される。
　動物容姿判定装置１００による容姿判定処理は、動物容姿判定装置１００の動作中、ウシＣに装着されているセンサ装置２００ごとに反復して実行される（ステップＳ２１のループ）。容姿判定部１１６は、画像データ解析部１１２が画像データから抽出したウシＣの画像を取得する（ステップＳ２２）。容姿判定部１１６は、取得したウシＣの画像から、容姿判定項目に係る画像を抽出する（ステップＳ２３）。具体的には、容姿判定部１１６は、取得した画像にウシＣの頭部、顔、体側が含まれており、容姿判定項目に関わる「頭」、「耳」、「目」、及び「背部」が識別可能か調べる。この判定は、例えばウシＣの「頭」、「耳」、「目」、及び「背部」を含む多数の教師データによって学習させた学習モデルを用いることができる。なお、ウシＣの画像取得に関しては、各ウシＣについて、容姿判定項目に関わる身体の部位がまんべんなく撮像されるようにすることが好ましい。このような観点からは、例えば、ウシＣが飼育されている牛房ＣＢ内に複数のカメラ４００を設置し、牛房ＣＢ内を複数の異なる方向から撮像することが好ましい。あるいは、例えばカメラ４００において撮像中に、ウシＣがカメラ４００に注意を向けるような音響、光等を発するように構成することも考えられる。
　容姿判定部１１６は、抽出した容姿判定項目に関わる画像を、容姿判定用データ記憶部１２２から読み出した容姿判定用データと対照する（ステップＳ２４）。具体的には、上記したように、容姿判定部１１６は、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」の４項目について、容姿判定用データとの類似度を調べる。あるいは、各判定項目に基づいてあらかじめ導出された定量化指標と比較する、容姿判定用データにより、ウシＣの容姿の画像と各判定項目の容姿スコアとの関係を学習させた学習済みモデルにより、あらたなウシＣの画像について判定させるといった処理を実行する。
　容姿判定部１１６は、ステップＳ２４の対照結果に基づいて各判定項目についての容姿スコアを決定し（ステップＳ２５）、容姿情報として、容姿情報記録部１１７により容姿情報記憶部１２４に記録される（ステップＳ２６）。
　以上の位置情報算出処理及び容姿判定処理が実行されることによって、各ウシＣについての容姿判定項目である「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する容姿スコアが、時系列に蓄積される。
＜動物容姿判定装置１００による容姿判定結果の利用＞
　上記したように、本実施形態における動物容姿判定装置１００によれば、各ウシＣについて、容姿判定項目として選定されている「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する判定指標、容姿スコアが時系列に蓄積される。したがって、例えば、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する容姿スコアの時間的な変化と、ウシＣの健康状態、疾病罹患、発情、分娩、離乳等のイベントとの間の相関関係を分析して動物容姿判定装置１００に学習させることにより、本実施形態の動物容姿判定装置１００を、ウシＣの健康状態の変化、疾病罹患、発情、分娩、離乳等のイベントの予兆検出の目的に利用することができる。なお、本実施形態では、牛房ＣＢ内のウシＣを定期的に撮像しているが、各ウシＣは基本的に自然な状態にある。そのような状態で撮像を継続した場合、例えばあるウシＣの体調が悪く、動きが少ない、あるいはあまり姿勢が変わらないといった場合には、その特定のウシＣについて、容姿判定項目として使用可能な画像の撮像数が少ない、あるいは特定の容姿判定項目についての画像数が少ないといった傾向が認められるものと推測することができる。すなわち、ウシＣについて容姿スコアの時系列的な変化だけでなく、容姿判定項目に関する画像数の時間的変化によっても健康状態の変化等を予測することができると考えられる。
　以上説明した実施形態によれば、以下のような効果を奏する。
　本発明の一実施形態における動物容姿判定装置１００は、牛房ＣＢ内で飼育されているウシＣを含む撮像画像を取得し、前記撮像画像内のウシＣの画像に基づいて算出したウシ当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する画像データ解析部１１２と、ウシＣに設けたセンサ装置２００から識別情報と、ウシＣの牛房ＣＢ内での位置を示す第２の位置情報とを取得する位置データ解析部１１４と、第１の位置情報と第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部１１５とを備えている。
　このようにすれば、牛房ＣＢ内でのウシＣの撮像画像に基づいて、ウシＣの牛房ＣＢ内での位置が精度よく特定され、もって撮像画像に係るウシＣの個体識別が可能となる。
　動物容姿判定装置１００は、撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第１の位置情報を取得し、当該第１の位置情報に関連付けられている前記第２の位置情報に対応する前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部１１６を備えるとしてもよい。
　このようにすれば、個体識別された各ウシＣの容姿の変化を時系列で記録することができる。
　容姿判定部１１６が、ウシＣについて取得された画像情報と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用してウシＣの容姿を判定するとしてもよい。
　このようにすれば、各ウシＣの容姿についての判定を自動的に実行させることができる。
　容姿判定部１１６が、ウシＣについて取得された画像と、容姿判定項目についてあらかじめ設定されたウシＣの画像における特徴の判断基準とに基づいてウシＣの容姿を判定するとしてもよい。
　このようにすれば、各ウシＣの容姿についての判定を自動的に実行させることができる。
　ウシＣの画像に基づいて推定した位置と対照される位置情報は、ウシＣに設けたセンサ装置２００から送信される電波の到来方向に基づいて算出されるものとすることができる。
　このようにすれば、センサ装置２００からのデータ送信に利用される電波によって、センサ装置２００、すなわちウシＣの位置検出を実現することができる。
　前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用されるとしてもよい。
　このようにすれば、動物の疾病、発情、分娩、成長、及び離乳といった事象を動物の容姿判定に基づいて適時に見逃すことなく知得することができる。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図２、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が、動物容姿判定装置１００に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２、図３の例に限定されない。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
　一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
　このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるＵＳＢメモリ等のリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭや、記憶部１２０に含まれるハードディスク等で構成される。
　なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
　以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、上記実施形態と変形例の各構成を組み合わせることも可能である。更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　１　動物容姿判定システム
　１００　動物容姿判定装置
　１１０　処理部
　１１５　個体識別部
　１１６　容姿判定部
　１２０　記憶部
　１２２　容姿判定用データ記憶部
　１２４　容姿情報記憶部
　２００　センサ装置
　３００　位置検出器
　４００　カメラ

Claims (8)

  1. 　予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する第１の位置情報取得部と、
    　前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する第２の位置情報取得部と、
    　前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部と、
    を備えている情報処理装置。
  2. 　撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第１の位置情報を取得し、当該第１の位置情報に関連付けられている前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部
    を備えている、請求項１に記載の情報処理装置。
  3. 　前記容姿判定部が、前記動物について取得された画像と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用して前記動物の容姿を判定する、請求項２に記載の情報処理装置。
  4. 　前記容姿判定部が、前記動物について取得された画像と、前記容姿判定項目についてあらかじめ設定された前記動物の画像における特徴の判断基準とに基づいて前記動物の容姿を判定する、請求項２に記載の情報処理装置。
  5. 　前記第２の位置情報は、前記動物に設けた端末装置から送信される電波の到来方向に基づいて算出される、請求項１から４までのいずれか一項に記載の情報処理装置。
  6. 　前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用される、請求項２から５までのいずれか一項に記載の情報処理装置。
  7. 　情報処理装置が、
    　予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、
    　前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、
    　前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理と、
    を実行する情報処理方法。
  8. 　情報処理装置に、
    　予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、
    　前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、
    　前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理と、
    を実行させるプログラム。
PCT/JP2023/013530 2022-03-31 2023-03-31 情報処理装置、情報処理方法及びプログラム WO2023191045A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-059718 2022-03-31
JP2022059718A JP2023150555A (ja) 2022-03-31 2022-03-31 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023191045A1 true WO2023191045A1 (ja) 2023-10-05

Family

ID=88202407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013530 WO2023191045A1 (ja) 2022-03-31 2023-03-31 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2023150555A (ja)
WO (1) WO2023191045A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033394A1 (ja) * 2015-08-25 2017-03-02 ソニー株式会社 家畜登録システム及び家畜の登録方法
WO2018179219A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
WO2019058752A1 (ja) * 2017-09-22 2019-03-28 パナソニックＩｐマネジメント株式会社 家畜情報管理システム、畜舎、家畜情報管理プログラム、および家畜情報管理方法
JP2021136868A (ja) * 2020-03-02 2021-09-16 キヤノン株式会社 動物の健康状態を推定する推定システム、推定方法、学習モデルの生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033394A1 (ja) * 2015-08-25 2017-03-02 ソニー株式会社 家畜登録システム及び家畜の登録方法
WO2018179219A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
WO2019058752A1 (ja) * 2017-09-22 2019-03-28 パナソニックＩｐマネジメント株式会社 家畜情報管理システム、畜舎、家畜情報管理プログラム、および家畜情報管理方法
JP2021136868A (ja) * 2020-03-02 2021-09-16 キヤノン株式会社 動物の健康状態を推定する推定システム、推定方法、学習モデルの生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BIO-ORIENTED TECHNOLOGY RESEARCH ADVANCEMENT INSTITUTION: "Development of Real-Time Monitoring Technology for Early Detection of Physically Unhealthy Individuals among Lactating Female Dairy Cattle Subject to Group Breeding.", FY2020 INNOVATION CREATION-REINFORCING RESEARCH PROMOTION PROGRAM, FOUNDATIONAL RESEARCH STAGE., HOKKAIDO UNIVERSITY, JP, 1 October 2020 (2020-10-01), JP, XP009550122 *

Also Published As

Publication number Publication date
JP2023150555A (ja) 2023-10-16

Similar Documents

Publication Publication Date Title
Achour et al. Image analysis for individual identification and feeding behaviour monitoring of dairy cows based on Convolutional Neural Networks (CNN)
DK2124746T3 (en) System and method for animal monitoring
KR102168641B1 (ko) 가축 농가의 축사 관리 시스템 및 축사 관리 방법
US20160050888A1 (en) Automated Monitoring of Animal Nutriment Ingestion
KR101714976B1 (ko) 증강현실 기반의 축사 모니터링 장치
US11910784B2 (en) Animal visual identification, tracking, monitoring and assessment systems and methods thereof
US20230260327A1 (en) Autonomous livestock monitoring
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
Ayadi et al. Dairy cow rumination detection: A deep learning approach
JP6635968B2 (ja) 行動特定装置、行動特定方法、及びプログラム
WO2023041904A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
JP7092624B2 (ja) 行動特定装置、行動特定方法及びプログラム
WO2018180242A1 (ja) 行動特定装置、行動特定方法、及びプログラム
WO2023191045A1 (ja) 情報処理装置、情報処理方法及びプログラム
Agrawal et al. Precision Dairy Farming: A Boon for Dairy Farm Management
JP7089098B2 (ja) 行動特定装置、行動特定方法、及びプログラム
WO2023191043A1 (ja) 動物行動記録装置、動物行動記録方法及びプログラム
Yuan et al. Stress-free detection technologies for pig growth based on welfare farming: A review
US20230401810A1 (en) Artificial intelligence (ai)-based system and method for monitoring health conditions
JP2024046596A (ja) 状態予測装置、状態予測方法、プログラム、及び記録媒体
JP7260922B2 (ja) 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体
JP2023157321A (ja) 情報処理装置、情報処理システム、飼育対象管理方法及びプログラム
EP4187505A1 (en) A method and system for the identification of animals
Trezubov et al. Analysis of Technologies for Visual Tracking of Physiological Condition of Cattle
JP6636204B2 (ja) 行動特定装置、行動特定方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23781053

Country of ref document: EP

Kind code of ref document: A1