WO2018073899A1 - コンピュータシステム、植物の診断方法及びプログラム - Google Patents

コンピュータシステム、植物の診断方法及びプログラム Download PDF

Info

Publication number
WO2018073899A1
WO2018073899A1 PCT/JP2016/080871 JP2016080871W WO2018073899A1 WO 2018073899 A1 WO2018073899 A1 WO 2018073899A1 JP 2016080871 W JP2016080871 W JP 2016080871W WO 2018073899 A1 WO2018073899 A1 WO 2018073899A1
Authority
WO
WIPO (PCT)
Prior art keywords
visible light
plant
light image
region
temperature
Prior art date
Application number
PCT/JP2016/080871
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2018546076A priority Critical patent/JP6560833B2/ja
Priority to US16/492,416 priority patent/US10690644B2/en
Priority to PCT/JP2016/080871 priority patent/WO2018073899A1/ja
Publication of WO2018073899A1 publication Critical patent/WO2018073899A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098Plants or trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Definitions

  • the present invention relates to a computer system that performs imaging by imaging a plant, a plant diagnosis method, and a program.
  • Non-Patent Document 1 a configuration is disclosed in which disease diagnosis is performed by measuring changes in plant temperature and color using a spectrometer or infrared thermography (see Non-Patent Document 1).
  • Non-Patent Document 1 there is a temperature difference for each part of the plant, and in order to accurately grasp the disease state, it is possible to accurately measure the temperature of each part to be measured. It has been demanded. However, although it is possible to specify the outline of a plant and an approximate site from a thermographic image, it is difficult to specify the exact position of each site depending on the distance from the camera to the subject and other factors. As a result, there was a limit to improving the accuracy of the temperature measured for each part.
  • An object of the present invention is to provide a computer system, a plant diagnosis method, and a program in which the temperature measurement accuracy of each target part is improved.
  • the present invention provides the following solutions.
  • the present invention includes first acquisition means for acquiring a visible light image and an infrared image captured by a camera; A first image processing means for identifying a region corresponding to a predetermined part of the plant imaged by the camera in the visible light image; Second image processing means for identifying a region in the infrared image corresponding to the identified region in the visible light image; Diagnostic means for diagnosing the plant based on the temperature of the region in the identified infrared image; A computer system is provided.
  • a visible light image and an infrared image captured by a camera are acquired, and a region corresponding to a predetermined part of a plant captured by the camera is identified and identified in the visible light image.
  • the region in the infrared image corresponding to the region in the visible light image thus identified is identified, and the plant is diagnosed based on the temperature of the region in the identified infrared image.
  • the present invention is a computer system category, but also in other categories such as a plant diagnosis method and program, the same actions and effects according to the category are exhibited.
  • FIG. 1 is a diagram showing an outline of a plant diagnosis system 1.
  • FIG. 2 is an overall configuration diagram of the plant diagnosis system 1.
  • FIG. 3 is a functional block diagram of the computer 10.
  • FIG. 4 is a flowchart showing a plant diagnosis process executed by the computer 10.
  • FIG. 5 is a flowchart showing a plant diagnosis process executed by the computer 10.
  • FIG. 6 is a diagram schematically showing an example of visible light image data acquired by the computer 10.
  • FIG. 7 is a diagram schematically showing an example of infrared image data acquired by the computer 10.
  • FIG. 8 is a diagram illustrating an example schematically showing a state in which the computer 10 specifies a predetermined part in a visible light image.
  • FIG. 9 is a diagram schematically illustrating an example in which the computer 10 specifies a region in an infrared image.
  • FIG. 10 is a diagram illustrating an example of a reference temperature database stored in the computer 10.
  • FIG. 1 is a diagram for explaining an outline of a plant diagnosis system 1 which is a preferred embodiment of the present invention.
  • the plant diagnosis system 1 includes a computer 10 and acquires an image obtained by capturing an image of a plant and diagnoses the plant.
  • the computer 10 is a computing device that is communicably connected to a visible light camera, an infrared camera, a sensor, an environment adjustment device, etc. (not shown).
  • the plant diagnosis system 1 obtains a visible light image from a visible light camera, obtains an infrared image from an infrared camera, and the environment about the living environment of the plant such as illuminance, wind direction, wind speed, temperature, temperature, humidity, and atmospheric pressure from the sensor.
  • Information is acquired and the instruction
  • the computer 10 acquires a visible light image and an infrared image captured by a camera (not shown) (step S01).
  • the computer 10 acquires a visible light image such as a moving image or a still image of a plant captured by the visible light camera.
  • the computer 10 acquires an infrared image such as a moving image or a still image of a plant imaged by the infrared camera.
  • the visible light camera and the infrared camera are installed side by side or in the vicinity, and the visible light camera and the infrared camera image the same object. That is, the visible light camera and the infrared camera image the same object from substantially the same imaging point.
  • the computer 10 specifies a visible light image region that is a region corresponding to a predetermined part of the plant imaged by the camera in the visible light image (step S02).
  • the computer 10 specifies, for example, a part of a structure such as a flower, a branch, a leaf, or a preset part as the predetermined part of the plant.
  • the computer 10 specifies an area corresponding to the predetermined part in the visible light image by image analysis.
  • the computer 10 extracts a feature amount existing in the visible light image, and specifies a predetermined part based on the feature amount.
  • the computer 10 extracts the color of the visible light image and identifies a predetermined part based on this color.
  • the computer 10 specifies an infrared image region that is a region in the infrared image corresponding to the region in the visible light image described above in the infrared image (step S03).
  • the computer 10 compares the visible light image and the infrared image, and identifies the region that matches the visible light image region in the infrared image as the infrared image region.
  • the computer 10 identifies an infrared image area at the same position as the visible light image area as the infrared image area.
  • the computer 10 diagnoses a plant based on the temperature of the infrared image area (step S04).
  • the computer 10 diagnoses whether or not a disease has occurred in the plant, for example, by comparing the temperature of the infrared image region with the temperature at the time of the disease of the plant.
  • FIG. 2 is a diagram showing a system configuration of the plant diagnosis system 1 which is a preferred embodiment of the present invention.
  • the plant diagnosis system 1 includes a computer 10 and a public line network (Internet network, third generation, fourth generation communication network, etc.) 5, acquires an image of a plant, and diagnoses the plant.
  • Internet network Internet network, third generation, fourth generation communication network, etc.
  • the plant diagnostic system 1 is a camera such as a visible light camera that captures a visible light image of a plant and an infrared camera that captures an infrared image of a plant, and the living environment of the plant such as illuminance, wind light, wind speed, temperature, temperature, humidity, and atmospheric pressure. It is connected to an environmental adjustment device that adjusts the living environment of a plant such as various sensors that detect environmental information, lighting devices such as various lights, air conditioners such as blowers, watering devices, and chemical spraying devices. The computer 10 obtains various information from these and transmits various instructions.
  • the computer 10 is the above-described computing device having the functions described later.
  • FIG. 3 is a functional block diagram of the computer 10.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like as the control unit 11, and other devices (cameras, various sensors, environmental adjustment devices) as the communication unit 12. Etc.), for example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13. Further, the computer 10 includes, as the processing unit 14, a device for executing various processes such as image processing and disease diagnosis.
  • the control unit 11 when the control unit 11 reads a predetermined program, the image data acquisition module 20, the environment information acquisition module 21, and the adjustment instruction transmission module 22 are realized in cooperation with the communication unit 12. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13. Further, in the computer 10, the control unit 11 reads a predetermined program, so that the visible light image analysis module 40, the infrared image analysis module 41, the temperature analysis module 42, the diagnosis module 43, and the environment cooperate with the processing unit 14. The adjustment module 44 is realized.
  • the image data acquisition module 20 acquires image data of a visible light image and an infrared image of a plant (step S10).
  • the image data acquisition module 20 acquires visible light image data that is a visible light image captured by the visible light camera and infrared image data that is an infrared image captured by the infrared camera.
  • the image data acquisition module 20 acquires visible light image data and infrared image data at a predetermined time interval or at a plurality of time points such as a preset time.
  • the visible light image data and the infrared image data acquired by the image data acquisition module 20 are captured from the same imaging viewpoint and are the same target data.
  • the computer 10 executes plant diagnosis based on visible light image data and infrared image data at a predetermined time.
  • FIG. 6 is a diagram schematically illustrating an example of visible light image data acquired by the image data acquisition module 20.
  • the image data acquisition module 20 acquires the visible light image 100 indicated by the visible light image data.
  • a plant 110 is shown.
  • the visible light image 100 may include landscapes, natural objects, artificial objects, and the like other than the plants 110, but are omitted for the sake of simplicity.
  • a plurality of plants 110 and plants different from the plants 110 may exist in the visible light image 100.
  • FIG. 7 is a diagram schematically showing an example of infrared image data acquired by the image data acquisition module 20.
  • the image data acquisition module 20 acquires an infrared image 200 indicated by the infrared image data.
  • the plant 210 is reflected in the infrared image 200.
  • the infrared image 200 may include scenery, natural objects, artifacts, and the like other than the plant 210, but are omitted for the sake of simplicity.
  • each temperature is indicated by hatching for convenience.
  • the infrared image 200 may include a plurality of plants 210 and plants different from the plants 210.
  • the environment information acquisition module 21 acquires environment information indicating the living environment of the plant (step S11).
  • the environment information acquisition module 21 acquires illuminance, wind light, wind speed, temperature, temperature, humidity, atmospheric pressure, and the like as environment information.
  • the environment information acquisition module 21 acquires environment information from various sensors (not shown) such as an illuminance sensor, a wind direction / wind speed sensor, a temperature sensor, a humidity sensor, and a pressure sensor.
  • the environment information acquisition module 21 acquires the visible light image data and the infrared image data at the same time as the acquisition timing. These various sensors are installed in the vicinity of the plant or in the vicinity of the place where the plant is planted.
  • the various sensors may be sensors that detect environmental information other than the examples described above.
  • the installation position of various sensors is not restricted to the example mentioned above, It can change suitably to the position which can detect the living environment of this plant.
  • the process of step S11 may be omitted. In this case, what is necessary is just to perform the process of step S12 mentioned later after performing the process of step S10 mentioned above.
  • the visible light image analysis module 40 performs image analysis on the acquired visible light image data (step S12).
  • step S ⁇ b> 12 the visible light image analysis module 40 extracts feature amounts and colors of the visible light image data, and identifies plants existing in the visible light image data.
  • step S12 for example, the visible light image analysis module 40 compares the feature quantity extracted from the visible light image data with the feature quantity of the plant stored in advance in the storage module 30, and extracts a plant having a matching feature quantity. The extracted plant is identified as existing in the visible light image data. Further, for example, the visible light image analysis module 40 compares the RGB value extracted from the visible light image data with the RGB value of the plant stored in the storage module 30 in advance, and extracts a plant having a matching or similar RGB value. The extracted plant is identified as existing in the visible light image data.
  • the visible light image analysis module 40 determines whether there are a plurality of individuals in the visible light image data as a result of the image analysis (step S13). In step S13, the visible light image analysis module 40 determines whether there are a plurality of individuals by determining whether there are a plurality of plants in the visible light image data. The visible light image analysis module 40 determines whether there are a plurality of individuals of one plant, whether there are a plurality of types of plants, or the like.
  • step S13 when the visible light image analysis module 40 determines that there are not a plurality of individuals (step S13: NO), that is, when it is determined that only one individual is present in the visible light image data, visible light image analysis is performed.
  • the module 40 identifies areas corresponding to a plurality of predetermined parts of one individual (step S14).
  • the predetermined part is, for example, a part of a structure such as a flower, a branch, or a leaf, or a part that is set in advance.
  • the visible light image analysis module 40 identifies areas corresponding to, for example, flowers, branches, and leaves.
  • the visible light image analysis module 40 extracts flowers, branches, and leaves present in the visible light image data from the feature amount, and specifies the extracted location as a region corresponding to a predetermined part. At this time, the visible light image analysis module 40 specifies a plurality of regions corresponding to each of the plurality of predetermined parts. Further, the visible light image analysis module 40 extracts flowers, branches, and leaves present in the visible light image data from the RGB values, and specifies the extracted location as an area corresponding to a predetermined part.
  • FIG. 8 is a diagram illustrating an example schematically showing a state in which the visible light image analysis module 40 specifies a predetermined part.
  • the visible light image analysis module 40 identifies a region in the visible light image 100 where a predetermined part such as a flower, a branch, or a leaf is located based on the feature amount or the color.
  • the visible light image analysis module 40 identifies regions of the plant 110 corresponding to the parts of the flowers 300 to 302, the branches 310 to 312 and the leaves 320 to 322.
  • the specified area is indicated by hatching for convenience. This area indicates a part of each part, but may indicate the entire corresponding part. Note that the number, type, and position of the parts to be specified can be changed as appropriate.
  • step S13 the visible light image analysis module 40 determines that there are a plurality of individuals (YES in step S13), that is, a plurality of individuals such as a first individual, a second individual, and a third individual.
  • the visible light image analysis module 40 identifies each of the plurality of individuals (step S15). In the following description, it will be assumed that the first individual and the second individual exist in the visible light image data.
  • the visible light image analysis module 40 identifies the positional relationship of each of the plurality of individuals (step S16).
  • step S ⁇ b> 16 the visible light image analysis module 40 identifies the positional relationship between the first individual and the second individual based on the position in the visible light image.
  • the visible light image analysis module 40 specifies a relative position or an absolute position between the first individual and the second individual.
  • the positional relationship is, for example, which is closer to the shooting point, coordinates in the visible light image, or the like. Note that the processing in step S16 is not limited to the positional relationship between the first individual and the second individual, but may be the positional relationship with other individuals.
  • the visible light image analysis module 40 specifies a region corresponding to a predetermined part for each of the plurality of individuals (step S17).
  • the process of step S17 performs the process of step S14 mentioned above with respect to each plant which exists in visible light image data.
  • the infrared image analysis module 41 identifies a region in the infrared image corresponding to the region in the identified visible light image (step S18).
  • the infrared image analysis module 41 compares the visible light image data with the infrared image data to identify the region of the infrared image data corresponding to the identified region of the plant part.
  • the infrared image analysis module 41 acquires the position of the region in the visible light image as a coordinate, and specifies the position that matches the acquired coordinate as the region in the infrared image corresponding to the region in the identified visible light image.
  • FIG. 9 is a diagram illustrating an example schematically showing a state in which the infrared image analysis module 41 specifies a region in the infrared image.
  • the region in the infrared image 200 corresponding to the parts of the flowers 300 to 302, branches 310 to 312 and leaves 320 to 322 of the specified plant 110 is specified. This is specified by comparing the position in the visible light image 100 and the position in the infrared image 200.
  • the infrared image analysis module 41 acquires the position coordinates of each part in the visible light image 100, and specifies the position in the infrared image corresponding to the acquired position coordinates as the region in the infrared image corresponding to the region in the visible light image. .
  • the infrared image analysis module 41 identifies the parts of the flowers 210 to 402, branches 410 to 412 and leaves 420 to 422 of the plant 210.
  • the specified area is indicated by hatching for convenience. This area refers to a part or the whole part depending on the part specified in the above-described visible light image. Note that the number of positions to be specified and their positions can be changed as appropriate in accordance with the visible light image.
  • the temperature analysis module 42 analyzes the temperature of the area in the specified infrared image data (step S19). In step S19, the temperature analysis module 42 acquires the temperature of each region based on the infrared image data.
  • the temperature analysis module 42 acquires a plurality of reference temperatures corresponding to each of the plurality of parts of the plant from the reference temperature database stored in the storage module 30 (step S20).
  • the storage module 30 stores a plurality of reference temperatures corresponding to the respective parts in advance, and the temperature analysis module 42 acquires the stored reference temperatures.
  • the reference temperature of the part corresponding to the region in the specified infrared image data is acquired.
  • FIG. 10 is a diagram illustrating an example of a reference temperature database stored in the storage module 30.
  • the storage module 30 stores the name of the part and the reference temperature of the part in association with each other. That is, the storage module 30 associates “stem” with “18”, associates “branch” with “17”, and associates “leaf” with “20”.
  • the storage module 30 stores this reference temperature database for each type of plant.
  • the storage module 30 may store a reference temperature database for each individual plant, not for each plant type. In this case, the storage module 30 may acquire a reference temperature for each part of each individual in advance and store the part and the reference temperature in association with each other.
  • the diagnosis module 43 diagnoses a plant based on the temperature of the region in the identified infrared image (step S21).
  • the diagnosis module 43 performs the diagnosis of the plant on the acquired temperature, the reference temperature, the temperature of another individual different from the one individual, the positional relationship between the first individual and the second individual, and the environmental information. It is executed by any one or a plurality of combinations.
  • the diagnosis module 43 executes plant diagnosis based on the acquired temperature will be described.
  • the diagnosis module 43 determines whether or not the temperature of the region in the specified infrared image is an abnormal value, and determines that it is healthy if the temperature is not an abnormal value. On the other hand, if the diagnosis module 43 determines that the value is an abnormal value, it determines that a disease has occurred.
  • the diagnosis module 43 executes plant diagnosis at a reference temperature.
  • the diagnosis module 43 compares the temperature of the region in the identified infrared image with the reference temperature stored in the acquired storage module 30, and calculates the temperature difference between the temperature of the region and the reference temperature.
  • the diagnosis module 43 determines whether the calculated temperature difference is within a predetermined range (for example, within 0.5 ° C, within 1 ° C, within 2 ° C, etc.). It is judged that. On the other hand, the diagnosis module 43 determines that a disease has occurred when the calculated temperature difference is not within the predetermined range.
  • the diagnosis module 43 performs plant diagnosis based on one individual and the temperature of another individual different from the one individual.
  • the diagnostic module 43 compares the temperature of the region in the infrared image of the acquired one individual with the temperature of the corresponding region of the same part in the infrared image of another individual different from the one individual. Calculate the temperature difference.
  • the diagnosis module 43 determines whether the calculated temperature difference is within a predetermined range (for example, within 0.5 ° C, within 1 ° C, within 2 ° C, etc.). It is judged that. On the other hand, the diagnostic module 43 determines that a disease has occurred when the calculated temperature difference is not within the predetermined range.
  • the diagnosis module 43 compares the reference temperature described above with one individual or another individual, and calculates a temperature difference between the one individual and another individual, thereby causing a disease. It may be determined whether or not the above has occurred. That is, the diagnosis module 43 may determine whether a disease has occurred in one or both of one individual or another individual based on the reference temperature and the temperature difference.
  • the diagnosis module 43 executes plant diagnosis based on the positional relationship between the first individual and the second individual.
  • the diagnosis module 43 compares the positional relationship between the position of the first individual and the second individual that is different from the first individual among the plurality of acquired individuals, and one of them is such as sunlight or lighting. Determine if you are more affected. This is to identify whether either the first individual or the second individual has a higher temperature due to the influence of sunlight, lighting, or the like.
  • the diagnosis module 43 corrects the temperatures of the first and second individuals by acquiring environmental information such as the temperature and illuminance for the influence of sunlight and lighting.
  • the diagnosis module 43 compares the corrected temperatures of the first individual and the second individual with the reference temperature described above, and calculates the temperature difference between them.
  • the diagnosis module 43 determines whether or not the temperature difference is within a predetermined range (for example, within 0.5 ° C., within 1 ° C., within 2 ° C., etc.). Judge that there is. On the other hand, when the diagnosis module 43 determines that the calculated temperature difference is not within the predetermined range, it determines that a disease has occurred.
  • the diagnostic module 43 may determine whether or not the patient is healthy without using the reference temperature. For example, what is necessary is just to judge whether it is healthy based on whether the temperature of the corrected 1st individual
  • the diagnosis module 43 executes plant diagnosis based on environmental information acquired from a sensor will be described.
  • the diagnosis module 43 corrects the acquired individual temperature based on the environmental information. For example, the diagnosis module 43 acquires humidity, air temperature, atmospheric pressure, and the like as environment information, and corrects the acquired individual temperature based on the acquired environment information.
  • the diagnosis module 43 diagnoses a plant based on the corrected individual temperature.
  • the diagnostic module 43 may determine whether or not the plant is healthy based on the corrected individual temperature and the reference temperature.
  • the diagnosis module 43 outputs a diagnosis result (step S22).
  • the diagnosis module 43 outputs the contents of the disease (for example, the name of the disease, a countermeasure method, etc.) as the diagnosis result.
  • the diagnosis module 43 outputs the diagnosis result of the one individual.
  • the diagnosis module 43 outputs a diagnosis result for each individual.
  • the diagnosis module 43 outputs a diagnosis result together with various information capable of uniquely specifying the individual such as the name, identifier, and position information of each individual.
  • the diagnosis module 43 performs plant diagnosis using one visible light image data and one infrared image data, but a plurality of visible light image data acquired within a predetermined period. Further, plant diagnosis may be executed based on the infrared image data. In this case, plant diagnosis may be executed based on the change amount, change width, or change itself of the temperature of the individual obtained from each infrared image data. Moreover, the diagnosis module 43 should just perform the diagnosis of this plant with the average value of the temperature of the individual
  • the diagnosis module 43 calculates a temperature difference between the average value of the individual and the reference temperature by comparing the average value of the temperature of the individual with the reference temperature, and the temperature difference is a predetermined value.
  • the diagnosis of the plant may be executed based on whether it is within the range.
  • the diagnosis module 43 determines whether a disease has occurred in the individual based on the output diagnosis result (step S23).
  • step S23 when the diagnosis module 43 determines that no disease has occurred in the individual (NO in step S23), the process ends. At this time, the diagnosis module 43 may transmit a notification to the effect that no disease has occurred in the individual to an external terminal device (not shown).
  • step S23 when the diagnosis module 43 determines that a disease has occurred in the individual (YES in step S23), the environment adjustment module 44 adjusts the living environment based on information representing the result of the diagnosis.
  • An instruction is created (step S24).
  • step S24 the environment adjustment module 44 acquires a necessary process based on the diagnosed disease content based on an adjustment database that stores the disease content and the process in association with each other.
  • the environment adjustment module 44 creates an adjustment instruction for executing the acquired processing.
  • This adjustment instruction includes necessary processing and information that can uniquely identify the environmental adjustment device such as an identifier or device ID of the environmental adjustment device that executes this processing.
  • the adjustment instruction transmission module 22 transmits the adjustment instruction created by the environment adjustment module 44 in step S24 described above to the environment adjustment apparatus (step S25).
  • the adjustment instruction transmission module 22 transmits the environmental adjustment device included in the adjustment instruction to the target environmental adjustment device based on information that can uniquely identify the environmental adjustment device.
  • the environment adjustment device receives this adjustment instruction and executes necessary processing included in this adjustment instruction. For example, the environment adjustment device executes lighting on / off, humidity and temperature control, watering, medicine spraying, and the like.
  • the above is the plant diagnosis process.
  • the computer 10 executes a process of determining a plant disease, but the present invention can also be applied to diagnosis of other plants.
  • the computer 10 may execute a process of determining the necessity of watering based on the temperature of the plant described above, or determines the necessity of adjusting the illuminance based on the temperature of the plant and the environmental information.
  • the process to perform may be performed, and another process may be performed.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Botany (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Food Science & Technology (AREA)
  • Wood Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Environmental Sciences (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Agronomy & Crop Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】対象の各部位の温度の測定精度を向上させたコンピュータシステム、植物の診断方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、カメラにて撮像された、可視光画像及び赤外線画像を取得し、可視光画像において、カメラにて撮像された植物の所定の部位に対応する領域を特定し、特定された可視光画像における領域に対応する、赤外線画像における領域を特定し、特定された赤外線画像における領域の温度に基づいて、植物を診断する。

Description

コンピュータシステム、植物の診断方法及びプログラム
 本発明は、植物を撮像して診断を行うコンピュータシステム、植物の診断方法及びプログラムに関する。
 近年、植物の画像を撮像することにより、植物の病害診断を行うことが可能なコンピュータシステムが提案されている。
 このようなコンピュータシステムにおいて、スペクトロメータや赤外線サーモグラフィを利用して、植物の温度や色の変化を測定することにより、病害診断を行う構成が開示されている(非特許文献1参照)。
http://www.bridgestone.co.jp/corporate/news/2012071001.html
 しかしながら、非特許文献1の構成では、植物の部位毎に温度差が存在し、病害状態を正確に把握するためには、温度を測定すべき対象の各部位の温度を正確に測定することが求められている。しかしながら、サーモグラフィ画像から植物の輪郭やおおよその部位を特定することが可能であるが、カメラから被写体までの距離やその他の要因によって、各部位の正確な位置を特定することは困難であった。結果的に、各部位について測定した温度の精度を向上させることに限界があった。
 本発明は、対象の各部位の温度の測定精度を向上させたコンピュータシステム、植物の診断方法及びプログラムを提供することを目的とする。
 本発明では、以下のような解決手段を提供する。
 本発明は、カメラにて撮像された、可視光画像及び赤外線画像を取得する第1取得手段と、
 前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定する第1画像処理手段と、
 特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第2画像処理手段と、
 特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する診断手段と、
 を備えることを特徴とするコンピュータシステムを提供する。
 本発明によれば、カメラにて撮像された、可視光画像及び赤外線画像を取得し、前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定し、特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定し、特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する。
 本発明は、コンピュータシステムのカテゴリであるが、植物の診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
 本発明によれば、対象の各部位の温度の測定精度を向上させたコンピュータシステム、植物の診断方法及びプログラムを提供することが可能となる。
図1は、植物診断システム1の概要を示す図である。 図2は、植物診断システム1の全体構成図である。 図3は、コンピュータ10の機能ブロック図である。 図4は、コンピュータ10が実行する植物診断処理を示すフローチャートである。 図5は、コンピュータ10が実行する植物診断処理を示すフローチャートである。 図6は、コンピュータ10が取得した可視光画像データを模式的に示した一例を示す図である。 図7は、コンピュータ10が取得した赤外線画像データを模式的に示した一例を示す図である。 図8は、コンピュータ10が、可視光画像における所定の部位を特定した状態を模式的に示した一例を示す図である。 図9は、コンピュータ10が、赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。 図10は、コンピュータ10が記憶する基準温度データベースの一例を示す図である。
 以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
 [植物診断システム1の概要]
 本発明の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である植物診断システム1の概要を説明するための図である。植物診断システム1は、コンピュータ10から構成され、植物を撮像した画像を取得し、この植物の診断を行う。
 コンピュータ10は、図示していない可視光カメラ、赤外線カメラ、センサ、環境調整装置等に通信可能に接続された計算装置である。植物診断システム1は、可視光カメラから可視光画像を取得し、赤外線カメラから赤外線画像を取得し、センサから照度・風向・風速・温度・気温・湿度・気圧等の植物の生活環境についての環境情報を取得し、各種ライト等の照明装置・送風機等の空調装置・散水装置等の環境調整装置に、上述した生活環境を調整する指示を送信する。
 はじめに、コンピュータ10は、図示していないカメラにて撮像された可視光画像及び赤外線画像を取得する(ステップS01)。コンピュータ10は、可視光カメラが撮像する植物の動画や静止画等の可視光画像を取得する。また、コンピュータ10は、赤外線カメラが撮像する植物の動画や静止画等の赤外線画像を取得する。可視光カメラ及び赤外線カメラは並置又は近傍に設置されており、可視光カメラと赤外線カメラとは同一の対象を撮像する。すなわち、可視光カメラと赤外線カメラとは、同一の対象を、略同一の撮像地点から撮像する。
 コンピュータ10は、可視光画像において、カメラにて撮像された植物の所定の部位に対応する領域である可視光画像領域を特定する(ステップS02)。コンピュータ10は、植物の所定の部位として、例えば、花、枝、葉等の構造の一部や、予め設定された部位等を特定する。例えば、コンピュータ10は、可視光画像において、この所定の部位に対応する領域を、画像解析により特定する。コンピュータ10は、可視光画像に存在する特徴量を抽出し、この特徴量に基づいて、所定の部位を特定する。また、コンピュータ10は、可視光画像の色を抽出し、この色に基づいて、所定の部位を特定する。
 コンピュータ10は、赤外線画像において、上述した可視光画像における領域に対応する赤外線画像における領域である赤外線画像領域を特定する(ステップS03)。コンピュータ10は、可視光画像と赤外線画像とを比較することにより、赤外線画像における可視光画像領域と一致する領域を赤外線画像領域として特定する。コンピュータ10は、可視光画像領域の位置と同じ位置にある赤外線画像の領域を赤外線画像領域として特定する。
 コンピュータ10は、赤外線画像領域の温度に基づいて、植物を診断する(ステップS04)。コンピュータ10は、例えば、赤外線画像領域の温度と、植物の病害時の温度とを比較することにより、植物に病害が発生しているか否かを診断する。
 以上が、植物診断システム1の概要である。
 [植物診断システム1のシステム構成]
 図2に基づいて、植物診断システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である植物診断システム1のシステム構成を示す図である。植物診断システム1は、コンピュータ10、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、植物を撮像した画像を取得し、この植物の診断を行う。
 植物診断システム1は、植物の可視光画像を撮像する可視光カメラ及び植物の赤外線画像を撮像する赤外線カメラ等のカメラ、照度・風光・風速・温度・気温・湿度・気圧等の植物の生活環境を示す環境情報を検知する各種センサ、各種ライト等の照明装置・送風機等の空調装置・散水装置・薬剤散布装置等の植物の生活環境を調整する環境調整装置とデータ通信可能に接続される。コンピュータ10は、これらから各種情報を取得するとともに、様々な指示を送信する。
 コンピュータ10は、後述の機能を備えた上述した計算装置である。
 [各機能の説明]
 図3に基づいて、植物診断システム1の機能について説明する。図3は、コンピュータ10の機能ブロック図を示す図である。
 コンピュータ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器(カメラ・各種センサ・環境調整装置等)と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、コンピュータ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部14として、画像処理、病害診断等の各種処理を実行するためのデバイス等を備える。
 コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、画像データ取得モジュール20、環境情報取得モジュール21、調整指示送信モジュール22を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、記憶モジュール30を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、処理部14と協働して、可視光画像解析モジュール40、赤外線画像解析モジュール41、温度解析モジュール42、診断モジュール43、環境調整モジュール44を実現する。
 [植物診断処理]
 図4及び図5に基づいて、植物診断システム1が実行する植物診断処理について説明する。図4及び図5は、コンピュータ10が実行する植物診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
 はじめに、画像データ取得モジュール20は、植物の可視光画像及び赤外線画像の画像データを取得する(ステップS10)。ステップS10において、画像データ取得モジュール20は、可視光カメラが撮像した可視光画像である可視光画像データ及び赤外線カメラが撮像した赤外線画像である赤外線画像データを取得する。画像データ取得モジュール20は、所定の時間間隔毎や、予め設定された時刻等の複数の時点における可視光画像データ及び赤外線画像データを取得する。画像データ取得モジュール20が取得する可視光画像データ及び赤外線画像データは、同一の撮像視点により撮像されており、同一の対象のデータである。なお、後述の説明において、所定の時点における可視光画像データ及び赤外線画像データに基づいて、コンピュータ10が植物の診断を実行するものとして説明する。
 図6に基づいて、画像データ取得モジュール20が取得する植物の可視光画像データについて説明する。図6は、画像データ取得モジュール20が取得した可視光画像データを模式的に示した一例を示す図である。画像データ取得モジュール20は、可視光画像データが示す可視光画像100を取得する。この可視光画像100には、植物110が写っている。また、可視光画像100には、植物110以外の風景、自然物、人工物等が写っていてもよいが、説明の簡略化のために、省略している。また、可視光画像100に複数の植物110や、植物110とは異なる植物が存在してもよい。
 図7に基づいて、画像データ取得モジュール20が取得する植物の赤外線画像データについて説明する。図7は、画像データ取得モジュール20が取得した赤外線画像データを模式的に示した一例を示す図である。画像データ取得モジュール20は、赤外線画像データが示す赤外線画像200を取得する。赤外線画像200には、植物210が写っている。また、赤外線画像200には、植物210以外の風景、自然物、人工物等が写っていてもよいが、説明の簡略化のために、省略している。赤外線画像200において、各温度を、便宜的にハッチングにより示している。また、赤外線画像200に複数の植物210や、植物210とは異なる植物が存在してもよい。
 環境情報取得モジュール21は、植物の生活環境を示す環境情報を取得する(ステップS11)。ステップS11において、環境情報取得モジュール21は、環境情報として、照度・風光・風速・温度・気温・湿度・気圧等を取得する。環境情報取得モジュール21は、図示していない照度センサ、風向風速センサ、温度センサ、湿度センサ、圧力センサ等の各種センサから、環境情報を取得する。環境情報取得モジュール21は、可視光画像データ及び赤外線画像データを取得したタイミングと同時に取得する。これらの各種センサは、植物の近傍又はこの植物が植えられている場所の近傍に設置されている。
 なお、各種センサは、上述した例以外の環境情報を検知するセンサであってもよい。また、各種センサの設置位置は、上述した例に限らず、この植物の生活環境を検知することが可能な位置に適宜変更可能である。また、ステップS11の処理は、省略してもよい。この場合、上述したステップS10の処理を実行後に、後述するステップS12の処理を実行すればよい。
 可視光画像解析モジュール40は、取得した可視光画像データを画像解析する(ステップS12)。ステップS12において、可視光画像解析モジュール40は、可視光画像データの特徴量や色を抽出し、可視光画像データに存在する植物を識別する。ステップS12において、例えば、可視光画像解析モジュール40は、可視光画像データから抽出した特徴量と、予め記憶モジュール30が記憶する植物の特徴量とを比較し、一致する特徴量を有する植物を抽出し、この抽出した植物が可視光画像データに存在すると識別する。また、例えば、可視光画像解析モジュール40は、可視光画像データから抽出したRGB値と、予め記憶モジュール30が記憶する植物のRGB値とを比較し、一致又は類似するRGB値を有する植物を抽出し、この抽出した植物が可視光画像データに存在すると識別する。
 可視光画像解析モジュール40は、画像解析の結果、可視光画像データに複数の個体が存在するか否かを判断する(ステップS13)。ステップS13において、可視光画像解析モジュール40は、可視光画像データに、植物が複数存在するか否かを判断することにより、複数の個体が存在するか否かを判断する。可視光画像解析モジュール40は、一の植物の個体が複数存在するか否か、複数の種類の植物の個体が存在するか否か等を判断する。
 ステップS13において、可視光画像解析モジュール40は、複数の個体が存在しないと判断した場合(ステップS13 NO)、すなわち、一の個体のみが可視光画像データに存在すると判断した場合、可視光画像解析モジュール40は、一の個体の複数の所定の部位に対応する領域を特定する(ステップS14)。ステップS14において、所定の部位とは、例えば、花、枝、葉等の構造の一部や、予め設定された部位等である。可視光画像解析モジュール40は、例えば、花、枝、葉に対応する領域を特定する。可視光画像解析モジュール40は、可視光画像データに存在する花、枝、葉を特徴量から抽出し、この抽出した場所を、所定の部位に対応する領域として特定する。このとき、可視光画像解析モジュール40は、複数の所定の部位の各々に対応する複数の領域を特定する。また、可視光画像解析モジュール40は、可視光画像データに存在する花、枝、葉をRGB値から抽出し、この抽出した場所を、所定の部位に対応する領域として特定する。
 図8に基づいて、可視光画像解析モジュール40が特定する所定の部位に対応する領域について説明する。図8は、可視光画像解析モジュール40が所定の部位を特定した状態を模式的に示した一例を示す図である。図8において、可視光画像解析モジュール40は、特徴量や色に基づいて、花、枝、葉等の所定の部位が位置する可視光画像100における領域を特定する。すなわち、可視光画像解析モジュール40は、植物110の、花300~302、枝310~312、葉320~322の部位に対応する領域を特定する。図8において、特定した領域を、便宜的にハッチングにより示している。この領域は、各部位の一部を指しているが、該当する部位全体を指してもよい。なお、特定する部位の数、種類及びその位置は適宜変更可能である。
 一方、ステップS13において、可視光画像解析モジュール40は、複数の個体が存在すると判断した場合(ステップS13 YES)、すなわち、第1の個体、第2の個体、第3の個体等の複数の個体が可視光画像データに存在すると判断した場合、可視光画像解析モジュール40は、複数の個体をそれぞれ識別する(ステップS15)。なお、以下の説明において、可視光画像データに第1の個体と第2の個体とが存在するものとして説明する。
 可視光画像解析モジュール40は、複数の個体のそれぞれの位置関係を特定する(ステップS16)。ステップS16において、可視光画像解析モジュール40は、可視光画像内の位置に基づいて、第1の個体と第2の個体との位置関係を特定する。可視光画像解析モジュール40は、第1の個体と第2の個体との相対的な位置又は絶対的な位置を特定する。位置関係とは、例えば、どちらが撮影地点に近いか、可視光画像における座標等である。なお、ステップS16の処理は、第1の個体と第2の個体との位置関係に限らず、その他の個体との位置関係であってもよい。
 可視光画像解析モジュール40は、複数の個体のそれぞれに対して、所定の部位に対応する領域を特定する(ステップS17)。ステップS17の処理は、上述したステップS14の処理を、可視光画像データに存在する各植物に対して実行する。
 赤外線画像解析モジュール41は、特定された可視光画像における領域に対応する赤外線画像における領域を特定する(ステップS18)。ステップS18において、赤外線画像解析モジュール41は、可視光画像データと、赤外線画像データとを比較することにより、特定した植物の部位の領域に対応する赤外線画像データの領域を特定する。赤外線画像解析モジュール41は、可視光画像における領域の位置を座標として取得し、この取得した座標に一致する位置を、特定された可視光画像における領域に対応する赤外線画像における領域として特定する。
 図9に基づいて、赤外線画像解析モジュール41が特定する可視光画像における領域に対応する赤外線画像における領域について説明する。図9は、赤外線画像解析モジュール41が赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。図9において、上述した可視光画像100において、特定した植物110の花300~302、枝310~312、葉320~322の部位に対応する赤外線画像200における領域を特定する。これは、可視光画像100における位置と、赤外線画像200における位置とを比較することにより特定する。赤外線画像解析モジュール41は、可視光画像100における各部位の位置座標を取得し、この取得した位置座標に対応する赤外線画像における位置を、可視光画像における領域に対応する赤外線画像における領域として特定する。赤外線画像解析モジュール41は、植物210の花400~402、枝410~412、葉420~422の部位を特定する。図9において、特定した領域を、便宜的にハッチングにより示している。この領域は、上述した可視光画像において特定した部位により、一部又は部位全体を指す。なお、特定する部位の数及びその位置は、可視光画像に併せて適宜変更可能である。
 温度解析モジュール42は、特定した赤外線画像データにおける領域の温度を解析する(ステップS19)。ステップS19において、温度解析モジュール42は、赤外線画像データに基づいて、各領域の温度を取得する。
 温度解析モジュール42は、植物の複数の部位の各々に対応する複数の基準温度を、記憶モジュール30が記憶する基準温度データベースから取得する(ステップS20)。ステップS20において、記憶モジュール30は、予め各部位に対応する基準温度を複数記憶しておき、温度解析モジュール42は、この記憶された基準温度を取得する。このとき、特定された赤外線画像データにおける領域に対応する部位の基準温度を取得する。
 [基準温度データベース]
 図10に基づいて、記憶モジュール30が記憶する基準温度データベースについて説明する。図10は、記憶モジュール30が記憶する基準温度データベースの一例を示す図である。図10において、記憶モジュール30は、部位の名称と、この部位の基準温度とを対応付けて記憶する。すなわち、記憶モジュール30は、「幹」と「18」とを対応付け、「枝」と「17」とを対応付け、「葉」と「20」とを対応付けて記憶する。記憶モジュール30は、この基準温度データベースを、植物の種類毎に記憶する。なお、記憶モジュール30は、植物の種類毎ではなく、植物の個体毎に、基準温度データベースを記憶してもよい。この場合、記憶モジュール30は、予め各個体の部位毎に基準温度を取得しておき、部位と基準温度とを対応付けて記憶しておけばよい。
 診断モジュール43は、特定された赤外線画像における領域の温度に基づいて、植物を診断する(ステップS21)。ステップS21において、診断モジュール43は、植物の診断を、取得した温度、基準温度、一の個体とは異なる他の個体の温度、第1の個体と第2の個体との位置関係、環境情報のいずれか又は複数の組み合わせにより実行する。
 診断モジュール43が、植物の診断を、取得した温度により実行する場合について説明する。診断モジュール43は、特定された赤外線画像における領域の温度が、異常な値であるか否かを判断し、異常な値でなかった場合、健康であると判断する。一方、診断モジュール43は、異常な値であると判断した場合、病害が発生していると判断する。
 診断モジュール43が、植物の診断を、基準温度により実行する場合について説明する。診断モジュール43は、特定された赤外線画像における領域の温度と、取得した記憶モジュール30が記憶する基準温度とを比較し、領域の温度と基準温度との間の温度差を算出する。診断モジュール43は、算出した温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断し、所定の範囲内である場合、健康であると判断する。一方、診断モジュール43は、算出した温度差が所定の範囲内でない場合、病害が発生していると判断する。
 診断モジュール43が、植物の診断を、一の個体と、この一の個体とは異なる他の個体の温度とに基づいて実行する場合について説明する。診断モジュール43は、取得した一の個体における赤外線画像における領域の温度と、この一の個体とは異なる他の個体における赤外線画像における対応する同一部位の領域の温度とを比較し、これらの温度の温度差を算出する。診断モジュール43は、算出した温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断し、所定の範囲内である場合、健康であると判断する。一方、診断モジュール43は、算出した温度差が所定の範囲内ではない場合、病害が発生していると判断する。なお、この場合において、診断モジュール43は、一の個体又は他の個体と、上述した基準温度とを比較するとともに、一の個体と他の個体との間の温度差を算出することにより、病害が発生しているか否かを判断してもよい。すなわち、診断モジュール43は、一の個体又は他の個体のいずれか又は双方に病害が発生しているか否かを、基準温度と、温度差とに基づいて判断してもよい。
 診断モジュール43が、植物の診断を、第1の個体と第2の個体との位置関係に基づいて実行する場合について説明する。診断モジュール43は、取得した複数の個体のうち、第1の個体の位置と、第1の個体とは異なる第2の個体との間の位置関係を比較し、いずれかが日光や照明等の影響をよりうけているかを判断する。これは、第1の個体と第2の個体とのいずれかが日光や照明等の影響により、より温度が高くなっているかを特定するものである。診断モジュール43は、この日光や照明等の影響を、気温や照度等の環境情報を取得することにより、第1の個体と第2の個体との温度を補正する。診断モジュール43は、補正後の第1の個体と第2の個体との温度と、上述した基準温度とを比較し、これらの温度差を算出する。診断モジュール43は、この温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断し、所定の範囲内である場合、健康であると判断する。一方、診断モジュール43は、算出した温度差が所定の範囲内ではないと判断した場合、病害が発生していると判断する。なお、診断モジュール43は、基準温度を用いずに、健康であるか否かを判断してもよい。例えば、補正した第1の個体と第2の個体との温度が所定の温度であるか否かに基づいて、健康であるか否かを判断すればよい。
 診断モジュール43が、植物の診断を、センサから取得した環境情報に基づいて実行する場合について説明する。診断モジュール43は、取得した個体の温度を、環境情報に基づいて補正する。例えば、診断モジュール43は、環境情報として、湿度、気温、気圧等を取得し、取得した環境情報により、取得した個体の温度を補正する。診断モジュール43は、補正後の個体の温度に基づいて、植物を診断する。なお、診断モジュール43は、補正後の個体の温度と、基準温度とに基づいて、植物が健康であるか否かを判断してもよい。
 診断モジュール43は、診断結果を出力する(ステップS22)。ステップS22において、診断モジュール43は、診断結果として、病害の内容(例えば、病害の名称、対策方法等)を出力する。診断モジュール43は、可視光画像データ及び赤外線画像データに、一の個体のみが存在する場合、この一の個体の診断結果を出力する。また、診断モジュール43は、可視光画像データ及び赤外線画像データに、複数の個体が存在する場合、各個体毎に、診断結果を出力する。このとき、診断モジュール43は、各個体の名称、識別子、位置情報等の個体を一意に特定することが可能な各種情報とともに、診断結果を出力する。
 なお、上述した説明において、診断モジュール43は、一の可視光画像データ及び一の赤外線画像データにより、植物の診断を実施しているが、所定の期間内に取得された複数の可視光画像データ及び赤外線画像データに基づいて、植物の診断を実行してもよい。この場合、各赤外線画像データから取得した個体の温度の、変化量や変化幅や変化そのものに基づいて、植物の診断を実行すればよい。また、診断モジュール43は、複数の赤外線画像データから取得した個体の温度の平均値により、この植物の診断を実行すればよい。例えば、診断モジュール43は、この個体の温度の平均値と、基準温度とを比較することにより、この温度の平均値と、基準温度との間の温度差を算出し、この温度差が所定の範囲内であるか否かに基づいて、植物の診断を実行すればよい。
 診断モジュール43は、出力した診断結果に基づいて、個体に病害が発生しているか否かを判断する(ステップS23)。
 ステップS23において、診断モジュール43は、個体に病害が発生していないと判断した場合(ステップS23 NO)、本処理を終了する。なお、このとき、診断モジュール43は、図示していない外部端末装置に対して、個体に病害が発生していない旨の通知を送信してもよい。
 ステップS23において、診断モジュール43は、個体に病害が発生していると判断した場合(ステップS23 YES)、環境調整モジュール44は、この診断の結果を表す情報に基づいて、生活環境を調整する調整指示を作成する(ステップS24)。ステップS24において、環境調整モジュール44は、診断した病害の内容に基づいて、必要な処理を、病害の内容と処理とを関連づけて記憶する調整データベース等に基づいて取得する。環境調整モジュール44は、この取得した処理を実行する調整指示を作成する。この調整指示には、必要な処理及びこの処理を実行する環境調整装置の識別子や装置ID等の環境調整装置を一意に特定することが可能な情報等が含まれる。
 調整指示送信モジュール22は、上述したステップS24において環境調整モジュール44が作成した調整指示を、環境調整装置に送信する(ステップS25)。調整指示送信モジュール22は、調整指示に含まれる環境調整装置を一意に特定することが可能な情報に基づいて、対象となる環境調整装置に送信する。
 環境調整装置は、この調整指示を受信し、この調整指示に含まれる必要な処理を実行する。例えば、環境調整装置は、照明のオンオフの実行、湿度や温度制御の実行、散水の実行、薬剤の散布等を実行する。
 以上が、植物診断処理である。
 なお、上述の実施形態では、コンピュータ10は、植物の病害を判断する処理を実行しているが、本発明は、それ以外の植物の診断にも適用可能である。例えば、コンピュータ10は、上述した植物の温度に基づいて、散水の必要性を判断する処理を実行してもよいし、植物の温度と環境情報とに基づいて、照度の調整の必要性を判断する処理を実行してもよいし、その他の処理を実行してもよい。
 上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
 以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
 1 植物診断システム、10 コンピュータ

Claims (10)

  1.  カメラにて撮像された、可視光画像及び赤外線画像を取得する第1取得手段と、
     前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定する第1画像処理手段と、
     特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第2画像処理手段と、
     特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する診断手段と、
     を備えることを特徴とするコンピュータシステム。
  2.  前記植物の複数の部位の各々に対応する複数の基準温度を記憶した記憶手段と、
     をさらに備え、
     前記第1画像処理手段は、複数の所定の部位の各々に対応する複数の領域を特定し、
     前記診断手段は、前記第2画像処理手段にて特定された複数の領域における温度と各基準温度とを比較する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  3.  前記第1画像処理手段は、前記カメラにて撮像された複数の個体をそれぞれ識別し、
     前記診断手段は、前記個体毎に診断結果を出力する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  4.  前記診断手段は、前記複数の個体のうち一の個体について診断を行うに際し、他の個体の温度を用いる、
     ことを特徴とする請求項3に記載のコンピュータシステム。
  5.  前記第1画像処理手段は、第1の個体と第2の個体との位置関係を特定し、
     前記診断手段は、前記位置関係を用いる、
     ことを特徴とする請求項3に記載のコンピュータシステム。
  6.  前記植物の生活環境を示す環境情報を取得する第2取得手段と、
     をさらに備え、
     前記診断手段は、前記環境情報を用いる、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  7.  前記第1取得手段は、前記可視光画像及び前記赤外線画像を、それぞれ複数の時点において取得し、
     前記診断手段は、所定の期間内に取得された複数の前記可視光画像及び複数の前記赤外線画像を用いる、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  8.  前記診断手段にて出力された診断の結果を表す情報に基づいて生活環境を調整する調整手段と、
     をさらに備えることを特徴とする請求項1に記載のコンピュータシステム。
  9.  カメラにて撮像された、可視光画像及び赤外線画像を取得するステップと、
     前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定するステップと、
     特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップと、
     特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断するステップと、
     を備えることを特徴とする植物の診断方法。
  10.  コンピュータシステムに、
     カメラにて撮像された、可視光画像及び赤外線画像を取得するステップ、
     前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定するステップ、
     特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップ、
     特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断するステップ、
     を実行させるためのプログラム。
PCT/JP2016/080871 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム WO2018073899A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018546076A JP6560833B2 (ja) 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム
US16/492,416 US10690644B2 (en) 2016-10-18 2016-10-18 Computer system, plant diagnosis method, and program
PCT/JP2016/080871 WO2018073899A1 (ja) 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080871 WO2018073899A1 (ja) 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018073899A1 true WO2018073899A1 (ja) 2018-04-26

Family

ID=62018380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080871 WO2018073899A1 (ja) 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム

Country Status (3)

Country Link
US (1) US10690644B2 (ja)
JP (1) JP6560833B2 (ja)
WO (1) WO2018073899A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021005589A1 (en) * 2019-07-05 2021-01-14 Arugga A.I Farming Ltd Automated plant monitoring systems and methods
WO2021130817A1 (ja) * 2019-12-23 2021-07-01 株式会社ナイルワークス 圃場管理システム、圃場管理方法およびドローン
WO2021152741A1 (ja) * 2020-01-29 2021-08-05 株式会社ナイルワークス 農作物育成システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127445A (zh) * 2019-12-26 2020-05-08 智洋创新科技股份有限公司 基于深度学习的配网线路高温区域检测方法与系统
US20220259947A1 (en) * 2021-02-18 2022-08-18 Yantai Jereh Petroleum Equipment & Technologies Co., Ltd. Monitoring system and method for wellsite equipment
CN113155292A (zh) * 2021-03-30 2021-07-23 新疆爱华盈通信息技术有限公司 人脸测温方法、人脸测温仪及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120458A (ja) * 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JP2002022652A (ja) * 2000-07-10 2002-01-23 Horiba Ltd 波長分析型赤外画像および可視画像解析装置
JP2002132341A (ja) * 2000-10-26 2002-05-10 Toshiba Corp 現場点検装置
JP2003310055A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd 植物育成装置および植物育成方法、並びにその方法を記録した記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182185A (ja) * 1989-12-11 1991-08-08 Fujitsu Ltd 赤外線監視システム
CN200996939Y (zh) * 2006-11-24 2007-12-26 浙江大学 一种植物叶片与冠层灰霉病害早期诊断装置
CN104797913A (zh) * 2012-09-21 2015-07-22 杭州美盛红外光电技术有限公司 热像诊断装置和热像诊断方法
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
US9922242B2 (en) * 2012-12-02 2018-03-20 Agricam Ab Systems and methods for predicting the outcome of a state of a subject
US10585210B2 (en) * 2015-10-06 2020-03-10 Arable Labs, Inc. Apparatus for radiometric correction and orthorectification of aerial imagery
US10028452B2 (en) * 2016-04-04 2018-07-24 Beesprout, Llc Horticultural monitoring system
CN106067169A (zh) * 2016-05-24 2016-11-02 北京农业信息技术研究中心 植物水分胁迫状态自动监控方法及系统
US10687713B2 (en) * 2016-08-05 2020-06-23 Optim Corporation Diagnostic apparatus
US10339380B2 (en) * 2016-09-21 2019-07-02 Iunu, Inc. Hi-fidelity computer object recognition based horticultural feedback loop
US10643328B2 (en) * 2016-10-31 2020-05-05 Optim Corporation Computer system, and method and program for diagnosing objects
US10852236B2 (en) * 2017-09-12 2020-12-01 Curadel, LLC Method of measuring plant nutrient transport using near-infrared imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120458A (ja) * 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JP2002022652A (ja) * 2000-07-10 2002-01-23 Horiba Ltd 波長分析型赤外画像および可視画像解析装置
JP2002132341A (ja) * 2000-10-26 2002-05-10 Toshiba Corp 現場点検装置
JP2003310055A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd 植物育成装置および植物育成方法、並びにその方法を記録した記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021005589A1 (en) * 2019-07-05 2021-01-14 Arugga A.I Farming Ltd Automated plant monitoring systems and methods
WO2021130817A1 (ja) * 2019-12-23 2021-07-01 株式会社ナイルワークス 圃場管理システム、圃場管理方法およびドローン
WO2021152741A1 (ja) * 2020-01-29 2021-08-05 株式会社ナイルワークス 農作物育成システム

Also Published As

Publication number Publication date
US10690644B2 (en) 2020-06-23
JP6560833B2 (ja) 2019-08-14
US20200041475A1 (en) 2020-02-06
JPWO2018073899A1 (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP6560833B2 (ja) コンピュータシステム、植物の診断方法及びプログラム
JP6101878B1 (ja) 診断装置
US10685231B2 (en) Computer system, and method and program for diagnosing plants
WO2021184254A1 (zh) 红外热成像测温方法、电子设备、无人机及存储介质
US10643328B2 (en) Computer system, and method and program for diagnosing objects
JP2011103870A (ja) 植物の特徴の自動測定システム、方法および記録媒体
WO2019106733A1 (ja) 生育状況または病害虫発生状況の予測システム、方法およびプログラム
CA3058955C (en) A system for measuring deformations and a method for measuring deformations
US20210216758A1 (en) Animal information management system and animal information management method
RU2015127773A (ru) Медицинское устройство или система для измерения уровней гемоглобина во время несчастных случаев, используя систему камера-проектор
JP6618631B2 (ja) コンピュータシステム、動物の診断方法及びプログラム
JP2023010952A (ja) 農作物の成長監視システム、及び成長監視方法
JP2017042136A (ja) 植物栽培支援装置、植物栽培支援方法、プログラム、記憶媒体
WO2016171007A1 (ja) 検査装置および検査方法、並びにプログラム
KR20200002504A (ko) 열화상 센서를 이용한 사물의 온도 측정장치 및 그 측정방법
WO2018073900A1 (ja) コンピュータシステム、物体の診断方法及びプログラム
JP2003050996A (ja) 遺伝子機能解析のための画像取得装置
JP6697673B2 (ja) 異常判定システム、異常判定装置、及び、異常判定方法
TWI666982B (zh) 智能環控管控系統
KR20220125968A (ko) 안면 인식 체온 측정 장치 및 방법
CN111664948A (zh) 多功能红外测温系统及其测温方法
CN112304430B (zh) 一种照明现场实时智能监测方法及装置
CN210347066U (zh) 一种照明现场实时监测系统
CN116319728A (zh) 农林有害生物数字化监测农作物苗情智能远程监控系统
CN115165877A (zh) 植被指数卫星产品验证方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018546076

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16919405

Country of ref document: EP

Kind code of ref document: A1