WO2020044480A1 - 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム - Google Patents

作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム Download PDF

Info

Publication number
WO2020044480A1
WO2020044480A1 PCT/JP2018/032066 JP2018032066W WO2020044480A1 WO 2020044480 A1 WO2020044480 A1 WO 2020044480A1 JP 2018032066 W JP2018032066 W JP 2018032066W WO 2020044480 A1 WO2020044480 A1 WO 2020044480A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
growth stage
crop
stage
unit
Prior art date
Application number
PCT/JP2018/032066
Other languages
English (en)
French (fr)
Inventor
紀生 岩澤
有年 三尾
誠一 原
洋人 下城
宏 竹本
Original Assignee
株式会社エヌ・ティ・ティ・データＣｃｓ
紀生 岩澤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エヌ・ティ・ティ・データＣｃｓ, 紀生 岩澤 filed Critical 株式会社エヌ・ティ・ティ・データＣｃｓ
Priority to PCT/JP2018/032066 priority Critical patent/WO2020044480A1/ja
Priority to KR1020217005496A priority patent/KR20210040088A/ko
Priority to JP2019561334A priority patent/JP6638121B1/ja
Priority to CN201880096910.0A priority patent/CN112639869A/zh
Publication of WO2020044480A1 publication Critical patent/WO2020044480A1/ja
Priority to US17/186,305 priority patent/US11935282B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • the present invention relates to a server device, a growth stage determination method, and a program of a crop growth stage determination system suitable for correctly grasping the growth status of a crop.
  • Crops have various stages of growth, such as budding, vegetative growth, reproductive growth, flowering, and maturity. farmers follow these daily and manage cultivation appropriately.
  • the determination of the growth stage is one of the important basic management techniques.
  • the timing of fertilization (ear manure) depending on the panicle diagnosis is based on brown rice. It directly affects yield and quality.
  • juvenile panicle diagnosis is a technology that is difficult to diagnose for inexperienced people because it is a technology that has little possibility of transmitting information in language in addition to the fact that the panicle is wrapped in a sheath and is not visible from the outside. Also, human and time costs for technology transfer are also issues.
  • the growth stages of rice are divided into five stages, for example, (1) tillering stage, (2) panicle differentiation stage, (3) meiosis stage, (4) heading stage, and (5) ripening stage.
  • the change in appearance is relatively clear in both (4) the heading period and (5) the ripening period.
  • the above-mentioned (2) panicle differentiation stage and (3) meiosis stage are important work periods that most affect yield and quality.
  • the young ears are dissected under a microscope. It is necessary and the task is extremely difficult.
  • (3) during the meiosis it is necessary to conduct destructive inspections, such as by peeling the young panicles by hand or cutting them with a cutter to visually check the growth state, and confirm all fields. Requires a great deal of labor, and it is not realistic to confirm the state by the above-mentioned destructive inspection on a large-scale farm.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a server device of a crop growth stage determination system capable of non-destructively and easily and accurately determining a crop growth state, It is to provide a growth stage determination method and a program.
  • One embodiment of the present invention is a server device of a crop growth stage determination system, wherein a first image input unit for inputting a plurality of pieces of image information of a crop, and a plurality of images input by the first image input unit.
  • a stage information input unit for inputting information indicating a growth stage of the crop for each of the information; a plurality of image information input by the first image input unit; and information indicating a growth stage input by the stage information input unit.
  • a learning unit configured to perform a deep learning of associating a crop image with a growth stage on the basis of the crop image to construct a learned model, and a second image input unit configured to input image information of an image of a crop whose growth stage is unknown.
  • a stage determining unit that determines a growth stage based on the learned model constructed by the learning unit with respect to the image information input by the second image input unit; And an output unit for outputting information of the growth stage where it is determined in parts, the.
  • FIG. 1 is a diagram showing the configuration of the entire growth stage determination system according to one embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a functional configuration of the server device according to the embodiment.
  • FIG. 3 is a flowchart showing a series of processing contents executed in the learning phase according to the embodiment.
  • FIG. 4 is a diagram illustrating an outline of a series of processes executed in FIG. 3 according to the embodiment.
  • FIG. 5 is a flowchart showing a series of processing contents executed in the determination phase according to the embodiment.
  • FIG. 6 is a diagram illustrating an outline of a series of processes executed in FIG. 5 according to the embodiment.
  • FIG. 1 is a diagram showing the configuration of the entire growth stage determination system according to the embodiment.
  • a paddy field PD for which a growth stage is to be determined is photographed by a camera function of a smartphone SP possessed by a user (not shown).
  • An application program dedicated to this system is installed in advance on the smartphone SP.
  • the rice image of the rice field is photographed in a composition according to the guidelines displayed on the display screen, and the still image data of the rice image obtained by the photographing is image information to be determined. Is obtained as
  • the smartphone SP is connected to a server SV for determining a growth stage via a network NW including a base station of a mobile phone network or the Internet.
  • the means for photographing the image to be determined is not limited to the smartphone SP possessed by the user.
  • an image periodically measured by a time lapse function with a fixedly installed digital camera may be transmitted to the server device SV. good.
  • the server device SV Based on the stored learned model, the server device SV removes the color component from the image information sent from the smartphone SP, converts the image information into grayscale as image information including only the luminance component, and then performs the grayscale process. The growth stage of the rice in the converted image information is determined, and the determination result is returned to the smartphone SP.
  • the growth stage can be simply known from the smartphone SP, but also based on the history of the past growth stage of the field associated with the user stored and stored in the server SV, Alternatively, the number of days before the next growth stage may be presented on the smartphone SP.
  • FIG. 2 is a block diagram illustrating a functional configuration of a computer program executed in the server SV.
  • the server device SV has the growth stage determination unit 10 as a main component, and the growth stage determination unit 10 is arranged so as to extend over an area divided into a learning phase and a determination phase.
  • the image data input unit 11 inputs rice image data for each of the various growth stages for forming a basic learning model.
  • a skilled person who determines a growth stage inputs growth stage information associated with each image data through the stage information input unit 12.
  • the rice image data input from the image data input unit 11 and the growth stage information input to the stage information input unit 12 and associated with the image data are received by the learning image input unit 13 and associated with the growth.
  • the data is input to the learning unit 14 of the stage determination unit 10.
  • the learning unit 14 receives image data and growth stage information by, for example, deep learning using a convolutional neural network (CNN) having five layers, that is, an input layer, a middle layer A, a middle layer B, a middle layer C, and an output layer. Is performed using a large number of sets as teacher data.
  • CNN convolutional neural network
  • a learned model which is an acquired neural network, is constructed and stored in the learned model storage unit 15 on the determination phase side.
  • the determination phase of the growth stage determination unit 10 when the image data of rice is input from the image input unit 16 via the network NW, the learned model stored in the learned model storage unit 15 for the image data.
  • the growth stage is determined based on the model. Then, information on the growth stage as the determination result is obtained, and the obtained information on the growth stage is returned by the determination result output unit 17 via the network NW to the smartphone SP that has sent the image data.
  • the photographing condition of the image data input in the learning phase in the server SV a fixed point which is an observation position with respect to a field to be photographed in the same year is set, and if the weather is fine throughout the season, sufficient sunlight
  • the photographing conditions are made uniform, such as a photographing time zone in which is obtained, for example, 11:00 to 13:00.
  • image data input in the learning phase and the determination phase in the server SV uses a color image obtained by shooting in order to eliminate the influence of color due to sunlight (sunrise glow, etc.) or fertilizer depending on the shooting time zone. It is assumed that grayscale processing is performed using only the components before processing.
  • FIG. 3 is a flowchart showing a series of processing contents executed in the learning phase by the growth stage determination unit 10 of the server device SV.
  • one image data of the target field that has not been input is selected and input from the image data input unit 11 (step S101), and information of the identification result of the growth stage corresponding to the image is input by the skilled person to the stage information.
  • An input is made from the input unit 12 (step S102).
  • the image data includes data of the date and time when the image was taken as a part of the accompanying data.
  • the learning image input unit 13 receives the image data and the information on the growth stage in association with each other, and divides the input image data into image blocks of a predetermined size (step S103).
  • the size to be divided here is desirably large enough to be able to discriminate between the shape of rice and the stocks in the image. Further, a division process may be performed between adjacent image blocks so that the images of the surrounding portions overlap with an appropriate overlap ratio.
  • one of the divided image blocks is selected and input to the learning unit 14 (step S104), and the growth stage corresponding to the image data input in the immediately preceding step S102 is selected. Is input to the learning unit 14 together (step S105).
  • step S106 it is determined whether or not all of the image blocks divided from the image data have been input to the learning unit 14 (step S106). If it is determined that all the divided image blocks have not been input together with the information on the identification result of the growth stage (No in step S106), the growth stage determination unit 10 returns to the processing from step S104 again. Similar input processing is continued for image blocks that have not been input yet.
  • steps S104 to S106 are repeatedly executed, and when it is determined that all the image blocks obtained by dividing one image data have been input together with the information on the identification result of the growth stage (Yes in step S106), The growth stage determination unit 10 determines whether the input of all image data on the target field has been completed (step S107).
  • step S107 When the input of all the image data relating to the target field has not been completed and it is determined that there is still uninput image data (No in step S107), the growth stage determination unit 10 returns to the processing from step S101 again. The same input processing is continued for image data that has not been input yet.
  • steps S101 to S107 is repeatedly executed again, and after inputting all the image data together with information on the identification result of the growth stage, the image data is divided into a plurality of image blocks of a predetermined size and input to the learning unit 14.
  • the learning unit 14 performs deep learning using the CNN in order to construct a model that associates the feature amount of the image with the identification result of the growth stage (step S108). Completes the processing in the learning phase.
  • FIG. 4 is a diagram illustrating an outline of a series of processes executed in FIG.
  • a large number of image data are acquired as shown in FIG. You.
  • FIG. 4 (C) a skilled person determines and inputs and sets each period of the growth stage for these image data.
  • the identification information of the growth stage is associated with each of the image data and input to the learning unit 14.
  • the learning unit 14 can label the image data for each growth stage by labeling each image data with the identification information of the growth stage.
  • the learning unit 14 performs a deep learning using each group of image data as a data set, thereby constructing a trained model in which characteristic information indicating characteristics of a rice image in each growth stage is extracted, and the constructed trained model. Is stored in the learned model storage unit 15.
  • FIG. 5 is a flowchart showing a series of processing contents executed in the determination phase by the growth stage determination unit 10 of the server device SV.
  • the image data of the target field whose growth stage is unknown is sent from the user via the network NW to the image input unit 16 (step S201).
  • the image data sent from the user is gray-scaled image data in which color components have been removed in advance and only luminance components have been removed by the application program of the smartphone SP on the user side.
  • the growth stage determination unit 10 individually determines whether or not the input image data satisfies the exclusion condition for the image based on whether or not a plurality of preset imaging conditions are satisfied (step S202).
  • grayscaled image data for example, whether or not a certain sunshine condition is determined depending on whether or not the luminance level of the entire image is equal to or higher than a preset level, and whether edge detection and contour extraction processing are performed. It is determined individually whether or not the rice in the image has fallen due to the wind by image processing including.
  • step S203 it is determined whether or not the input image data is suitable for the determination of the growth stage based on whether or not there is no one that satisfies the exclusion condition as a whole.
  • the growth stage determination unit 10 uses the smartphone of the user who transmitted the image data via the network NW. For the SP, a guide message indicating that a correct determination could not be made by the determination result output unit 17 as a determination result due to exclusion conditions (rain, wind, sun altitude, camera shooting angle, accuracy of the determination result, etc.). Is output as a response (step S204), and the processing in FIG. 5 is completed.
  • step S203 When it is determined in step S203 that the input image data is suitable for the determination of the growth stage (Yes in step S203), the growth stage determination unit 10 then converts the input image data into a predetermined size. (Step S205).
  • the size to be divided here is desirably large enough to be able to discriminate between the shape of rice and the stocks in the image. Further, a division process may be performed between adjacent image blocks so that the images of the surrounding portions overlap with an appropriate overlap ratio. In addition, it is desirable that the size is the same as the size obtained by dividing the image in the learning phase.
  • the growth stage determination unit 10 selects one of the divided image blocks (step S206), and determines the growth stage of the selected image block using the learned model stored in the learned model storage unit 15. (Step S207).
  • the growth stage determination unit 10 determines whether or not all determinations on the image blocks have been completed based on whether or not there is any image block that has not been determined (step S208).
  • step S208 the growth stage determination unit 10 returns to the processing from step S206 and executes the same processing.
  • Steps S206 to S208 are repeatedly executed in this way, and the growth stage is determined for all the image blocks obtained by dividing one image data based on the learned model held by the learned model holding unit 15, respectively.
  • the information of the growth stage that is the most determined result is determined by a preset determination method, for example, majority theory. Is the determination result of the entire image data (step S209).
  • the probabilities of five growth stages are calculated.
  • the highest one of the calculated probabilities is set as the growth stage of the image block. If the probability distribution varies over the entire area, there is no significant bias, and a determination with high accuracy cannot be made, for example, the probability of stage 1 is 15%, the probability of stage 2 is 20%, the probability of stage 3 is 25%, If the probability of stage 4 is 20% and the probability of stage 5 is 20%, the image block is determined to be undetermined, and is not included in the majority calculation.
  • the information on the growth stage obtained as a result of the determination is output from the determination result output unit 17 to the smartphone SP of the user who has transmitted the image data via the network NW.
  • the information of the stage is output as a response (step S210), and the process of FIG. 5 is completed.
  • the determination result of the growth stage for each of the divided image blocks is added to the end in the image data in which the color-coded dots are superimposed, and the entire image is displayed. It is conceivable to create image data in which information of the growth stage as the determination result is superimposed, or image data in which the total of the determination results for each growth stage based on the divided image blocks is displayed together with a percentage.
  • the day of the corresponding stage is determined by, for example, “ Creates image data including notation such as "n days before heading” by countdown display until XX period n day or estimated next stage or timing suitable for topdressing You may reply.
  • the same user can be easily determined from the sender ID information of the image data.
  • the user sets the image data to be transmitted with the GPS data added thereto, it can be easily determined that the images are in the same field.
  • the determination of the growth stage using the learned data is performed only when the shooting conditions such as lodging due to sunlight or wind are satisfied. It is also possible to omit the pre-processing of and directly determine the growth stage.
  • FIG. 6 is a diagram for explaining an outline of a series of processes executed in FIG. It is shown in FIG. As shown in FIG. 6A, the image of the paddy field PD for which the determination of the growth stage is required is taken by the smartphone SP, and then transmitted to the server device SV via the network NW.
  • the composition of the capture specifically, the side of the rice at the edge of the field and the last of the rice ears in the back, are displayed on a display that displays the field by the camera function. It is conceivable that by performing a guide display indicating a series of upper portions, it is possible to make a highly accurate determination utilizing the learning content on the server device SV side.
  • the growth stage determination unit 10 that has received the image data from the user at the image input unit 16 determines the growth stage using the learned model stored in the learned model storage unit 15 as shown in FIG. Is carried out.
  • the server SV returns the obtained information on the growth stage to the smartphone SP owned by the user via the network NW by the determination result output unit 17 as shown in FIG. 6C.
  • the target of the determination of the growth stage particularly, the paddy rice in the paddy field PD is handled, and the determination of the growth stage including the panicle differentiation period is also performed.
  • the shooting condition of the crop in the image data to be shot is set, and the input of the image data that does not satisfy the shooting condition is excluded, so that the determination accuracy in the deep learning can be further improved.
  • a guide display for performing capturing with a fixed composition is performed according to an application program installed on the smartphone SP. It encourages the photographing of suitable crop images and can be expected to operate with higher accuracy.
  • the obtained image is divided into image blocks of a plurality of regions suitable for deep learning, and then the process is executed.
  • a growth stage is determined for each of the divided regions based on the learned model, Since the growth results of the entire image data are determined by integrating the determination results of a plurality of regions, individual differences in the growth stages of each crop divided into individual regions are absorbed, and the overall growth stage is accurately determined. Can be determined.
  • the image data handled in the learning phase and the determination phase is grayscale image data in which color components are removed from color image data and only luminance components are used. As a result, it is possible to prevent the accuracy relating to learning and subsequent determination from being deteriorated due to a change in color components.
  • black and white binarized image data obtained by extracting only the edges of rice may be used.
  • the amount of calculation can be significantly reduced, and the influence of sunlight scattering can be completely removed.
  • the history of the determination result of the same user in the same field in the past as well as the result of simply determining which growth stage the crop was determined for the user who requested the determination as the determination result is displayed.
  • it is possible to present together the number of days since the current growth stage and the estimated number of days it takes to reach the next growth stage, such as topdressing and spraying of herbicides It is possible to provide a system that is easier to grasp the timing of and is more suitable for practical use.
  • the present invention itself does not limit the type of paddy rice to “Koshihikari” and further does not limit the crop to paddy rice.
  • various kinds of wheat including wheat, various kinds of vegetables including root vegetables such as carrots, onions, potatoes, etc. can be used to determine the growth stage by taking images of the part exposed on the ground If it is a suitable crop, it can be applied similarly.
  • the present invention is not limited to the above-described embodiment, and can be variously modified in an implementation stage without departing from the gist thereof.
  • the embodiments may be implemented in appropriate combinations as much as possible, in which case the combined effects can be obtained.
  • the above embodiments include inventions at various stages, and various inventions can be extracted by appropriate combinations of a plurality of disclosed constituent elements. For example, even if some components are deleted from all the components shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved and the effects described in the column of the effect of the invention can be solved. Is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

非破壊で簡易且つ的確に作物の生育状態を判定すること。　作物を撮影した画像情報を複数入力する画像データ入力部11と、入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部12と、入力した複数の画像情報と生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なう学習部14と、生育ステージの不明な作物を撮影した画像情報を入力する画像入力部16と、画像入力部16で入力した画像情報に対し、学習部14での学習結果に基づいて生育ステージを判定する生育ステージ判定部10と、生育ステージ判定部10で判定した生育ステージを出力する判定結果出力部17とを備える。

Description

作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム
　本発明は、作物の生育状況を正しく把握するのに好適な作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラムに関する。
　農業経営、特に水稲など主食となる土地利用型作物の分野では、高齢化を背景とした産業構造の変化から、大規模経営体への農地集約が急速に進行している。このような農地集約の傾向は、長期的にも一層進むものと見られる。農地集約の結果、一経営体当たりが一定以上の規模に達すると、現状の栽培管理方法では人間の情報処理能力を超えて、必要な診断及び管理を適切に実施できなくなる。これにより、重要な作業時期を逃すなどして生産物の品質や収量が低下し、減収減益が生じる事例が増えて、経営問題となっている。
　作物栽培の要諦は、作物の生育ステージを見極めて、水と肥料を適切に管理することにある。作物には、出芽、栄養成長、生殖成長、開花、成熟などさまざまな生育ステージがあり、農業者はこれらを日々追いながら適切な栽培管理を行なう。
　例えば、水稲栽培においても、生育ステージの判定は重要な基本管理技術の１つであり、特に生育ステージの判定の１つである幼穂診断に依存した施肥（穂肥）の時期判断は、玄米の収量性と品質を直接左右する。
　このような生育ステージ判定を的確に行なうためには、農業者が日々圃場を巡回し、前日との変化を感じ取り、仔細には直接植物体を採取して分解、調査しなければならない。しかしながら、農地集約が進む中、作業に追われる農業者が遠隔、且つ広範囲にわたる多数の農地をつぶさに観察し、幼穂診断等により作物の生育ステージまで判定することは、きわめて困難な作業となっている。
　特に幼穂診断は、幼穂が葉鞘に包まれていて外から見えないことに加え、言語による情報の伝達可能性が低い技術であることから、経験の乏しい人では診断すること自体が難しいなど、教育と技術伝承のための人的、時間的コストも課題となっている。
　ところで、水稲の生育ステージを、例えば５段階、すなわち（１）分げつ期、（２）幼穂分化期、（３）減数分裂期、（４）出穂期、（５）登熟期に分けて考える場合、上記（４）出穂期及び（５）登熟期は共に外観の変化が比較的明確である。
　そのため、例えば特開２０１３－１１１０７８号公報に記載された技術のように、基準画像を用意しておき、基準画像と撮影した検査画像とを比較することによって判別を行なうシステムや、「デジタルカメラ画像ＲＧＢ処理による水稲生育診断技術」（後藤克典他、東北農業研究、２００４年１２月、５７号、ｐｐ５９－６０）に記載された技術のように、画像中の稲体画素数から草丈、茎数を推定することで生育状態を判断するシステム等が提案されている。
　一方、上記（２）幼穂分化期及び（３）減数分裂期は、収量及び品質に最も影響を与える重要な作業時期である。しかしながら現状では、特に（２）幼穂分化期の初期を熟練者以外が判別することは事実上不可能であり、熟練者であっても確実に調査するためには、幼穂を顕微鏡下で解剖する必要があり、作業の難易度が極めて高い。また（３）減数分裂期も、幼穂部分を手でむくか、あるいはカッターで切開することで生育の状態を目視確認するなど、いずれも破壊検査を行なう必要があり、すべての圃場を確認するのには多大な労力を要するため、大規模農場で上記した破壊検査による状態確認を行なうのは現実的ではない。
　そのため、実際には幼穂等の診断を行なわず、適切なタイミングを見逃した状態で作業がなされる場合も多く、収量性と品質を損なう大きな要因と考えられている。
　本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、非破壊で簡易且つ的確に作物の生育状態を判定することが可能な作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラムを提供することにある。
　本発明の一態様は、作物生育ステージ判定システムのサーバ装置であって、作物を撮影した画像情報を複数入力する第１の画像入力部と、上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部と、上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力部と、上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、を備える。
図１は、本発明の一実施形態に係る生育ステージ判定システム全体の構成を示す図である。 図２は、上記実施形態に係るサーバ装置の機能構成を示すブロック図である。 図３は、上記実施形態に係る学習フェーズで実行する一連の処理内容を示すフローチャートである。 図４は、上記実施形態に係る図３で実行される一連の処理の概要を説明する図である。 図５は、上記実施形態に係る判定フェーズで実行する一連の処理内容を示すフローチャートである。 図６は、上記実施形態に係る図５で実行される一連の処理の概要を説明する図である。
　以下、本実施形態を、水稲の生育ステージ判定を行なう生育ステージ判定システムに適用した場合の一実施形態について、図面を参照して詳細に説明する。
　図１は、同実施形態に係る生育ステージ判定システム全体の構成を示す図である。同図において、生育ステージの判定対象となる水田ＰＤを、ここでは図示しないユーザが所持するスマートフォンＳＰのカメラ機能により撮影する。
　スマートフォンＳＰには、本システム専用のアプリケーションプログラムを予めインストールしておく。スマートフォンＳＰでそのアプリケーションプログラムを起動した状態で、ディスプレイ画面に表示されるガイドラインに沿った構図で水田のイネを撮影することで、撮影により得られたイネの静止画像データが判定対象となる画像情報として取得される。
　スマートフォンＳＰは、携帯電話網の基地局やインターネットを含むネットワークＮＷを介して、生育ステージの判定を行なうためのサーバ装置ＳＶと接続される。
　なお、判定対象の画像を撮影する手段としては、ユーザが所持するスマートフォンＳＰに限らず、例えば固定設置したデジタルカメラでタイムラプス機能により定時的に計測した画像を、サーバ装置ＳＶに送信するものとしても良い。
　サーバ装置ＳＶは、格納している学習済モデルに基づいて、スマートフォンＳＰから送られてきた画像情報に対し、色成分を除去し、輝度成分のみの画像情報としてグレイスケール化した後に、そのグレイスケール化した画像情報中のイネの生育ステージを判定し、判定結果を当該スマートフォンＳＰに返送する。
　なお実際の運用に際しては、単にスマートフォンＳＰで生育ステージが分かるだけでなく、サーバＳＶで蓄積記憶している、ユーザに紐付く圃場の過去の生育ステージの履歴から、その生育ステージの何日目か、あるいは次の生育ステージとなる何日前であるか等をスマートフォンＳＰに提示させるようにしても良い。
　図２は、サーバ装置ＳＶ内で実行されるコンピュータプログラムの機能構成を示すブロック図である。　
　サーバ装置ＳＶは、生育ステージ判定部１０を主構成要素とし、この生育ステージ判定部１０が、学習フェーズと判定フェーズとに二分される領域に跨がって配置される構成となる。
　学習フェーズにおいて、基本の学習モデルを構成するための各種生育ステージ毎のイネの画像データが画像データ入力部１１により入力される。一方で、生育ステージの判定を行なう熟練者により、各画像データと関連付けられた生育ステージ情報が、ステージ情報入力部１２により入力される。
　画像データ入力部１１から入力されたイネの画像データと、ステージ情報入力部１２で入力された、画像データと関連付けられた生育ステージ情報とが、学習画像入力部１３により受け付けられ、関連付けられて生育ステージ判定部１０の学習部１４に入力される。
　学習部１４は、例えば５層、すなわち入力層、中間層Ａ、中間層Ｂ、中間層Ｃ、及び出力層を有する畳み込みニューラルネットワーク（ＣＮＮ）による深層学習により、入力される画像データと生育ステージ情報との多数の組を教師データとした学習を実行する。
　学習実行時においては、試行錯誤によって各種パラメータが変更設定されながら最適な学習モデルが作成される。十分に実用に適したものとなったと判断された時点で、取得したニューラルネットワークである学習済モデルを構築し、判定フェーズ側の学習済モデル保持部１５に保持させる。
　生育ステージ判定部１０の判定フェーズにおいては、ネットワークＮＷを介してイネの画像データが画像入力部１６より入力されると、その画像データに対して学習済モデル保持部１５に保持している学習済モデルに基づいて生育ステージを判定する。そして、判定結果となる生育ステージの情報を得、得た生育ステージの情報を判定結果出力部１７によりネットワークＮＷを介して、上記画像データを送ってきたスマートフォンＳＰに返信する。
　次に上記実施形態の動作について説明する。　
　なお、サーバ装置ＳＶでの学習フェーズで入力する画像データの撮影条件として、同一の年に撮影対象の圃場に対して観察位置となる一定点を設定し、シーズンを通して晴天時であれば十分な日照が得られる撮影時刻帯、例えば１１：００～１３：００とするなど、学習精度を高めるために撮影条件を揃えるものとする。
　また、サーバ装置ＳＶでの学習フェーズ、判定フェーズで入力する画像データは、撮影時刻帯による太陽光（朝焼けなど）や、肥料等による色の影響を排除するべく、撮影により得られるカラー画像を輝度成分のみでグレースケール化した上で処理するものとする。
　さらに、日照や風によるイネの倒伏等の除外条件を予め設定することで、例えば雨天時など日照が十分ではない状態や、風が強くて静止画像中のイネが著しく傾き、あるいはブレて写るなど、学習時間の長期化や学習データとしての精度の低下の要因となり得る画像データの入力を制限するものとする。
　まず、水田ＰＤにおける全生育ステージに対応した水稲を撮影した画像データを順次、生育ステージを示す情報と共に入力し、入力した内容により深層学習を行なう学習フェーズでの処理について説明する。
　図３は、サーバ装置ＳＶの生育ステージ判定部１０で学習フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、未入力の対象圃場の画像データを１つ選択して画像データ入力部１１から入力するとともに（ステップＳ１０１）、熟練者によりその画像に対応する生育ステージの識別結果の情報をステージ情報入力部１２から入力する（ステップＳ１０２）。画像データには、付帯データの一部に、撮影を行なった年月日と時刻のデータが含まれる。
　サーバ装置ＳＶでは、学習画像入力部１３がこれら画像データと生育ステージの情報とを関連付けて受け付けると共に、入力された画像データを所定サイズの画像ブロックに分割する（ステップＳ１０３）。
　ここで分割するサイズは、画像中のイネの形状や株間が判別できる程度の大きさが望ましい。また、隣接する画像ブロック間で、適度なオーバーラップ率により周囲部分の画像が重複するような分割処理を行なっても良い。
　サーバ装置ＳＶの生育ステージ判定部１０では、分割した画像ブロックを１つ選択して学習部１４に入力すると共に（ステップＳ１０４）、直前のステップＳ１０２で入力された、当該画像データに対応する生育ステージの識別結果の情報を併せて学習部１４に入力する（ステップＳ１０５）。
　その後、画像データから分割した画像ブロックのすべてを学習部１４に入力したか否かを判断する（ステップＳ１０６）。まだ分割したすべての画像ブロックをその生育ステージの識別結果の情報とともに入力していないと判断した場合（ステップＳ１０６のＮｏ）、生育ステージ判定部１０では、再び上記ステップＳ１０４からの処理に戻って、まだ入力していない画像ブロックに関しても同様の入力処理を続行する。
　こうしてステップＳ１０４～Ｓ１０６の処理を繰り返し実行し、１つの画像データを分割したすべての画像ブロックをその生育ステージの識別結果の情報とともに入力し終えたと判断した時点で（ステップＳ１０６のＹｅｓ）、次に生育ステージ判定部１０では、その対象圃場に関するすべての画像データの入力を終えたか否かを判断する（ステップＳ１０７）。
　対象圃場に関するすべての画像データの入力を終えておらず、まだ未入力の画像データがあると判断した場合（ステップＳ１０７のＮｏ）、生育ステージ判定部１０では、再び上記ステップＳ１０１からの処理に戻って、まだ入力していない画像データに関しても同様の入力処理を続行する。
　こうしてステップＳ１０１～Ｓ１０７の処理を再度繰り返し実行し、すべての画像データについて、その生育ステージの識別結果の情報とともに入力した上で、所定サイズの複数の画像ブロックに分割して学習部１４に入力し終えたと判断した時点で（ステップＳ１０７のＹｅｓ）、学習部１４において、画像の特徴量と生育ステージの識別結果とを対応付けるモデルを構築するべく、ＣＮＮによる深層学習を実行し（ステップＳ１０８）、以上で学習フェーズでの処理を完了する。
　図４は、上記図３で実行される一連の処理の概要を説明する図である。図４（Ａ）に示す水田ＰＤの「ｘｘｘｘ年」における同一場所、同一時間帯での時系列な撮影を実施することで、図４（Ｂ）に示すように、多数の画像データが取得される。これらの画像データに対して、図４（Ｃ）に示す如く、熟練者が生育ステージの各期間を判断して入力設定する。
　これらの入力によって、図４（Ｄ）に示すように、画像データの個々に対応して生育ステージの識別情報が対応付けられて学習部１４に入力される。
　学習部１４では、生育ステージの識別情報により画像データ毎にラベル付けを行なうことで、画像データを生育ステージ毎にグルーピングできる。
　このグルーピングの結果、図４（Ｅ）に示すように、分げつ期、幼穂分化期、減数分裂期、出穂期、及び登熟期それぞれの複数の画像データのグループが学習部１４に入力される。
　学習部１４では、それぞれの画像データのグループをデータセットとして深層学習を実行することにより、各生育ステージにおける水稲画像の特徴を示す特徴情報を抽出した学習済モデルを構築し、構築した学習済モデルを学習済モデル保持部１５に保持させる。
　次に、学習済モデル保持部１５に学習済モデルが保持されている状態で、画像入力部１６から生育ステージの判定を求める対象圃場の画像データが入力された場合の判定フェーズでの処理について説明する。
　図５は、サーバ装置ＳＶの生育ステージ判定部１０で判定フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、ネットワークＮＷを介してユーザから送られてきた、生育ステージが不明な対象圃場の画像データを画像入力部１６で入力する（ステップＳ２０１）。
　ここでユーザから送られてくる画像データは、ユーザ側のスマートフォンＳＰのアプリケーションプログラムにより、予め色成分を除去して輝度成分のみとした、グレイスケール化された画像データであるものとする。
　生育ステージ判定部１０では、入力された画像データに対し、予め設定された複数の撮影条件をそれぞれ満たしているか否かにより、画像に対する除外条件の合致を個々に判定する（ステップＳ２０２）。
　具体的には、グレイスケール化された画像データに対し、例えば画像全体の輝度レベルが予め設定したレベル以上であるか否かにより一定の日照条件であるか否か、またエッジ検出と輪郭抽出処理を含む画像処理により画像中のイネが風による倒伏を起こしていないか否か等を個々に判定する。
　判定の結果、全体として除外条件に合致するものが１つもないかどうかにより、入力された画像データが生育ステージの判定に適合するものであるか否かを判断する（ステップＳ２０３）。
　適合しないと判断した場合、すなわち除外条件に合致するものが少なくとも１つあった場合（ステップＳ２０３のＮｏ）、生育ステージ判定部１０では、ネットワークＮＷを介して当該画像データを送信してきたユーザのスマートフォンＳＰに対して、判定結果出力部１７により、判定結果として除外条件（雨、風、太陽高度、カメラ撮影角度、判別結果の確度など）により正しい判定を行なうことができなかった旨を示すガイドメッセージのデータを返答として出力し（ステップＳ２０４）、以上でこの図５の処理を終了する。
　また上記ステップＳ２０３において、入力された画像データが生育ステージの判定に適合するものであると判断した場合（ステップＳ２０３のＹｅｓ）、次に生育ステージ判定部１０では、入力された画像データを所定サイズの画像ブロックに分割する（ステップＳ２０５）。
　ここで分割するサイズは、画像中のイネの形状や株間が判別できる程度の大きさが望ましい。また、隣接する画像ブロック間で、適度なオーバーラップ率により周囲部分の画像が重複するような分割処理を行なっても良い。加えて、学習フェーズにおいて画像を分割したサイズと同様であることが望ましい。
　生育ステージ判定部１０では、分割した画像ブロックを１つ選択した上で（ステップＳ２０６）、選択した画像ブロックについて学習済モデル保持部１５に保持している学習済モデルを用いて生育ステージの判定する（ステップＳ２０７）。
　次に生育ステージ判定部１０では、まだ判定を行なっていない画像ブロックがないか否かにより、画像ブロックの全判定を終えたか否かを判断する（ステップＳ２０８）。
　まだすべての画像ブロックの判定を終えていないと判断した場合（ステップＳ２０８のＮｏ）、生育ステージ判定部１０では上記ステップＳ２０６からの処理に戻り、同様の処理を実行する。
　こうしてステップＳ２０６～Ｓ２０８の処理を繰り返し実行し、１つの画像データを分割したすべての画像ブロックについて、それぞれ学習済モデル保持部１５が保持する学習済モデルに基づいて生育ステージを判定する。
　入力された画像データを分割したすべての画像ブロックに対する生育ステージの判定を終えたと判断すると（ステップＳ２０８のＹｅｓ）、予め設定した決定手法、例えば多数決理論により、最も多い判定結果である生育ステージの情報を画像データ全体の判定結果とする（ステップＳ２０９）。
　より詳細には、画像ブロックの生育ステージの判定において、例えば５つの生育ステージの確率を算出する。これら算出した確率の中で最も高いものをその画像ブロックの生育ステージとする。確率の分布が全体にばらついており、著しい偏りがなく、高い確度での判定が行なえない場合、例えばステージ１の確率：１５％、ステージ２の確率：２０％、ステージ３の確率：２５％、ステージ４の確率：２０％、ステージ５の確率：２０％であった場合などには、当該画像ブロックは無判定として、多数決の演算には含めない。
　これにより、個々の画像ブロックでの判別において得た確度の高い結果のみを用いて、全体で多数決理論を用いることで、より高い精度で生育ステージの判定を行なう、２段階に分けた判定工程を採ることができる。
　生育ステージ判定部１０では、こうして得た判定結果の生育ステージの情報を判定結果出力部１７により、ネットワークＮＷを介して、画像データを送信してきたユーザのスマートフォンＳＰに対して、判定結果としての生育ステージの情報を返答として出力し（ステップＳ２１０）、以上でこの図５の処理を終了する。
　ここでユーザのスマートフォンＳＰに返送する、判定結果とする生育ステージの情報としては、分割した画像ブロック毎の生育ステージの判定結果を色分けしたドットを重畳した画像データ中の端部に、画像全体での判定結果としての生育ステージの情報を重畳した画像データや、分割した画像ブロックに基づく生育ステージ毎の判定結果の総計をパーセンテージにより併せて表示するようにした画像データを作成することが考えられる。
　加えて、同一ユーザが同一圃場を撮影した画像を連続して送ってきている場合には、サーバＳＶに記録されている判定結果の履歴に基づいて、該当ステージの何日目かを、例えば「○○期ｎ日目」、あるいは推定される次のステージや、追肥を行なうのに適したタイミングまでのカウントダウン表示により、「出穂期まであとｎ日」のような表記を含んだ画像データを作成して返信するものとしても良い。なお、同一ユーザであることは、画像データの送信者ＩＤ情報により容易に判断できる。加えて、ユーザが画像データにＧＰＳデータを付加して送信するような設定とすれば、同一圃場であることも容易に判断できる。
　なお上記図６の処理においては、日照や風による倒伏等の撮影条件を満たしている場合にのみ、学習済データを用いた生育ステージの判定を実行するものとしたが、そのような判定の実行の事前処理を省略して、直接生育ステージの判定を実施するものとしても良い。
　図６は、上記図５で実行される一連の処理の概要を説明する図である。図６（Ａ）に示す。図６（Ａ）に示すように、生育ステージの判定を求める水田ＰＤの画像を、ユーザがスマートフォンＳＰで撮影した後に、ネットワークＮＷを介してサーバ装置ＳＶに送信する。
　ユーザが画像の撮影時にスマートフォンＳＰで実行するアプリケーションプログラムにおいては、カメラ機能により圃場を表示するディスプレイにおいて、撮影の構図、具体的には、圃場端側のイネの側面とその奥に続く稲穂の最上部の連なりを示すようなガイド表示を行なうことで、サーバ装置ＳＶ側での学習内容を活かした精度の高い判定を行なうことができるようにすることが考えられる。
　ユーザからの画像データを画像入力部１６で受け付けた生育ステージ判定部１０では、図６（Ｂ）に示すように学習済モデル保持部１５に保持している学習済モデルを用いて生育ステージの判定を実施する。
　その結果として得られる生育ステージの情報を、サーバ装置ＳＶは図６（Ｃ）に示すように判定結果出力部１７によって、ネットワークＮＷを介してユーザの所持するスマートフォンＳＰに返信する。
　以上詳述した如く本実施形態によれば、非破壊で簡易且つ的確に作物の生育状態を判定することが可能となる。
　また上記実施形態では、生育ステージの判定を行なう対象として、特に水田ＰＤにおける水稲を扱うものとし、幼穂分化期を含む生育ステージの判定も行なうものとしたので、水田ＰＤがより広範囲に渡ることも含めて、日頃のきめ細かい判定が困難な作業を、深層学習を用いた技術により、熟練者ではなくとも容易に実現できる。
　さらに上記実施形態では、撮影する画像データにおける作物の撮影条件を設定し、当該撮影条件を満たしていない画像データの入力を除外するものとしたので、深層学習における判定精度をより向上させることができる。
　また上記実施形態では、判定対象となる作物の画像を撮影する際に、スマートフォンＳＰにインストールされたアプリケーションプログラムに従って、一定の構図での撮影を行なうようなガイド表示を行なうものとしたので、判定に適した作物の画像の撮影を促して、より高い精度での運用が期待できる。
　さらに上記実施形態では、得られた画像を深層学習に適した複数の領域の画像ブロックに分割した上で処理を実行し、それら分割した領域毎に学習済モデルに基づいて生育ステージを判定し、複数の領域の判定結果を総合して、画像データ全体の生育ステージを判定するものとしたので、個々の領域に分割した作物毎の生育ステージの個体差を吸収して、全体として的確な生育ステージの判定を行なうことができる。
　なお上記実施形態では、学習フェーズ及び判定フェーズで取扱う画像データが、カラー画像データから色成分を除去して輝度成分のみとした、グレイスケール化した画像データであるものとした。これにより、色成分の変化によって学習と後の判定とに係る精度が悪化するのを回避できる。
　またグレイスケール化した画像データに代えて、イネのエッジのみを抽出した白黒２値化した画像データを用いるものとしても良い。２値化した画像データを用いることで、計算量を大幅に削減できると共に、太陽光の散乱の影響を完全に除去できる。
　さらに上記実施形態では、判定結果として判定を依頼したユーザに対し、単に作物がどの生育ステージであると判定したのか、の結果だけでなく、過去の同ユーザの同圃場での判定結果の履歴を用いることで、現在の生育ステージとなってから何日目であるのか、次の生育ステージに至るまでに推定で何日かかるのかを併せて提示することができるため、追肥や除草剤の散布等のタイミングを把握し易く、より実用に適したシステムを提供できる。
　なお、本実施形態に関し、水稲の種類を「コシヒカリ」とした画像データを、シーズンを通して取得し、次のシーズンで同一撮影条件による生育ステージの判定を行なう実験を実施した結果、きわめて的確で良好な結果を得ることができたことを付記しておく。
　なお、本発明自体は、水稲の種類を「コシヒカリ」に限定するものではなく、さらに作物を水稲に限定するものでもない。例えば、水稲以外でも大麦、小麦を含む各種麦類、ニンジン、タマネギ、イモ等の根菜類を含む各種野菜などに関しても、地上に露出している部分の画像を撮影することで生育ステージを判定可能な作物であれば、同様に適用することが可能となる。
　その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

Claims (11)

  1. 　作物生育ステージ判定システムのサーバ装置であって、
    　作物を撮影した画像情報を複数入力する第１の画像入力部と、
    　上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部と、
    　上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、
    　生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力部と、
    　上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、
    　上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、
    を備える作物生育ステージ判定システムのサーバ装置。
  2. 　上記作物は水稲であり、上記学習部は、幼穂分化期を含む生育ステージと水稲の画像との対応付けの深層学習を行なう、請求項１記載の作物生育ステージ判定システムのサーバ装置。
  3. 　上記第１の画像入力部及び第２の画像入力部の少なくとも一方は、画像情報に対して設定された作物の撮影条件を満たしていない画像情報の入力を除外する、請求項１または２記載の作物生育ステージ判定システムのサーバ装置。
  4. 　上記第１の画像入力部は、撮影時刻帯を限定した画像情報を複数入力する、請求項１乃至３いずれか記載の作物生育ステージ判定システムのサーバ装置。
  5. 　上記第１の画像入力部及び第２の画像入力部の少なくとも一方は、撮影する作物に対する構図をガイド表示するアプリケーションプログラムに従って撮影された画像情報を識別して受け付ける、請求項１乃至４いずれか記載の作物生育ステージ判定システムのサーバ装置。
  6. 　上記ステージ判定部は、上記第２の画像入力部で入力した画像情報を複数の領域に分割し、分割した領域毎に上記学習部で構築した学習モデルに基づいて生育ステージを判定し、複数の領域の判定結果を総合して画像情報全体の生育ステージを判定する、請求項１乃至５いずれか記載の作物生育ステージ判定システムのサーバ装置。
  7. 　上記ステージ判定部は、分割した領域で判定した結果に対する合致条件を設定し、当該合致条件に達しない判定結果は、複数の領域の判定結果に含めずに画像情報全体の生育ステージを判定する、請求項６記載の作物生育ステージ判定システムのサーバ装置。
  8. 　上記学習部が深層学習を行なう画像情報、及び上記ステージ判定部が生育ステージを判定する画像情報は、グレイスケール化されている、請求項１乃至７いずれか記載の作物生育ステージ判定システムのサーバ装置。
  9. 　上記ステージ判定部で判定した生育ステージを履歴として記録する記録部をさらに備え、
    　上記出力部は、上記ステージ判定部で判定した生育ステージと上記記録部で記録する履歴とから、判定した生育ステージの何日目であるか、及び次の生育ステージに移行するまでに推定で何日あるか、の少なくとも一方を出力する、
    請求項１乃至８いずれか記載の作物生育ステージ判定システムのサーバ装置。
  10. 　作物を撮影した画像情報を複数入力する第１の画像入力工程と、
    　上記第１の画像入力工程で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力工程と、
    　上記第１の画像入力工程で入力した複数の画像情報と上記ステージ情報入力工程で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習工程と、
    　生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力工程と、
    　上記第２の画像入力工程で入力した画像情報に対し、上記学習工程で構築した学習済モデルに基づいて生育ステージを判定するステージ判定工程と、
    　上記ステージ判定工程で判定した生育ステージの情報を出力する出力工程と、
    を有する生育ステージ判定方法。
  11. 　コンピュータが実行するプログラムであって、上記コンピュータを、
    　作物を撮影した画像情報を複数入力する第１の画像入力部と、
    　上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部と、
    　上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、
    　生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力部と、
    　上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、
    　上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、
    して機能させるプログラム。
PCT/JP2018/032066 2018-08-30 2018-08-30 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム WO2020044480A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/032066 WO2020044480A1 (ja) 2018-08-30 2018-08-30 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム
KR1020217005496A KR20210040088A (ko) 2018-08-30 2018-08-30 작물 생육 스테이지 판정 시스템의 서버 장치, 생육 스테이지 판정 방법 및 프로그램
JP2019561334A JP6638121B1 (ja) 2018-08-30 2018-08-30 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム
CN201880096910.0A CN112639869A (zh) 2018-08-30 2018-08-30 作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序
US17/186,305 US11935282B2 (en) 2018-08-30 2021-02-26 Server of crop growth stage determination system, growth stage determination method, and storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032066 WO2020044480A1 (ja) 2018-08-30 2018-08-30 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/186,305 Continuation US11935282B2 (en) 2018-08-30 2021-02-26 Server of crop growth stage determination system, growth stage determination method, and storage medium storing program

Publications (1)

Publication Number Publication Date
WO2020044480A1 true WO2020044480A1 (ja) 2020-03-05

Family

ID=69183655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032066 WO2020044480A1 (ja) 2018-08-30 2018-08-30 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム

Country Status (5)

Country Link
US (1) US11935282B2 (ja)
JP (1) JP6638121B1 (ja)
KR (1) KR20210040088A (ja)
CN (1) CN112639869A (ja)
WO (1) WO2020044480A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7461650B2 (ja) 2020-12-14 2024-04-04 国立研究開発法人農業・食品産業技術総合研究機構 生育状態予測方法及び生育状態予測プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308714B1 (en) * 2018-08-23 2022-04-19 Athenium Llc Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
US11632895B2 (en) * 2019-05-02 2023-04-25 Deere & Company Residue monitoring and residue-based control
JP7243496B2 (ja) * 2019-07-09 2023-03-22 オムロン株式会社 情報処理装置
US11710308B1 (en) * 2019-10-10 2023-07-25 Aerofarms, Inc. Seed germination detection method and apparatus
WO2021176738A1 (ja) * 2020-03-06 2021-09-10 株式会社ナイルワークス 営農システム、営農サーバ及び営農方法
CN114648390B (zh) * 2021-06-22 2022-12-02 布瑞克农业大数据科技集团有限公司 一种农产品推广广告的生成方法和系统
CN114266734B (zh) * 2021-12-03 2023-04-07 深圳市桑瑞生物科技有限公司 植物生长阶段的识别方法、装置、设备及存储介质
CN114821182A (zh) * 2022-05-05 2022-07-29 安徽农业大学 一种水稻生长阶段图像识别方法
CN115131670B (zh) * 2022-09-02 2022-12-20 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备
KR102598012B1 (ko) * 2022-10-17 2023-11-06 순천대학교 산학협력단 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템
CN116863403B (zh) * 2023-07-11 2024-01-02 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN117530031B (zh) * 2024-01-10 2024-04-05 北京科百宏业科技有限公司 智能水肥管理方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6267841B1 (ja) * 2017-04-28 2018-01-24 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
EP3279831A1 (en) * 2016-08-03 2018-02-07 Bayer CropScience AG Recognition of weed in a natural environment using a digital image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003201830B2 (en) * 1998-09-09 2004-05-20 Satake Corporation Method for determining amount of fertilizer application for graincrops, method for estimating quality and yield of grains, and apparatus for providing grain production information
JP4664047B2 (ja) * 2004-11-10 2011-04-06 株式会社エヌ・ティ・ティ・ドコモ 画像処理装置及び画像処理方法
KR101271074B1 (ko) * 2011-07-06 2013-06-04 부산대학교 산학협력단 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템
EP2752808A4 (en) 2011-08-30 2015-02-18 Fujitsu Ltd IMAGING DEVICE, WORK SUPPORT PROGRAM, INFORMATION PROVIDING METHOD, AND INFORMATION PROVIDING PROGRAM
TWI435234B (zh) 2011-11-24 2014-04-21 Inst Information Industry Plant disease identification method, system and record media
JP6261492B2 (ja) 2014-11-28 2018-01-17 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP6539901B2 (ja) * 2015-03-09 2019-07-10 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム
CN104899255B (zh) * 2015-05-15 2018-06-26 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
KR101830056B1 (ko) * 2017-07-05 2018-02-19 (주)이지팜 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108416353B (zh) * 2018-02-03 2022-12-02 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN108982377A (zh) * 2018-07-27 2018-12-11 内蒙古大学 玉米生育期光谱图像与叶绿素含量相关性及时期划分方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3279831A1 (en) * 2016-08-03 2018-02-07 Bayer CropScience AG Recognition of weed in a natural environment using a digital image
JP6267841B1 (ja) * 2017-04-28 2018-01-24 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ITO, ATSUSHI: "Applying a drone for agriculture", IEICE TECHNICAL REPORT, vol. 117, no. 52, 18 May 2017 (2017-05-18), pages 25 - 30 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7461650B2 (ja) 2020-12-14 2024-04-04 国立研究開発法人農業・食品産業技術総合研究機構 生育状態予測方法及び生育状態予測プログラム

Also Published As

Publication number Publication date
US11935282B2 (en) 2024-03-19
US20210183045A1 (en) 2021-06-17
CN112639869A (zh) 2021-04-09
JP6638121B1 (ja) 2020-01-29
KR20210040088A (ko) 2021-04-12
JPWO2020044480A1 (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP6638121B1 (ja) 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム
Sanches et al. The potential for RGB images obtained using unmanned aerial vehicle to assess and predict yield in sugarcane fields
TWI570653B (zh) The treatment of plant symptoms is recommended by systems, methods and recording media
US20170161560A1 (en) System and method for harvest yield prediction
JP4873545B2 (ja) 圃場管理支援方法及びシステム
Awasthi Press †œA†for Artificial Intelligence in Agriculture: A Review
Costa et al. Measuring pecan nut growth utilizing machine vision and deep learning for the better understanding of the fruit growth curve
Črtomir et al. Application of Neural Networks and Image Visualization for Early Forecast of Apple Yield.
Malathy et al. Disease detection in fruits using image processing
Ren et al. Multi-resolution outlier pooling for sorghum classification
CN115601585A (zh) 基于图片分析的农业病虫害诊断方法及装置
Giri et al. Role of artificial intelligence in advancement of agriculture
Wei et al. Wheat biomass, yield, and straw-grain ratio estimation from multi-temporal UAV-based RGB and multispectral images
Pfeifer et al. Towards automatic UAV data interpretation for precision farming
US20220392214A1 (en) Scouting functionality emergence
CN111523457B (zh) 一种杂草识别方法及杂草处理设备
Srivastava et al. Demystifying artificial intelligence amidst sustainable agricultural water management
Singh et al. Enhancing Agricultural Production with Digital Technologies: A Review
Tanaka et al. Deep learning-based estimation of rice yield using RGB image
Widiyanto et al. Monitoring the growth of tomatoes in real time with deep learning-based image segmentation
Fuentes-Peñailillo et al. Digital count of sunflower plants at emergence from very low altitude using UAV images
JP6768767B2 (ja) 作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラム
WO2021225528A1 (en) System and method for ai-based improvement of harvesting operations
CN111143601A (zh) 一种图像处理方法
CN115660236B (zh) 作物物候期预测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019561334

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18931544

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18931544

Country of ref document: EP

Kind code of ref document: A1