WO2018235777A1 - 画像データ加工装置、植物栽培システム及び画像データ加工方法 - Google Patents

画像データ加工装置、植物栽培システム及び画像データ加工方法 Download PDF

Info

Publication number
WO2018235777A1
WO2018235777A1 PCT/JP2018/023131 JP2018023131W WO2018235777A1 WO 2018235777 A1 WO2018235777 A1 WO 2018235777A1 JP 2018023131 W JP2018023131 W JP 2018023131W WO 2018235777 A1 WO2018235777 A1 WO 2018235777A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
input
pixel
feature
value
Prior art date
Application number
PCT/JP2018/023131
Other languages
English (en)
French (fr)
Inventor
峰野　博史
千雅 兼田
瞬 柴田
和昌 若森
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to JP2019525609A priority Critical patent/JP7114092B2/ja
Publication of WO2018235777A1 publication Critical patent/WO2018235777A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Definitions

  • One embodiment of the present invention relates to an image data processing apparatus, a plant cultivation system, and an image data processing method for processing image data indicating a feature of movement of an object.
  • Non-Patent Document 1 describes a method of estimating the degree of withering of a plant using a grass figure image of the plant. In this method, an optical flow between two time-lapse images of a grass figure image is calculated, and the degree of withering is estimated using machine learning with a numerical string obtained by converting the optical flow into a histogram as an explanatory variable.
  • Non-Patent Document 1 In the method described in Non-Patent Document 1 described above, it is difficult to say that machine learning using input data sufficiently reflecting the movement of the object is realized. That is, since histogram data obtained from the entire image data of the object is used, it is difficult to efficiently improve the estimation accuracy of machine learning.
  • One aspect of the present invention is made in view of the above problems, and it is an object of the present invention to provide an image data processing apparatus and an image data processing method capable of realizing machine learning with high estimation accuracy with a small amount of input data. Do.
  • an image data processing apparatus includes an image acquisition unit that continuously acquires an input two-dimensional image related to the appearance of an object at a first time interval;
  • the motion distribution for each pixel is calculated by calculating the direction and the size of the motion for each pixel on the basis of two input two-dimensional images acquired at time intervals that are integral multiples of the first time interval.
  • a feature value in which a plurality of pixel values are reflected for each pixel at the same two-dimensional position for a first image processing unit that continuously generates a motion image that is a two-dimensional image to be shown and a plurality of continuous motion images For machine learning to calculate feature quantities related to the movement of the object based on the second image processing unit that continuously generates feature images that are two-dimensional images by calculating Input data generation to generate input data for And, equipped with a.
  • the image data processing method using the image acquisition unit, continuously acquiring an input two-dimensional image related to the appearance of the object at a first time interval; Calculating the direction and magnitude of movement for each pixel for the two input two-dimensional images acquired at time intervals of integral multiples of the first time interval among the input two-dimensional images by the image processing unit; By the step of continuously generating a motion image, which is a two-dimensional image showing the distribution of motion for each pixel, and by the second image processing unit for a plurality of continuous motion images at the same two-dimensional position.
  • the irrigation control system 10 shown in FIG. 1 is a system that predicts the degree of wilting of the object S, which is a plant such as tomato, numerically, and controls irrigation of the object based on the numerical value.
  • the degree of wilting is predicted based on the movement of the object S by machine learning.
  • a diameter of a stem of subject S is mentioned as a degree of wilting corresponding to water stress of subject S, it is not limited to this.
  • the irrigation control system 10 may predict the weight of the seedling, the inclination of the stem, the spread of the leaves, the color of the leaves, etc., the numerical value of the movement of the other object S showing the degree of withering or water stress.
  • animals such as birds, buildings such as buildings, moving objects such as vehicles, minute objects such as cells, and the like may be used.
  • the camera 3 is installed toward the object S so that an image of the entire appearance of the object S can be obtained.
  • the camera 3 may be installed at a position where it is easy to detect a change in the bulging of the object S, and there may be a plurality of cameras, even if it is a position where an image of only the upper part of the object S can be acquired
  • the object S may be installed in an orientation that allows imaging from the lateral direction (horizontal direction), or the object S may be installed in an orientation that enables imaging from the vertical direction (upper direction or lower direction).
  • the stem diameter sensor 5 is attached to the stem of the object S, and repeatedly measures and outputs measurement data of the diameter of the stem at a predetermined timing.
  • the irrigation control system 10 is configured such that the data acquired by the camera 3 and the measurement data acquired by the stem diameter sensor 5 and the environment sensor 7 can be acquired by the data processing device 1 via the communication network N. Further, the timing of irrigation by the irrigation control unit 9 or the amount of irrigation can be controlled by a control signal sent from the data processor 1 via the communication network N. In addition, it may replace with the irrigation control apparatus 9, and the other apparatus which controls the cultivation conditions of the target object S may be provided. For example, an air conditioning control device may be provided to control the temperature and humidity of the cultivation environment, and a device may be provided to control the supply timing or supply amount of the nutrient.
  • the general hardware configuration of each computer 100 in the data processing apparatus 1 is shown in FIG.
  • the computer 100 includes a CPU (processor) 101 which is an arithmetic device for executing an operating system, application programs, etc., a main storage unit 102 composed of a ROM and a RAM, and an auxiliary storage unit composed of a hard disk and flash memory. And 103, a communication control unit 104 configured by a network card or a wireless communication module, an input device 105 such as a keyboard and a mouse, and an output device 106 such as a display and a printer.
  • the hardware modules mounted differ depending on the type of computer 100. For example, while stationary PCs and workstations often include a keyboard, a mouse, and a monitor as input devices and output devices, in a smartphone, a touch panel often functions as the input devices and output devices.
  • the actual value acquisition unit 11 acquires measurement data regarding the diameter of the stem output by the stem diameter sensor 5. Then, the measured value acquiring unit 11 converts the measured data into data of measured values for machine learning in the image feature amount calculating unit 17 and the learning device 21, and the data of the measured values is converted to the image feature amount calculating unit 17 Hand over to the learning device 21.
  • the numerical value (target variable) to be predicted by machine learning in the image feature quantity calculation unit 17 and the learning device 21 is a difference stem diameter (DSD: Difference Stem Diameter)
  • DSD Difference Stem Diameter
  • the measurement data acquisition unit 15 receives measurement data regarding the ambient environment continuously acquired by the environment sensor 7 as time-series environmental measurement data.
  • the measurement data acquisition unit 15 delivers the received time-series environmental measurement data to the environmental feature quantity calculation unit 19.
  • the image processing unit 16 processes a plurality of input two-dimensional images acquired at a predetermined cycle ⁇ T received by the image acquisition unit 13 (the details of the processing function will be described later).
  • the image processing unit 16 outputs the input data generated as a result of processing of the input two-dimensional image to the image feature amount calculation unit 17.
  • the environmental feature quantity calculator 19 calculates, in time series, a feature quantity related to the degree of shrinkage of the object based on time series environmental measurement data. For example, the environmental feature quantity calculator 19 calculates two types of difference values VDP and HD from the temperature and the relative humidity included in the environmental measurement data. Saturation is an indicator that indicates the amount of water vapor that can be contained in a given space. In addition, when the brightness of the upper part and the inside of the plant community is present as environmental measurement data, the environmental feature quantity calculator 19 calculates the value of leaf area index LAI (Leaf Area Index) from the difference between them. The leaf area index is an index showing the amount of leaves of a plant community. Then, the environment feature quantity calculator 19 outputs the environment measurement data to which the calculated feature quantity is added to the learning device 21 in time series.
  • LAI Leaf Area Index
  • the learning device 21 executes machine learning by the SW-SVR method based on a numerical vector obtained by combining a numerical vector and time-series environmental measurement data.
  • the transition of the predicted value of the differential stem diameter DSD which is the objective variable is calculated.
  • the learning device 21 updates the pattern function used in the method of SW-SVR by executing machine learning based on the data of the actual measurement values obtained from the actual measurement value acquisition unit 11.
  • the sugar content prediction unit 23 predicts the sugar content of the subject S based on the data of the transition related to the stem diameter of the subject S output from the learning device 21. For example, the sugar content prediction unit 23 calculates a withering frequency evaluation value representing the frequency of withering by evaluating the number of times of the minimum value of the transition data of the differential stem diameter DSD within the predetermined period. In addition, the sugar content prediction unit 23 calculates a withering strength evaluation value representing the degree of withering by evaluating the integral value of the transition data of the differential stem diameter DSD within the predetermined period. These withering frequency evaluation values and withering strength evaluation values are highly correlated with the sugar content of the object S in the future.
  • the sugar content prediction unit 23 calculates the sugar content of the target at a predetermined time in the future as a predicted value based on the withered frequency evaluation value and the withered strength evaluation value. Furthermore, the sugar content prediction unit 23 delivers the calculated predicted value of sugar content to the irrigation control unit 25.
  • the irrigation control unit 25 uses the predicted value of the sugar content of the object S calculated by the sugar concentration prediction unit 23 to timing or amount of irrigation of the object S so that the sugar content of the object S approaches the target value. Generates a control signal to control the Then, the irrigation control unit 25 transmits the generated control signal to the irrigation control device 9. Thereby, by controlling the water stress of the object S using irrigation control, it is possible to control the sugar content at the harvest time to a constant value.
  • the first image processing unit 16 a of the image processing unit 16 sets, for each pixel, two consecutive input two-dimensional images among a plurality of input two-dimensional images continuously acquired at a period ⁇ T by the image acquisition unit 13.
  • the motion image which is a two-dimensional image showing the distribution of motion vectors (flows) for each pixel, is continuously generated by calculating the direction and magnitude of the motion. That is, as the two input two-dimensional images, the first image processing unit 16a is n times the period ⁇ T (n represents an integer of 1 or more), that is, two input two acquired at a time interval of n ⁇ ⁇ T.
  • a dimensional image is selected, and a motion image in which information on the magnitude and direction of the motion vector is embedded in each pixel is generated.
  • n determines the acquisition time interval of two input two-dimensional images. Also, by adjusting the integer n that determines the acquisition time interval of two input two-dimensional images, it is possible to reflect the motion of a desired velocity on the motion vector. For example, a relatively slow motion can be reflected by increasing n, and a relatively fast motion can be reflected by decreasing n.
  • the second image processing unit 16b of the image processing unit 16 selects k sheets (k is a positive integer) from the continuous motion images obtained at the acquisition cycle ⁇ T by the first image processing unit 16a, and selects the k pieces A feature value reflecting the pixel values of k motion images is calculated for each pixel at the same two-dimensional position for the motion image, and a two-dimensional image in which the feature value calculated in each pixel is embedded is used as a feature image Generate That is, the second image processing unit 16b selects a pixel value having the largest motion vector size among the k pixel values, and embeds the pixel value of the selected motion vector as a feature value in the two-dimensional image.
  • the second image processing unit 16b may obtain, as the pixel value, an integrated value obtained by integrating the size of the motion vector from the k pixel values, and embed the obtained pixel value of the motion vector as a feature value in the two-dimensional image
  • the second image processing unit 16b obtains an average value obtained by averaging the magnitudes and directions of motion vectors from the pixel values of k sheets, and sets the pixel value of the obtained average value of motion vectors as a feature value to a two-dimensional image. It may be embedded.
  • the second image processing unit 16b continuously generates a feature image for the selected motion image while shifting the acquisition time of k pieces of motion images to be selected from a plurality of continuous motion images by a period ⁇ T. . By such processing, it is possible to obtain a feature image in which pixel values are reflected such that noise other than the movement of the object S is not noticeable.
  • the input data generation unit 16c of the image processing unit 16 calculates a feature amount related to the movement of the object S (for example, the degree of shrinkage of the object S based on the plurality of feature images generated continuously by the second image processing unit 16b). To generate input data for machine learning to calculate a numerical vector). That is, the input data generation unit 16c converts each feature image, which is a two-dimensional image, into a continuous one-dimensional numerical sequence (continuous data), combines these numerical sequences, and converts the input data as a two-dimensional image. Generate Here, when converting the feature image into a continuous one-dimensional numerical value sequence (continuous data), the data may be compressed.
  • FIG. 5 shows an image of the image processed by the image processing unit 16.
  • W ⁇ H W: the number of pixels in the horizontal direction, H: vertical number of pixels
  • motion image G oF is generated by an input two-dimensional image G I of the input two-dimensional image G I and acquisition time t + n ⁇ [Delta] t of the acquisition time t to the subject.
  • the motion image G OF is generated by an input two-dimensional image G I of acquisition time t + [Delta] T of the input two-dimensional image G I and acquisition time t + (n + 1) ⁇ ⁇ T subject, the input of the acquisition time t + 2 ⁇ ⁇ T two
  • a motion image G OF is generated for the two-dimensional image G I of the two-dimensional image G I and the acquisition time t + (n + 2) ⁇ ⁇ T, and then the acquisition times of two input two-dimensional images are shifted while being shifted by a period ⁇ T.
  • the motion image G OF is generated.
  • a feature image G POF in which feature values are embedded is generated.
  • the feature images G POF are continuously generated while shifting the three motion images G OF one by one, and as a result, one input two-dimensional image G I is obtained each time one is obtained.
  • all of the pixel values of the pixels of all the rows in each feature image G POF is connected to the numerical sequence of W ⁇ H number of one-dimensional, numerical sequence of each feature image G POF is embedded in pixels of each line
  • a two-dimensional image of pixel number W ⁇ H ⁇ h is generated as input data GFV .
  • the input data G FV also because they are continuously generated while shifting one at a time h pieces of feature images G POF, resulting in the input two-dimensional image G I are obtained one for each obtained one. Since the input data GFV generated in this way can include information on the movement of the object S obtained at a plurality of acquisition timings, efficient extraction of the time series of movement in the subsequent machine learning Can.
  • the input data generation unit 16c of the image processing unit 16 may generate input data for machine learning by another method. For example, based on a plurality of feature images G POF continuously generated by the second image processing unit 16 b, the input data generation unit 16 c compares the magnitude of the motion vector with the threshold for each pixel, and The pixel of is determined to be an effective pixel, and the pixel below the threshold is determined to be an invalid pixel. That is, it is determined that the pixel whose motion is not observed is not a significant pixel for machine learning. Then, the input data generation unit 16 c reflects the pixel value of the input two-dimensional image G I for the pixel determined as an effective pixel based on the latest input two-dimensional image G I and is determined as an invalid pixel. For the pixels, image data, which is a two-dimensional image in which the pixel values are masked (set to meaningless values), is generated as input data.
  • FIG. 6 shows an image of the image processed by the image processing unit 16. For example, if the W ⁇ H number number of pixels of the input two-dimensional image G I is acquired at a period ⁇ T after time t, as in the case of FIG. 5, the motion image G OF and characteristic images G POF is continuously Generated. Then, a two-dimensional image of W ⁇ H number of pixels is generated as input data GROAF based on the feature images G POF successively generated by the input data generation unit 16 c. As shown in FIG. 6, the input data GROAF is the latest input two-dimensional image G I obtained when generating the input data G ROAF , ie, an input two-dimensional of an acquisition time t + (n + 2) ⁇ ⁇ T.
  • the input data G ROAF also input two-dimensional image G I are obtained one for each obtained one.
  • the input data GROAF generated in this way includes information on the movement of the object S at a certain acquisition timing, while information on pixels with low relevance to the movement can be reduced. It is possible to efficiently learn prediction values regarding motion.
  • FIG. 7 the image of the data of transition of the predicted value of the differential stem diameter DSD output by the learning device 21 is shown.
  • the learning device 21 predicts a change in stem diameter of an object which increases or decreases depending on a change in cultivation environment, and it becomes possible to evaluate the degree of wilting of the object S in the future by transition data of the stem diameter.
  • FIG. 8 is a flow chart showing the processing procedure of irrigation control by the data processing device 1
  • FIG. 9 is a flow chart showing the detailed procedure of the image data processing process of FIG.
  • step S01 when the processing of irrigation control by the data processing device 1 is started in response to an instruction input by the user, etc., acquisition of data of measured values by the measured value acquiring unit 11, image data by the image acquiring unit 13 (input two-dimensional image And acquisition of time-series environmental measurement data by the measurement data acquisition unit 15 is started (step S01).
  • step S02 the image processing unit 16 performs processing of the image data to generate input data for machine learning.
  • step S03 machine learning using input data is executed by the image feature quantity calculation unit 17 to generate a numerical vector as a characteristic quantity representing the degree of shrinkage of the object S, and the generated numerical vector is used as a learning device. 21 is output (step S03).
  • the environment feature quantity calculation unit 19 calculates two types of feature quantities such as saturation differences VDP, HD and the like based on the environment measurement data, and the environment measurement data to which those feature quantities are added learns in time series 21 are input (step S04).
  • machine learning using numerical vectors and time-series environmental measurement data is performed by the learning device 21 to generate transition data of predicted values regarding the stem diameter of the object S, and the transition data is It is output to the sugar content predicting unit 23 (step S05).
  • the sugar content prediction unit 23 predicts the sugar content of the target based on the transition data (step S06).
  • the irrigation control unit 25 generates a control signal for controlling the irrigation to the object S based on the predicted sugar content, and the control signal is transmitted to the irrigation controller 9 (step S07).
  • the irrigation control by the data processing apparatus 1 as described above may be activated each time according to a user's instruction input, or may be automatically activated at a predetermined timing (for example, periodically).
  • the image data processing process by the image processing unit 16 in step S02 is performed in the following procedure (see FIG. 9).
  • a motion image in which each pixel is embedded in each pixel is continuously generated (step S101).
  • feature values reflecting the pixel values of the k motion images were calculated for each pixel at the same two-dimensional position using the k motion images generated continuously, and calculated for each pixel.
  • a feature image in which feature values are embedded is generated (step S102).
  • input data for machine learning for calculating feature quantities related to the movement of the object S is generated based on the plurality of feature images generated continuously (step S103).
  • the image characteristic amount calculation unit 17 is performed by repeating the steps S01 to S05 a plurality of times after the actual measurement value acquisition unit 11 acquires the data of the actual measurement value. And the learning device 21 is made to learn using those data, and parameters (pattern function etc.) for machine learning are constructed in advance. After that, the processing of steps S01 to S07 is executed without acquiring the data of the actual measurement value by the actual measurement value acquisition unit 11, so that the transition data of the prediction value regarding the stem diameter of the object S predicted using machine learning Water based irrigation control is implemented.
  • a numerical vector which is a feature amount is calculated by machine learning based on the image of the grass figure of the object S acquired by the camera 3, and the numerical vector and the environment sensor 7
  • a predicted value of a numerical value regarding the stem diameter representing the degree of withering of the object S is derived.
  • the predicted value is derived using the measurement data acquired by the environment sensor 7 together with the image of the grass figure of the object S, the degree of wilting of the plant according to the cultivation environment can be predicted with high accuracy. .
  • the input data generation unit 16c of the data processing device 1 converts each of the continuous feature images into a series of continuous data, combines the continuous data, and generates input data. By having such a function, it is possible to efficiently include the time-series movement feature of the object S in the input data.
  • the input data generation unit 16c determines an effective pixel or an invalid pixel based on the feature image, and uses the determination result as a input data of a two-dimensional image obtained by masking pixels other than the effective pixel of the input two-dimensional image. It is generated. By so doing, it is possible to extract data of a position related to the movement of the object S from the image data and efficiently generate input data.
  • the predicted value regarding the stem diameter of the object S is derived using the environmental measurement data regarding temperature, humidity, and brightness. Thereby, the degree of wilting of the plant according to the cultivation environment can be predicted with higher accuracy and efficiency.
  • the measurement data acquisition unit 15 acquires time-series environmental measurement data, and the learning device 21 derives a predicted value indicating the degree of shrinkage of the object S using the time-series environmental measurement data, It is not limited to this. That is, the measurement data acquisition unit 15 acquires environment measurement data together with time data indicating the time when the data is acquired, and the learning device 21 uses the environment measurement data including time data to determine the degree of shrinkage of the object S. A predicted value to be shown may be derived.
  • the second image processing unit obtains the maximum value, integrated value, or average value of the plurality of pixel values, and calculates the pixel value of the maximum value, integrated value, or average value as the feature value. By doing this, a feature image may be generated. In this case, it is possible to efficiently include data representing the feature of the movement of the object in the input data.
  • the input data generation unit may convert each of the continuous feature images into a series of continuous data, and combine the continuous data to generate input data.
  • the feature of the time series movement of the object can be efficiently included in the input data.
  • the input data generation unit determines an effective pixel by comparing the threshold value for each pixel of the feature image, reflects the pixel value of the input two-dimensional image for each effective pixel, and masks pixels other than the effective pixel.
  • Image data that is a two-dimensional image may be generated as input data. In this way, it is possible to extract data of a portion related to the movement of the object from the image data and efficiently generate input data.
  • the image feature amount calculation unit may calculate a numerical value related to the movement. In this case, machine learning can predict numerical values related to the movement of the object with high accuracy and efficiency.
  • One aspect of the present invention is an image data processing apparatus for processing image data indicating characteristics of movement of an object, a plant cultivation system, and an image data processing method for use, and machine learning with high estimation accuracy with a small amount of input data. Can be realized.
  • SYMBOLS 1 Data processing apparatus (image data processing apparatus), 3 ... Camera (image acquisition part), 5 ... Stem diameter sensor, 7 ... Environment sensor, 10 ... Irrigation control system, 16 ... Image processing part, 16a ... 1st image processing Unit 16b: second image processing unit 16c: input data generation unit 17: image feature amount calculation unit 21: learning unit 23: sugar content prediction unit S: target object

Abstract

データ処理装置１は、対象物Ｓの外観に関する入力二次元画像を周期ΔＴで連続して取得する画像取得部と、入力二次元画像のうち、ｎ×ΔＴ（ｎは整数）の時間間隔で取得された２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成する第１画像加工部１６ａと、連続した複数の動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成する第２画像加工部１６ｂと、連続した特徴画像を基に、対象物Ｓの動きに関する特徴量を算出するための機械学習用の入力データを生成する入力データ生成部１６ｃと、を備える。

Description

画像データ加工装置、植物栽培システム及び画像データ加工方法
　本発明の一形態は、対象物の動きの特徴を示す画像データを加工する画像データ加工装置、植物栽培システム及び画像データ加工方法に関する。
　近年、植物、動物、建造物等の対象物の画像データを取得して、その画像データを基に機械学習を用いて対象物の動きに関する数値を評価する仕組みが検討されている。例えば、下記非特許文献１には、植物の草姿画像を用いた植物の萎れ具合の推定の手法について記載されている。この手法では、草姿画像の２時点の画像間におけるオプティカルフローを算出し、そのオプティカルフローをヒストグラム化した数値列を説明変数として機械学習を用いて萎れ具合を推定する。
若森和昌、外３名、「草姿画像を用いた植物萎れ具合高精度推定」、情報処理学会第７９回全国大会、ｐ３－２３１～３－２３２、２０１７年３月
　上述した非特許文献１に記載の手法では、対象物の動きを十分に反映した入力データを用いた機械学習が実現されているとは言い難い。すなわち、対象物の画像データの全体から得られたヒストグラムデータを用いているため、機械学習の推定精度を効率よく高めることが難しい。
　本発明の一側面は、上記課題に鑑みて為されたものであり、少ない入力データの量で高い推定精度の機械学習を実現できる画像データ加工装置及び画像データ加工方法を提供することを目的とする。
　上記課題を解決するため、本発明の一形態にかかる画像データ加工装置は、対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得する画像取得部と、入力二次元画像のうち、第１の時間間隔の整数倍の時間間隔で取得された２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成する第１の画像加工部と、連続した複数の動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成する第２の画像加工部と、連続した特徴画像を基に、対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成する入力データ生成部と、を備える。
　あるいは、本発明の他の形態にかかる画像データ加工方法では、画像取得部を用いて、対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得するステップと、第１の画像加工部により、入力二次元画像のうち、第１の時間間隔の整数倍の時間間隔で取得された２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成するステップと、第２の画像加工部により、連続した複数の動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成するステップと、入力データ生成部により、連続した特徴画像を基に、対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成するステップと、を備える。
　上記形態の画像データ加工装置あるいは画像データ加工方法によれば、第１の時間間隔で連続して取得された入力二次元画像のうち、第１の時間間隔の整数倍の時間間隔で取得された２つの入力二次元画像を用いて、画素毎の動きの分布を示す動き画像が連続して生成され、連続した動き画像における画素毎の特徴値が算出されることにより、特徴画像が連続して生成され、その連続した特徴画像を基に機械学習用の入力データが生成される。これにより、入力データに対象物の動きの特徴を表すデータを効率的に含めることができ、少ない入力データの量で対象物の動きに関する特徴量に関する機械学習の精度を高めることができる。
　本発明の一側面によれば、少ない入力データの量で高い推定精度の機械学習を実現できる。
実施形態にかかる灌水制御システムの概略構成を示す図である。 図１のデータ処理装置を構成するコンピュータのハードウェア構成を示す図である。 図１のデータ処理装置１の機能構成を示すブロック図である。 図３の画像加工部１６の機能構成を示すブロック図である。 図３の画像加工部１６によって加工された画像のイメージを示す図である。 図３の画像加工部１６によって加工された画像のイメージを示す図である。 図３の学習器２１によって出力される差分茎径ＤＳＤの予測値の推移のデータのイメージを示すグラフである。 図１のデータ処理装置１による灌水制御の処理手順を示すフローチャートである。 図８の画像データ加工処理の詳細手順を示すフローチャートである。
　以下、図面を参照しつつ本発明に係る画像データ加工装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
　まず、図１～６を用いて、本発明の一実施形態にかかる画像データ加工装置を含む灌水制御システム１０の機能および構成を説明する。図１に示す灌水制御システム１０は、トマト等の植物である対象物Ｓの萎れ具合を数値で予測し、その数値に基づいて対象物に対する灌水を制御するシステムである。灌水制御システム１０では、機械学習により対象物Ｓの動きを基に萎れ具合が予測される。
　本実施形態で使用する機械学習は、既知の値の集合であるトレーニングデータを学習することでパターン関数を生成し、そのパターン関数を用いて未知の値を予測する処理である。本実施形態では、数値列であるトレーニングデータを用い、そのトレーニングデータから得られたパターン関数を用いて将来の時点における値を予測する。なお、数値列とは、対象物Ｓに関する現象の様々な観測値によって得られた数値の系列であり、その現象をある規則に基づいて観測することにより得られた数値の系列である。機械学習の例として、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）、あるいはそのＳＶＭを回帰に対応させたサポートベクター回帰（ＳＶＲ）、決定木学習，相関ルール学習，ベイジアンネットワークなどが挙げられるが、灌水制御システム１０はこれ以外のアルゴリズムを用いてもよい。
　灌水制御システム１０が予測する対象としては、対象物Ｓの水分ストレスに対応する萎れ具合として対象物Ｓの茎の径が挙げられているが、これには限定されない。例えば、灌水制御システム１０は、苗の重さ、茎の傾き、葉の広がり具合、葉の色調等、萎れ具合あるいは水分ストレスを示す他の対象物Ｓの動きに関する数値を予測してもよい。また、対象物Ｓとしても、植物以外に、鳥等の動物、ビル等の建造物、車両等の移動物体、細胞等の微小な物体、などを対象としてもよい。
　図１に示すように、灌水制御システム１０は、栽培対象である対象物Ｓの草姿（外観）の二次元画像（入力二次元画像）を所定の周期ΔＴ（第１の時間間隔）で定期的（例えば、１分間隔）に取得する画像取得部としてのカメラ３と、対象物Ｓの茎の径を測定する茎径センサ５と、対象物Ｓの周囲環境に関する測定データを所定の周期（例えば、１分間隔）で定期的に出力する環境センサ７と、対象物への灌水タイミングあるいは灌水の量を外部からの制御信号によって制御する灌水制御装置９と、これらのカメラ３、茎径センサ５、環境センサ７、及び灌水制御装置９と無線あるいは有線の通信ネットワークＮを経由して接続されたデータ処理装置（画像データ加工装置）１とによって構成されている。カメラ３は、対象物Ｓの全体の外観の画像が取得可能なように、対象物Ｓに向けて設置されている。なお、カメラ３は、対象物Ｓの萎れの変化を検出しやすい位置に設置されていればよく、複数台あってもよく、対象物Ｓの上部のみの画像を取得可能な位置であってもよく、対象物Ｓを横方向（水平方向）から撮像可能な向きで設置されていてもよく、対象物Ｓを垂直方向（上方向あるいは下方向）から撮像可能な向きで設置されていてもよい。茎径センサ５は、対象物Ｓの茎に取り付けられ、茎の径の測定データを所定のタイミングで繰り返し計測して出力する。このような茎径センサ５としては、例えば、投光器と受光器とを含むレーザラインセンサが用いられるが、茎の径が計測できるものであれば特定の構成のものには限定されない。ここで、この茎径センサ５から出力される測定データは、データ処理装置１における機械学習で実測値を表すトレーニングデータとして用いられるが、パターン関数が既に生成されてデータ処理装置１に保持されている場合は、茎径センサ５は取り外されてもよいし、灌水制御システム１０に含まれていなくてもよい。環境センサ７は、対象物Ｓの栽培環境に設置され、対象物の周囲環境に関する測定値を測定可能なセンサ装置である。この環境センサ７は、例えば、温度、相対湿度、日射量（明るさ）、光合成有効光量子束密度（PPFD）等を測定可能なセンサ装置が選択されるが、これらのうちの一部を測定可能なセンサ装置であってもよいし、その他の環境に関する測定値を測定可能なセンサ装置であってもよい。また、環境センサ７は、１つの場所に設置されることには限定されず、栽培環境下の複数の場所に複数で設置されてもよい。
　灌水制御システム１０は、カメラ３で取得された画像、茎径センサ５及び環境センサ７で取得された測定データが通信ネットワークＮを介してデータ処理装置１によって取得可能に構成されている。また、灌水制御装置９による灌水タイミングあるいは灌水の量が通信ネットワークＮを介してデータ処理装置１から送られた制御信号によって制御可能に構成されている。なお、灌水制御装置９に代えて、対象物Ｓの栽培条件を制御する他の装置が設けられてもよい。例えば、栽培環境の温度、湿度を制御する空調制御装置が設けられてもよいし、養分の供給タイミングあるいは供給量を制御する装置が設けられてもよい。
　データ処理装置１は１台以上のコンピュータを備え、複数台のコンピュータを備える場合には、後述するデータ処理装置１の各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ（ＰＣ）を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末を用いてもよい。あるいは、様々な種類のコンピュータを組み合わせてデータ処理装置１を構築してもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
　データ処理装置１内の個々のコンピュータ１００の一般的なハードウェア構成を図２に示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置であるＣＰＵ（プロセッサ）１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ１００の種類により異なる。例えば、据置型のＰＣおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびモニタを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。
　後述するデータ処理装置１の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
　図３に示すように、データ処理装置１は、機能的構成要素として、実測値取得部１１、画像取得部１３、測定データ取得部１５、画像加工部１６、画像特徴量算出部１７、環境特徴量算出部１９、学習器２１、糖度予測部２３、及び灌水制御部２５を備える。
　実測値取得部１１は、茎径センサ５によって出力された茎の径に関する測定データを取得する。そして、実測値取得部１１は、測定データを、画像特徴量算出部１７及び学習器２１における機械学習のための実測値のデータに変換し、その実測値のデータを画像特徴量算出部１７及び学習器２１に引き渡す。例えば、画像特徴量算出部１７及び学習器２１における機械学習による予測対象の数値（目的変数）が差分茎径（ＤＳＤ：Difference　Stem　Diameter）の場合には、実測値のデータとして差分茎径のデータに変換し、機械学習による予測対象の数値（目的変数）が相対茎径（ＲＳＤ：Relative　Stem　Diameter）の場合には、実測値のデータとして相対茎径のデータに変換する。差分茎径ＤＳＤは、現在の茎の径の値を過去に観測された茎の径の最大値から減算することにより算出される対象物Ｓの動きに関する値である。相対茎径ＲＳＤは、現在の茎の径の値を過去に観測された茎の径の最大値で除算することにより算出される対象物Ｓの動きに関する値である。どちらの値ＤＳＤ、ＲＳＤも、対象物Ｓの萎れ具合を表す評価値として用いられる。
　画像取得部１３は、カメラ３によって連続して取得された入力二次元画像を受信する。画像取得部１３は、受信した入力二次元画像を画像加工部１６に引き渡す。
　測定データ取得部１５は、環境センサ７によって連続して取得された周囲環境に関する測定データを、時系列の環境測定データとして受信する。測定データ取得部１５は、受信した時系列の環境測定データを、環境特徴量算出部１９に引き渡す。
　画像加工部１６は、画像取得部１３によって受信された所定の周期ΔＴで取得された複数の入力二次元画像を加工する（加工機能の詳細は後述する。）。画像加工部１６は、入力二次元画像の加工の結果生成した入力データを画像特徴量算出部１７に出力する。
　画像特徴量算出部１７は、入力データを基に、機械学習を用いて対象物Ｓの萎れ具合に関する特徴量である数値ベクトル（数値列）を算出する。例えば、画像特徴量算出部１７は、入力データと実測値のデータとを用いて、将来（例えば、それぞれの画像データの取得時点から所定時間後）の差分茎径ＤＳＤを目的変数とした教師あり機械学習を実行する。機械学習の例としては、公知の深層学習の手法である畳み込みニューラルネットワーク（ＣＮＮ）が挙げられる。ＣＮＮは、畳み込みとプーリングを繰り返すことで画像データから機械的に特徴量を抽出できる手法である。ＣＮＮを用いる場合の一例を示すと、画像特徴量算出部１７は、畳み込み層とプーリング層とにおける処理を何回か（例えば、５回）繰り返した後に、出力層における処理を経由して、目的変数である差分茎径ＤＳＤの予測値を算出する。この予測値が対象物Ｓの将来の萎れ具合を表している。その際、画像特徴量算出部１７は、算出した予測値と実測値のデータとを基に、機械学習を進めることで畳み込み層で用いるフィルタパラメータ等のパターン関数を更新できる。ここで、画像特徴量算出部１７は、いったんパターン関数を構築した後は、実測値のデータを用いたパターン関数の更新は停止してもよく、最初からパターン関数が構築されている場合には、パターン関数の更新の機能は含まれていなくてもよい。さらに、画像特徴量算出部１７は、構築された状態での画像データを対象にしたＣＮＮの隠れ層の最終段の出力を、特徴量である数値ベクトル（例えば、２５６列の数値ベクトル）として、学習器２１に出力する。
　環境特徴量算出部１９は、時系列の環境測定データを基に対象物の萎れ具合に関連する特徴量を時系列に算出する。例えば、環境特徴量算出部１９は、環境測定データに含まれる温度および相対湿度から２種類の飽差ＶＤＰ，ＨＤの値を算出する。飽差とは、一定の空間中に含むことのできる水蒸気の量を示す指標である。また、環境特徴量算出部１９は、環境測定データとして植物群落の上部と内部の明るさがある場合、それらの差から葉面積指数ＬＡＩ（Leaf　Area　Index）の値を算出する。葉面積指数とは、植物群落の葉の量を示す指標である。そして、環境特徴量算出部１９は、算出した特徴量を付加した環境測定データを、時系列に学習器２１に出力する。
　学習器２１は、画像特徴量算出部１７によって算出された数値ベクトルと、環境特徴量算出部１９から出力された時系列の環境測定データとを基に、対象物Ｓの萎れ具合を表す数値として、差分茎径ＤＳＤの予測値を導出する。この予測値の導出には、本発明者らによる自律順応型学習器であるＳＷ－ＳＶＲ（Sliding　Window-based　Support　Vector　Regression）の手法（特開２０１６－０９９７３８号公報参照）、あるいは、公知のＲＮＮの手法が用いられうる。ＳＷ－ＳＶＲは、時間経過に伴い特性が複雑に変化する微気象データなどの予測に適した手法である。ＳＷ－ＳＶＲの手法を用いる場合の一例を説明すると、学習器２１は、数値ベクトルと時系列の環境測定データとを組み合わせた数値ベクトルを基に、ＳＷ－ＳＶＲの手法による機械学習を実行することにより、目的変数である差分茎径ＤＳＤの予測値の推移を算出する。数値ベクトルと時系列の環境測定データとを組み合わせた数値ベクトルを求める際には、入力二次元画像を基にした数値ベクトルと環境測定データとが同等な影響度を有するようにデータ増幅等によって同じバランスに設定してから組み合わせるようにしてもよい。その際、学習器２１は、実測値取得部１１から得られた実測値のデータを基に、機械学習を実行することによりＳＷ－ＳＶＲの手法で用いるパターン関数を更新する。ここで、学習器２１は、いったんパターン関数を構築した後は、実測値のデータを用いたパターン関数の更新は停止してもよく、最初からパターン関数が構築されている場合には、パターン関数の更新の機能は含まれていなくてもよい。そして、学習器２１は、パターン関数が構築された状態での機械学習による差分茎径ＤＳＤの予測値の推移のデータを、糖度予測部２３に出力する。
　糖度予測部２３は、学習器２１から出力された対象物Ｓの茎径に関する推移のデータを基に、対象物Ｓの糖度を予測する。例えば、糖度予測部２３は、所定期間内での差分茎径ＤＳＤの推移データの極小値の回数を評価することにより、萎れの頻度を表す萎れ頻度評価値を算出する。また、糖度予測部２３は、所定期間内での差分茎径ＤＳＤの推移データの積分値を評価することにより、萎れの程度を表す萎れ強度評価値を算出する。これらの萎れ頻度評価値と萎れ強度評価値は、将来の対象物Ｓの糖度と相関が高い。その性質を利用して、糖度予測部２３は、将来の所定時点での対象物の糖度を、萎れ頻度評価値と萎れ強度評価値とを基に予測値として算出する。さらに、糖度予測部２３は、算出した糖度の予測値を灌水制御部２５に引き渡す。
　灌水制御部２５は、糖度予測部２３によって算出された対象物Ｓの糖度の予測値を基に、対象物Ｓの糖度が目標値に近づくように対象物Ｓへの灌水のタイミングあるいは灌水の量を制御するための制御信号を生成する。そして、灌水制御部２５は、生成した制御信号を灌水制御装置９に向けて送信する。これにより、灌水制御を用いて対象物Ｓの水分ストレスを制御することによって、収穫時期における糖度を一定値に制御することができる。
　次に、図４～６を参照して、画像加工部１６の機能の詳細について説明する。図４は、画像加工部１６に含まれる機能を示すブロック図、図５及び図６は、画像加工部１６によって加工された画像のイメージを示す図である。図４に示すように、画像加工部１６は、第１画像加工部１６ａ、第２画像加工部１６ｂ、及び入力データ生成部１６ｃを含んでいる。
　画像加工部１６の第１画像加工部１６ａは、画像取得部１３によって周期ΔＴで連続的に取得された複数の入力二次元画像のうち、連続する２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎に動きベクトル（フロー）の分布を示す二次元画像である動き画像を連続して生成する。すなわち、第１画像加工部１６ａは、２つの入力二次元画像として、周期ΔＴのｎ倍（ｎは１以上の整数を示す）、つまり、ｎ×ΔＴの時間間隔で取得された２つの入力二次元画像を選択し、それらを対象に動きベクトルの大きさ及び方向の情報が各画素に埋め込まれた動き画像を生成する。このとき、第１画像加工部１６ａは、連続した複数の入力二次元画像から選択する２つの入力二次元画像の取得時間を周期ΔＴほどずらしながら、選択した入力二次元画像を対象に連続して動き画像を生成する。このような動きベクトルの生成手法としては、様々な手法が用いられうるが、例えば、オプティカルフローの１種であるディープフロー（例えば、文献「Weinzaepfel,　P.,　Revaud,　J.,　Harchaoui,　Z.,　Schmid,　C.:　Deepflow:　Large　displacement　Optical　Flow　with　deep　matching.　In:　ICCV,　pp.1385-1392,　Sydney　(2013).」参照）のアルゴリズムが用いられる。このような手法によれば、動きベクトルの二次元画像の各画素に物体の動きの速さ及び方向に関する情報を含めることができる。また、２つの入力二次元画像の取得時間間隔を決める整数ｎを調整することにより、動きベクトルに所望の速度の動きを反映させることができる。例えば、ｎを大きくすれば比較的ゆっくりとした動きを反映できるし、ｎを小さくすれば比較的速い動きを反映できる。
　画像加工部１６の第２画像加工部１６ｂは、第１画像加工部１６ａによって取得周期ΔＴで得られた連続する動き画像からｋ枚（ｋは正の整数）を選択して、そのｋ枚の動き画像を対象に同一の２次元位置の画素毎にｋ枚の動き画像の画素値を反映した特徴値を算出し、それぞれの画素に算出した特徴値が埋め込まれた二次元画像を特徴画像として生成する。すなわち、第２画像加工部１６ｂは、ｋ枚の画素値のうち動きベクトルの大きさが最大である画素値を選択し、選択した動きベクトルの画素値を特徴値として二次元画像に埋め込む。また、第２画像加工部１６ｂは、ｋ枚の画素値から動きベクトルの大きさを積算した積算値を画素値として求め、求めた動きベクトルの画素値を特徴値として二次元画像に埋め込んでもよいし、第２画像加工部１６ｂは、ｋ枚の画素値から動きベクトルの大きさ及び方向を平均化した平均値を求め、求めた動きベクトルの平均値の画素値を特徴値として二次元画像に埋め込んでもよい。このとき、第２画像加工部１６ｂは、連続した複数の動き画像から選択するｋ枚の動き画像の取得時間を周期ΔＴほどずらしながら、選択した動き画像を対象に連続して特徴画像を生成する。このような処理により、対象物Ｓの動き以外のノイズが目立たないように画素値が反映された特徴画像を得ることができる。
　画像加工部１６の入力データ生成部１６ｃは、第２画像加工部１６ｂによって連続して生成された複数の特徴画像を基に、対象物Ｓの動きに関する特徴量（例えば、対象物Ｓの萎れ具合に関する数値ベクトル）を算出するための機械学習用の入力データを生成する。すなわち、入力データ生成部１６ｃは、二次元画像であるそれぞれの特徴画像を連続した一次元の数値列（連続データ）に変換し、それらの数値列を合成して二次元画像である入力データを生成する。ここで、特徴画像を連続した一次元の数値列（連続データ）に変換する際には、データを圧縮してもよい。
　図５には、画像加工部１６によって加工された画像のイメージを示している。例えば、Ｗ×Ｈ（Ｗ：水平方向の画素数、Ｈ：垂直方向の画素数）の入力二次元画像ＧＩが時刻ｔ以降に周期ΔＴで取得された場合、第１画像加工部１６ａによって、取得時刻ｔの入力二次元画像ＧＩと取得時刻ｔ＋ｎ・ΔＴの入力二次元画像ＧＩを対象にして動き画像ＧＯＦが生成される。同様にして、取得時刻ｔ＋ΔＴの入力二次元画像ＧＩと取得時刻ｔ＋（ｎ＋１）・ΔＴの入力二次元画像ＧＩを対象にして動き画像ＧＯＦが生成され、取得時刻ｔ＋２・ΔＴの入力二次元画像ＧＩと取得時刻ｔ＋（ｎ＋２）・ΔＴの入力二次元画像ＧＩを対象にして動き画像ＧＯＦが生成され、その後、２つの入力二次元画像の取得時刻を周期ΔＴだけずらしながら連続して動き画像ＧＯＦが生成される。さらに、第２画像加工部１６ｂによって、生成された連続する３つの動き画像ＧＯＦを対象にして（ｋ＝３）、同一の２次元位置の画素毎に特徴値が算出され、それぞれの画素に特徴値が埋め込まれた特徴画像ＧＰＯＦが生成される。この特徴画像ＧＰＯＦは、３つの動き画像ＧＯＦを１つずつずらしながら連続して生成されるため、結果として入力二次元画像ＧＩが１つ得られるたびに１つ得られる。次に、入力データ生成部１６ｃによって、連続して生成されたｈ個（ｈは２以上の整数、例えばｈ＝６）の特徴画像ＧＰＯＦを合成することにより入力データＧＦＶが生成される。例えば、それぞれの特徴画像ＧＰＯＦにおけるすべての行の画素の画素値がＷ×Ｈ個の一次元の数値列に連結され、それぞれの特徴画像ＧＰＯＦの数値列が各行の画素に埋め込まれた全画素数Ｗ×Ｈ×ｈの二次元画像が、入力データＧＦＶとして生成される。この入力データＧＦＶも、ｈ個の特徴画像ＧＰＯＦを１つずつずらしながら連続して生成されるため、結果として入力二次元画像ＧＩが１つ得られるたびに１つ得られる。このように生成された入力データＧＦＶには、複数の取得タイミングで得られた対象物Ｓの動きの情報を含められるため、後段の機械学習において動きの時系列性を効率的に抽出することができる。
　なお、画像加工部１６の入力データ生成部１６ｃは、他の手法によって機械学習用の入力データを生成してもよい。例えば、入力データ生成部１６ｃは、第２画像加工部１６ｂによって連続して生成された複数の特徴画像ＧＰＯＦを基に、それぞれの画素毎に動きベクトルの大きさを閾値と比較し、閾値以上の画素を有効画素と判定し、閾値未満の画素を無効画素と判定する。つまり、動きが観測されない画素は機械学習に対して有意な画素ではないと判定する。そして、入力データ生成部１６ｃは、最新の入力二次元画像ＧＩを基にして、有効画素と判定された画素については入力二次元画像ＧＩの画素値を反映し、無効画素と判定された画素については画素値をマスクした（無意な値に設定した）二次元画像である画像データを入力データとして生成する。
　図６には、画像加工部１６によって加工された画像のイメージを示している。例えば、Ｗ×Ｈ個の画素数の入力二次元画像ＧＩが時刻ｔ以降に周期ΔＴで取得された場合、図５の場合と同様にして、動き画像ＧＯＦ及び特徴画像ＧＰＯＦが連続して生成される。そして、入力データ生成部１６ｃによって、連続して生成されたそれぞれの特徴画像ＧＰＯＦを基に、Ｗ×Ｈ個の画素数の二次元画像が、入力データＧＲＯＡＦとして生成される。図６に示すように、入力データＧＲＯＡＦは、その入力データＧＲＯＡＦを生成する際に得られている最新の入力二次元画像ＧＩ、すなわち、取得時刻ｔ＋（ｎ＋２）・ΔＴの入力二次元画像ＧＩを基に生成される。この入力データＧＲＯＡＦも、入力二次元画像ＧＩが１つ得られるたびに１つ得られる。このように生成された入力データＧＲＯＡＦには、ある取得タイミングでの対象物Ｓの動きの情報が含められる一方で、動きに関連性の薄い画素の情報は削減できるため、後段の機械学習において動きに関する予測値を効率的に学習することができる。
　図７には、学習器２１によって出力される差分茎径ＤＳＤの予測値の推移のデータのイメージを示している。このように、学習器２１によって、栽培環境の変化によって増減する対象物の茎径の変化が予測され、茎径の推移データによって将来の対象物Ｓの萎れ具合の評価が可能となる。
　以下、図８及び図９を参照して、上述したデータ処理装置１による灌水制御の処理手順について説明するとともに、本実施形態にかかる萎れ具合予測方法の手順について詳述する。図８は、データ処理装置１による灌水制御の処理手順を示すフローチャートであり、図９は、図８の画像データ加工処理の詳細手順を示すフローチャートである。
　まず、ユーザによる指示入力等を契機にデータ処理装置１による灌水制御の処理が起動されると、実測値取得部１１による実測値のデータの取得、画像取得部１３による画像データ（入力二次元画像）の取得、及び測定データ取得部１５による時系列の環境測定データの取得が開始される（ステップＳ０１）。なお、画像特徴量算出部１７及び学習器２１におけるパターン関数の構築が既に済んでいる場合には、実測値のデータの取得の処理は省略されてもよい。次に、画像加工部１６により、画像データの加工処理が行われ機械学習用の入力データが生成される（ステップＳ０２）。
　その後、画像特徴量算出部１７によって、入力データを用いた機械学習が実行されることにより、対象物Ｓの萎れ具合を表す特徴量としての数値ベクトルが生成され、生成された数値ベクトルが学習器２１に出力される（ステップＳ０３）。それとともに、環境特徴量算出部１９によって、環境測定データを基に２種類の飽差ＶＤＰ，ＨＤ等の特徴量が算出され、それらの特徴量が付加された環境測定データが時系列に学習器２１に入力される（ステップＳ０４）。
　それに応じて、学習器２１により、数値ベクトル及び時系列の環境測定データを用いた機械学習が実行されることにより、対象物Ｓの茎径に関する予測値の推移データが生成され、その推移データが糖度予測部２３に出力される（ステップＳ０５）。次に、糖度予測部２３により、推移データを基に対象物の糖度が予測される（ステップＳ０６）。最後に、灌水制御部２５により、予測された糖度を基に対象物Ｓへの灌水を制御するための制御信号が生成され、その制御信号が灌水制御装置９に向けて送信される（ステップＳ０７）。以上のようなデータ処理装置１による灌水制御は、ユーザの指示入力に応じてその都度起動されてもよいし、所定のタイミングで（例えば、定期的に）自動起動されてもよい。
　ステップＳ０２における画像加工部１６による画像データ加工処理は次のような手順で実行される（図９参照）。最初に、周期ΔＴで連続して取得される画像データのうち、ｎ×ΔＴの時間間隔で取得された２つの入力二次元画像が選択され、それらを対象に動きベクトルの大きさ及び方向の情報が各画素に埋め込まれた動き画像が連続して生成される（ステップＳ１０１）。次に、連続して生成されたｋ枚の動き画像を用いて、同一の２次元位置の画素毎にｋ枚の動き画像の画素値を反映した特徴値が算出され、それぞれの画素に算出した特徴値が埋め込まれた特徴画像が生成される（ステップＳ１０２）。さらに、連続して生成された複数の特徴画像を基に、対象物Ｓの動きに関する特徴量を算出するための機械学習用の入力データが生成される（ステップＳ１０３）。
　なお、図８及び図９に示される処理を実行する際には、実測値取得部１１によって実測値のデータを取得させてからステップＳ０１～Ｓ０５を複数回繰り返すことにより、画像特徴量算出部１７及び学習器２１にそれらのデータを用いて学習させて、機械学習のためのパラメータ（パターン関数等）を前もって構築させておく。その後、実測値取得部１１によって実測値のデータを取得させることなくステップＳ０１～Ｓ０７の処理が実行されることにより、機械学習を用いて予測された対象物Ｓの茎径に関する予測値の推移データを基にした灌水制御が実行される。
　以上説明した灌水制御システム１０によれば、カメラ３によって取得された対象物Ｓの草姿の画像を基に、機械学習によって特徴量である数値ベクトルが算出され、その数値ベクトルと環境センサ７によって取得された測定データとを用いた機械学習によって、対象物Ｓの萎れ具合を表す茎径に関する数値の予測値が導出される。これにより、カメラ３と環境センサ７とを含む簡易なシステムを用いた簡易な操作によって、対象物Ｓの萎れ具合を予測するシステムが実現できる。また、対象物Ｓの草姿の画像と共に環境センサ７によって取得される測定データをも用いて予測値が導出されるので、栽培環境に応じた植物の萎れ具合を高精度に予測することができる。
　また、データ処理装置１による画像データ加工の手法によれば、周期ΔＴで連続して取得された入力二次元画像のうち、ｎ×ΔＴの時間間隔で取得された２つの入力二次元画像を用いて、画素毎の動きの分布を示す動き画像が連続して生成され、連続した動き画像における画素毎の特徴値が算出されることにより、特徴画像が連続して生成され、その連続した特徴画像を基に機械学習用の入力データが生成される。これにより、入力データに対象物Ｓの動きの特徴を表すデータを効率的に含めることができ、少ない入力データの量で対象物の動きに関する特徴量に関する機械学習の精度を高めることができる。
　ここで、データ処理装置１の入力データ生成部１６ｃは、連続した特徴画像のそれぞれを一連の連続データに変換し、連続データを合成して入力データを生成している。このような機能を有することにより、対象物Ｓの時系列の動きの特徴を入力データに効率的に含めることができる。
　また、入力データ生成部１６ｃは、特徴画像を基に有効画素あるいは無効画素を判定し、その判定結果を基に入力二次元画像の有効画素以外の画素をマスクした二次元画像を、入力データとして生成している。こうすれば、画像データ中から対象物Ｓの動きに関連する位置のデータを抽出して効率的に入力データを生成することができる。
　また、灌水制御システム１０では、温度、湿度、及び明るさに関する環境測定データを用いて対象物Ｓの茎径に関する予測値が導出されている。これにより、栽培環境に応じた植物の萎れ具合をさらに高精度かつ効率的に予測することができる。
　なお、本発明は、上述した実施形態の態様に限定されるものではない。
　例えば、測定データ取得部１５は、時系列の環境測定データを取得し、学習器２１は、時系列の環境測定データを用いて対象物Ｓの萎れ具合を示す予測値を導出していたが、これには限定されない。すなわち、測定データ取得部１５は、環境測定データをそのデータが取得された時刻を示す時刻データと共に取得し、学習器２１は、時刻データを含む環境測定データを用いて対象物Ｓの萎れ具合を示す予測値を導出してもよい。
　ここで、上記実施形態では、第２の画像加工部は、複数の画素値の最大値、積算値、あるいは平均値を求め、最大値、積算値、あるいは平均値の画素値を特徴値として算出することにより、特徴画像を生成する、こととしてもよい。この場合、入力データに対象物の動きの特徴を表すデータを効率的に含めることができる。
　また、入力データ生成部は、連続した特徴画像のそれぞれを一連の連続データに変換し、連続データを合成して入力データを生成する、こととしてもよい。この場合、対象物の時系列の動きの特徴を入力データに効率的に含めることができる。
　また、入力データ生成部は、特徴画像のそれぞれの画素毎に閾値と比較することにより有効画素を判定し、有効画素毎に入力二次元画像の画素値を反映し、有効画素以外の画素をマスクした二次元画像である画像データを、入力データとして生成する、こととしてもよい。こうすれば、画像データ中から対象物の動きに関連する部分のデータを抽出して効率的に入力データを生成することができる。
　また、対象物の周囲環境に関する測定データを取得する環境センサと、入力データ生成部によって生成された入力データと、環境センサによって取得された測定データとを基に、機械学習を用いて対象物の動きに関する数値を算出する画像特徴量算出部と、を備える、こととしてもよい。この場合には、機械学習によって対象物の動きに関する数値を高精度かつ効率的に予測することができる。
　本発明の一側面は、対象物の動きの特徴を示す画像データを加工する画像データ加工装置、植物栽培システム及び画像データ加工方法を使用用途とし、少ない入力データの量で高い推定精度の機械学習を実現できるものである。
　１…データ処理装置（画像データ加工装置）、３…カメラ（画像取得部）、５…茎径センサ、７…環境センサ、１０…灌水制御システム、１６…画像加工部、１６ａ…第１画像加工部、１６ｂ…第２画像加工部、１６ｃ…入力データ生成部、１７…画像特徴量算出部、２１…学習器、２３…糖度予測部、Ｓ…対象物。

Claims (11)

  1. 　対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得する画像取得部と、
    　前記入力二次元画像のうち、前記第１の時間間隔の整数倍の時間間隔で取得された２つの前記入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成する第１の画像加工部と、
    　連続した複数の前記動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成する第２の画像加工部と、
    　連続した前記特徴画像を基に、前記対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成する入力データ生成部と、
    を備える画像データ加工装置。
  2. 　前記第２の画像加工部は、前記複数の画素値の最大値、積算値、あるいは平均値を求め、前記最大値、前記積算値、あるいは前記平均値の画素値を前記特徴値として算出することにより、前記特徴画像を生成する、
    請求項１記載の画像データ加工装置。
  3. 　前記入力データ生成部は、連続した前記特徴画像のそれぞれを一連の連続データに変換し、前記連続データを合成して前記入力データを生成する、
    請求項１又は２記載の画像データ加工装置。
  4. 　前記入力データ生成部は、前記特徴画像のそれぞれの画素毎に閾値と比較することにより有効画素を判定し、前記有効画素毎に前記入力二次元画像の画素値を反映し、有効画素以外の画素をマスクした二次元画像である画像データを、前記入力データとして生成する、
    請求項１～３のいずれか１項に記載の画像データ加工装置。
  5. 　前記対象物の周囲環境に関する測定データを取得する環境センサと、
    　前記入力データ生成部によって生成された前記入力データと、前記環境センサによって取得された前記測定データとを基に、機械学習を用いて前記対象物の動きに関する数値を算出する特徴量算出部と、
    を備える請求項１～４のいずれか１項に記載の画像データ加工装置。
  6. 　前記特徴量算出部によって前記測定データを基に算出された前記対象物の動きに関連する特徴量と、前記特徴量算出部によって前記入力データを基に算出された前記対象物の動きに関する数値とを基に、機械学習を用いて前記対象物の動きに関する状態を予測する状態予測部を備える、
    請求項５に記載の画像データ加工装置。
  7. 　前記状態予測部で予測された前記対象物の状態を基に評価することにより、前記対象物の評価値を予測する評価値予測部を備える、
    請求項６に記載の画像データ加工装置。
  8. 　前記評価値予測部で予測された前記評価値を基に、前記対象物の前記評価値が目標値に近づくように、前記対象物の環境条件を制御する制御部を備える、
    請求項７記載の画像データ加工装置。
  9. 　前記制御部は、植物である前記対象物の栽培条件を制御する、
    請求項８記載の画像データ加工装置。
  10. 　請求項９記載の画像データ加工装置を含む植物栽培システム。
  11. 　画像取得部を用いて、対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得するステップと、
    　第１の画像加工部により、前記入力二次元画像のうち、前記第１の時間間隔の整数倍の時間間隔で取得された２つの前記入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成するステップと、
    　第２の画像加工部により、連続した複数の前記動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成するステップと、
    　入力データ生成部により、連続した前記特徴画像を基に、前記対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成するステップと、
    を備える画像データ加工方法。
PCT/JP2018/023131 2017-06-20 2018-06-18 画像データ加工装置、植物栽培システム及び画像データ加工方法 WO2018235777A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019525609A JP7114092B2 (ja) 2017-06-20 2018-06-18 画像データ加工装置、植物栽培システム及び画像データ加工方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017120665 2017-06-20
JP2017-120665 2017-06-20

Publications (1)

Publication Number Publication Date
WO2018235777A1 true WO2018235777A1 (ja) 2018-12-27

Family

ID=64735638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023131 WO2018235777A1 (ja) 2017-06-20 2018-06-18 画像データ加工装置、植物栽培システム及び画像データ加工方法

Country Status (2)

Country Link
JP (1) JP7114092B2 (ja)
WO (1) WO2018235777A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125251A (ja) * 2018-01-18 2019-07-25 ヤフー株式会社 情報処理装置、データ構造、情報処理方法、およびプログラム
WO2020174623A1 (ja) * 2019-02-27 2020-09-03 オリンパス株式会社 情報処理装置、移動体及び学習装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172827A (ja) * 1998-12-03 2000-06-23 Sharp Corp 人体検知装置およびそれを用いた空気調和機
JP2016515252A (ja) * 2013-03-11 2016-05-26 マーティン フォアバッハＭａｒｔｉｎ Ｖｏｒｂａｃｈ ビデオストリーム解析
JP2016206795A (ja) * 2015-04-17 2016-12-08 Kddi株式会社 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172827A (ja) * 1998-12-03 2000-06-23 Sharp Corp 人体検知装置およびそれを用いた空気調和機
JP2016515252A (ja) * 2013-03-11 2016-05-26 マーティン フォアバッハＭａｒｔｉｎ Ｖｏｒｂａｃｈ ビデオストリーム解析
JP2016206795A (ja) * 2015-04-17 2016-12-08 Kddi株式会社 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WAKAMORI, KAZUMASA ET AL.: "Highly accurate determination of wilting-conditions in plant (non-official translation)", LECTURE PROCEEDINGS (3) OF THE 79TH NATIONAL CONFERENCE (2017), no. 3, 16 March 2017 (2017-03-16), pages 3-231 - 3-232 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125251A (ja) * 2018-01-18 2019-07-25 ヤフー株式会社 情報処理装置、データ構造、情報処理方法、およびプログラム
WO2020174623A1 (ja) * 2019-02-27 2020-09-03 オリンパス株式会社 情報処理装置、移動体及び学習装置
JPWO2020174623A1 (ja) * 2019-02-27 2021-09-30 オリンパス株式会社 情報処理装置、移動体及び学習装置
JP7142851B2 (ja) 2019-02-27 2022-09-28 オリンパス株式会社 情報処理装置、移動体及び学習装置

Also Published As

Publication number Publication date
JPWO2018235777A1 (ja) 2020-04-30
JP7114092B2 (ja) 2022-08-08

Similar Documents

Publication Publication Date Title
JP6839433B2 (ja) 萎れ具合予測システム及び萎れ具合予測方法
CN101776486B (zh) 一种基于红外焦平面探测器非均匀性指纹模式的校正方法
Kaneda et al. Multi-modal sliding window-based support vector regression for predicting plant water stress
US20200250427A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
Braakmann-Folgmann et al. Sea level anomaly prediction using recurrent neural networks
CN110390135B (zh) 一种提高林火蔓延预测精度的方法
Passalis et al. Deep reinforcement learning for controlling frontal person close-up shooting
Kadir et al. Wheat yield prediction: Artificial neural network based approach
CN114529097B (zh) 多尺度农作物物候期遥感降维预测方法
JPWO2017170086A1 (ja) 情報処理システム、情報処理装置、シミュレーション方法およびシミュレーションプログラム
JP7114092B2 (ja) 画像データ加工装置、植物栽培システム及び画像データ加工方法
Moon et al. Knowledge transfer for adapting pre-trained deep neural models to predict different greenhouse environments based on a low quantity of data
CN117270082A (zh) 基于多传感器数据融合的降水量预测系统及其方法
WO2019156070A1 (ja) 機械学習システム及び機械学習方法
CN113361194B (zh) 一种基于深度学习的传感器漂移校准方法、电子设备及存储介质
JP6494258B2 (ja) 予測システム、予測方法、および予測プログラム
US20200104644A1 (en) Training apparatus, training method and recording medium
US20220172056A1 (en) Prediction system, prediction method, and prediction program
US20220327335A1 (en) Controlling asynchronous fusion of spatio-temporal multimodal data
Patel et al. Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud
CN108960406B (zh) 一种基于bfo小波神经网络的mems陀螺随机误差预测方法
Le Toumelin et al. A two-folds deep learning strategy to correct and downscale winds over mountains
Shibata et al. Motion-specialized deep convolutional descriptor for plant water stress estimation
JP7198474B2 (ja) モデリングシステム
Qing-Dao-Er-Ji et al. Research on data mining algorithm of meteorological observation based on data quality control algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18821490

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019525609

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18821490

Country of ref document: EP

Kind code of ref document: A1