WO2022107565A1 - 作業判定システム、作業判定方法および記録媒体 - Google Patents

作業判定システム、作業判定方法および記録媒体 Download PDF

Info

Publication number
WO2022107565A1
WO2022107565A1 PCT/JP2021/039665 JP2021039665W WO2022107565A1 WO 2022107565 A1 WO2022107565 A1 WO 2022107565A1 JP 2021039665 W JP2021039665 W JP 2021039665W WO 2022107565 A1 WO2022107565 A1 WO 2022107565A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
information
field
vehicle
work vehicle
Prior art date
Application number
PCT/JP2021/039665
Other languages
English (en)
French (fr)
Inventor
拓也 近藤
俊輔 宮内
拓海 吉峰
Original Assignee
ヤンマーホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマーホールディングス株式会社 filed Critical ヤンマーホールディングス株式会社
Priority to KR1020237012621A priority Critical patent/KR20230107793A/ko
Priority to CN202180072853.4A priority patent/CN116490063A/zh
Publication of WO2022107565A1 publication Critical patent/WO2022107565A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/20Off-Road Vehicles
    • B60Y2200/22Agricultural vehicles

Definitions

  • the present invention relates to a work determination system for estimating the type of work of a work vehicle, a work determination method, and a recording medium.
  • the type of work is estimated by a machine learning-based method using the operation information indicating the operation status sent from the tractor having a predetermined communication function, and this estimation is performed.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2018-190292
  • the farm work support system that manages the farm work by identifying the farm work performed by the work equipment is disclosed.
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2019-088257
  • position information detected when a working machine provided with a working device on a vehicle body such as a tractor travels in a field and performs work is described in the working machine.
  • a management device for acquiring matters related to work is disclosed based on information received from an RFID (Radio Frequency Identification) tag provided and set with work machine information indicating a model of the work device.
  • RFID Radio Frequency Identification
  • operation information such as the engine speed of the tractor and the PTO (Power Take Off) speed is used as the information used for estimating the type of work.
  • the tractor needs to have a function to output the operation information.
  • the model of the tractor that outputs the operation information is limited, it is difficult to estimate the type of work by the same method when the tractor owned by the user is different.
  • the user may manually input data indicating the type of work to the terminal of the tractor or the like before starting the work. ..
  • the operation of manually inputting work data every time the work machine attached to the tractor is replaced and another work is performed is complicated, and it is possible that the input may be forgotten frequently, so what kind of work was performed. It is easy to have a situation where it is difficult to record the information.
  • an object of the present invention is to provide a work determination system, a work determination method, and a recording medium that can estimate the type of work performed on the work vehicle even when the operation information of the work vehicle cannot be acquired.
  • the work determination system includes an external information preparation means and a work estimation means.
  • the external information preparation means can be prepared outside the work vehicle that moves in the field and performs work, and prepares external information that is independent of the operating status of the work vehicle.
  • the work estimation means estimates the type of work based on the movement information recording the movement of the work vehicle and the external information.
  • the work determination method can be prepared outside the work vehicle that moves in the field and performs work, and is independent of the operating status of the work vehicle. This includes preparing external information, recording the movement of the work vehicle, and estimating the type of work based on the external information.
  • the recording medium stores the work determination program.
  • the work determination program is a work determination program for realizing a function for determining the type of work by the work vehicle by being executed by the arithmetic unit.
  • This function can be prepared outside the work vehicle that moves in the field and works, and prepares external information that is independent of the operating status of the work vehicle, and records the movement of the work vehicle. Includes estimating the type of work based on travel information and external information.
  • the type of work performed by the work vehicle can be estimated.
  • FIG. 1 is a diagram showing a configuration example of a work determination system according to an embodiment.
  • FIG. 2A is a diagram showing a configuration example of a work vehicle according to an embodiment.
  • FIG. 2B is a block circuit diagram showing a configuration example of a data acquisition unit according to an embodiment.
  • FIG. 3 is a block circuit diagram showing a configuration example of an in-vehicle terminal according to an embodiment.
  • FIG. 4 is a block circuit diagram showing an example of a server configuration according to an embodiment.
  • FIG. 5 is a block circuit diagram showing an example of a terminal configuration according to an embodiment.
  • FIG. 6 is a flowchart showing a configuration example of a work determination method and a work determination program according to an embodiment.
  • FIG. 1 is a diagram showing a configuration example of a work determination system according to an embodiment.
  • FIG. 2A is a diagram showing a configuration example of a work vehicle according to an embodiment.
  • FIG. 2B is a block circuit diagram showing a configuration example
  • FIG. 7 is a diagram showing an example of display by a terminal according to an embodiment.
  • FIG. 8 is a block circuit diagram showing an example of a server configuration according to an embodiment.
  • FIG. 9 is a flowchart showing a configuration example of a work determination method and a work determination program according to an embodiment.
  • the work determination system, the work determination method, and the recording medium according to the present embodiment can estimate the type of work performed by the work vehicle based on information other than the information indicating the internal state of the work vehicle during work. As a result, even if the work vehicle does not correspond to a specific support system, it is possible to simplify and more reliably record the work performed in the past.
  • the types of work include, for example, leveling, plowing, scratching, planting, fertilization, control, harvesting and the like.
  • the work determination system 1 includes an in-vehicle terminal 3 and a server 5.
  • the in-vehicle terminal 3 is mounted on the work vehicle 2.
  • the in-vehicle terminal 3 and the server 5 are connected to each other via the network 4.
  • the connection between the in-vehicle terminal 3 and the network 4 is realized by wireless communication.
  • a mobile phone line may be used for this wireless communication, and in that case, the mobile phone line may be included in the network 4.
  • a wireless LAN Local Area Network
  • the connection between the server 5 and the network 4 is realized by wired communication.
  • a terminal 6 other than the in-vehicle terminal 3 may be further connected to the network 4.
  • the work vehicle 2 includes a vehicle body 21, a work machine 22, a pair of front wheels 23, a pair of rear wheels 24, a steering means 25, and a data acquisition unit 26.
  • An in-vehicle terminal 3 is mounted on the vehicle body 21.
  • the working machine 22 is, for example, a device for performing agricultural work, and is supported by the vehicle body 21 so as to be able to move up and down.
  • the work vehicle 2 is a tractor
  • the work machine 22 is a tillage device for cultivating a field.
  • the vehicle body 21 is supported by the front wheels 23 and the rear wheels 24, and the rear wheels 24 are driven by a power source (not shown) to move forward or backward.
  • the steering means 25 is a steering wheel or a steering wheel, and the operator can adjust the traveling direction of the vehicle body 21 by operating the steering means 25 to adjust the direction of the front wheels 23.
  • the work vehicle 2 may be an integrated type such as a combine harvester.
  • the work vehicle 2 of the present embodiment is not limited to the combination of the tractor and the work machine 22 detachably attached to the tractor.
  • the data collection unit 26 includes a bus 28, an interface device 27, and a plurality of sensors 29-1, 29-2, ..., 29-N. When a plurality of sensors 29-1, 29-2, ..., 29-N are not distinguished, these are simply referred to as sensors 29. Each sensor 29 is connected to the interface device 27 via the bus 28.
  • the interface device 27 is configured to be connectable to the vehicle-mounted terminal 3.
  • the plurality of sensors 29 generate sensor signals indicating the states of the plurality of devices provided in the work vehicle 2.
  • the sensor 29 generates a sensor signal as operation information indicating the operation status of the work vehicle 2.
  • the operating state of the work vehicle 2 includes at least an internal state related to the work of the work vehicle 2, such as a drive state of a drive source of a tractor and an operation state of a transmission mechanism for transmitting the drive force of the drive source to the work machine 22. ..
  • the operating information indicating the operating status of the work vehicle 2 includes, for example, drive source information indicating the driving state of the driving source, transmission mechanism information indicating the operating state of the transmission mechanism, engine rotation speed information indicating the engine rotation speed of the work vehicle 2, and the like. It includes PTO rotation speed information indicating the rotation speed of the PTO (Power Take Off), hitch height information indicating the ascending / descending state of the work machine 22 with respect to the work vehicle 2, and lift arm angle information.
  • the data collection unit 26 can be omitted.
  • a case where the data collection unit 26 and the operation information are used to estimate the type of work will be described later as another embodiment.
  • the in-vehicle terminal 3 includes a bus 31, an operation information acquisition unit 32, an arithmetic unit 33, a storage device 34, an external storage device 35, a position information acquisition unit 36, and a communication device 37. It is equipped with.
  • the operation information acquisition means 32, the arithmetic unit 33, the storage device 34, the external storage device 35, the position information acquisition means 36, and the communication device 37 are connected to each other so as to be communicable with each other via the bus 31.
  • the in-vehicle terminal 3 may be a so-called computer.
  • the function of the in-vehicle terminal 3 may be realized by executing a predetermined program stored in the storage device 34 by an arithmetic unit 33 such as a CPU (Central Processing Unit).
  • This program may be read from the recording medium 351 by the external storage device 35 and stored in the storage device 34, or may be received from the outside via the communication device 37 and stored in the storage device 34. It may be a thing.
  • the operation information acquisition means 32 is configured to be able to acquire a sensor signal from the data collection unit 26.
  • Communication between the in-vehicle terminal 3 and the data collection unit 26 of the work vehicle 2 is realized by wired communication or wireless communication between the operation information acquisition means 32 and the interface device 27.
  • the position information acquisition means 36 measures the position of the in-vehicle terminal 3 by using GNSS (Global Navigation Satellite System: global positioning satellite system) or the like.
  • the position information acquisition means 36 measures the position of the vehicle-mounted terminal 3 by measuring the latitude and longitude of the vehicle-mounted terminal 3. Since the in-vehicle terminal 3 is mounted on the work vehicle 2, the position of the work vehicle 2 can be measured by measuring the position of the in-vehicle terminal 3.
  • the arithmetic unit 33 acquires the position information representing the measured latitude and longitude and stores it in the storage device 34.
  • the arithmetic unit 33 stores the position information acquired at each of the plurality of times in the storage device 34 in association with the measurement time. These plurality of times may have periodicity. As an example, the arithmetic unit 33 acquires the position information in a cycle of 1 second, and stores the time information indicating the time when the position information is acquired and the position information in the storage device 34 in association with each other.
  • the start and end of the measurement of the position information may be automatically controlled in conjunction with the start and stop of the engine of the work vehicle 2, respectively.
  • the communication device 37 transmits the location information stored in the storage device 34 to the server 5 via the network 4.
  • the server 5 includes a bus 51, an arithmetic unit 53, a storage device 54, an external storage device 55, and a communication device 56.
  • the arithmetic unit 53, the storage device 54, the external storage device 55, and the communication device 56 are connected to each other so as to be communicable with each other via the bus 51.
  • the arithmetic unit 53 realizes the function of the server 5 by executing the program stored in the storage device 54.
  • the function of the server 5 is realized in cooperation with the arithmetic unit 53 and the program stored in the storage device 54.
  • This program may be read from the recording medium 551 by the external storage device 55 and stored in the storage device 54, or may be received from the outside via the communication device 56 and stored in the storage device 54. It may be a thing.
  • FIG. 4 shows the function of the server 5 realized in this way as a means provided by the arithmetic unit 53 for convenience.
  • the arithmetic unit 53 includes an external information preparing means 531 and a work estimation means 533.
  • the external information preparing means 531 is used for estimating the type of work, and prepares external information acquired from the outside of the work vehicle 2 so that it can be read by the arithmetic unit 53.
  • the external information is information that is independent of the operating status of the work vehicle 2 and is prepared outside the work vehicle 2.
  • the external information may include one or more information.
  • One or more information included in the external information is called one or more individual external information.
  • One or more individual external information includes one or more performance information indicating the performance according to the specifications of the work vehicle 2, one or more field geographic information indicating the geographical characteristics of the field in which the work vehicle 2 works, and the land condition in the field. It may contain at least one information among one or more field land attribute information indicating the characteristics of the above and one or more field weather information indicating the weather in the field.
  • the field land attribute information includes data based on information obtained by observing the ground surface from above with, for example, an artificial satellite, an aircraft, a drone, or the like.
  • the performance information of 1 or more includes maximum horsepower information indicating the maximum horsepower in the specifications of the work vehicle 2, travel method information indicating the travel method in which the work vehicle 2 travels on tires and / or crawlers, and vehicle height of the work vehicle 2. It may include at least one of the vehicle height information indicating the above and the traveling width information indicating the traveling width of the work vehicle 2.
  • the field geographic information of one or more includes at least one of field elevation information indicating the altitude of the field, field soil information indicating the type of soil in the field, and field area information indicating the area where the field is located. You may go out.
  • the field land attribute information of one or more includes the field surface information indicating the properties of the ground surface of the field (eg, information for identifying whether it is concrete, soil, water, or a plant), and the coverage and growth state of the plants in the field.
  • Field vegetation information eg crop type, NDVI (Normalized Difference Vegetation Index), vegetation rate, visible light, estimated nitrogen content, etc.
  • field water content information representing the field water content information It may contain at least one of them.
  • the field meteorological information of one or more includes field precipitation information indicating the amount of precipitation in a predetermined period of the field, field integrated solar radiation information indicating the cumulative amount of solar radiation in a predetermined period of the field, and average temperature of the field in a predetermined period.
  • the field average temperature information representing the field, the field maximum temperature information representing the maximum temperature of the field for a predetermined period, the field minimum temperature information representing the minimum temperature of the field for a predetermined period, and the integrated temperature of the field for a predetermined period are shown. At least one of the field integrated temperature information may be included.
  • the work estimation means 533 estimates the type of work based on the position information and the external information by using the judgment model stored in the judgment model storage means 541 of the storage device 54.
  • the determination model is a mathematical model used for estimating the type of work by AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the judgment model is constructed by machine learning and learns the features contained in the external information. For example, in the case of supervised learning, the type of work is estimated using external information as learning data using methods such as support vector machines, random forests, neural networks, logistic regression, and topological data analysis.
  • the learning data here includes at least one of the one or more individual external information included in the external information as a correct label indicating the correct answer for the estimation of the type of work.
  • the user can confirm the result of estimating the type of work by the work determination system 1 according to the present embodiment by using the terminal 6.
  • the terminal 6 may be, for example, a tablet-type information terminal.
  • the terminal 6 includes a bus 61, an input / output device 62, an arithmetic unit 63, a storage device 64, an external storage device 65, and a communication device 67.
  • the input / output device 62, the arithmetic unit 63, the storage device 64, the external storage device 65, and the communication device 67 are connected to each other so as to be communicable with each other via the bus 61.
  • the terminal 6 may be a so-called computer, like the in-vehicle terminal 3.
  • the function of the terminal 6 may be realized by the arithmetic unit 63 such as a CPU executing a predetermined program stored in the storage device 64.
  • This program may be read from the recording medium 651 by the external storage device 65 and stored in the storage device 64, or may be acquired from the outside via the network 4 and the communication device 67 and stored in the storage device 64. It may be stored.
  • the input / output device 62 includes a touch panel device that is integrated with the display device and allows the user to input.
  • the input / output device 62 may further include an input device such as a key, a button, and a switch for operating the terminal 6.
  • the communication device 67 is connected to the server 5 via the network 4 and can acquire data from the server 5, and conversely, the data stored in the storage device 64 can be transmitted to the server 5.
  • Each step of the work determination method is realized by the arithmetic unit 33 of the in-vehicle terminal 3, the arithmetic unit 53 of the server 5, or the arithmetic unit 63 of the terminal 6 executing the work determination program according to the present embodiment.
  • the work determination method is started on the server 5.
  • the determination model is prepared in the determination model storage means 541.
  • various data used for estimating the type of work are prepared in the storage device 54.
  • the data prepared here includes the position information of the work vehicle 2 and the external information prepared outside the work vehicle 2.
  • the position information of the work vehicle 2 is acquired by the position information acquisition means 36 at a plurality of times while the work vehicle 2 is moving in the field and performing work, and is stored in the storage device 34 of the in-vehicle terminal 3. This operation is completed before starting the work determination method in the first step S01.
  • the location information is transmitted from the arithmetic unit 33 of the in-vehicle terminal 3 to the arithmetic unit 53 of the server 5 via the network 4.
  • the arithmetic unit 53 of the server 5 stores the received position information in the storage device 54 and prepares it so that it can be read by the arithmetic unit 53.
  • Vehicle speed information may be used as a modification of the position information. That is, the type of work may be estimated using the vehicle speed information representing the vehicle speed of the work vehicle 2 at each of the plurality of times.
  • the vehicle speed information may be used in place of the position information, or may be used in addition to the position information.
  • the calculation of the vehicle speed information may be performed by the arithmetic unit 53 of the server 5 or the arithmetic unit 33 of the in-vehicle terminal 3 as the vehicle speed calculation means.
  • the vehicle speed information at a certain first time T1 is, for example, the first time T1 and the second time T2 next to that time (or the previous 0th time T0).
  • the first position information measured at the time T1 and the second position information (or the 0th position information) measured at the second time T2 (or the 0th time T0) can be easily calculated.
  • the average value of the vehicle speed at each time may be used as the vehicle speed information.
  • the position information and the vehicle speed information are collectively called the movement information that records the movement of the work vehicle 2.
  • the vehicle speed information can be used together with the position information and the case where the vehicle speed information can be used instead of the position information, the position information or the vehicle speed information may be read as the movement information.
  • the external information is prepared readable by the external information preparing means 531 of the server 5 by the arithmetic unit 53.
  • the work estimation means 533 of the server 5 estimates the type of work of the work vehicle 2.
  • the work estimation means 533 inputs individual external information and position information into the judgment model read from the judgment model storage means 541 in order to estimate the type of work.
  • the work estimation means 533 inputs the maximum horsepower information which is individual external information, the time information derived from the position information, and the vehicle speed information into the third determination model C.
  • the maximum horsepower information indicates that the maximum horsepower in the specifications of the work vehicle 2 is "100 PS (horsepower)"
  • the time information indicates that the season is "spring”
  • the vehicle speed information indicates that the work vehicle 2 has.
  • the case where the average vehicle speed during work is "2 km / h" will be described.
  • the maximum horsepower information may be read by the arithmetic unit 53 of the server 5 from the database stored in advance in the storage device 54 of the server 5, for example, based on the identification signal transmitted from the in-vehicle terminal 3 to the server 5.
  • the identification signal includes model number information indicating the model number of the work vehicle 2, the model number information is read from the data collection unit 26 by the in-vehicle terminal 3, and the maximum horsepower information for each model number is stored in the database. It may contain information to represent.
  • the arithmetic unit 53 of the server 5 reads the time information from the time information included in the position information transmitted from the in-vehicle terminal 3 to the server 5 and the database stored in advance in the storage device 54 of the server 5.
  • the time information includes the date on which the position information was acquired, and the database may include information representing the season for each date.
  • the third determination model C has the time information value of "spring”. Moreover, when the value of the vehicle speed information is “2 km / h", the maximum horsepower of the work vehicle 2 is often "100 PS or more" when performing plowing work, and this maximum horsepower is used when performing land preparation work. It is learned by machine learning that the frequency of "50 horsepower to 70 horsepower or more” is high. As a result, the third determination model C outputs that the probability (probability) that the work type is "leveling” is 55% and the probability that the work type is "plow” is 45%. .. Each of the combinations in which the accuracy is associated with the output work type is described as the estimation result.
  • the work estimation means 533 of the server 5 records each estimation result in the storage device 54.
  • the work estimation means 533 of the server 5 determines the type of work. Specifically, the work estimation means 533 is obtained in the third step S03, and among the estimation results recorded in the fourth step S04, the type of work with the highest associated accuracy is the work actually performed. It is determined that the type is, and the determination result is recorded in the storage device 54.
  • the terminal 6 displays the determination result and informs the user.
  • the work estimation means 533 of the server 5 transmits a signal to the terminal 6 to inform the terminal 6 that the determination result is ready.
  • the terminal 6 receives the determination result and the estimation result from the storage device 54 of the server 5 and stores them in the storage device 64.
  • the terminal 6 informs the user that the determination result and the estimation result are ready to be displayed by using a display, voice, or the like.
  • the user operates the terminal 6 to display the determination result on the touch panel of the input / output device 62.
  • the input / output device 62 of the terminal 6 may display a window 622 showing the determination result of the type of work performed in this field together with the map information 621 representing the field where the work was performed. ..
  • this window 622 for all estimation results including the determination result, the name of the estimated work type, the accuracy of this estimation, and the name of the representative information input to the determination model for making this estimation. And the value and may be displayed.
  • the window 622 may further display the date and time of day when the estimated work was performed.
  • the terminal 6 highlights the portion of "leveling 55%” by enclosing it in a frame.
  • the vehicle speed is "2”
  • the maximum horsepower is "100”
  • the season is “spring”. It is displayed in the window 622.
  • the user can check the display of the terminal 6 and correct if the determination result of the work type is incorrect.
  • the user performs an operation such as tapping the "plow 45%" part of the touch panel in order to correct the work type determination result from "leveling" to "plow”. ..
  • the arithmetic unit 63 of the terminal 6 transmits a correction signal for correcting the work determination result to "plow” to the server 5. Based on this correction signal, the server 5 corrects the determination result of the type of work stored in the storage device 54 from "leveling" to "plow".
  • the work determination system 1 may not be able to acquire the operation information of the work vehicle 2 by executing the work determination program and realizing each step of the work determination method.
  • the type of work of the work vehicle 2 can be estimated based on the position information of the work vehicle 2 and the external information.
  • This embodiment is a modification of the first embodiment with the following modifications. That is, in the first embodiment, the configuration in which one determination model is used for estimating the work has been described, but in the present embodiment, a plurality of determination models are prepared in the determination model storage means 541, and a plurality of these determination models are prepared. One judgment model is selected from the judgment models and used for work estimation.
  • the server 5 according to the present embodiment is the server 5 according to the first embodiment shown in FIG. 4 with the following changes. That is, the arithmetic unit 53 further includes the determination model selection means 532.
  • the determination model selection means 532 selects a determination model used for estimating the type of work from a plurality of determination models stored in the determination model storage means 541.
  • the external information used as learning data differs between multiple judgment models. For example, in the first determination model A of the determination models, learning is performed using learning data in which the field soil information is paddy rice. Further, in the second determination model B, which is different from the first determination model A, learning is performed using learning data in which the field soil information is paddy rice and cabbage.
  • the determination model selection means 532 selects a determination model from a plurality of determination models
  • learning is performed using learning data suitable for the individual external information prepared by the external information preparation means 531. Select the determined decision model.
  • Each step of the work determination method is realized by the arithmetic unit 33 of the in-vehicle terminal 3, the arithmetic unit 53 of the server 5, or the arithmetic unit 63 of the terminal 6 executing the work determination program according to the present embodiment.
  • the first step S11 and the second step S12 are the same as the first step S01 and the second step S02 of the first embodiment shown in FIG. 6, respectively.
  • the determination model selection means 532 of the server 5 selects the determination model used for estimating the type of work.
  • the determination model selection means 532 selects a determination model that matches the individual external information included in the external information stored in the storage device 54 from the plurality of determination models stored in the determination model storage means 541.
  • the type of work is performed with high accuracy even when individual external information that is not used for training is input to the judgment model. Can be estimated.
  • the process of estimating the work type from such external information is expressed as the individual external information conforming to the correct label.
  • the first determination model A conforms to the correct label of the combination in which the field soil information is paddy rice and the field area information is the Kyushu region.
  • the field soil information is paddy rice and cabbage, and the field area information is in the Kyushu region, which matches the correct label of the combination.
  • the field soil information is paddy rice and cabbage, and the field area information is in the Kanto region, which matches the correct label of the combination.
  • the field soil information represents a crop that has been cultivated in the field in the past, and indicates that the field has soil characteristics suitable for cultivating the crop. ..
  • the field area information represents the region where the field is located.
  • the determination model selection means 532 selects the third determination model C to which the individual external information matches.
  • the work estimation means 533 of the server 5 estimates the type of work of the work vehicle 2.
  • the fourth step S14 of the present embodiment is the third step S03 of the first embodiment with the following modifications. That is, the work estimation means 533 inputs individual external information and position information into the determination model selected in the third step S13 in order to estimate the type of work.
  • the fifth step S15, the sixth step S16, the seventh step S17, and the eighth step S18 are the fourth step S04, the fifth step S05, the sixth step S06, and the sixth step S06 of the first embodiment shown in FIG. 6, respectively. It is the same as 7 steps S07.
  • the work determination system 1 can select a determination model that matches the correct answer label from a plurality of determination models as the determination model used for estimating the type of work. can. Therefore, it can be expected that excellent accuracy in estimating the work can be obtained as compared with the case of the first embodiment.
  • the in-vehicle terminal 3 acquires operation information in addition to the position information. This operation is performed in the first step S01 of FIG. 6 or the first step S11 of FIG.
  • the operation information includes drive source information indicating the drive state of the drive source, transmission mechanism information indicating the operation state of the transmission mechanism, engine speed information indicating the engine speed of the work vehicle 2, and engine load of the work vehicle 2.
  • Engine load factor information indicating the rate
  • PTO rotation speed information indicating the rotation speed of the PTO transmitting power from the work vehicle 2 to the work machine 22, hitch height and lift arm angle indicating the ascending / descending state of the work machine 22 with respect to the work vehicle 2.
  • Information, etc. are included.
  • the operation information is transmitted to the arithmetic unit 53 of the server 5 and stored in the storage device 54 in the same manner as the position information.
  • the determination model selection means 532 uses the operation information stored in the storage device 54 in addition to the position information and the external information when selecting the determination model.
  • the work estimation means 533 inputs the operation information into the determination model in addition to the position information and the external information to estimate the type of work.
  • the arithmetic unit 63 of the terminal 6 may display the operation information as the representative information used for the estimation on the window 622 together with the determination result. good.
  • the work determination system 1 estimates the work type of the work vehicle 2 with higher accuracy than when the operation information cannot be acquired by executing the work determination program and realizing each step of the work determination method. Can be done. In addition, it is possible to simplify the recording of the work performed in the past and perform the work more reliably.
  • the in-vehicle terminal 3 and the terminal 6 may be the same terminal.
  • the terminal 6 detachably connected to the work vehicle 2 may be used as the in-vehicle terminal 3.
  • the terminal 6 further includes various components provided for realizing the functions of the vehicle-mounted terminal 3.
  • the input / output device 62 further includes an interface device for connecting to the data collection unit 26.
  • the operation information acquisition means 32 of the in-vehicle terminal 3 can also be omitted.
  • Each of the recording medium 351 and the recording medium 551 and the recording medium 651 may be non-transitory tangible media.
  • the external information preparing means 531 may acquire external information from another server connected to the network 4 via the network 4 and the communication device 56 and store the external information in the storage device 54, or may store the external information from the recording medium 551. External information may be acquired via the device 55 and stored in the storage device 54, or may be read out from a database stored in advance in the storage device 54. The external information may be registered in the storage device 54 in advance. In either case, the external information preparing means 531 can prepare the external information by reading the external information from the storage device 54.
  • the decision model used to estimate the type of work may be updated.
  • the update of the determination model may include performing additional learning using another learning data on the determination model.
  • the update of the determination model may include a change in the criteria and / or method for selecting the determination model to be used from the plurality of determination models in the third step S13.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Soil Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Mechanical Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Environmental Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

作業車両の稼働情報を取得できない場合でも、作業車両で行った作業の種類の推定を可能とする作業判定システム、作業判定方法および記録媒体を提供する。一実施の形態によれば、作業判定システムは、外部情報用意手段と、作業推定手段とを備える。外部情報用意手段は、圃場内を移動して作業を行う作業車両の外部で用意可能で、かつ、作業車両の稼働状況とは独立している外部情報を用意する。作業推定手段は、作業車両の移動を記録した情報と、外部情報に基づいて作業の種類を推定する。

Description

作業判定システム、作業判定方法および記録媒体
 本発明は、作業車両の作業の種類を推定する作業判定システム、作業判定方法および記録媒体に関する。
 営農において、当年の経営評価を行い、次年の改善計画を立てるために、農作業として行った作業を記録することが望ましい。しかし、汎用作業車両であるトラクタを用いる場合には、このような記録の作業に手間が生じる。これは、一台のトラクタに多様な作業機を装着することによって多様な農作業を行うことが可能であり、作業の記録として入力する対象の選択肢が多いからである。
 作業の記録を手作業で行う代わりに、所定の通信機能を有するトラクタから送信される、稼働状況を表す稼働情報を用いて、機械学習に基づく手法による作業の種類の推定を行い、この推定の結果に基づいて作業の記録を自動的に行うシステムがある。
 上記に関連して、特許文献1(特開2018-190292号公報)には、トラクタなどの作業装置が圃場を移動しながら稼働して農作業を行うときに取得される位置情報と稼働情報に基づいて、作業装置が行った農作業を割り出して農作業を管理する、農作業支援システムが開示されている。
 また、特許文献2(特開2019-088227号公報)には、トラクタなどの車体に作業装置を設けた作業機が圃場を走行して作業を行うときに検出される位置情報と、作業機械に設けられ、作業装置の機種を表す作業機情報を設定されたRFID(Radio Frequency IDentification)タグから受信される情報とに基づいて、作業に関する事項を取得する管理装置が開示されている。
特開2018-190292号公報 特開2019-088227号公報
 上記の技術では、作業の種類の推定に用いる情報として、トラクタのエンジン回転数やPTO(Power Take Off:パワーテイクオフ)回転数などの稼働情報が使用される。しかし、このような稼働情報を取得するためには、トラクタが稼働情報を出力する機能を有する機種である必要がある。言い換えれば、稼働情報を出力するトラクタはその機種が限定されるため、利用者が所有するトラクタが異なる場合には同様の手法で作業の種類の推定を行うことが難しくなる。
 上記の手法に対応しない機種のトラクタを使用する場合は、利用者が、作業を開始する前などに、作業の種別を表すデータをトラクタの端末などに手動で入力することによって記録してもよい。しかし、トラクタに装着する作業機を交換して別の作業を行うたびに作業データを手動入力する運用は煩雑であり、入力のし忘れが頻繁に発生し得て、どのような作業を実行したかについての記録が困難となる状況が発生しやすい。
 そこで、本発明は、作業車両の稼働情報を取得できない場合でも、作業車両で行った作業の種類の推定を可能とする作業判定システム、作業判定方法および記録媒体の提供を目的とする。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
 上記課題を解決するための一実施の形態によれば、作業判定システムは、外部情報用意手段と、作業推定手段と、を備える。外部情報用意手段は、圃場内を移動して作業を行う作業車両の外部で用意可能で、かつ、作業車両の稼働状況とは独立している外部情報を用意する。作業推定手段は、作業車両の移動を記録した移動情報と外部情報に基づいて作業の種類を推定する。
 上記課題を解決するための一実施の形態によれば、作業判定方法は、圃場内を移動して作業を行う作業車両の外部で用意可能で、かつ、作業車両の稼働状況とは独立している外部情報を用意することと、作業車両の移動を記録した移動情報と、外部情報とに基づいて作業の種類を推定することとを含む。
 上記課題を解決するための一実施の形態によれば、記録媒体は作業判定プログラムを格納する。作業判定プログラムは、演算装置が実行することによって、作業車両による作業の種類を判定するための機能を実現するための作業判定プログラムである。この機能は、圃場内を移動して作業を行う作業車両の外部で用意可能で、かつ、作業車両の稼働状況とは独立している外部情報を用意することと、作業車両の移動を記録した移動情報と、外部情報とに基づいて作業の種類を推定することとを含む。
 上記の形態によれば、作業車両の稼働情報を取得できない場合でも、作業車両で行った作業の種類を推定できる。
図1は、一実施の形態による作業判定システムの一構成例を示す図である。 図2Aは、一実施の形態による作業車両の一構成例を示す図である。 図2Bは、一実施の形態によるデータ収集部の一構成例を示すブロック回路図である。 図3は、一実施の形態による車載端末の一構成例を示すブロック回路図である。 図4は、一実施の形態によるサーバの一構成例を示すブロック回路図である。 図5は、一実施の形態による端末の一構成例を示すブロック回路図である。 図6は、一実施の形態による作業判定方法と作業判定プログラムの一構成例を示すフローチャートである。 図7は、一実施の形態による端末による表示の一例を示す図である。 図8は、一実施の形態によるサーバの一構成例を示すブロック回路図である。 図9は、一実施の形態による作業判定方法と作業判定プログラムの一構成例を示すフローチャートである。
 添付図面を参照して、本発明による作業判定システム、作業判定方法および記録媒体を実施するための形態を以下に説明する。
 (第1の実施の形態)
 本実施の形態による作業判定システム、作業判定方法および記録媒体は、作業車両が行った作業の種類を、作業中の作業車両の内部状態を示す情報以外の情報に基づいて推定することができる。その結果、作業車両が特定の支援システムに対応していなくても、過去に行った作業の記録を簡便化し、より確実に行うことができる。ここで、作業の種類には、例えば、整地、耕起、代掻き、植付、施肥、防除、収穫などが含まれる。
 図1に示すように、作業判定システム1は、車載端末3と、サーバ5とを備える。車載端末3は、作業車両2に搭載される。車載端末3とサーバ5は、ネットワーク4を介して互いに接続される。車載端末3とネットワーク4の間の接続は、無線通信によって実現される。この無線通信には、携帯電話回線が用いられてもよく、その場合はネットワーク4に携帯電話回線が含まれてもよい。また、この無線通信には、無線LAN(Local Area Network:ローカルエリアネットワーク)が用いられてもよい。サーバ5とネットワーク4の間の接続は有線通信によって実現される。ネットワーク4には、車載端末3以外の端末6がさらに接続されていてもよい。
 図2Aに示すように、作業車両2は、車体21と、作業機22と、一対の前輪23と、一対の後輪24と、操舵手段25と、データ収集部26とを備えている。車体21には、車載端末3が搭載されている。
 作業機22は、例えば、農作業を行うための装置であり、車体21に昇降自在に支持されている。図2Aの例では、作業車両2はトラクタであり、作業機22は圃場を耕す耕耘装置である。車体21は、前輪23および後輪24によって支持されており、図示しない動力源によって後輪24を駆動して前進または後退する。操舵手段25はステアリングまたはハンドルであって、作業者が操舵手段25を操作して前輪23の方向を調整することによって車体21の進行方向を調整することができる。
 図2Aに示した構成の変形例として、作業車両2は、コンバインなどのように一体型であってもよい。言い換えれば、本実施の形態の作業車両2は、トラクタと、トラクタに着脱可能に装着される作業機22との組み合わせに限定されない。
 図2Bに示すように、データ収集部26は、バス28と、インタフェース装置27と、複数のセンサ29-1、29-2、…、29-Nとを備えている。複数のセンサ29-1、29-2、…、29-Nを区別しないとき、これらを単にセンサ29と記す。それぞれのセンサ29は、バス28を介してインタフェース装置27に接続されている。インタフェース装置27は、車載端末3と接続可能に構成されている。
 複数のセンサ29は、作業車両2に設けられた複数の装置の状態を表すセンサ信号を生成する。言い換えれば、センサ29は作業車両2の稼働状況を表す稼働情報としてのセンサ信号を生成する。作業車両2の稼働状況は、少なくとも、トラクタの駆動源の駆動状態や、駆動源の駆動力を作業機22に伝達する伝達機構の作動状態などの、作業車両2の作業に係る内部状態を含む。作業車両2の稼働状況を表す稼働情報は、例えば、駆動源の駆動状態を表す駆動源情報、伝達機構の作動状態を表す伝達機構情報、作業車両2のエンジン回転数を表すエンジン回転数情報、PTO(Power Take Off:パワーテイクオフ)の回転数を表すPTO回転数情報、作業車両2に対する作業機22の昇降状態を示すヒッチ高さ情報およびリフトアーム角度情報、などを含む。
 ただし、本実施の形態では、稼働情報を使用せずに作業の種類の推定を行う場合について説明する。この場合、データ収集部26は省略可能である。データ収集部26と稼働情報を使用して作業の種類の推定を行う場合については、別の実施の形態として後述する。
 図3に示すように、車載端末3は、バス31と、稼働情報取得手段32と、演算装置33と、記憶装置34と、外部記憶装置35と、位置情報取得手段36と、通信装置37とを備えている。稼働情報取得手段32、演算装置33、記憶装置34、外部記憶装置35、位置情報取得手段36および通信装置37は、バス31を介して相互に通信可能に接続されている。
 車載端末3は、いわゆるコンピュータであってもよい。言い換えれば、車載端末3の機能は、記憶装置34に格納されている所定のプログラムを、CPU(Central Processing Unit:中央演算処理装置)などの演算装置33が実行することによって実現されてもよい。このプログラムは、外部記憶装置35によって記録媒体351から読み出されて記憶装置34に格納されたものであってもよいし、通信装置37を介して外部から受信されて記憶装置34に格納されたものであってもよい。
 稼働情報取得手段32は、データ収集部26からセンサ信号を取得できるように構成されている。車載端末3と作業車両2のデータ収集部26との間の通信は、稼働情報取得手段32とインタフェース装置27との間の有線通信または無線通信によって実現される。
 位置情報取得手段36は、GNSS(Global Navigation Satellite System:全球測位衛星システム)などを用いて、車載端末3の位置を測定する。位置情報取得手段36は、車載端末3の緯度および経度を測定することによって、車載端末3の位置を測定する。車載端末3は、作業車両2に搭載されているので、車載端末3の位置を測定することによって、作業車両2の位置を測定することができる。演算装置33は、測定した緯度と経度を表す位置情報を取得して記憶装置34に格納する。
 演算装置33は、複数の時刻においてそれぞれ取得された位置情報を、測定時刻に対応付けて記憶装置34に格納する。これら複数の時刻は、周期性を有していてもよい。一例として、演算装置33は1秒の周期で位置情報を取得し、位置情報を取得した時刻を示す時刻情報と位置情報を対応付けて記憶装置34に格納する。
 位置情報の測定の開始と終了とは、作業車両2のエンジンの始動と停止とにそれぞれ連動して自動的に制御されてもよい。
 通信装置37は、記憶装置34に格納された位置情報を、ネットワーク4を介してサーバ5に送信する。
 図4に示すように、サーバ5は、バス51と、演算装置53と、記憶装置54と、外部記憶装置55と、通信装置56とを備える。演算装置53、記憶装置54、外部記憶装置55および通信装置56は、バス51を介して相互に通信可能に接続されている。
 演算装置53は、記憶装置54に格納されたプログラムを実行することによって、サーバ5の機能を実現する。言い換えれば、サーバ5の機能は、演算装置53と記憶装置54に記憶されたプログラムとが協働して実現される。このプログラムは、外部記憶装置55によって記録媒体551から読み出されて記憶装置54に格納されたものであってもよいし、通信装置56を介して外部から受信されて記憶装置54に格納されたものであってもよい。
 図4では、このようにして実現されるサーバ5の機能を、便宜上、演算装置53が備える手段として示す。演算装置53は、外部情報用意手段531と、作業推定手段533とを備える。
 外部情報用意手段531は、作業の種類の推定に用いられ、作業車両2の外部から取得される外部情報を、演算装置53によって読み出し可能に用意する。外部情報とは、作業車両2の稼働状況とは独立した情報であって、かつ、作業車両2の外部で用意される情報である。
 外部情報には、1以上の情報が含まれていてもよい。外部情報に含まれる1以上の情報を、1以上の個別外部情報と呼ぶ。1以上の個別外部情報には、作業車両2の仕様上の性能を示す1以上の性能情報、作業車両2が作業する圃場の地理的な特徴を示す1以上の圃場地理情報、圃場における土地状態の特徴を示す1以上の圃場土地属性情報、および、圃場における気象を表す1以上の圃場気象情報のうちの、少なくとも1つの情報を含んでいてもよい。圃場土地属性情報は、例えば、人工衛星、航空機、ドローンなどで上方から地表を観察して得られる情報に基づくデータを含む。
 1以上の性能情報は、作業車両2の仕様上の最大馬力を表す最大馬力情報と、作業車両2がタイヤおよび/またはクローラで走行する走行方式を表す走行方式情報と、作業車両2の車高を示す車高情報と、作業車両2の走行幅を表す走行幅情報とのうちの、少なくとも1つを含んでいてもよい。1以上の圃場地理情報は、圃場の標高を表す圃場標高情報と、圃場の土壌の種類を表す圃場土壌情報と、圃場が位置する地域を表す圃場地域情報とのうちの、少なくとも1つを含んでいてもよい。1以上の圃場土地属性情報は、圃場の地表面の性質を表す圃場地表面情報(例:コンクリートか土か水か植物かを識別する情報)と、圃場の植物の被覆率や生育状態などを表す圃場植生情報(例:作物の種類、NDVI(Normalized Difference Vegetation Index:正規化植生指数)、被植率、可視光、推定窒素含有量など)、圃場の水分含量情報を表す圃場水分情報とのうちの、少なくとも1つを含んでいてもよい。1以上の圃場気象情報は、圃場の所定の期間の降水量を表す圃場降水量情報と、圃場の所定の期間の積算日射量を表す圃場積算日射量情報と、圃場の所定の期間の平均温度を表す圃場平均温度情報と、圃場の所定の期間の最高気温を表す圃場最高気温情報と、圃場の所定の期間の最低気温を表す圃場最低気温情報と、圃場の所定の期間の積算温度を表す圃場積算温度情報とのうちの、少なくとも1つを含んでいてもよい。
 作業推定手段533は、記憶装置54の判定モデル記憶手段541に格納されている判定モデルを用いて、位置情報と外部情報に基づいて、作業の種類を推定する。判定モデルとは、AI(Artificial Intelligence:人工知能)で作業の種類を推定するために用いる数理モデルである。判定モデルは、機械学習により構築され、外部情報に含まれる特徴を学習している。例えば教師あり学習の場合には、サポートベクターマシン、ランダムフォレスト、ニューラルネットワーク、ロジスティック回帰、トポロジカルデータアナリシス等の手法を用いて、外部情報を学習用データとして用いて作業の種類の推定を行う。なお、ここでの学習用データは、外部情報に含まれる1以上の個別外部情報のうち少なくとも1つを、作業の種類の推定に対する正解を示す正解ラベルとして含む。
 使用者は、本実施の形態による作業判定システム1が作業の種類を推定した結果を、端末6を用いて確認することができる。端末6は、例えば、タブレット型の情報端末であってもよい。
 図5に示すように、端末6は、バス61と、入出力装置62と、演算装置63と、記憶装置64と、外部記憶装置65と、通信装置67とを備えている。入出力装置62、演算装置63、記憶装置64、外部記憶装置65および通信装置67は、バス61を介して相互に通信可能に接続されている。
 端末6は、車載端末3と同様に、いわゆるコンピュータであってもよい。言い換えれば、端末6の機能は、記憶装置64に格納されている所定のプログラムを、CPUなどの演算装置63が実行することによって実現されてもよい。このプログラムは、外部記憶装置65によって記録媒体651から読み出されて記憶装置64に格納されたものであってもよいし、ネットワーク4と通信装置67を介して外部から取得されて記憶装置64に格納されたものであってもよい。
 入出力装置62は、表示装置と一体化されて、使用者が入力を行うこともできるタッチパネル装置を含んでいる。入出力装置62は、さらに、端末6を操作するためのキー、ボタン、スイッチなどの入力装置を含んでいてもよい。
 通信装置67は、ネットワーク4を介してサーバ5に接続されて、サーバ5からデータを取得することができ、反対に、記憶装置64に格納されているデータをサーバ5に送信することもできる。
 図6を参照して、上記構成を有する作業判定システム1の動作の一例、すなわち本実施の形態による作業判定方法の一構成例について説明する。作業判定方法の各ステップは、車載端末3の演算装置33、サーバ5の演算装置53または端末6の演算装置63が、本実施の形態による作業判定プログラムを実行することによって実現される。
 第1ステップS01において、作業車両2の作業が終了し、作業車両2の作業中の位置情報が車載端末3からサーバ5に送信されると、サーバ5において作業判定方法を開始する。作業判定方法が開始されるとき、判定モデルは、判定モデル記憶手段541に用意されている。
 第2ステップS02において、作業の種類の推定に用いる各種のデータが記憶装置54に用意される。ここで用意されるデータには、作業車両2の位置情報と、作業車両2の外部で用意される外部情報とが含まれる。
 作業車両2の位置情報は、作業車両2が圃場を移動して作業を行っている間の複数の時刻において、位置情報取得手段36によって取得され、車載端末3の記憶装置34に格納される。この動作は、第1ステップS01で作業判定方法を開始する前に完了している。
 位置情報は、前述のとおり、車載端末3の演算装置33から、ネットワーク4を介してサーバ5の演算装置53に送信される。サーバ5の演算装置53は、受信した位置情報を記憶装置54に格納し、演算装置53によって読み出し可能に用意する。
 位置情報の変形例として、車速情報を用いてもよい。つまり、複数の時刻のそれぞれにおける作業車両2の車速を表す車速情報を用いて作業の種類の推定を行ってもよい。ここで、車速情報は、位置情報に代えて用いられてもよいし、位置情報に加えて用いられてもよい。
 車速情報の算出は、車速算出手段としてサーバ5の演算装置53が行ってもよいし、車載端末3の演算装置33が行ってもよい。位置情報を測定した複数の時刻の中で、ある第1時刻T1における車速情報は、例えば、その第1時刻T1と、その時刻の次の第2時刻T2(または前の第0時刻T0)と、時刻T1に測定した第1位置情報と、第2時刻T2(または第0時刻T0)に測定した第2位置情報(または第0位置情報)とに基づいて容易に算出できる。また、各時刻の車速の平均値を車速情報として用いてもよい。
 位置情報と車速情報を総称して、作業車両2の移動を記録した移動情報と呼ぶ。位置情報と合わせて車速情報を用いることができる場合と、位置情報の代わりに車速情報を用いることができる場合とにおいては、位置情報または車速情報を移動情報と読み替えてもよい。
 外部情報は、前述のとおり、サーバ5の外部情報用意手段531が、演算装置53によって読み出し可能に用意する。
 第3ステップS03において、サーバ5の作業推定手段533が、作業車両2の作業の種類を推定する。このとき、作業推定手段533は、作業の種類の推定を行うために、判定モデル記憶手段541から読み出した判定モデルに、個別外部情報と、位置情報とを入力する。
 上記の例において、作業推定手段533が、第3の判定モデルCに、個別外部情報である最大馬力情報と、位置情報に由来する時刻情報および車速情報とを入力する。ここで、最大馬力情報は作業車両2の仕様上の最大馬力が「100PS(馬力)」であることを表し、時刻情報は季節が「春」であることを表し、車速情報は作業車両2の作業中の平均車速が「時速2キロメートル」であることを表している場合について説明する。
 なお、最大馬力情報は、例えば、車載端末3からサーバ5に送信される識別信号に基づいて、サーバ5の記憶装置54に予め格納されているデータベースから、サーバ5の演算装置53が読み出してもよい。ここで、例えば、識別信号には作業車両2の型番を表す型番情報が含まれており、型番情報はデータ収集部26から車載端末3によって読み出され、データベースには型番ごとの最大馬力情報を表す情報が含まれていてもよい。また、時刻情報は、車載端末3からサーバ5に送信される位置情報に含まれる時刻情報と、サーバ5の記憶装置54に予め格納されているデータベースから、サーバ5の演算装置53が読み出してもよい。ここで、時刻情報には位置情報が取得された日付が含まれており、データベースには日付ごとの季節を表す情報が含まれていてもよい。
 圃場地域情報の値が「関東地方」であり、圃場土壌情報の値が「水稲およびキャベツ」であるという前提条件において、第3の判定モデルCは、時刻情報の値が「春」であり、かつ、車速情報の値が「時速2キロメートル」である場合において、耕起の作業を行うときには作業車両2の最大馬力が「100PS以上」である頻度が高く、整地の作業を行うときにはこの最大馬力が「50馬力~70馬力以上」である頻度が高いことを、機械学習によって学習している。その結果、第3の判定モデルCは、作業の種類が「整地」である確度(確からしさ)が55%であり、作業の種類が「耕起」である確度が45%であると出力する。出力された作業の種類に確度を対応付けた組み合わせのそれぞれを、推定結果と記す。
 第4ステップS04において、サーバ5の作業推定手段533は、それぞれの推定結果を記憶装置54に記録する。
 第5ステップS05において、サーバ5の作業推定手段533は、作業の種類を判定する。詳細には、作業推定手段533は、第3ステップS03で得られ、第4ステップS04で記録された推定結果のうち、対応付けられた確度が最も高い作業の種類が、実際に行われた作業の種類であると判定し、この判定結果を記憶装置54に記録する。
 第6ステップS06において、端末6は判定結果を表示して使用者に知らせる。詳細には、サーバ5の作業推定手段533が、判定結果が用意できていることを端末6に知らせるための信号を端末6に送信する。端末6は、この信号を受信すると、サーバ5の記憶装置54から判定結果と推定結果を受け取って記憶装置64に格納する。端末6は、判定結果と推定結果を表示する用意ができていることを、表示や音声などを用いて使用者に知らせる。使用者は、端末6を操作して判定結果を入出力装置62のタッチパネルに表示させる。
 図7に示すように、端末6の入出力装置62は、作業が行われた圃場を表す地図情報621と共に、この圃場で行った作業の種類の判定結果を表すウインドウ622を表示してもよい。このウインドウ622には、判定結果を含むすべての推定結果について、推定された作業の種類の名称と、この推定の確度と、この推定を行うために判定モデルに入力された代表的な情報の名称および値とが表示されてもよい。このウインドウ622には、さらに、推定された作業が行われた日付と時間帯が表示されてもよい。
 図7の例では、推定された作業の種類が「整地」であることと、この推定の確度が「55%」であることが表示されている。また、別の推定の結果として、推定された作業の種類が「耕起」であることと、この推定の確度が「45%」であることが表示されている。ここで、これらの推定の結果の中で「整地」が判定結果であることを示すために、端末6は「整地 55%」の部分を枠で囲んで強調表示している。
 さらに、図7の例では、推定に用いられた代表的な情報として、車速が「2」であることと、最大馬力が「100」であることと、季節が「春」であることとがウインドウ622に表示されている。
 ここで、使用者は、端末6の表示を確認するとともに、もし作業の種類の判定結果が間違っていたら修正することができる。図7の例において、使用者は、作業の種類の判定結果を「整地」から「耕起」に修正するため、タッチパネルのうち、「耕起 45%」の部分をタップするなどの操作を行う。使用者の操作に応じて、端末6の演算装置63は、作業の判定結果を「耕起」に修正するための修正信号をサーバ5に送信する。サーバ5は、この修正信号に基づいて、記憶装置54に格納されている作業の種類の判定結果を「整地」から「耕起」に修正する。
 第6ステップS06が完了すると、第7ステップS07において図6のフローチャートは終了する。
 以上に説明したように、本実施の形態による作業判定システム1は、作業判定プログラムを実行して作業判定方法の各ステップを実現することによって、作業車両2の稼働情報を取得できなくても、作業車両2の位置情報と、外部情報とに基づいて、作業車両2の作業の種類を推定することができる。また、過去に行った作業の記録を簡便化し、より確実に行うことができる。
 (第2実施の形態)
 本実施の形態は、第1実施の形態の一変形例として以下の変更を加えたものである。すなわち、第1実施の形態では作業の推定に用いるための判定モデルが1つである構成について説明したが、本実施の形態では判定モデル記憶手段541に複数の判定モデルを用意し、これら複数の判定モデルの中から1つの判定モデルを選択して作業の推定に用いる。
 図8に示すように、本実施の形態によるサーバ5は、図4に示した第1実施の形態によるサーバ5に、以下の変更を加えたものである。すなわち、演算装置53が判定モデル選択手段532をさらに有している。判定モデル選択手段532は、判定モデル記憶手段541に格納されている複数の判定モデルの中から、作業の種類の推定に用いる判定モデルを選択する。
 複数の判定モデルは、学習用データとして用いられた外部情報が異なる。例えば、判定モデルのうちの第1の判定モデルAは、圃場土壌情報が水稲である学習用データを用いて学習が行われている。また、第1の判定モデルAと異なる第2の判定モデルBは、圃場土壌情報が水稲とキャベツである学習用データを用いて学習が行われている。
 本実施の形態では、判定モデル選択手段532が複数の判定モデルの中から判定モデルを選択するときに、外部情報用意手段531が用意した個別外部情報に適合する学習用データを用いて学習を行われた判定モデルを選択する。このようにして選択された判定モデルを作業の推定に用いることによって、作業の推定において優れた精度が得られると期待できる。
 図9を参照して、上記構成を有する作業判定システム1の動作の一例、すなわち本実施の形態による作業判定方法の一構成例について説明する。作業判定方法の各ステップは、車載端末3の演算装置33、サーバ5の演算装置53または端末6の演算装置63が、本実施の形態による作業判定プログラムを実行することによって実現される。
 第1ステップS11および第2ステップS12は、それぞれ、図6に示した第1実施の形態の第1ステップS01および第2ステップS02と同じである。
 第3ステップS13において、サーバ5の判定モデル選択手段532が、作業の種類の推定に用いる判定モデルを選択する。判定モデル選択手段532は、判定モデル記憶手段541に格納されている複数の判定モデルの中から、記憶装置54に格納されている外部情報に含まれる個別外部情報に適合する判定モデルを選択する。
 個別外部情報および正解ラベルを学習用データとして用いて学習を行った判定モデルを用いた場合には、学習に使用していない個別外部情報を判定モデルに入力した場合でも、高い精度で作業の種類を推定できる。このような外部情報から作業種類の推定を行う過程を、個別外部情報が正解ラベルに適合する、と表現する。
 一例として、判定モデル記憶手段541に、正解ラベルに適合する個別外部情報の組み合わせがそれぞれ異なる3つの判定モデルが格納されている場合について説明する。第1の判定モデルAは、圃場土壌情報が水稲であり、圃場地域情報が九州地方である組み合わせの正解ラベルに適合している。第2の判定モデルBは、圃場土壌情報が水稲およびキャベツであり、圃場地域情報が九州地方である組み合わせの正解ラベルに適合している。第3の判定モデルCは、圃場土壌情報が水稲およびキャベツであり、圃場地域情報が関東地方である組み合わせの正解ラベルに適合している。ここで、圃場土壌情報は、過去にその圃場で栽培された実績がある作物を表しており、その圃場はその作物を栽培するのに適した土壌の特性を有していることを表している。また、圃場地域情報は、その圃場が位置している地方を表している。
 上記の例において、種類を推定したい作業に関して用意された個別外部情報のうち、圃場地域情報が「関東地方」であり、圃場土壌情報が「水稲およびキャベツ」である場合には、正解ラベルに適合する個別外部情報が一致する第3の判定モデルCを、判定モデル選択手段532が選択する。
 第4ステップS14において、サーバ5の作業推定手段533が、作業車両2の作業の種類を推定する。本実施の形態の第4ステップS14は、第1実施の形態の第3ステップS03に以下の変更を加えたものである。すなわち、作業推定手段533は、作業の種類の推定を行うために、第3ステップS13で選択された判定モデルに、個別外部情報と、位置情報とを入力する。
 第5ステップS15、第6ステップS16、第7ステップS17および第8ステップS18は、それぞれ、図6に示した第1実施の形態の第4ステップS04、第5ステップS05、第6ステップS06および第7ステップS07と同じである。
 以上に説明したように、本実施の形態による作業判定システム1は、作業の種類を推定するために用いる判定モデルとして、複数の判定モデルの中から正解ラベルに適合する判定モデルを選択することができる。したがって、第1実施の形態の場合と比較して、作業の推定において優れた精度が得られると期待できる。
 (第3実施の形態)
 本実施の形態では、作業車両2の作業の種類を推定するために用いる情報として、作業車両2の位置情報と、作業車両2の外部で用意される外部情報に加えて、作業車両2の稼働状況を表す稼働情報をさらに用いる。
 また、本実施の形態による作業判定方法と作業判定プログラムの構成は、図6に示した第1実施の形態のフローチャートまたは図9に示した第2実施の形態のフローチャートに以下の変更を加えることで得られる。まず、作業車両2の作業中に、車載端末3が位置情報に加えて稼働情報を取得する。この動作は、図6の第1ステップS01または図9の第1ステップS11で行われる。
 稼働情報には、一例として、駆動源の駆動状態を表す駆動源情報、伝達機構の作動状態を表す伝達機構情報、作業車両2のエンジン回転数を表すエンジン回転数情報、作業車両2のエンジン負荷率を表すエンジン負荷率情報、作業車両2から作業機22に動力を伝達するPTOの回転数を表すPTO回転数情報、作業車両2に対する作業機22の昇降状態を示すヒッチ高さおよびリフトアーム角度情報、などが含まれている。
 次に、図6の第2ステップS02または図9の第2ステップS12において、稼働情報は、位置情報と同様にサーバ5の演算装置53に送信されて記憶装置54に格納される。図9の第3ステップS13において、判定モデル選択手段532は、判定モデルを選択する際に、位置情報と外部情報に加えて、記憶装置54に格納されている稼働情報を用いる。図6の第3ステップS03または図9の第4ステップS14において、作業推定手段533が、位置情報と外部情報に加えて、稼働情報を判定モデルに入力して作業の種類を推定する。図6の第6ステップS06または図9の第7ステップS17において、端末6の演算装置63は、判定の結果とともに、推定に用いられた代表的な情報として稼働情報をウインドウ622に表示してもよい。
 本実施形態による作業判定システム1は、作業判定プログラムを実行して作業判定方法の各ステップを実現することによって、稼働情報を取得できない場合より高い精度で作業車両2の作業の種類を推定することができる。また、過去に行った作業の記録を簡便化し、より確実に行うことができる。
 以上、本発明を各実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。また、上記の実施の形態に説明したそれぞれの特徴は、技術的に矛盾しない範囲で自由に組み合わせることが可能である。
 各実施の形態による作業判定システム1の変形例として、車載端末3と端末6は同一の端末であってもよい。言い換えれば、作業車両2に着脱可能に接続した端末6を車載端末3として使用してもよい。端末6を車載端末3として使用する場合には、端末6は車載端末3の機能を実現するために備えられた各種の構成要素をさらに備えている。入出力装置62は、データ収集部26に接続するためのインタフェース装置をさらに含んでいる。
 稼働情報を使用しない第1実施の形態の変形例として、データ収集部26が省略されている場合は、車載端末3の稼働情報取得手段32も省略可能である。
 記録媒体351、記録媒体551および記録媒体651のそれぞれは、一時的でない有形の媒体(non-transitory tangible media)であってもよい。
 外部情報用意手段531が外部情報を記憶装置54に用意するための複数の方法について説明する。外部情報用意手段531は、ネットワーク4と通信装置56とを介してネットワーク4に接続された他のサーバから外部情報を取得して記憶装置54に格納してもよいし、記録媒体551から外部記憶装置55を介して外部情報を取得して記憶装置54に格納してもよいし、記憶装置54に予め格納されているデータベースから読み出されてもよい。外部情報は、予め記憶装置54に登録されていてもよい。いずれの場合も、外部情報用意手段531は、記憶装置54から外部情報を読み出すことで外部情報を用意することができる。
 第1実施の形態の第6ステップS06と第2実施の形態の第7ステップS07の変形例として、サーバ5の作業推定手段533による作業の種類の判定結果を使用者によって修正された場合は、作業の種類の推定に用いた判定モデルを更新してもよい。判定モデルの更新は、別の学習用データを用いた追学習を判定モデルに行うことを含んでもよい。また、第2実施の形態では、判定モデルの更新は、第3ステップS13において複数の判定モデルの中から使用する判定モデルを選択する基準および/または方法の変更を含んでもよい。
 本出願は、2020年11月18日に出願された日本国特許出願2020-191565を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

  1.  圃場内を移動して作業を行う作業車両の外部で用意可能で、かつ、前記作業車両の稼働状況とは独立している外部情報を用意する外部情報用意手段と、
     前記作業車両の移動を記録した移動情報と、前記外部情報とに基づいて前記作業の種類を推定する作業推定手段と
    を備える
     作業判定システム。
  2.  請求項1に記載の作業判定システムにおいて、
     前記移動情報は、
      前記作業車両の、複数の時刻のそれぞれにおける位置を表す位置情報
    を含み、
     前記位置情報を取得する位置情報取得手段
    をさらに備える
     作業判定システム。
  3.  請求項1または2に記載の作業判定システムにおいて、
     前記移動情報は、
      前記作業車両の、複数の時刻のそれぞれにおける車速を表す車速情報
    を含む
     作業判定システム。
  4.  請求項1~3のいずれか一項に記載の作業判定システムにおいて、
     前記外部情報は、1以上の個別外部情報を含み、
     前記1以上の個別外部情報は、前記作業車両の仕様上の性能を示す1以上の性能情報、前記圃場の地理的な特徴を示す1以上の圃場地理情報、上方から地表を観察して得られる情報に基づき前記圃場における土地状態の特徴を示す1以上の圃場土地属性情報、および、前記圃場における気象を表す1以上の圃場気象情報のうちの、少なくとも1つを含む
     作業判定システム。
  5.  請求項4に記載の作業判定システムにおいて、
     前記1以上の性能情報は、前記作業車両の仕様上の最大馬力を表す最大馬力情報と、前記作業車両の走行方式を表す走行方式情報と、前記作業車両の車高を示す車高情報と、前記作業車両の走行幅を表す走行幅情報とのうちの、少なくとも1つを含み、
     前記1以上の圃場地理情報は、前記圃場の標高を表す圃場標高情報と、前記圃場の土壌の種類を表す圃場土壌情報と、前記圃場が位置する地域を表す圃場地域情報とのうちの、少なくとも1つを含み、
     前記1以上の圃場気象情報は、前記圃場の所定の期間の降水量を表す圃場降水量情報と、前記圃場の所定の期間の積算日射量を表す圃場積算日射量情報と、前記圃場の所定の期間の平均温度を表す圃場平均温度情報と、前記圃場の所定の期間の最高気温を表す圃場最高気温情報と、前記圃場の所定の期間の最低気温を表す圃場最低気温情報と、前記圃場の所定の期間の積算温度を表す圃場積算温度情報とのうちの、少なくとも1つを含む
     作業判定システム。
  6.  請求項4または5に記載の作業判定システムにおいて、
     前記1以上の個別外部情報のうち少なくとも1つを教師あり学習の正解ラベルとして含む学習用データを用いて、前記作業の種類を推定するように学習を行った判定モデルを記憶する判定モデル記憶手段をさらに備え、
     前記作業推定手段は、前記判定モデルを用いて前記作業の種類を推定する
     作業判定システム。
  7.  請求項4または5に記載の作業判定システムにおいて、
     前記1以上の個別外部情報のうち少なくとも1つを教師あり学習の正解ラベルとして含む学習用データを用いて、前記作業の種類を推定するように学習を行った複数の判定モデルを記憶する判定モデル記憶手段と、
     前記複数の判定モデルの中から、前記外部情報に含まれる前記個別外部情報に基づき、1つの判定モデルを選択する判定モデル選択手段と
    をさらに備え、
     前記作業推定手段は、前記判定モデル選択手段が選択した前記判定モデルを用いて、前記作業の種類を推定する
     作業判定システム。
  8.  請求項1~7のいずれか一項に記載の作業判定システムにおいて、
     前記作業推定手段は、前記作業車両の前記稼働状況を表す稼働情報にさらに基づいて前記作業の種類を推定する
     作業判定システム。
  9.  請求項8に記載の作業判定システムにおいて、
     前記稼働情報は、前記作業車両のエンジン回転数を表すエンジン回転数情報と、前記作業車両のエンジン負荷率を表すエンジン負荷率情報と、前記作業車両から外部の作業機に動力を伝達するPTO(Power Take Off:パワーテイクオフ)の回転数を表すPTO回転数情報と、前記作業車両に対する前記作業機の昇降状態を表すヒッチ高さ情報およびリフトアーム角度情報とのうちの、少なくとも1つを含む
     作業判定システム。
  10.  請求項1~9のいずれか一項に記載の作業判定システムにおいて、
     前記作業の種類を推定した結果を、前記推定に用いた情報の名称および値とともに表示する表示装置と、
     前記作業の種類を推定した結果を修正する入力を受け付ける入力装置と
    をさらに備える
     作業判定システム。
  11.  圃場内を移動して作業を行う作業車両の外部で用意可能で、かつ、前記作業車両の稼働状況とは独立している外部情報を用意することと、
     前記作業車両の移動を記録した移動情報と、前記外部情報とに基づいて前記作業の種類を推定することと
    を含む
     作業判定方法。
  12.  演算装置が実行することによって、作業車両による作業の種類を判定するための機能を実現するための作業判定プログラムを格納する記録媒体であって、
     前記機能は、
     圃場内を移動して前記作業を行う前記作業車両の外部で用意可能で、かつ、前記作業車両の稼働状況とは独立している外部情報を用意することと、
     前記作業車両の移動を記録した移動情報と、前記外部情報とに基づいて前記作業の種類を推定することと
    を含む
     記録媒体。
     
PCT/JP2021/039665 2020-11-18 2021-10-27 作業判定システム、作業判定方法および記録媒体 WO2022107565A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237012621A KR20230107793A (ko) 2020-11-18 2021-10-27 작업 판정 시스템, 작업 판정 방법 및 기록 매체
CN202180072853.4A CN116490063A (zh) 2020-11-18 2021-10-27 作业判定系统、作业判定方法以及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-191565 2020-11-18
JP2020191565A JP7426921B2 (ja) 2020-11-18 2020-11-18 作業判定システム、作業判定方法および作業判定プログラム

Publications (1)

Publication Number Publication Date
WO2022107565A1 true WO2022107565A1 (ja) 2022-05-27

Family

ID=81709035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039665 WO2022107565A1 (ja) 2020-11-18 2021-10-27 作業判定システム、作業判定方法および記録媒体

Country Status (4)

Country Link
JP (1) JP7426921B2 (ja)
KR (1) KR20230107793A (ja)
CN (1) CN116490063A (ja)
WO (1) WO2022107565A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161991A (ja) * 2009-01-16 2010-07-29 Fujitsu Ltd 作業記録装置、作業記録システムおよび作業記録プログラム
JP2018190292A (ja) * 2017-05-10 2018-11-29 株式会社クボタ 農業支援システム
JP2018200639A (ja) * 2017-05-29 2018-12-20 株式会社クボタ 作業管理システム
JP2020173556A (ja) * 2019-04-09 2020-10-22 株式会社小松製作所 情報処理装置、情報処理方法、学習済モデルの生成方法、システム、および学習用データセット

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039256B2 (ja) 2017-11-14 2022-03-22 株式会社クボタ 作業表示装置及び作業機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161991A (ja) * 2009-01-16 2010-07-29 Fujitsu Ltd 作業記録装置、作業記録システムおよび作業記録プログラム
JP2018190292A (ja) * 2017-05-10 2018-11-29 株式会社クボタ 農業支援システム
JP2018200639A (ja) * 2017-05-29 2018-12-20 株式会社クボタ 作業管理システム
JP2020173556A (ja) * 2019-04-09 2020-10-22 株式会社小松製作所 情報処理装置、情報処理方法、学習済モデルの生成方法、システム、および学習用データセット

Also Published As

Publication number Publication date
JP7426921B2 (ja) 2024-02-02
CN116490063A (zh) 2023-07-25
KR20230107793A (ko) 2023-07-18
JP2022080474A (ja) 2022-05-30

Similar Documents

Publication Publication Date Title
US10251341B2 (en) Farm work machine, farm work management method, farm work management program, and recording medium recording the farm work management program
EP2633460B1 (en) System and method for calibrating agricultural measurements
US8417534B2 (en) Automated location-based information recall
US9408342B2 (en) Crop treatment compatibility
EP3358519A1 (en) Field management system
US9846848B2 (en) Exchanging water allocation credits
EP2529610A1 (en) Method for harvest monitoring
US20120109614A1 (en) Crop characteristic estimation
US20120101796A1 (en) Water erosion management incorporating topography, soil type, and weather statistics
JP2018185594A (ja) 牧草管理システム
EP3751501B1 (en) Agriculture support system
JP2018183072A (ja) 牧草管理システム
WO2022107565A1 (ja) 作業判定システム、作業判定方法および記録媒体
JP4753169B2 (ja) 特定区画の推定方法及び特定区画の確定方法
JP7478066B2 (ja) 作業管理システム、作業管理方法及び作業管理プログラム
JP2019128661A (ja) 農業支援システム
JP2018185593A (ja) 牧草管理システム
JP7510305B2 (ja) 作業管理システム、作業管理方法及び作業管理プログラム
JP7086598B2 (ja) 農業支援システム
JP6862337B2 (ja) 気象管理装置及び気象管理システム
JP2022036523A (ja) 作業管理システム、作業管理方法及び作業管理プログラム
Payne Technologies for efficient farming
JP2022170320A (ja) 大麦若葉収穫予測方法、大麦若葉収穫支援方法、大麦若葉収穫予測プログラム、大麦若葉収穫予測装置、及び大麦若葉収穫支援システム
KR20240088564A (ko) 작업 지원 방법, 작업 지원 시스템, 및 프로그램
JP2020201578A (ja) 圃場管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894439

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180072853.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894439

Country of ref document: EP

Kind code of ref document: A1