WO2019093152A1 - 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 - Google Patents

作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 Download PDF

Info

Publication number
WO2019093152A1
WO2019093152A1 PCT/JP2018/039830 JP2018039830W WO2019093152A1 WO 2019093152 A1 WO2019093152 A1 WO 2019093152A1 JP 2018039830 W JP2018039830 W JP 2018039830W WO 2019093152 A1 WO2019093152 A1 WO 2019093152A1
Authority
WO
WIPO (PCT)
Prior art keywords
work vehicle
classification
images
data
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/039830
Other languages
English (en)
French (fr)
Inventor
正憲 逢澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to KR1020197028316A priority Critical patent/KR20190120322A/ko
Priority to CN201880021484.4A priority patent/CN110462628B/zh
Priority to DE112018001587.4T priority patent/DE112018001587T5/de
Priority to US16/500,028 priority patent/US11556739B2/en
Publication of WO2019093152A1 publication Critical patent/WO2019093152A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a method, system, method of manufacturing a learned classification model, learning data, and method of manufacturing learning data for estimating motion of a work vehicle using artificial intelligence.
  • a hydraulic shovel performs operations such as excavation, turning, or earth unloading.
  • the controller determines these operations of the hydraulic shovel based on detection values from sensors provided in the hydraulic shovel.
  • a hydraulic shovel includes a rotational speed sensor, a pressure sensor, and a plurality of angle sensors.
  • the rotational speed sensor detects the rotational speed of the engine.
  • the pressure sensor detects the discharge pressure of the hydraulic pump.
  • the plurality of angle sensors detect a boom angle, an arm angle, and a bucket angle.
  • the controller determines the work being performed by the hydraulic shovel based on the detected values from these sensors.
  • the computer can not acquire the information detected by the sensor from the work vehicle unless the work vehicle includes the communication device with the computer. Therefore, even in this case, the computer can not determine the operation of the work vehicle.
  • a technology has been studied in which a computer determines what kind of operation is being performed by analyzing a moving image of the movement of a person or a thing by artificial intelligence.
  • a recursive neural network RNN
  • the motion of the work vehicle can be easily determined by the computer.
  • the artificial intelligence model that directly handles the above-described moving pictures is still difficult to put to practical use due to problems such as recognition accuracy.
  • An object of the present invention is to determine the operation of a work vehicle easily and accurately using artificial intelligence.
  • a first aspect is a computer-implemented method, which includes the following processing.
  • the first process is to acquire motion data.
  • the operation data is data indicating an operation change of the work vehicle generated from a plurality of images indicating the work vehicle in operation in time series.
  • the second process is to determine the classification of the movement of the work vehicle from the movement data by performing image classification using the learned classification model.
  • a second aspect is a system, comprising a trained classification model and a processor.
  • the processor is programmed to perform the following processing.
  • a processor acquires operation data.
  • the operation data is data indicating an operation change of the work vehicle generated from a plurality of images indicating the work vehicle in operation in time series.
  • the processor determines an operation classification of the work vehicle from the operation data by performing an image classification using the classification model.
  • a third aspect is a method of producing a learned classification model, including the following processing.
  • the first process is to acquire learning data.
  • the learning data includes motion data and a classification of motion of the work vehicle assigned to the motion data.
  • the operation data is data indicating an operation change of the work vehicle generated from a plurality of images indicating the work vehicle in operation in time series.
  • the second process is to train a classification model by learning data.
  • a fourth aspect is learning data for learning a classification model, which includes movement data and classification of movement of a work vehicle assigned to movement data.
  • the operation data is data indicating an operation change of the work vehicle generated from a plurality of images indicating the work vehicle in operation in time series.
  • a fifth aspect is a method of producing learning data for learning a classification model, including the following processing.
  • the first process is to obtain a plurality of images showing in time series the working vehicle in operation.
  • the second process is to generate motion data indicating a change in motion of the work vehicle from the plurality of images.
  • the third process is to acquire the classification of the operation of the work vehicle assigned to the operation data.
  • a sixth aspect is a method of producing a learned classification model, including the following processing.
  • the first process is to acquire motion data.
  • the operation data is data indicating an operation change of the work vehicle generated from a plurality of images indicating the work vehicle in operation in time series.
  • the second process is to determine the classification of the movement of the work vehicle from the movement data by executing the image classification using the learned first classification model.
  • the third process is to make the second classification model learn by learning data including the movement data and the classification of the determined movement of the work vehicle.
  • the operation classification of the work vehicle is determined from operation data generated from a plurality of images. Therefore, the artificial intelligence classification model suitable for still image classification can be used to estimate work vehicle operation. Thus, the motion of the work vehicle can be determined easily and accurately using artificial intelligence.
  • FIG. 7 is a view showing an example of a superimposed image obtained by superposing first to third images included in the moving image data shown in FIG. 6;
  • FIG. 7 is a view showing an example of a superimposed image in which second to fourth images included in the moving image data shown in FIG. 6 are superimposed.
  • FIG. 10 is a diagram showing an example of a superimposed image in which first to third images included in the moving image data shown in FIG. 9 are superimposed.
  • FIG. 10 is a view showing an example of a superimposed image in which the second to fourth images included in the moving image data shown in FIG. 9 are superimposed.
  • FIG. 13 is a view showing an example of a superimposed image in which first to third images included in the moving image data shown in FIG. 12 are superimposed.
  • FIG. 13 is a view showing an example of a superimposed image in which the second to fourth images included in the moving image data shown in FIG. 12 are superimposed.
  • FIG. 1 is a schematic view showing a classification system 100 according to the embodiment.
  • the classification system 100 is a system for estimating the operation performed by the work vehicle 1. As shown in FIG. 1, the classification system 100 includes a camera 101 and a computer 102.
  • the camera 101 is disposed at a work site where the work vehicle 1 is disposed.
  • the camera 101 captures an image of the work vehicle 1 from the outside of the work vehicle 1 and captures a moving image of the work vehicle 1.
  • the computer 102 communicates with the camera 101 wirelessly or by wire.
  • the camera 101 transmits, to the computer 102, moving image data indicating a captured moving image.
  • the computer 102 may receive moving image data from the camera 101 via a communication network.
  • the computer 102 may receive moving image data from the camera 101 via a recording medium.
  • the computer 102 may be located at the work site. Alternatively, the computer 102 may be located at a control center remote from the work site.
  • the computer 102 may be specially designed for the classification system 100 or may be a general-purpose PC (Personal Computer).
  • the computer 102 receives moving image data from the camera 101.
  • the computer 102 determines an operation classification of the work vehicle 1 by using an artificial intelligence classification model.
  • the classification system 100 may have a plurality of cameras 101.
  • the plurality of cameras 101 may capture moving images of the plurality of work vehicles 1.
  • the computer 102 may receive moving image data from each of the plurality of cameras 101.
  • FIG. 2 is a schematic view showing the configuration of the computer 102.
  • the computer 102 includes a processor 103, a storage device 104, a communication interface 105, and an I / O interface 106.
  • the processor 103 is, for example, a CPU (Central Processing Unit).
  • the storage device 104 includes a medium that records information such as recorded programs and data so that the processor 103 can read the information.
  • the storage device 104 includes a system memory such as a random access memory (RAM) or a read only memory (ROM), and an auxiliary storage device.
  • RAM random access memory
  • ROM read only memory
  • the auxiliary storage device may be, for example, a magnetic recording medium such as a hard disk, an optical recording medium such as a CD or a DVD, or a semiconductor memory such as a flash memory.
  • the storage device 104 may be incorporated in the computer 102.
  • the storage device 104 may include an external recording medium that is detachably connected to the computer 102.
  • the communication interface 105 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing communication via a communication network.
  • the I / O interface 106 is, for example, a USB (Universal Serial Bus) port or the like, and is an interface for connecting to an external device.
  • the computer 102 is connected to an input device 107 and an output device 108 via an I / O interface 106.
  • the input device 107 is a device for the user to input to the computer 102.
  • the input device 107 includes, for example, a pointing device such as a mouse or a trackball.
  • the input device 107 may include a device for character input such as a keyboard.
  • the output device 108 includes, for example, a display.
  • FIG. 3 is a diagram showing a part of the configuration of the classification system 100.
  • the classification system 100 includes an image generation module 110 and a learned classification model 111.
  • the image generation module 110 and the learned classification model 111 are implemented in the computer 102.
  • the image generation module 110 and the learned classification model 111 may be stored in the storage device 104 of the computer.
  • modules and models may be implemented in hardware, software executable on hardware, firmware, or a combination thereof.
  • Modules and models may include programs, algorithms, and data executed by a processor.
  • the functions of the modules and models may be performed by a single module or may be distributed to multiple modules.
  • the modules and models may be distributed to multiple computers.
  • the image generation module 110 generates, from the moving image data D11 of the work vehicle 1, image data D12 indicating a superimposed image to be described later.
  • the superimposed image is an image obtained by superimposing a plurality of images showing the working vehicle 1 in operation in time series.
  • image means a still image.
  • the “series of images” includes not only images of completely continuous frames included in the moving image but images of a predetermined number of frames skipped.
  • the classification model 111 is an artificial intelligence model for image classification.
  • the classification model 111 analyzes the input image and outputs a classification corresponding to the image.
  • the computer 102 determines the classification of the operation of the work vehicle 1 by performing image classification using the classification model 111 of artificial intelligence on the superimposed image indicated by the image data D12.
  • the classification model 111 outputs output data D13 indicating the classification of the determined operation.
  • the classification model 111 includes a neural network 120 shown in FIG.
  • classification model 111 includes deep neural networks such as convolutional neural networks (CNN).
  • CNN convolutional neural networks
  • the neural network 120 includes an input layer 121, an intermediate layer 122 (hidden layer), and an output layer 123.
  • Each layer 121, 122, 123 comprises one or more neurons.
  • the number of neurons in the input layer 121 can be set in accordance with the number of pixels in the superimposed image.
  • the number of neurons in the middle layer 122 can be set as appropriate.
  • the output layer 123 can be set according to the classification number of the operation of the work vehicle 1.
  • connection weight The number of connections of neurons may be set appropriately.
  • a threshold is set for each neuron, and the output value of each neuron is determined depending on whether the sum of the product of the input value to each neuron and the weight exceeds the threshold.
  • Operation data indicating an operation of the work vehicle 1 is input to the input layer 121.
  • the operation data is data generated from a plurality of images indicating the working vehicle in operation in time series, and indicates the operation change of the working vehicle. The operation data will be described later.
  • An output value indicating the probability of each classified operation is output to the output layer 123.
  • the classification model 111 is trained so as to output an output value indicating the probability of each classified motion when the motion data is input.
  • the learned parameters of the classification model 111 obtained by learning are stored in the storage device 104.
  • the learned parameters include, for example, the number of layers of the neural network 120, the number of neurons in each layer, the connection relationship between neurons, the weight of connection between each neuron, and the threshold value of each neuron.
  • the classification of each operation may be determined according to the type of work vehicle 1. For example, when the work vehicle 1 is a hydraulic shovel, the classification of operation may include “drilling", “turning", and “draining". “Pivot” may include “hoist pivoting” and “down pivoting". However, part of the classification of operation may be changed or omitted. Alternatively, the classification of actions may further include other classifications.
  • FIG. 5 is a flowchart showing processing executed by the computer 102 (processor 103) to estimate the operation of the work vehicle 1.
  • the computer 102 acquires moving image data D11 of the work vehicle 1 captured by the camera 101.
  • the computer 102 may acquire moving image data D11 captured by the camera 101 in real time.
  • the computer 102 may acquire the moving image data D11 captured by the camera 101 at a predetermined time or every predetermined time.
  • the computer 102 stores the moving image data D11 in the storage device 104.
  • step S102 the computer 102 extracts a series of a plurality of images indicating the operation of the work vehicle 1 from the moving image data D11.
  • FIG. 6 is a diagram showing a plurality of images included in an example of the moving image data D11 (hereinafter referred to as "moving image data MV1"). In FIG. 6, only a part of the plurality of images (image F11 to F14) included in the moving image data MV1 is illustrated.
  • the computer 102 extracts an image of a predetermined number of frames from among the plurality of images F11 to F14 included in the moving image data MV1.
  • step S103 the computer 102 superimposes the plurality of extracted images to generate a superimposed image.
  • the superimposed image is an example of the operation data indicating the operation change of the work vehicle described above.
  • the computer 102 generates a superimposed image by transmitting a plurality of images and superimposing them on each other.
  • the superimposed image is a still image synthesized by superimposing a plurality of images extracted from a moving image on each other.
  • the computer 102 stores the image data D12 indicating the superimposed image in the storage device 104.
  • FIG. 7 is a view showing an example of a superimposed image IM11 in which the first to third images F11 to F13 included in the moving image data MV1 shown in FIG. 6 are superimposed.
  • FIG. 8 is a view showing an example of a superimposed image IM12 in which the second to fourth images F12 to F14 included in the moving image data MV1 shown in FIG. 6 are superimposed.
  • the moving image data MV1 shown in FIG. 6 is obtained by photographing the work vehicle 1 during turning.
  • FIGS. 7 and 8 in the superimposed images IM11 and IM12, a plurality of different postures of the working vehicle 1 being turned are shown in one still image.
  • FIG. 9 is a view showing a part of a plurality of images included in another example of the moving image data D12 (hereinafter referred to as “moving image data MV2”).
  • the moving image data MV2 shown in FIG. 9 is obtained by photographing the work vehicle 1 in the earth unloading.
  • FIG. 10 is a view showing an example of a superimposed image IM21 in which the first to third images F21-F23 included in the moving image data MV2 shown in FIG. 9 are superimposed.
  • FIG. 11 is a diagram showing an example of a superimposed image IM22 in which the second to fourth images F22 to F24 included in the moving image data MV2 shown in FIG. 9 are superimposed.
  • FIGS. 10 and 11 in the superimposed images IM21 and IM22, a plurality of different postures of the work vehicle 1 during earth removal are shown in one still image.
  • FIG. 12 is a view showing a part of a plurality of images included in still another example of the moving image data D11 (hereinafter referred to as “moving image data MV3”).
  • the moving image data MV3 shown in FIG. 12 is obtained by photographing the work vehicle 1 being excavated.
  • FIG. 13 is a view showing an example of a superimposed image IM31 in which the first to third images F31 to F33 included in the moving image data MV3 shown in FIG. 12 are superimposed.
  • FIG. 14 is a view showing an example of a superimposed image IM32 in which the second to fourth images F32 to F34 included in the moving image data MV3 shown in FIG. 12 are superimposed.
  • FIGS. 13 and 14 in the superimposed images IM31 and IM32, a plurality of different postures of the work vehicle 1 being excavated are shown in one still image.
  • step S104 the computer 102 performs image classification using the learned classification model 111.
  • the computer 102 executes the image classification based on the neural network 120 described above using the superimposed image generated in step S103 as input data to the classification model 111.
  • FIG. 15 is a diagram illustrating an example of a method of calculating pixel values input to the input layer 121.
  • image_1 indicates the pixel value of the first image.
  • Image_2 indicates the pixel value of the second image.
  • Image_3 indicates the pixel value of the third image.
  • the numerical value shown by FIG. 15 is an illustration, It is not limited to this.
  • the computer 102 generates operation data to be input to the input layer 121 by combining pixel values of the first to third images. Specifically, the computer 102 calculates an average value of pixel values of corresponding pixels in the first to third images. The computer 102 inputs the calculated average value (average_pixel [0] [0], etc.) of each pixel to each neuron included in the input layer 121. The average value may be a weighted average. The correspondence between each pixel value and each neuron may be set appropriately. Thereby, the computer 102 obtains the probability of each classification of the operation of the work vehicle 1 as the output data D13.
  • classification of operation of work vehicle 1 contains “swinging”, “draining”, and “drilling”.
  • the controller obtains an output value indicating the probability of each classification of "turn”, “drain”, and “drilling”.
  • the classification model 111 has already been learned so that the output value of the “swing” classification is high for the superimposed image showing the turning as shown in FIGS. 7 and 8.
  • the classification model 111 has already been learned so that the output value of the “discharge” classification is high for the superimposed image showing the discharge as shown in FIGS. 10 and 11.
  • the classification model 111 has already been learned so that the output value of the classification of “digging” is high for the superimposed image indicating digging as shown in FIGS. 13 and 14.
  • step S105 the computer 102 determines the classification of the operation of the work vehicle 1.
  • the computer 102 determines the classification of the operation of the work vehicle 1 based on the probability of each classification indicated by the output data D13.
  • the computer 102 determines the classification with the highest probability as the operation of the work vehicle 1. Thereby, the computer 102 estimates the operation performed by the work vehicle 1.
  • step S106 the computer 102 records the operation time of the work vehicle 1 in the classification determined in step S105. For example, when the work vehicle 1 is turning, the computer 102 determines the classification of the action as "turning" and records the turning operation time. The computer 102 may calculate the operation time of classification from the number of frames used for the superimposed image.
  • step S107 the computer 102 generates management data including operation classification and operation time.
  • the computer 102 records management data in the storage device 104.
  • the computer 102 determines the classification of the operation of the work vehicle 1 from the superimposed image. Therefore, the motion of the work vehicle 1 can be estimated using the artificial intelligence classification model 111 suitable for still image classification. Thereby, the operation of the work vehicle 1 can be easily and accurately determined by the computer 102 using artificial intelligence.
  • the motion of the work vehicle 1 can be estimated from a moving image obtained by photographing the work vehicle 1 from the outside of the work vehicle 1. Therefore, it is possible to easily and accurately determine the operation of the work vehicle 1 which does not have a dedicated device for the classification system 100, such as a specific sensor or communication device.
  • the classification system 100 determines the classification of the movement from the moving image of the work vehicle 1 and records the operation time of the classification as management data. Therefore, by photographing the moving image of the work vehicle 1, the time study of the work by the work vehicle 1 can be easily and automatically performed by the computer 102. In addition, the moving picture of the plurality of work vehicles 1 at the work site is photographed respectively, and the management system is generated by the classification system 100, whereby the time study of the work by the plurality of work vehicles 1 at the work site is easily and automatically performed by the computer 102. Can be done with
  • FIG. 16 is a diagram showing a learning system 200 for learning the classification model 111.
  • the learning system 200 includes a learning data generation module 211 and a learning module 212.
  • the learning data generation module 211 generates learning data D22 from the moving image data D21 of the work vehicle.
  • the learning module 212 learns the classification model 111 using the learning data D22, and optimizes the parameters of the classification model 111.
  • the learning system 200 acquires the optimized parameter as a learned parameter D23.
  • FIG. 17 is a schematic diagram showing the configuration of a computer 202 that implements the learning system 200.
  • the computer 202 includes a processor 203, a storage device 204, a communication interface 205, an I / O interface 206, an input device 207, and an output device 208.
  • the processor 203 of the computer 202, the storage device 204, the communication interface 205, the I / O interface 206, the input device 207, and the output device 208 are the processor 103 of the computer 102, the storage device 104, the communication interface 105, the I / O interface described above. It is substantially the same as the input device 107 and the output device 108, and thus the detailed description is omitted.
  • the learning data generation module 211 and the learning module 212 are implemented in the computer 202.
  • the learning data generation module 211 and the learning module 212 are stored in the storage device 204.
  • FIG. 18 is a flowchart showing processing executed by the computer 202 (processor 203) to generate the learning data D22.
  • the computer 202 acquires moving image data D21 of the work vehicle.
  • the computer 202 may acquire moving image data D21 via a communication network.
  • the computer 202 may acquire moving image data D21 via an external recording medium.
  • step S202 the computer 202 extracts, from the moving image data D21, a series of a plurality of images indicating the operation of the work vehicle in time series.
  • step S203 the computer 202 superimposes the plurality of extracted images to generate a superimposed image.
  • the processes of step S202 and step S203 are substantially the same as step S102 and step S103 described above, and thus detailed description will be omitted.
  • step S204 the computer 202 assigns the classification of the operation of the work vehicle 1 to the superimposed image to generate learning data.
  • the classification assignment may be performed manually by a human using the input device 207. In that case, the computer 202 may assign the classification of the operation of the work vehicle to the superimposed image based on the classification data indicating the classification input through the input device 207 to generate learning data.
  • step S205 the computer 202 stores the learning data D22 in the storage device 204.
  • the learning data D22 includes the superimposed image generated in step S203 and the classification of the operation of the work vehicle assigned to the superimposed image in step S204.
  • the computer 202 generates a plurality of learning data D22 from one piece of moving image data D21 by repeating the processing from step S201 to step S205. Further, the computer 202 generates a plurality of learning data D22 from the plurality of moving image data D21 by repeating the processes of step S201 to step S205.
  • the computer 202 sets one superimposed image as the original image IM41, and performs enlargement, reduction, rotation, translation, horizontal reversal, and color change with respect to the original image IM41.
  • a plurality of processed images IM42-IM45 may be generated.
  • the change in color may be, for example, a change in saturation, lightness, or contrast.
  • the computer 202 may assign a classification of the operation of the work vehicle 1 to each of the plurality of processed images IM42 to IM45, and store the classification as learning data D22. As a result, a large amount of various learning data D22 can be prepared, and the learning effect of the classification model 111 can be improved.
  • FIG. 20 is a flowchart showing processing executed by the computer 202 (processor 203) to learn the classification model 111 by the learning data D22.
  • the computer 202 acquires learning data D22.
  • the computer 202 obtains the learning data D22 by generating the learning data D22 from the moving image data D21.
  • the computer 202 may acquire learning data D22 generated by another computer. In that case, the computer 202 may receive the learning data D22 via the communication network. Alternatively, the computer 202 may receive the learning data D22 via an external recording medium.
  • step S302 the computer 202 performs learning of the classification model 111 using the learning data D22.
  • the computer 202 learns the classification model 111 by using the superimposed image included in the learning data D22 as input data and the classification of the operation of the work vehicle 1 as teacher data.
  • the computer 202 performs calculation processing in the forward propagation direction of the neural network 120 using each pixel value of each superimposed image as an input of the input layer 121.
  • the computer 202 obtains an output value output from the output layer 123 of the neural network 120.
  • the computer 202 calculates an error between the output value output from the output layer 123 and the correct output value indicated by the classification assigned as the teacher data.
  • the computer 202 calculates the weight of the connection between each neuron and the error of each threshold of each neuron by back propagation from the error of the calculated output value.
  • the computer 202 updates the connection weight between the neurons and the threshold value of each neuron based on the calculated errors.
  • the computer 202 repeats the above-described process for a plurality of superimposed images until the output value from the classification model 111 matches the value corresponding to the classification assigned to the superimposed image. Thereby, the parameters of the classification model 111 can be optimized, and the classification model 111 can be trained.
  • initial values of various parameters of the classification model 111 may be given by a template. Alternatively, the initial values of the parameters may be given manually by human input.
  • the computer 202 may prepare initial values of the parameters based on the learned parameter D23 of the classification model 111 to be re-learned.
  • step S303 the computer 202 stores the parameter optimized by learning in the storage device 104 as a learned parameter D23.
  • the computer 202 ends the learning of the classification model 111.
  • the computer 102 of the classification system 100 described above can acquire the learned classification model 111 by acquiring the classification model 111 and the learned parameter D23 from the computer 202 of the learning system 200.
  • the computer 202 of the learning system 200 may update the learned parameter D23 by periodically executing the learning of the classification model 111 described above.
  • the computer 202 of the learning system 200 may transfer the updated learned parameter D23 to the computer 102 of the classification system 100.
  • the computer 102 of the classification system 100 may update the parameters of the classification model 111 with the transferred learned parameters D23.
  • classification system 100 may include multiple computers.
  • the processing by the classification system 100 described above may be distributed to a plurality of computers and executed.
  • the generation of superimposed images and the determination of classification may be performed by different computers.
  • FIG. 21 is a view showing a classification system 100 according to a modification.
  • the classification system 100 may include a first computer 102a and a second computer 102b.
  • the first computer 102a and the second computer 102b may be able to communicate with each other.
  • the first computer 102a and the second computer 102b may be communicable via the communication network NT.
  • the first computer 102a may perform acquisition of the above-described moving image data D11 and generation of a superimposed image.
  • the second computer 102b may obtain the superimposed image from the first computer 102a.
  • the second computer 102 b may perform image classification using the classification model 111 described above and classification of the operation of the work vehicle 1.
  • the first computer 102a may receive management data from the second computer 102b, including classification of operations and execution time.
  • the learning system 200 may include multiple computers. The processing by the learning system 200 described above may be distributed and executed by a plurality of computers.
  • the computer 202 executes generation of learning data and learning of the classification model 111.
  • the generation of learning data and the learning of the classification model 111 may be performed by different computers. That is, the learning data generation module 211 and the learning module 212 may be implemented on different computers.
  • computer 102 may include multiple processors.
  • the computer 202 may include multiple processors. At least a part of the above-described processing may be executed by another processor such as a graphics processing unit (GPU) as well as the CPU.
  • graphics processing unit GPU
  • the processing described above may be distributed to and executed by a plurality of processors.
  • the classification model 111 includes a neural network 120.
  • the classification model 111 is not limited to a neural network, and may be, for example, a model such as a support vector machine that can accurately classify still images using machine learning.
  • the classification model 111 described above is not limited to a model learned by machine learning using the above-described learning data D21, and may be a model generated using the learned model.
  • the classification model 111 may be another learned model (derived model) in which the parameter is changed and the accuracy is further enhanced by causing the learned model to further learn using new data.
  • the classification model 111 may be another learned model (distilled model) learned based on the result obtained by repeating input and output of data to the learned model.
  • FIG. 22 is a flow chart illustrating the process performed by computer 202 (processor 203) to generate a distillation model. As shown in FIG. 22, in steps S401 to S403, the computer 202 generates a superimposed image from the moving image data. The processes in steps S401 to S403 are the same as those in steps S201 to S203 described above, and thus detailed description will be omitted.
  • step S404 the computer 202 performs image classification using the learned first classification model.
  • the computer 202 executes neural network based image classification using the superimposed image generated in step S403 as input data to the first classification model.
  • step S405 the computer 202 determines the classification of the operation of the work vehicle 1.
  • the computer 202 determines the classification of the operation of the work vehicle 1 by the image classification by the first classification model.
  • the process of step S404 and step S405 is the same as the process of step S104 and step S105 mentioned above.
  • step S406 the computer 202 stores the superimposed image generated in step S403 and the classification of the operation of the work vehicle 1 determined in step S405 in the storage device 204 as learning data D22.
  • step S407 the computer 202 performs learning of the second classification model using the learning data D22.
  • the processes of steps S407 and S408 are similar to the processes of steps S302 and S303 described above.
  • the computer 202 may perform learning of the second classification model based on learning data D22 generated by another computer.
  • the computer 102 determines the classification of the operation of the work vehicle 1 using the second classification model simpler than the first classification model. can do. Thereby, the load on the computer 102 for determining the classification of the operation of the work vehicle 1 can be reduced.
  • the motion data may be any data indicating a change in motion of the work vehicle generated from a plurality of images, and is not limited to a superimposed image, and may be other data.
  • the motion data may be data indicating a group of images included in a plurality of images.
  • FIG. 23 is a view showing operation data according to a modification.
  • the operation data may be a connected image IM51 obtained by connecting a plurality of images.
  • the connected image IM51 is an image obtained by serially connecting the first to third images F11 to F13 included in the above-described moving image data MV1.
  • the computer 102 may serially input the pixel values of the first to third images F11 to F13 to the input layer 121.
  • the operation of the work vehicle 1 can be easily and accurately determined by the computer 102 using artificial intelligence.
  • the determination accuracy of the operation is lower than that of the above embodiment using the superimposed image. In other words, in the above embodiment, unnecessary data can be reduced by using the superimposed image, whereby the determination accuracy can be improved.
  • the motion data may include values obtained from pixel values of a plurality of images, and may not be limited to the images.
  • the computer 102 calculates an average value average_pixel [0] [0] of pixel values, inputs the calculated value immediately to the input layer 121, and initializes average_pixel [0] [0]. Good.
  • the computer 102 may repeat the same processing up to average_pixel [2] [2]. In this case, the computer 102 does not generate an image as operation data, but can generate a value obtained by combining pixel values of a plurality of images as operation data and input it to the input layer 121.
  • the motion data may be one in which a common part in a plurality of images is omitted. For example, a pixel value indicating a background commonly included in a plurality of images may be omitted from the operation data.
  • the computer 102 may determine a reference image from among a plurality of images, and calculate a difference between the other images and the reference image. The computer 102 may generate operation data from this difference and input it to the input layer 121.
  • a superimposed image is generated by superimposing images of three frames in the moving image data D11 and D21.
  • the number of frames of the images superimposed in the superimposed image is not limited to three, and may be less than three or more than three.
  • the computers 102 and 202 may extract images of continuous frames to generate a superimposed image or a linked image. Alternatively, the computers 102 and 202 may extract an image by skipping part of continuous frames. For example, the computers 102 and 202 may extract one or more frames from a plurality of consecutive frames to extract an image.
  • the computers 102 and 202 may grayscale the plurality of images to generate a superimposed image or a connected image.
  • the computers 102 and 202 may change the density of part of a plurality of images. That is, the computers 102 and 202 may generate a superimposed image or a connected image from a plurality of images having different densities.
  • the computers 102 and 202 may cut out part of the extracted image to generate a superimposed image or a connected image.
  • the work vehicle is not limited to a hydraulic shovel, and may be another vehicle such as a bulldozer, a wheel loader, a grader, or a dump truck.
  • the classification model 111, the learned parameter D23, and / or the learning data D22 may be prepared for each type of work vehicle.
  • the classification model 111, the learned parameter D23, and / or the learning data D22 may be common to a plurality of types of work vehicles. In that case, the classification model 111 may estimate the type of work vehicle as well as the operation of the work vehicle.
  • Some of the processes described above may be omitted or changed.
  • the process of recording the operation time may be omitted.
  • the process of generating management data may be omitted.
  • classification system 111 classification model 103 processor 101 camera 200 learning system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本発明に係る方法は、コンピュータによって実行される方法であって、以下の処理を含む。第１の処理は、動作データを取得することである。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成されたデータであり、作業車両の動作変化を示す。第２の処理は、学習済みの分類モデルを用いた画像分類を実行することにより、動作データから作業車両の動作の分類を決定することである。

Description

作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法
　本発明は、人工知能を用いて作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法に関する。
　従来、作業車両が行っている動作をコンピュータによって推定する技術が知られている。例えば、油圧ショベルは、掘削、旋回、或いは排土などの動作を行う。特許文献１では、油圧ショベルのこれらの作業を、油圧ショベルに備えられたセンサからの検出値に基づいて、コントローラが判定している。例えば、油圧ショベルは、回転速度センサ、圧力センサ、及び複数の角度センサを備えている。回転速度センサは、エンジンの回転速度を検出する。圧力センサは、油圧ポンプの吐出圧を検出する。複数の角度センサは、ブーム角度、アーム角度、及びバケット角度を検出する。コントローラは、これらのセンサからの検出値に基づいて、油圧ショベルが実行している作業を判定する。
特開２０１６－１０３３０１号公報
　しかし、上記の技術では、センサを備えていない作業車両の動作を判定することはできない。また、作業車両がセンサを備えていても、作業車両がコンピュータとの通信装置を備えていなければ、コンピュータは、センサが検出した情報を作業車両から取得することができない。従って、その場合も、コンピュータによって作業車両の動作を判定することはできない。
　また、作業現場に配置された複数の作業車両を管理するために各作業車両の動作を判定する場合、全ての作業車両が、センサ、或いはコンピュータとの通信装置を備えているとは限らない。従って、作業現場に配置された複数の作業車両を管理するために各作業車両の動作を判定することは容易ではない。
　一方、近年、人や物の動作を撮影した動画を人工知能によって解析することで、どのような動作が行われているかをコンピュータが判定する技術が研究されている。例えば、動画を扱う人工知能のモデルとして、再帰型ニューラルネットワーク（RNN）などが研究されている。このような人工知能技術を用いて、作業車両の動作を撮影した動画を解析することができれば、作業車両の動作をコンピュータによって容易に判定することができる。しかし、上記のような動画をそのまま扱う人工知能のモデルは、認識精度などの問題により、実用化は未だ困難である。
　本発明の目的は、人工知能を用いて作業車両の動作を容易、且つ、精度良く判定することにある。
　第１の態様は、コンピュータによって実行される方法であって、以下の処理を含む。第１の処理は、動作データを取得することである。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成された作業車両の動作変化を示すデータである。第２の処理は、学習済みの分類モデルを用いた画像分類を実行することにより、動作データから作業車両の動作の分類を決定することである。
　第２の態様は、システムであって、学習済みの分類モデルと、プロセッサとを含む。プロセッサは、以下の処理を実行するようにプログラムされている。プロセッサは、動作データを取得する。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成された作業車両の動作変化を示すデータである。プロセッサは、分類モデルを用いた画像分類を実行することにより、動作データから作業車両の動作の分類を決定する。
　第３の態様は、学習済みの分類モデルの製造方法であって、以下の処理を含む。第１の処理は、学習データを取得することである。学習データは、動作データと、動作データに割り当てられた作業車両の動作の分類とを含む。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成された作業車両の動作変化を示すデータである。第２の処理は、学習データにより分類モデルを学習させることである。
　第４の態様は、分類モデルを学習させるための学習データであって、動作データと、動作データに割り当てられた作業車両の動作の分類とを含む。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成された作業車両の動作変化を示すデータである。
　第５の態様は、分類モデルを学習させるための学習データの製造方法であって、以下の処理を含む。第１の処理は、動作中の作業車両を時系列的に示す複数の画像を取得することである。第２の処理は、複数の画像から作業車両の動作変化を示す動作データを生成することである。第３の処理は、動作データに割り当てられる作業車両の動作の分類を取得することである。
　第６の態様は、学習済み分類モデルの製造方法であって、以下の処理を含む。第１の処理は、動作データを取得することである。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成された作業車両の動作変化を示すデータである。第２の処理は、学習済みの第１の分類モデルを用いた画像分類を実行することにより、動作データから作業車両の動作の分類を決定することである。第３の処理は、動作データと、決定された作業車両の動作の分類とを含む学習データにより、第２の分類モデルを学習させることである。
　本発明では、複数の画像から生成された動作データから、作業車両の動作の分類を決定する。従って、静止画像の分類に適した人工知能の分類モデルを利用して、作業車両の動作を推定することができる。それにより、人工知能を用いて作業車両の動作を容易、且つ、精度良く判定することができる。
実施形態に係る分類システムを示す模式図である。 分類システムのコンピュータの構成を示す模式図である。 コンピュータに実装された分類システムの構成を示す模式図である。 ニューラルネットワークの構成を示す模式図である。 作業車両の動作を推定するための処理を示すフローチャートである。 動画データに含まれる複数の画像の一例を示す図である。 図６に示す動画データに含まれる第１～第３の画像を重ね合わせた重ね合わせ画像の一例を示す図である。 図６に示す動画データに含まれる第２～第４の画像を重ね合わせた重ね合わせ画像の一例を示す図である。 動画データに含まれる複数の画像の他の例を示す図である。 図９に示す動画データに含まれる第１～第３の画像を重ね合わせた重ね合わせ画像の一例を示す図である。 図９に示す動画データに含まれる第２～第４の画像を重ね合わせた重ね合わせ画像の一例を示す図である。 動画データに含まれる複数の画像の他の例を示す図である。 図１２に示す動画データに含まれる第１～第３の画像を重ね合わせた重ね合わせ画像の一例を示す図である。 図１２に示す動画データに含まれる第２～第４の画像を重ね合わせた重ね合わせ画像の一例を示す図である。 入力層に入力される画素値の演算方法の一例を示す図である。 学習システムの構成を示す模式図である。 学習システムが実装されたコンピュータの構成を示す模式図である。 学習データを生成するための処理を示すフローチャートである。 加工済み画像の例を示す図である。 学習データによって分類モデルを学習させるための処理を示すフローチャートである。 変形例に係る分類システムを示す図である。 蒸留モデルを生成するための処理を示すフローチャートである。 変形例に係る動作データの一例を示す図である。 変形例に係る動作データの演算方法の一例を示す図である。
　以下、図面を参照して実施形態について説明する。図１は、実施形態に係る分類システム１００を示す模式図である。分類システム１００は、作業車両１が行っている動作を推定するためのシステムである。図１に示すように分類システム１００は、カメラ１０１とコンピュータ１０２とを含む。
　カメラ１０１は、作業車両１が配置された作業現場に配置されている。カメラ１０１は、作業車両１の外部から作業車両１を撮影し、作業車両１の動画を撮影する。コンピュータ１０２は、カメラ１０１と無線、或いは有線により通信を行う。カメラ１０１は、撮影した動画を示す動画データをコンピュータ１０２に送信する。コンピュータ１０２は、通信ネットワークを介して、カメラ１０１から動画データを受信してもよい。コンピュータ１０２は、記録媒体を介してカメラ１０１から動画データを受信してもよい。
　コンピュータ１０２は、作業現場に配置されてもよい。或いは、コンピュータ１０２は、作業現場から離れた管理センターに配置されてもよい。コンピュータ１０２は、分類システム１００用に専用に設計されたものであってもよく、或いは汎用のＰＣ（Personal Computer）であってもよい。コンピュータ１０２は、カメラ１０１から動画データを受信する。コンピュータ１０２は、人工知能の分類モデルを用いることで、作業車両１の動作の分類を決定する。
　分類システム１００は、カメラ１０１を複数有してもよい。複数のカメラ１０１は、複数の作業車両１の動画を撮影してもよい。コンピュータ１０２は、複数のカメラ１０１のそれぞれから、動画データを受信してもよい。
　図２は、コンピュータ１０２の構成を示す模式図である。図２に示すように、コンピュータ１０２は、プロセッサ１０３と、記憶装置１０４と、通信インタフェース１０５と、Ｉ／Ｏインタフェース１０６とを含む。プロセッサ１０３は、例えばＣＰＵ（Central Processing Unit）である。記憶装置１０４は、記録されたプログラム及びデータなどの情報をプロセッサ１０３が読み取り可能なように記録する媒体を含む。記憶装置１０４は、ＲＡＭ（Random Access Memory）、或いはＲＯＭ（Read Only Memory）などのシステムメモリと、補助記憶装置とを含む。補助記憶装置は、例えばハードディスク等の磁気的記録媒体、ＣＤ、ＤＶＤ等の光学的記録媒体、或いは、フラッシュメモリ等の半導体メモリであってもよい。記憶装置１０４は、コンピュータ１０２に内蔵されてもよい。記憶装置１０４は、コンピュータ１０２に着脱可能に接続される外部記録媒体を含んでもよい。
　通信インタフェース１０５は、例えば有線ＬＡＮ（Local Area Network）モジュール、或いは無線ＬＡＮモジュール等であり、通信ネットワークを介した通信を行うためのインタフェースである。Ｉ／Ｏインタフェース１０６は、例えばＵＳＢ（Universal Serial Bus）ポート等であり、外部装置と接続するためのインタフェースである。
　コンピュータ１０２は、Ｉ／Ｏインタフェース１０６を介して、入力装置１０７、及び出力装置１０８と接続される。入力装置１０７は、ユーザーがコンピュータ１０２への入力を行うための装置である。入力装置１０７は、例えば、マウス、或いはトラックボール等のポインティングデバイスを含む。入力装置１０７は、キーボード等の文字入力のための装置を含んでもよい。出力装置１０８は、例えば、ディスプレイを含む。
　図３は、分類システム１００の構成の一部を示す図である。図３に示すように、分類システム１００は、画像生成モジュール１１０と、学習済みの分類モデル１１１とを含む。画像生成モジュール１１０と学習済みの分類モデル１１１とは、コンピュータ１０２に実装されている。画像生成モジュール１１０と学習済みの分類モデル１１１とは、コンピュータの記憶装置１０４に保存されていてもよい。
　本実施形態において、モジュール及びモデルは、ハードウェア、ハードウェア上で実行可能なソフトウェア、ファームウェア、或いはそれらの組合せに実装されていてもよい。モジュール及びモデルは、プロセッサによって実行されるプログラム、アルゴリズム、及びデータを含んでもよい。モジュール及びモデルの機能は、単一のモジュールによって実行されてもよく、或いは複数のモジュールに分散して実行されてもよい。モジュール及びモデルは、複数のコンピュータに分散して配置されてもよい。
　画像生成モジュール１１０は、作業車両１の動画データＤ１１から、後述する重ね合わせ画像を示す画像データＤ１２を生成する。重ね合わせ画像は、動作中の作業車両１を時系列的に示す一連の複数の画像を重ね合わせた画像である。なお、ここでいう「画像」とは、静止画像を意味する。「一連の複数の画像」とは、動画中に含まれる完全に連続したフレームの複数の画像に限らず、所定数のフレームを飛ばした複数の画像を含む。
　分類モデル１１１は、画像分類のための人工知能モデルである。分類モデル１１１は、入力された画像を解析して、画像に対応する分類を出力する。後述するように、コンピュータ１０２は、画像データＤ１２が示す重ね合わせ画像に対して、人工知能の分類モデル１１１を用いた画像分類を実行することにより、作業車両１の動作の分類を決定する。分類モデル１１１は、決定した動作の分類を示す出力データＤ１３を出力する。
　分類モデル１１１は、図４に示すニューラルネットワーク１２０を含む。例えば、分類モデル１１１は、畳み込みニューラルネットワーク（CNN）などのディープニューラルネットワークを含む。
　図４に示すように、ニューラルネットワーク１２０は、入力層１２１、中間層１２２（隠れ層）、及び出力層１２３を含む。各層１２１，１２２，１２３は、１又は複数のニューロンを備えている。例えば、入力層１２１のニューロンの数は、重ね合わせ画像の画素数に応じて設定することができる。中間層１２２のニューロンの数は、適宜設定することができる。出力層１２３は、作業車両１の動作の分類数に応じて設定することができる。
　互いに隣接する層のニューロン同士は結合されており、各結合には重み（結合荷重）が設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力値が決定される。
　入力層１２１には、作業車両１の動作を示す動作データが入力される。動作データは、動作中の作業車両を時系列的に示す複数の画像から生成されたデータであり、作業車両の動作変化を示す。動作データについては後述する。出力層１２３には、分類された各動作の確率を示す出力値が出力される。分類モデル１１１は、動作データが入力されると、分類された各動作の確率を示す出力値を出力するように学習済みである。学習によって得られた分類モデル１１１の学習済みパラメータは、記憶装置１０４に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク１２０の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
　なお、各動作の分類は、作業車両１の種類に応じて決定されてもよい。例えば、作業車両１が油圧ショベルであるときには、動作の分類は、「掘削」、「旋回」、及び「排土」を含んでもよい。「旋回」は、「ホイスト旋回」と「ダウン旋回」とを含んでもよい。ただし、動作の分類の一部が変更、或いは省略されてもよい。或いは、動作の分類は、他の分類をさらに含んでもよい。
　図５は、作業車両１の動作を推定するためにコンピュータ１０２（プロセッサ１０３）によって実行される処理を示すフローチャートである。図５に示すように、ステップＳ１０１では、コンピュータ１０２は、カメラ１０１が撮影した作業車両１の動画データＤ１１を取得する。コンピュータ１０２は、カメラ１０１が撮影した動画データＤ１１をリアルタイムに取得してもよい。或いは、コンピュータ１０２は、カメラ１０１が撮影した動画データＤ１１を所定時刻に、或いは所定時間ごとに取得してもよい。コンピュータ１０２は、動画データＤ１１を記憶装置１０４に保存する。
　ステップＳ１０２では、コンピュータ１０２は、動画データＤ１１から、作業車両１の動作を示す一連の複数の画像を抜き出す。図６は、動画データＤ１１の一例（以下、「動画データＭＶ１」と記す）に含まれる複数の画像を示す図である。図６では、動画データＭＶ１に含まれる複数の画像の一部（画像Ｆ１１－Ｆ１４）のみが例示されている。コンピュータ１０２は、動画データＭＶ１に含まれる複数の画像Ｆ１１－Ｆ１４のうち、所定フレーム数の画像を抜き出す。
　ステップＳ１０３では、コンピュータ１０２は、抜き出した複数の画像を重ね合わせて、重ね合わせ画像を生成する。重ね合わせ画像は、上述した作業車両の動作変化を示す動作データの一例である。コンピュータ１０２は、複数の画像を透過させて互いに重ね合わせることで、重ね合わせ画像を生成する。重ね合わせ画像は、動画から抜き出した複数の画像を互いに重ね合わせることで合成した静止画像である。コンピュータ１０２は、重ね合わせ画像を示す画像データＤ１２を記憶装置１０４に保存する。
　図７は、図６に示す動画データＭＶ１に含まれる第１～第３の画像Ｆ１１－Ｆ１３を重ね合わせた重ね合わせ画像ＩＭ１１の一例を示す図である。図８は、図６に示す動画データＭＶ１に含まれる第２～第４の画像Ｆ１２－Ｆ１４を重ね合わせた重ね合わせ画像ＩＭ１２の一例を示す図である。図６に示す動画データＭＶ１は、旋回中の作業車両１を撮影して得られたものである。図７及び図８に示すように、重ね合わせ画像ＩＭ１１，ＩＭ１２では、旋回中の作業車両１の異なる複数の姿勢が１枚の静止画中に示されている。
　図９は、動画データＤ１２の他の例（以下、「動画データＭＶ２」と記す）に含まれる複数の画像の一部を示す図である。図９に示す動画データＭＶ２は、排土中の作業車両１を撮影して得られたものである。図１０は、図９に示す動画データＭＶ２に含まれる第１～第３の画像Ｆ２１－Ｆ２３を重ね合わせた重ね合わせ画像ＩＭ２１の一例を示す図である。図１１は、図９に示す動画データＭＶ２に含まれる第２～第４の画像Ｆ２２－Ｆ２４を重ね合わせた重ね合わせ画像ＩＭ２２の一例を示す図である。図１０及び図１１に示すように、重ね合わせ画像ＩＭ２１，ＩＭ２２では、排土中の作業車両１の異なる複数の姿勢が、１枚の静止画中に示されている。
　図１２は、動画データＤ１１のさらに他の例（以下、「動画データＭＶ３」と記す）に含まれる複数の画像の一部を示す図である。図１２に示す動画データＭＶ３は、掘削中の作業車両１を撮影して得られたものである。図１３は、図１２に示す動画データＭＶ３に含まれる第１～第３の画像Ｆ３１－Ｆ３３を重ね合わせた重ね合わせ画像ＩＭ３１の一例を示す図である。図１４は、図１２に示す動画データＭＶ３に含まれる第２～第４の画像Ｆ３２－Ｆ３４を重ね合わせた重ね合わせ画像ＩＭ３２の一例を示す図である。図１３及び図１４に示すように、重ね合わせ画像ＩＭ３１，ＩＭ３２では、掘削中の作業車両１の異なる複数の姿勢が、１枚の静止画中に示されている。
　ステップＳ１０４では、コンピュータ１０２は、学習済みの分類モデル１１１を用いた画像分類を実行する。コンピュータ１０２は、ステップＳ１０３で生成した重ね合わせ画像を、分類モデル１１１への入力データとして用いて、上述したニューラルネットワーク１２０に基づく画像分類を実行する。
　例えば、コンピュータ１０２は、重ね合わせ画像に含まれる画素値をニューラルネットワーク１２０の入力層１２１に含まれる各ニューロンに入力する。図１５は、入力層１２１に入力される画素値の演算方法の一例を示す図である。図１５において、「ｉｍａｇｅ＿１」は、第１の画像の画素値を示している。「ｉｍａｇｅ＿２」は、第２の画像の画素値を示している。「ｉｍａｇｅ＿３」は、第３の画像の画素値を示している。なお、図１５に示されている数値は例示であり、これに限定されるものではない。
　図１５に示すように、コンピュータ１０２は、第１～第３の画像の画素値を合成することで、入力層１２１に入力される動作データを生成する。詳細には、コンピュータ１０２は、第１～第３の画像において互いに対応する画素の画素値の平均値を算出する。コンピュータ１０２は、算出した各画素の平均値（ａｖｅｒａｇｅ＿ｐｉｘｅｌ［０］［０］等）を入力層１２１に含まれる各ニューロンに入力する。なお、平均値は、重み付け平均であってもよい。各画素値と各ニューロンとの対応関係は、適宜設定されてもよい。それにより、コンピュータ１０２は、作業車両１の動作の各分類の確率を出力データＤ１３として得る。
　上述した油圧ショベルの例では、作業車両１の動作の分類は、「旋回」、「排土」、及び「掘削」を含む。コントローラは、「旋回」、「排土」、及び「掘削」の各分類の確率を示す出力値を得る。分類モデル１１１は、図７及び図８に示すような旋回を示す重ね合わせ画像に対しては「旋回」の分類の出力値が高くなるように、学習済みである。分類モデル１１１は、図１０及び図１１に示すような排土を示す重ね合わせ画像に対しては「排土」の分類の出力値が高くなるように、学習済みである。分類モデル１１１は、図１３及び図１４に示すような掘削を示す重ね合わせ画像に対しては「掘削」の分類の出力値が高くなるように、学習済みである。
　ステップＳ１０５では、コンピュータ１０２は、作業車両１の動作の分類を決定する。コンピュータ１０２は、出力データＤ１３が示す各分類の確率に基づいて、作業車両１の動作の分類を決定する。コンピュータ１０２は、最も高い確率を有する分類を、作業車両１の動作として決定する。これにより、コンピュータ１０２は、作業車両１が実行している動作を推定する。
　ステップＳ１０６では、コンピュータ１０２は、ステップＳ１０５で決定された分類での作業車両１の動作時間を記録する。例えば、作業車両１が旋回を行っているときには、コンピュータ１０２は、動作の分類を「旋回」に決定すると共に、旋回の動作時間を記録する。コンピュータ１０２は、重ね合わせ画像に用いられたフレーム数から、分類の動作時間を算出してもよい。
　ステップＳ１０７では、コンピュータ１０２は、動作の分類及び動作時間を含む管理データを生成する。コンピュータ１０２は、管理データを記憶装置１０４に記録する。
　以上説明した本実施形態に係る分類システム１００では、コンピュータ１０２は、重ね合わせ画像から作業車両１の動作の分類を決定する。従って、静止画像の分類に適した人工知能の分類モデル１１１を利用して、作業車両１の動作を推定することができる。それにより、人工知能を用いて作業車両１の動作をコンピュータ１０２によって容易、且つ、精度良く判定することができる。
　分類システム１００では、作業車両１の外部から作業車両１を撮影した動画から、作業車両１の動作を推定することができる。従って、特定のセンサ或いは通信装置など、分類システム１００のための専用の装備を備えていない作業車両１に対しても、容易、且つ、精度良く動作を判定することができる。
　分類システム１００では、作業車両１の動画から、動作の分類を決定すると共に、当該分類の動作時間が管理データとして記録される。従って、作業車両１の動画を撮影することで、作業車両１による作業のタイムスタディをコンピュータ１０２によって容易且つ自動で行うことができる。また、作業現場における複数の作業車両１の動画をそれぞれ撮影して、分類システム１００によって管理データを生成することで、作業現場における複数の作業車両１による作業のタイムスタディをコンピュータ１０２によって容易且つ自動で行うことができる。
　次に、実施形態に係る分類モデル１１１の学習方法について説明する。図１６は、分類モデル１１１の学習を行う学習システム２００を示す図である。学習システム２００は、学習データ生成モジュール２１１と学習モジュール２１２とを含む。
　学習データ生成モジュール２１１は、作業車両の動画データＤ２１から学習データＤ２２を生成する。学習モジュール２１２は、学習データＤ２２を用いて、分類モデル１１１の学習を行い、分類モデル１１１のパラメータを最適化する。学習システム２００は、最適化されたパラメータを学習済みパラメータＤ２３として取得する。
　図１７は、学習システム２００を実現するコンピュータ２０２の構成を示す模式図である。図１７に示すように、コンピュータ２０２は、プロセッサ２０３と、記憶装置２０４と、通信インタフェース２０５と、Ｉ／Ｏインタフェース２０６と、入力装置２０７と、出力装置２０８とを含む。コンピュータ２０２のプロセッサ２０３、記憶装置２０４、通信インタフェース２０５、Ｉ／Ｏインタフェース２０６、入力装置２０７、及び出力装置２０８は、上述したコンピュータ１０２のプロセッサ１０３、記憶装置１０４、通信インタフェース１０５、Ｉ／Ｏインタフェース１０６、入力装置１０７、及び出力装置１０８と概ね同様であるため、詳細な説明を省略する。
　学習データ生成モジュール２１１と学習モジュール２１２とは、コンピュータ２０２に実装されている。学習データ生成モジュール２１１と学習モジュール２１２とは、記憶装置２０４に記憶されている。
　図１８は、学習データＤ２２を生成するためにコンピュータ２０２（プロセッサ２０３）によって実行される処理を示すフローチャートである。図１８に示すように、ステップＳ２０１では、コンピュータ２０２は、作業車両の動画データＤ２１を取得する。コンピュータ２０２は、通信ネットワークを介して動画データＤ２１を取得してもよい。或いは、コンピュータ２０２は、外部記録媒体を介して動画データＤ２１を取得してもよい。
　ステップＳ２０２では、コンピュータ２０２は、動画データＤ２１から、作業車両の動作を時系列的に示す一連の複数の画像を抜き出す。ステップＳ２０３では、コンピュータ２０２は、抜き出した複数の画像を重ね合わせて、重ね合わせ画像を生成する。ステップＳ２０２及びステップＳ２０３の処理は、上述したステップＳ１０２及びステップＳ１０３と概ね同様であるため、詳細な説明を省略する。
　ステップＳ２０４では、コンピュータ２０２は、作業車両１の動作の分類を、重ね合わせ画像に割り当てて、学習データを生成する。分類の割り当ては、人間が入力装置２０７を用いて手動で行ってもよい。その場合、コンピュータ２０２は、入力装置２０７を介して入力された分類を示す分類データに基づいて、重ね合わせ画像に、作業車両の動作の分類を割り当てて学習データを生成してもよい。
　ステップＳ２０５では、コンピュータ２０２は、記憶装置２０４に学習データＤ２２を保存する。学習データＤ２２は、ステップＳ２０３で生成された重ね合わせ画像と、ステップＳ２０４において重ね合わせ画像に割り当てられた作業車両の動作の分類とを含む。
　コンピュータ２０２は、ステップＳ２０１からステップＳ２０５の処理を繰り返すことで、１つの動画データＤ２１から、複数の学習データＤ２２を生成する。また、コンピュータ２０２は、ステップＳ２０１からステップＳ２０５の処理を繰り返すことで、複数の動画データＤ２１から、複数の学習データＤ２２を生成する。
　図１９に示すように、コンピュータ２０２は、１つの重ね合わせ画像を元の画像ＩＭ４１として、元の画像ＩＭ４１に対して、拡大、縮小、回転、平行移動、左右反転、及び色の変更のうちの１つ以上を施すことで、複数の加工済み画像ＩＭ４２－ＩＭ４５を生成してもよい。色の変更は、例えば、彩度、明度、或いはコントラストの変更であってもよい。コンピュータ２０２は、複数の加工済み画像ＩＭ４２－ＩＭ４５のそれぞれに対して作業車両１の動作の分類を割り当て、学習データＤ２２として保存してもよい。それにより、大量、且つ、多様な学習データＤ２２を用意することができ、分類モデル１１１の学習の効果を向上させることができる。
　図２０は、学習データＤ２２によって分類モデル１１１を学習させるためにコンピュータ２０２（プロセッサ２０３）によって実行される処理を示すフローチャートである。図２０に示すように、ステップＳ３０１では、コンピュータ２０２は、学習データＤ２２を取得する。上述のように、コンピュータ２０２は、動画データＤ２１から学習データＤ２２を生成することで、学習データＤ２２を取得する。
　ただし、コンピュータ２０２は、他のコンピュータが生成した学習データＤ２２を取得してもよい。その場合、コンピュータ２０２は、通信ネットワークを介して学習データＤ２２を受信してもよい。或いは、コンピュータ２０２は、外部記録媒体を介して、学習データＤ２２を受信してもよい。
　ステップＳ３０２では、コンピュータ２０２は、学習データＤ２２によって分類モデル１１１の学習を行う。コンピュータ２０２は、学習データＤ２２に含まれる重ね合わせ画像を入力データとし、作業車両１の動作の分類を教師データとして、分類モデル１１１の学習を行う。
　例えば、コンピュータ２０２は、各重ね合わせ画像の各画素値を入力層１２１の入力として用いて、ニューラルネットワーク１２０の順伝播方向の演算処理を行う。これにより、コンピュータ２０２は、ニューラルネットワーク１２０の出力層１２３から出力される出力値を得る。次に、コンピュータ２０２は、出力層１２３から出力される出力値と、教師データとして割り当てられた分類が示す正しい出力値との誤差を算出する。コンピュータ２０２は、算出した出力値の誤差から、バックプロパゲーションにより、各ニューロン間の結合の重み、及び、各ニューロンの閾値のそれぞれの誤差を算出する。そして、コンピュータ２０２は、算出した各誤差に基づいて、各ニューロン間の結合の重み、及び、各ニューロンの閾値の更新を行う。
　コンピュータ２０２は、複数の重ね合わせ画像について、分類モデル１１１からの出力値が、重ね合わせ画像に割り当てられた分類に対応する値と一致するまで、上記の処理を繰り返す。それにより、分類モデル１１１のパラメータが最適化され、分類モデル１１１を学習させることができる。
　なお、分類モデル１１１の各種のパラメータの初期値は、テンプレートにより与えられてもよい。或いは、パラメータの初期値は、人間の入力により手動で与えられてもよい。分類モデル１１１の再学習を行うときには、コンピュータ２０２は、再学習を行う対象となる分類モデル１１１の学習済みパラメータＤ２３に基づいて、パラメータの初期値を用意してもよい。
　ステップＳ３０３では、コンピュータ２０２は、学習によって最適化されたパラメータを学習済みパラメータＤ２３として記憶装置１０４に保存する。これにより、コンピュータ２０２は分類モデル１１１の学習を終了する。
　上述した分類システム１００のコンピュータ１０２は、分類モデル１１１及び学習済みパラメータＤ２３を学習システム２００のコンピュータ２０２から取得することで、学習済みの分類モデル１１１を取得することができる。
　なお、学習システム２００のコンピュータ２０２は、上述した分類モデル１１１の学習を定期的に実行することで、学習済みパラメータＤ２３を更新してもよい。学習システム２００のコンピュータ２０２は、更新した学習済みパラメータＤ２３を分類システム１００のコンピュータ１０２に転送してもよい。分類システム１００のコンピュータ１０２は、転送された学習済みパラメータＤ２３によって、分類モデル１１１のパラメータを更新してもよい。
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　分類システム１００、及び／又は、学習システム２００の構成が変更されてもよい。例えば、分類システム１００は、複数のコンピュータを含んでもよい。上述した分類システム１００による処理は、複数のコンピュータに分散して実行されてもよい。例えば、重ねあわせ画像の生成と分類の決定とは、異なるコンピュータによって実行されてもよい。
　図２１は、変形例に係る分類システム１００を示す図である。図２１に示すように、分類システム１００は、第１のコンピュータ１０２ａと第２のコンピュータ１０２ｂとを含んでもよい。第１のコンピュータ１０２ａと第２のコンピュータ１０２ｂとは互いに通信可能であってもよい。例えば、第１のコンピュータ１０２ａと第２のコンピュータ１０２ｂとは通信ネットワークＮＴを介して通信可能であってもよい。
　第１のコンピュータ１０２ａは、上述した動画データＤ１１の取得と、重ね合わせ画像の生成とを行ってもよい。第２のコンピュータ１０２ｂは、第１のコンピュータ１０２ａから重ね合わせ画像を取得してもよい。第２のコンピュータ１０２ｂは、上述した分類モデル１１１を用いた画像分類と、作業車両１の動作の分類とを行ってもよい。第１のコンピュータ１０２ａは、第２のコンピュータ１０２ｂから、動作の分類と実行時間とを含む管理データを受信してもよい。
　学習システム２００は、複数のコンピュータを含んでもよい。上述した学習システム２００による処理は、複数のコンピュータで分散して実行されてもよい。例えば、上記の本実施形態では、コンピュータ２０２が、学習データの生成と、分類モデル１１１の学習とを実行している。しかし、学習データの生成と、分類モデル１１１の学習とは、異なるコンピュータによって実行されてもよい。すなわち、学習データ生成モジュール２１１と学習モジュール２１２とは異なるコンピュータに実装されてもよい。
　分類システム１００のコンピュータ１０２、及び／又は、学習システム２００のコンピュータ２０２の構成が変更されてもよい。例えば、コンピュータ１０２は、複数のプロセッサを含んでもよい。コンピュータ２０２は、複数のプロセッサを含んでもよい。上述した処理の少なくとも一部は、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）などの他のプロセッサによって実行されてもよい。上述した処理は、複数のプロセッサに分散して実行されてもよい。
　上記実施形態では、分類モデル１１１はニューラルネットワーク１２０を含む。しかし、分類モデル１１１は、ニューラルネットワークに限らず、例えばサポートベクターマシンなど、機械学習を用いて静止画像に対して精度良く分類を行えるモデルあってもよい。
　上述した分類モデル１１１は、上述した学習データＤ２１を用いて機械学習により学習したモデルに限らず、当該学習したモデルを利用して生成されたモデルであってもよい。例えば、分類モデル１１１は、学習済みモデルに新たなデータを用いて更に学習させることで、パラメータを変化させ、精度をさらに高めた別の学習済みモデル（派生モデル）であってもよい。或いは、分類モデル１１１は、学習済みモデルにデータの入出力を繰り返すことで得られる結果を基に学習させた別の学習済みモデル（蒸留モデル）であってもよい。
　図２２は、蒸留モデルを生成するためにコンピュータ２０２（プロセッサ２０３）によって実行される処理を示すフローチャートである。図２２に示すように、ステップＳ４０１～Ｓ４０３において、コンピュータ２０２は、動画データから重ね合わせ画像を生成する。ステップＳ４０１～Ｓ４０３の各処理は、上述したステップＳ２０１～Ｓ２０３と同様であるため、詳細な説明を省略する。
　ステップＳ４０４では、コンピュータ２０２は、学習済みの第１の分類モデルを用いた画像分類を実行する。コンピュータ２０２は、ステップＳ４０３で生成した重ね合わせ画像を、第１の分類モデルへの入力データとして用いて、ニューラルネットワークに基づく画像分類を実行する。ステップＳ４０５では、コンピュータ２０２は、作業車両１の動作の分類を決定する。コンピュータ２０２は、第１の分類モデルによる画像分類によって、作業車両１の動作の分類を決定する。ステップＳ４０４及びステップＳ４０５の処理は、上述したステップＳ１０４及びステップＳ１０５の処理と同様である。
　ステップＳ４０６では、コンピュータ２０２は、ステップＳ４０３で生成した重ね合わせ画像と、ステップＳ４０５で決定した作業車両１の動作の分類とを学習データＤ２２として記憶装置２０４に保存する。
　ステップＳ４０７では、コンピュータ２０２は、学習データＤ２２によって第２の分類モデルの学習を行う。ステップＳ４０８では、コンピュータ２０２は、学習によって最適化されたパラメータを学習済みパラメータＤ２３として記憶装置１０４に保存する。ステップＳ４０７及びステップＳ４０８の処理は、上述したステップＳ３０２及びステップＳ３０３の処理と同様である。なお、コンピュータ２０２は、他のコンピュータによって生成された学習データＤ２２によって第２の分類モデルの学習を行ってもよい。
　以上のように第２の分類モデル（蒸留モデル）を学習させることで、コンピュータ１０２は、第１の分類モデルよりもシンプルな第２の分類モデルを用いて、作業車両１の動作の分類を決定することができる。それにより、作業車両１の動作の分類を決定するためのコンピュータ１０２の負荷を軽減することができる。
　動作データは、複数の画像から生成された作業車両の動作の変化を示すデータであればよく、重ね合わせ画像に限らず、他のデータであってもよい。動作データは、複数の画像に含まれる一群の画像を示すデータであってもよい。図２３は変形例に係る動作データを示す図である。図２３に示すように示すように、動作データは、複数の画像を連結した連結画像ＩＭ５１であってもよい。連結画像ＩＭ５１は、上述した動画データＭＶ１に含まれる第１～第３の画像Ｆ１１－Ｆ１３をシリアルに連結した画像である。この場合、図２４に示すように、コンピュータ１０２は、第１～第３の画像Ｆ１１－Ｆ１３の画素値をシリアルに入力層１２１に入力してもよい。
　このような変形例によっても、上述した実施形態と同様に、人工知能を用いて作業車両１の動作をコンピュータ１０２によって容易、且つ、精度良く判定することができる。ただし、背景などのデータが多く入力されることになるため、動作の判定にとって不要なデータが増える。そのため、変形例では、重ね合わせ画像を用いる上記の実施形態と比べて、動作の判定精度が劣る。言い換えれば、上記の実施形態では、重ね合わせ画像を用いることで、不要なデータを削減することができ、それにより判定精度を向上させることができる。
　動作データは、複数の画像の画素値から得られた値を含めばよく、画像に限られなくてもよい。例えば、図１５において、コンピュータ１０２は、画素値の平均値ａｖｅｒａｇｅ＿ｐｉｘｅｌ［０］［０］を計算し、計算した値を直ちに入力層１２１に入力し、ａｖｅｒａｇｅ＿ｐｉｘｅｌ［０］［０］を初期化してもよい。コンピュータ１０２は、同様の処理をａｖｅｒａｇｅ＿ｐｉｘｅｌ［２］［２］まで繰り返してもよい。この場合、コンピュータ１０２は、動作データとして画像を生成しないが、複数の画像の画素値を合成することで得られた値を動作データとして生成して、入力層１２１に入力することができる。
　動作データは、複数の画像において共通する部分が省略されたものであってもよい。例えば、複数の画像に共通に含まれる背景を示す画素値が、動作データから省略されてもよい。コンピュータ１０２は、複数の画像のなかから基準となる画像を決定し、他の画像に対して基準となる画像との差分を算出してもよい。コンピュータ１０２は、この差分から動作データを生成して、入力層１２１に入力してもよい。
　重ね合わせ画像、或いは連結画像を生成する方法は変更されてもよい。例えば、上記の実施形態では、動画データＤ１１，Ｄ２１中の３フレームの画像を重ね合わせることで、重ね合わせ画像が生成されている。しかし、重ね合わせ画像において重ね合わされる画像のフレーム数は３つに限らず、３つより少ない、或いは３つより多くてもよい。
　コンピュータ１０２，２０２は、連続したフレームの画像を抜き出して重ね合わせ画像、或いは連結画像を生成してもよい。或いは、コンピュータ１０２，２０２は、連続したフレームの一部を飛ばして画像を抜き出してもよい。例えば、コンピュータ１０２，２０２は、連続した複数のフレームから、１又はそれよりも多くのフレームを飛ばして画像を抜き出してもよい。
　コンピュータ１０２，２０２は、複数の画像をグレースケール化して重ね合わせ画像、或いは連結画像を生成してもよい。コンピュータ１０２，２０２は、複数の画像の一部の濃さを変更してもよい。すなわち、コンピュータ１０２，２０２は、異なる濃さを有する複数の画像から、重ね合わせ画像、或いは連結画像を生成してもよい。コンピュータ１０２，２０２は、抜き出した画像の一部を切り抜いて重ね合わせ画像、或いは連結画像を生成してもよい。
　作業車両は、油圧ショベルに限らず、ブルドーザ、ホイールローダ、グレーダー、或いはダンプトラックなどの他の車両であってもよい。分類モデル１１１、学習済みパラメータＤ２３、及び／又は学習データＤ２２は、作業車両の種類ごとに用意されてもよい。或いは、分類モデル１１１、学習済みパラメータＤ２３、及び／又は学習データＤ２２は、複数種類の作業車両に共通であってもよい。その場合、分類モデル１１１は、作業車両の動作と共に作業車両の種類を推定してもよい。
　上述した処理の一部が省略、或いは変更されてもよい。例えば、動作時間を記録する処理が省略されてもよい。管理データを生成する処理が省略されてもよい。
　本発明によれば、人工知能を用いて作業車両の動作を容易、且つ、精度良く判定することができる。
１００　分類システム
１１１　分類モデル
１０３　プロセッサ
１０１　カメラ
２００　学習システム

Claims (22)

  1. 　コンピュータによって実行される方法であって、
    　動作中の作業車両を時系列的に示す複数の画像から生成された前記作業車両の動作変化を示す動作データを取得することと、
    　学習済みの分類モデルを用いた画像分類を実行することにより、前記動作データから前記作業車両の動作の分類を決定することと、
    を備える方法。
  2. 　前記動作データは、前記複数の画像の画素値を合成することで得られる、
    請求項１に記載の方法。
  3. 　前記動作データは、前記複数の画像を重ね合わせて生成された重ね合わせ画像を示す、
    請求項１に記載の方法。
  4. 　前記動作データは、前記複数の画像に含まれる一群の画像を示す、
    請求項１に記載の方法。
  5. 　前記動作データは、前記複数の画像において互いに対応する画素の画素値の平均値で表される、
    請求項１に記載の方法。
  6. 　動作中の前記作業車両を撮影した動画を取得することと、
    　前記動画から前記複数の画像を抜き出すことと、
    　抜き出した前記複数の画像から、前記動作データを生成すること、
    をさらに備える、
    請求項１から５のいずれかに記載の方法。
  7. 　前記複数の画像を抜き出すことは、前記動画に含まれる連続したフレームの一部を飛ばして前記画像を抜き出すことを含む、
    請求項６に記載の方法。
  8. 　前記動作データを生成することは、抜き出した前記複数の画像の一部を他と異なる濃さに変えることを含む、
    請求項６又は７に記載の方法。
  9. 　前記動作データを生成することは、前記複数の画像をグレースケール化することを含む、
    請求項１から８のいずれかに記載の方法。
  10. 　前記分類が示す前記作業車両の動作時間を記録することと、
    　前記分類と前記動作時間とを含む管理データを生成すること、
    をさらに備える、
    請求項１から９のいずれかに記載の方法。
  11. 　前記分類モデルは、ニューラルネットワークを含む、
    請求項１から１０のいずれかに記載の方法。
  12. 　学習済みの分類モデルと、
    　プロセッサと、
    を備え、
    　前記プロセッサは、
    　　動作中の作業車両を時系列的に示す複数の画像から生成された前記作業車両の動作変化を示す動作データを取得し、
    　　前記分類モデルを用いた画像分類を実行することにより、前記動作データから前記作業車両の動作の分類を決定するようにプログラムされている、
    システム。
  13. 　前記作業車両の動画を撮影するカメラをさらに備え、
    　前記プロセッサは、
    　　前記カメラから前記動画を取得し、
    　　前記動画から前記複数の画像を抜き出し、
    　　抜き出した前記複数の画像から、前記動作データを生成するようにプログラムされている、
    請求項１２に記載のシステム。
  14. 　前記プロセッサは、
    　　前記分類が示す前記作業車両の動作時間を記録し、
    　　前記分類と前記動作時間とを含む管理データを生成するようにプログラムされている、
    請求項１２又は１３に記載のシステム。
  15. 　前記分類モデルは、ニューラルネットワークを含む、
    請求項１２から１４のいずれかに記載のシステム。
  16. 　学習済み分類モデルの製造方法であって、
    　動作中の作業車両を時系列的に示す複数の画像から生成された前記作業車両の動作変化を示す動作データと、前記動作データに割り当てられた前記作業車両の動作の分類とを含む学習データを取得することと、
    　前記学習データにより前記分類モデルを学習させること、
    を備える製造方法。
  17. 　動作中の前記作業車両を撮影した動画を取得することと、
    　前記動画から前記複数の画像を抜き出すことと、
    　抜き出した前記複数の画像から、前記動作データを生成することと、
    　前記動作データに前記作業車両の動作の分類を割り当てること、
    をさらに備える、
    請求項１６に記載の製造方法。
  18. 　分類モデルを学習させるための学習データであって、
    　動作中の作業車両を時系列的に示す複数の画像から生成された前記作業車両の動作変化を示す動作データと、
    　前記動作データに割り当てられた前記作業車両の動作の分類と、
    を備える学習データ。
  19. 　前記動作データは、前記複数の画像を重ね合わせて生成された重ね合わせ画像を示し、　前記重ね合わせ画像は、
    　　元の画像と、
    　　前記元の画像に対して、縮小、拡大、回転、平行移動、左右反転、及び色の変更のうちの１つ以上を施した複数の加工済み画像と、
    　を含む、
    請求項１８に記載の学習データ。
  20. 　分類モデルを学習させるための学習データの製造方法であって、
    　動作中の作業車両を時系列的に示す複数の画像を取得することと、
    　前記複数の画像から前記作業車両の動作変化を示す動作データを生成することと、
    　前記動作データに割り当てられる前記作業車両の動作の分類を取得すること、
    を備える製造方法。
  21. 　前記作業車両を撮影した動画を取得することをさらに備え、
    　前記複数の画像を取得することは、前記動画から前記複数の画像を抜き出すことを含む、
    請求項２０に記載の製造方法。
  22. 　学習済み分類モデルの製造方法であって、
    　動作中の作業車両を時系列的に示す複数の画像から生成された前記作業車両の動作変化を示す動作データを取得することと、
    　学習済みの第１の分類モデルを用いた画像分類を実行することにより、前記動作データから前記作業車両の動作の分類を決定することと、
    　前記動作データと、決定された前記作業車両の動作の分類とを含む学習データにより、第２の分類モデルを学習させること、
    を備える製造方法。
PCT/JP2018/039830 2017-11-10 2018-10-26 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 Ceased WO2019093152A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020197028316A KR20190120322A (ko) 2017-11-10 2018-10-26 작업 차량의 동작을 추정하기 위한 방법, 시스템, 학습된 분류 모델의 제조 방법, 학습 데이터, 및 학습 데이터의 제조 방법
CN201880021484.4A CN110462628B (zh) 2017-11-10 2018-10-26 估计作业车辆的动作的方法、系统、分类模型的制造方法以及学习数据及其制造方法
DE112018001587.4T DE112018001587T5 (de) 2017-11-10 2018-10-26 Verfahren zur schätzung von operationen eines arbeitsfahrzeugs, system, verfahren zur erzeugung eines trainierten klassifikationsmodells, trainingsdaten und verfahren zur erzeugung von trainingsdaten
US16/500,028 US11556739B2 (en) 2017-11-10 2018-10-26 Method for estimating operation of work vehicle, system, method for producing trained classification model, training data, and method for producing training data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-217287 2017-11-10
JP2017217287A JP7345236B2 (ja) 2017-11-10 2017-11-10 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法

Publications (1)

Publication Number Publication Date
WO2019093152A1 true WO2019093152A1 (ja) 2019-05-16

Family

ID=66438929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039830 Ceased WO2019093152A1 (ja) 2017-11-10 2018-10-26 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法

Country Status (6)

Country Link
US (1) US11556739B2 (ja)
JP (1) JP7345236B2 (ja)
KR (1) KR20190120322A (ja)
CN (1) CN110462628B (ja)
DE (1) DE112018001587T5 (ja)
WO (1) WO2019093152A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194243A (ja) * 2019-05-24 2020-12-03 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
WO2021002249A1 (ja) * 2019-07-01 2021-01-07 株式会社小松製作所 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム
WO2021019951A1 (ja) * 2019-07-29 2021-02-04 コベルコ建機株式会社 建設機械の作業情報生成システム及び作業情報生成方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7345236B2 (ja) * 2017-11-10 2023-09-15 株式会社小松製作所 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法
US11104345B2 (en) * 2018-04-18 2021-08-31 Rivian Ip Holdings, Llc Methods, systems, and media for determining characteristics of roads
KR20210059712A (ko) 2018-08-07 2021-05-25 블링크에이아이 테크놀로지스, 아이엔씨. 이미지 향상을 위한 인공지능 기법
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム
JP7167668B2 (ja) * 2018-11-30 2022-11-09 コニカミノルタ株式会社 学習方法、学習装置、プログラムおよび記録媒体
JP2021022179A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械のデータ処理システム
JP7109414B2 (ja) * 2019-09-18 2022-07-29 ヤフー株式会社 識別装置、識別方法及び識別プログラム
JP7412171B2 (ja) * 2019-12-27 2024-01-12 株式会社安藤・間 教師データ生成装置、及び教師データ生成方法
JP7583526B2 (ja) * 2020-02-10 2024-11-14 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
EP4118591A4 (en) * 2020-03-09 2024-05-08 Danfoss A/S System and method for control of heavy machinery
US12106466B2 (en) * 2020-03-31 2024-10-01 Jfe Steel Corporation Photographing condition determining method for metal structure, photographing method for metal structure, phase classification method for metal structure, photographing condition determining device for metal structure, photographing device for metal structure, phase classification device for metal structure, material property estimating method for metal material, and material property estimating device for metal material
JP7124852B2 (ja) * 2020-07-30 2022-08-24 カシオ計算機株式会社 教師データの生成方法、教師データの生成装置及びプログラム
US12024173B2 (en) * 2020-11-04 2024-07-02 Deere & Company System and method for work state estimation and control of self-propelled work vehicles
EP4248354A1 (en) * 2020-11-17 2023-09-27 Fyusion, Inc. Damage detection portal
WO2022108844A1 (en) 2020-11-17 2022-05-27 Fyusion, Inc. Multi-view visual data damage detection
JP7016936B1 (ja) * 2020-11-25 2022-02-07 日立建機株式会社 動作把握システム
US12205266B2 (en) 2021-02-05 2025-01-21 Fyusion, Inc. Multi-view interactive digital media representation viewer
US12060695B2 (en) * 2021-07-12 2024-08-13 Caterpillar Inc. Systems and methods for improving machine performance based on machine application identification
US12006655B2 (en) 2021-08-02 2024-06-11 Deere & Company Ground engaging tool contact detection system and method
KR102397428B1 (ko) * 2021-11-26 2022-05-12 한국건설기술연구원 인공지능을 이용한 시추주상도 정보 자동 저장 시스템 및 방법
CN116433930A (zh) * 2021-12-30 2023-07-14 顺丰科技有限公司 搬运车辆动作识别方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1060948A (ja) * 1996-08-21 1998-03-03 Yutani Heavy Ind Ltd 油圧ショベル
JPH10290450A (ja) * 1997-04-14 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> フレーム多重画像作成方法
JP2002298143A (ja) * 2001-03-30 2002-10-11 Omron Corp 運動動作解析支援装置
KR101441107B1 (ko) * 2013-04-29 2014-09-23 주식회사 에스원 승강기내 이상 행동 판별 방법 및 그 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999872A (en) * 1996-02-15 1999-12-07 Kabushiki Kaisha Kobe Seiko Sho Control apparatus for hydraulic excavator
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8498448B2 (en) * 2011-07-15 2013-07-30 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
JP5924961B2 (ja) 2012-02-02 2016-05-25 住友建機株式会社 建設機械、建設機械管理システム、携帯通信端末、及び建設機械の作業状態を表示する方法
KR20150058232A (ko) * 2012-09-20 2015-05-28 볼보 컨스트럭션 이큅먼트 에이비 어태치먼트 자동 인식 및 세팅 방법과 그 장치
US9710948B2 (en) * 2013-10-18 2017-07-18 Rakuten, Inc. Image creation device, image creation method, and image creation program
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
US10514694B1 (en) * 2015-07-21 2019-12-24 Hrl Laboratories, Llc System and method for classifying agents based on agent movement patterns
JP2017033047A (ja) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体
US10579923B2 (en) * 2015-09-15 2020-03-03 International Business Machines Corporation Learning of classification model
JP6454632B2 (ja) * 2015-11-11 2019-01-16 日立建機株式会社 運搬車両
JP6144373B2 (ja) 2016-02-17 2017-06-07 住友建機株式会社 ショベル、ショベル管理システム、及び携帯通信端末
CN109564575B (zh) * 2016-07-14 2023-09-05 谷歌有限责任公司 使用机器学习模型来对图像进行分类
CN106125612B (zh) * 2016-07-22 2019-03-12 厦门大学 一种装载机铲装过程的作业斗数识别方法与识别装置
US10163033B2 (en) * 2016-12-13 2018-12-25 Caterpillar Inc. Vehicle classification and vehicle pose estimation
JP7036610B2 (ja) * 2017-03-16 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習方法およびプログラム
US20180313061A1 (en) * 2017-04-26 2018-11-01 Caterpillar Inc. Control system using fuzzy logic to display machine productivity data
US10873357B2 (en) * 2017-05-02 2020-12-22 Deere & Company Smart attachment for a work vehicle
KR102575200B1 (ko) * 2017-08-08 2023-09-05 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨의 지원장치
JP7345236B2 (ja) * 2017-11-10 2023-09-15 株式会社小松製作所 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1060948A (ja) * 1996-08-21 1998-03-03 Yutani Heavy Ind Ltd 油圧ショベル
JPH10290450A (ja) * 1997-04-14 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> フレーム多重画像作成方法
JP2002298143A (ja) * 2001-03-30 2002-10-11 Omron Corp 運動動作解析支援装置
KR101441107B1 (ko) * 2013-04-29 2014-09-23 주식회사 에스원 승강기내 이상 행동 판별 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HASHIMURA, KEISUKE ET AL.: "Sign language recognition by convolutional neural network with concatenated sequence image of depth image", IEICE TECHNICAL REPORT., vol. 116, no. 248, 9 October 2016 (2016-10-09), pages 17 - 22, XP055607222 *
SHIMIZU, RYO: "Distillation'' for Dramatically Raising the Efficiency of Deep Neural Networks", WIRELESSWIRE NEWS, 30 September 2016 (2016-09-30), Retrieved from the Internet <URL:https://wirelesswire.jp/2016/09/56757> [retrieved on 20181217] *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194243A (ja) * 2019-05-24 2020-12-03 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
WO2020241043A1 (ja) * 2019-05-24 2020-12-03 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
JP7277256B2 (ja) 2019-05-24 2023-05-18 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
WO2021002249A1 (ja) * 2019-07-01 2021-01-07 株式会社小松製作所 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム
JP2021008747A (ja) * 2019-07-01 2021-01-28 株式会社小松製作所 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム
CN113825879A (zh) * 2019-07-01 2021-12-21 株式会社小松制作所 学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统
JP7503370B2 (ja) 2019-07-01 2024-06-20 株式会社小松製作所 学習済みの作業分類推定モデルの製造方法、コンピュータによって実行される方法、および作業機械を含むシステム
WO2021019951A1 (ja) * 2019-07-29 2021-02-04 コベルコ建機株式会社 建設機械の作業情報生成システム及び作業情報生成方法
JP2021021246A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の作業情報生成システム及び作業情報生成方法
JP7310408B2 (ja) 2019-07-29 2023-07-19 コベルコ建機株式会社 建設機械の作業情報生成システム

Also Published As

Publication number Publication date
CN110462628B (zh) 2023-04-21
KR20190120322A (ko) 2019-10-23
JP7345236B2 (ja) 2023-09-15
DE112018001587T5 (de) 2019-12-24
CN110462628A (zh) 2019-11-15
US20200050890A1 (en) 2020-02-13
JP2019087200A (ja) 2019-06-06
US11556739B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
JP7345236B2 (ja) 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法
JP7166088B2 (ja) 作業車両による作業を判定するためのシステム、方法、及び学習済みモデルの製造方法
JP6946831B2 (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
US20240371035A1 (en) Camera and lidar cross-sensor calibration
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN112991413A (zh) 自监督深度估测方法和系统
KR101787542B1 (ko) 3차원 지형 모델과 토질 분류를 이용한 비탈면 안정성 평가 시스템 및 방법
CN118429388B (zh) 基于图像处理的视觉追踪方法及装置
KR102320999B1 (ko) 폴트 톨러런스 및 플럭츄에이션 로버스트를 위한 복수의 뉴럴 네트워크를 사용하여 흔들리는 카메라로 인해 생성된 비디오에서 지터링을 제거하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JPWO2011013299A1 (ja) 移動体検出装置及び移動体検出方法
CN112837344A (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
US20110208685A1 (en) Motion Capture Using Intelligent Part Identification
CN116385493A (zh) 野外环境下多运动目标检测与轨迹预测方法
Chen et al. An underwater visual SLAM system with adaptive image enhancement
JP2022189901A (ja) 学習方法、学習装置、プログラムおよび記録媒体
CN120182873A (zh) 基于无人机巡检的视频流分析方法及系统
US12602755B2 (en) Deep learning-based high resolution image inpainting
JP7554569B2 (ja) 対象検知装置、対象検知方法及び対象検知プログラム
CN114067081B (zh) 一种基于双向增强网络的3d牙齿模型分割方法
CN108564585B (zh) 一种基于自组织映射与深度神经网络的图像变化检测方法
CN114972130B (zh) 一种去噪神经网络的训练方法、装置及训练设备
CN118140246A (zh) 利用机器学习的图像噪声学习服务器和图像噪声降低装置
CN117132963A (zh) 一种基于图像处理和机器学习的智能车无人驾驶方法
Avudaiamal et al. Cost-effective multiclass model: Unveiling the legacy of Tamil Nadu’s iconic temples
CN118628552B (zh) 一种高速路异常生物监测预警方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877083

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197028316

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18877083

Country of ref document: EP

Kind code of ref document: A1