WO2021019950A1 - 建設機械のデータ処理システム - Google Patents

建設機械のデータ処理システム Download PDF

Info

Publication number
WO2021019950A1
WO2021019950A1 PCT/JP2020/024283 JP2020024283W WO2021019950A1 WO 2021019950 A1 WO2021019950 A1 WO 2021019950A1 JP 2020024283 W JP2020024283 W JP 2020024283W WO 2021019950 A1 WO2021019950 A1 WO 2021019950A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
work
time
series
image data
Prior art date
Application number
PCT/JP2020/024283
Other languages
English (en)
French (fr)
Inventor
進軍 邱
翔 藤原
細　幸広
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/626,450 priority Critical patent/US20220237534A1/en
Priority to CN202080053078.3A priority patent/CN114127703A/zh
Priority to EP20846813.2A priority patent/EP3985584A1/en
Publication of WO2021019950A1 publication Critical patent/WO2021019950A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Definitions

  • the present invention relates to a construction machine data processing system for reducing the amount of work data related to construction machine work at a work site.
  • work data related to the work of a construction machine performed at a work site is stored in a storage unit (storage device), and is used as data for managing the work of the construction machine, for example. Since the storage capacity of the storage unit is finite, a technique for reducing the amount of data of the work data to be stored has been proposed.
  • Patent Document 1 discloses an operation data collecting device that receives measurement data of a plurality of sensors mounted on a work machine as operation data and records it in an operation data storage unit.
  • This operation data collection device adjusts the recording range and recording interval of the operation data to be collected according to the download status, the free space of the operation data storage unit, and the information freshness of the operation data.
  • the recording level of the records recorded in the operation data recording unit that have not been downloaded yet is changed according to the number of days elapsed from the data recording date.
  • the recording level is changed according to the ratio of the free space to the total capacity of the operation data recording unit.
  • the recording level is a recording condition, and the higher the numerical value, the larger the amount of recorded information (paragraphs 0050 and 0051 of Patent Document 1).
  • the recording level of the operation data is uniformly changed based on the download status, the free space of the operation data storage unit, and the information freshness of the operation data, regardless of the work content. Will be done. Therefore, the apparatus of Patent Document 1 may not be able to properly store the data of the work content that should be originally stored.
  • the measurement data of the sensor is stored in the storage unit as in the device of Patent Document 1, but also the image data of the construction machine is stored in the storage unit in chronological order at the work site.
  • work-related persons such as a manager who manages the work at the work site and an operator who performs the work at the work site use the image data stored in the storage unit to manage the work of the construction machine. be able to.
  • the time-series image data requires a larger capacity in the storage unit than the measurement data of the sensor. Therefore, in order to store the time-series image data and use the image data for managing the work of the construction machine, it is particularly important to reduce the amount of the image data data.
  • the present invention has been made to solve the above problems, and appropriately reduces the amount of data of work data including time-series data of images of construction machines at a work site according to the work contents of the construction machine.
  • the purpose is to provide a data processing system for construction machinery that can be used.
  • the construction machine data processing system is a construction machine data processing system for reducing the amount of work data related to the work of the construction machine, and is an image including the construction machine at the work site.
  • An imaging device that acquires time-series image data, which is time-series data, a data storage unit that stores the time-series image data, and a work of determining at least one work content of the construction machine based on the time-series image data.
  • a content determination unit and a data amount reduction unit are provided, and the data amount reduction unit includes a first specific work in which the at least one work content determined by the work content determination unit is preset.
  • the amount of data of the first image data is based on a preset first reduction rule.
  • the data storage is performed.
  • the data amount of the second image data which is the part corresponding to the second specific work, is set as a preset reduction rule and the first reduction rule. Is configured to reduce based on a different second reduction rule.
  • FIG. 1 is a schematic view showing the configuration of the data processing system 10 according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration of the data processing system 10.
  • FIG. 3 is a side view showing an example of the construction machine 100.
  • the data processing system 10 according to the present embodiment is a system for reducing the amount of work data related to the work of the construction machine 100 at the work site.
  • FIG. 1 shows a case where a plurality of construction machines 100 perform work at the work site.
  • the plurality of construction machines 100 include a first construction machine 100A and a second construction machine 100B.
  • Each of the plurality of construction machines 100 is composed of a hydraulic excavator. Since these hydraulic excavators have the same basic configuration, the construction machine 100 of one of the plurality of construction machines 100 will be described below, and the description of the other construction machine 100 will be omitted.
  • the construction machine 100 includes a crawler-type lower traveling body 101, and an upper rotating body 102 mounted on the lower traveling body 101 so as to be able to turn around a turning center axis perpendicular to the running surface.
  • An attachment 103 that is undulatingly mounted on the upper swivel body 102 is provided.
  • the upper swivel body 102 has a cab 102A that constitutes a front portion (main body front portion) of the upper swivel body 102, and a counterweight 102B that constitutes a rear portion (main body rear portion) of the upper swivel body 102.
  • the attachment 103 is rotatably connected to a boom 104 undulatingly supported by the upper swing body 102, an arm 105 rotatably connected to the tip of the boom 104, and a tip of the arm 105.
  • Bucket 106 tip attachment
  • the construction machine 100 includes a boom cylinder 107 that operates so as to cause the boom 104 to undulate with respect to the upper swing body 102, and an arm cylinder that operates to rotate the arm 105 with respect to the boom 104.
  • the data processing system 10 includes a plurality of sensors, a machine controller 50, an imaging device 30, a camera controller 40, a main controller 60, and a cloud server 70.
  • Each of the machine controller 50, the camera controller 40, the main controller 60, and the cloud server 70 is composed of a computer including a processor such as a CPU and a memory, for example.
  • the plurality of sensors and the machine controller 50 are provided in the construction machine 100.
  • the plurality of sensors acquire time-series operation data, which is time-series data of operation parameters that change in response to the operation of the construction machine 100.
  • the operating parameters acquired by the plurality of sensors are input to the machine controller 50.
  • the plurality of sensors include a boom angle sensor 21, an arm angle sensor 22, a bucket angle sensor 23, a turning angle sensor 24, a vehicle body tilt angle sensor 25, a positioning sensor 26, and rotation. Includes a number sensor 27 and. Therefore, the operating parameters include detection values detected by these sensors 21 to 27, respectively. Specifically, it is as follows.
  • the boom angle sensor 21 is a sensor that detects a parameter for specifying a boom angle, which is an angle of the boom 104 with respect to the upper swing body 102.
  • the boom angle is, for example, an angle formed by a plane orthogonal to the turning center of the upper swivel body 102 and a straight line extending along the longitudinal direction of the boom 104.
  • the straight line extending along the longitudinal direction of the boom 104 is, for example, the rotation center (center of the connecting pin) of the connecting portion between the upper swing body 102 and the base end portion of the boom 104 and the boom 104. It is a straight line connecting the rotation center (center of the connecting pin) of the connecting portion between the tip end portion and the base end portion of the arm 105.
  • the arm angle sensor 22 is a sensor that detects a parameter for specifying an arm angle, which is an angle of the arm 105 with respect to the boom 104.
  • the arm angle is, for example, an angle formed by the straight line extending along the longitudinal direction of the boom 104 and the straight line extending along the longitudinal direction of the arm 105.
  • the straight line extending along the longitudinal direction of the arm 105 is, for example, a rotation center (center of a connecting pin) of the connecting portion between the tip end portion of the boom 104 and the base end portion of the arm 105, and the arm 105. It is a straight line connecting the tip portion of the bucket 106 and the rotation center (center of the connecting pin) of the connecting portion between the base end portion of the bucket 106.
  • the bucket angle sensor 23 is a sensor that detects a parameter for specifying a bucket angle, which is an angle of the bucket 106 with respect to the arm 105.
  • the bucket angle is, for example, an angle formed by the straight line extending along the longitudinal direction of the arm 105 and a preset straight line defining the direction of the bucket 106.
  • the straight line defining the direction of the bucket 106 is, for example, the rotation center (center of the connecting pin) of the connecting portion between the tip end portion of the arm 105 and the base end portion of the bucket, and the tip end portion of the bucket. For example, it is a straight line connecting the toe portion of the bucket.
  • the boom angle sensor 21, the arm angle sensor 22, and the bucket angle sensor 23 are tilt angle sensors that detect, for example, the tilt angle of the boom 104, the tilt angle of the arm 105, and the tilt angle of the bucket 106, respectively. It may be configured by (for example, an acceleration sensor). Further, the boom angle sensor 21, the arm angle sensor 22, and the bucket angle sensor 23 include, for example, the rotation angle of a connecting portion (connecting pin) between the upper swing body 102 and the base end portion of the boom 104. The rotation angle of the connecting portion (connecting pin) between the tip end portion of the boom 104 and the base end portion of the arm 105, and the connecting portion (connecting pin) between the tip end portion of the arm 105 and the base end portion of the bucket.
  • the turning angle sensor 24 is a sensor that detects a parameter for specifying a turning angle, which is an angle of the upper turning body 102 with respect to the lower traveling body 101.
  • the turning angle is defined, for example, with reference to a position (phase) at which the forward direction of the lower traveling body 101 and the front of the upper turning body 102 (the direction in which the attachment 103 extends) coincide with each other.
  • Examples of the turning angle sensor 24 include a gyro sensor and a rotary encoder.
  • the vehicle body tilt angle sensor 25 is a sensor that detects a parameter for specifying a vehicle body tilt angle, which is an angle of the lower traveling body 101 or the upper turning body 102 with respect to a horizontal plane.
  • the vehicle body inclination angle sensor 25 includes, for example, an inclination angle of the lower traveling body 101 or the upper turning body 102 around the X axis, and an inclination angle of the lower traveling body 101 or the upper turning body 102 around the Y axis.
  • a biaxial tilt sensor (accelerometer) capable of acquiring the above can be mentioned.
  • the X-axis and the Y-axis are horizontal axes that are orthogonal to each other.
  • Each of the boom angle sensor 21, the arm angle sensor 22, the bucket angle sensor 23, the turning angle sensor 24, and the vehicle body tilt angle sensor 25 periodically detects corresponding parameters at predetermined time intervals.
  • the detected detection result (detection signal) is sequentially input to the machine controller 50.
  • the detection timings of the angle sensors 21 to 25 are preferably synchronized.
  • the positioning sensor 26 includes, for example, a GPS sensor capable of receiving data related to GPS (Global Positioning System), a GNSS sensor capable of receiving data related to GNSS (Global Navigation System System), and the like, and includes positioning data (GPS) of a satellite positioning system. Receive data, GNSS data, etc.).
  • GPS Global Positioning System
  • GNSS Global Navigation System System
  • the positioning sensor 26 is attached to, for example, the construction machine 100.
  • the rotation speed sensor 27 is provided in the engine (not shown) that is the drive source of the hydraulic pump in the hydraulic circuit of the construction machine 100, and detects the rotation speed of the engine.
  • the machine controller 50 includes a sensor data storage unit 51, a posture information generation unit 52, a time stamp processing unit 53, and a machine communication unit 54.
  • the sensor data storage unit 51 stores the operation parameters input from the plurality of sensors 21 to 27.
  • the posture information generation unit 52 generates posture information regarding the posture of the construction machine 100 based on the operation parameters stored in the sensor data storage unit 51. Specifically, the posture information generation unit 52 has the parameters input from each of the boom angle sensor 21, the arm angle sensor 22, the bucket angle sensor 23, the turning angle sensor 24, and the vehicle body tilt angle sensor 25. The boom angle, the arm angle, the bucket angle, the turning angle, and the vehicle body tilt angle are calculated based on the above.
  • the time stamp processing unit 53 adds time information to the time series operation data acquired by the plurality of sensors 21 to 27. Specifically, it is as follows.
  • the time stamp processing unit 53 calculated, for example, the time when the detection result by the boom angle sensor 21 was input to the machine controller 50 or the time when the boom angle was calculated by the attitude information generation unit 52. It is stored in association with the boom angle (attitude information). Similarly, the time stamp processing unit 53 inputs the detection results of the arm angle sensor 22, the bucket angle sensor 23, the turning angle sensor 24, and the vehicle body tilt angle sensor 25 to the machine controller 50. The arm angle, the bucket angle, the turning angle, and the time calculated by the attitude information generation unit 52 are stored in association with the calculated angle (attitude information).
  • the time stamp processing unit 53 stores the time when the detection result by the positioning sensor 26 is input to the machine controller 50 in association with the detection result. Further, the time stamp processing unit 53 stores the time when the detection result by the rotation speed sensor 27 is input to the machine controller 50 in association with the detection result.
  • the machine communication unit 54 is configured to be able to send and receive data to and from the main controller 60 (specifically, the communication unit 61 described later) via a network.
  • the machine communication unit 54 transmits the time-series operation data to which the time information is added, the posture information to which the time information is added, and the like. Information such as the transmitted time-series operation data and the posture information is input to the main controller 60.
  • the network may be composed of a long-distance information communication network such as the Internet or a mobile phone communication network. Further, the network includes, for example, a specific power-saving radio, Bluetooth (registered trademark), a wireless LAN (Wireless Local Area Network), and the like, and the machine communication unit 54 and the communication unit 61 are tens of meters to several hundreds. It may be configured by a communication network capable of wireless communication at a distance of about m. Further, the network may be, for example, a wired communication network.
  • the image pickup device 30 acquires time-series image data which is time-series data of an image including at least one construction machine 100 at the work site. That is, the imaging device 30 periodically images the image at predetermined time intervals.
  • the images captured by the imaging device 30 are sequentially input to the camera controller 40.
  • the time interval for imaging by each camera is set to, for example, 1/60 second, 1/30 second, 1/10 second, 1 second, and the like.
  • the image pickup apparatus 30 includes a first camera 30A and a second camera 30B.
  • the first camera 30A is arranged at a position where time-series image data, which is time-series data of an image including the first construction machine 100A, can be acquired at the work site.
  • the second camera 30B is arranged at a position where time-series image data, which is time-series data of an image including the second construction machine 100B, can be acquired at the work site.
  • the camera controller 40 includes an imaging data storage unit 41, a time stamp processing unit 42, and a camera communication unit 43.
  • the imaging data storage unit 41 stores the time-series image data input from each of the first camera 30A and the second camera 30B.
  • the time stamp processing unit 42 adds time information to the time series image data. Specifically, it is as follows.
  • the time stamp processing unit 42 stores the time when the image captured by each of the first camera 30A and the second camera 30B is input to the camera controller 40 in association with the image.
  • the camera communication unit 43 is configured to be able to transmit and receive data to and from the main controller 60 (specifically, the communication unit 61 described later) via the network.
  • the camera communication unit 43 transmits the image and the time information given to the image in association with each other.
  • the transmitted image and the time information are input to the main controller 60.
  • the main controller 60 includes a communication unit 61, a data storage unit 62, a posture estimation unit 63, a work content determination unit 64, a data synchronization unit 65, a data amount reduction unit 66, a search unit 67, and an HMI 68. It is equipped with 69 (Human Machine Interface).
  • the communication unit 61 is configured to be able to send and receive data to and from each of the machine controller 50 and the camera controller 40 via the network. Further, the communication unit 61 is configured to be able to send and receive data to and from the cloud server 70 (specifically, the server communication unit 71 described later) via the network.
  • the cloud server 70 specifically, the server communication unit 71 described later
  • the data storage unit 62 stores the time-series operation data input from the machine controller 50, and also stores the time-series image data input from the camera controller 40.
  • the posture estimation unit 63 estimates the posture of the construction machine 100 based on the image constituting the time-series image data, and generates posture estimation information regarding the estimated posture.
  • the posture estimation information includes the posture of the boom 104, the posture of the arm 105, the posture of the bucket 106, the posture of the upper swivel body 102 with respect to the lower traveling body 101, and the lower traveling body with respect to the horizontal plane.
  • the posture of 101 or the upper swing body 102 is included. More specifically, the posture estimation information includes the boom angle (boom estimation angle), the arm angle (arm estimation angle), the bucket angle (bucket estimation angle), the turning angle (turning estimation angle), and the above. Includes vehicle body tilt angle (estimated vehicle body tilt angle).
  • the posture estimation unit 63 estimates the posture of the first construction machine 100A based on the image of the first construction machine 100A acquired by the first camera 30A. Similarly, the posture estimation unit 63 estimates the posture of the second construction machine 100B based on the image of the second construction machine 100B acquired by the second camera 30B. The posture estimation information estimated by the posture estimation unit 63 is input to the work content determination unit 64.
  • the posture estimation unit 63 inputs the image into a multi-layered neural network (for example, a convolutional neural network) machine-learned by deep learning, so that a plurality of construction machines 100 included in the image are input. Extract the feature points of. That is, the neural network is a posture estimation algorithm learned in advance using data related to the feature points of the construction machine 100.
  • the neural network referred to by the posture estimation unit 63 is learned by, for example, learning processing using teacher data indicating the correspondence between the image of the construction machine 100 (excavator) and the coordinates of the feature points in the image. ..
  • FIG. 4 shows an example of a plurality of feature points of the construction machine 100.
  • the plurality of feature points of the construction machine 100 are the attach tip (1), the attach bottom (2), the attach joint (3), the arm joint (4), and the boom joint. 1 (5), boom joint 2 (6), main body front (7), main body right side (8), main body rear (9), main body left side (10), crawler right front (11), crawler right rear (12) ), Crawler left front (13), and crawler left rear (14).
  • the attach tip (1), the attach bottom (2), and the attach joint (3) indicate the tip of the bucket 106, the bottom of the bucket 106, and the joint of the bucket 106, respectively. Further, in FIG. 4, the left side portion (10) of the main body is not shown.
  • FIG. 5 is a diagram for explaining a process of estimating the posture of the construction machine 100 in the data processing system 10.
  • the neural network extracts and outputs the coordinates of each of the plurality of feature points based on the input image of the construction machine 100.
  • the posture estimation unit 63 bases the posture of the construction machine 100, specifically, the posture of the boom 104, and the posture of the arm 105, based on the coordinates of the plurality of feature points output from the neural network.
  • the posture of the tip attachment 106, the posture of the lower traveling body 101, and the posture of the upper swivel body 102 are estimated.
  • the posture of the boom 104 is specified by, for example, the angle (boom angle) of the boom 104 with respect to the upper swing body 102.
  • the posture of the arm 105 is specified by, for example, the angle (arm angle) of the arm 105 with respect to the boom 104.
  • the posture of the tip attachment 106 is specified, for example, by the angle (bucket angle) of the bucket 106 with respect to the arm 105.
  • the posture of the lower traveling body 101 and the posture of the upper turning body 102 are specified by, for example, the angle (turning angle) of the upper turning body 102 with respect to the lower running body 101.
  • the data (posture estimation information) regarding the posture estimated by the posture estimation unit 63 is input to the work content determination unit 64.
  • the posture estimation unit 63 may estimate the posture of the construction machine based on the image acquired by the imaging device by using a technique such as Openpose (registered trademark).
  • the work content determination unit 64 is performed by the first construction machine 100A based on the time-series posture data which is the time-series data of the posture of the first construction machine 100A estimated by the posture estimation unit 63. Judge the work done. Similarly, the work content determination unit 64 is based on the time-series posture data, which is the time-series data of the posture of the second construction machine 100B estimated by the posture estimation unit 63, of the second construction machine. The work content performed by 100B is determined.
  • the work content determination unit 64 inputs the time series data of the posture into a multi-layered neural network (for example, a recurrent neural network) machine-learned by deep learning, so that the time series of the posture is used. Extract the features contained in the data. That is, the neural network is a work classification algorithm learned in advance using time-series data relating to the movement of feature points of the construction machine 100.
  • the neural network referred to by the work content determination unit 64 is, for example, teacher data showing a correspondence relationship between a plurality of predefined work content candidates and time-series data of the posture tagged with the construction machine 100. Learn by learning process by.
  • the plurality of work content candidates defined in advance include, for example, excavation work, ground leveling work, slope shaping work, loading work, vehicle suspension, running work, and the like (see FIG. 7).
  • the excavation work is a work for excavating earth and sand on the ground by the bucket 106.
  • the ground leveling work is a work for leveling the ground with the bucket 106.
  • the slope shaping work is a work for shaping a slope which is an artificial slope created by cutting or embankment.
  • the loading operation is an operation for loading an object to be retained such as earth and sand held in the bucket 106 to another place.
  • the traveling work is a work for moving the construction machine 100 to the next work place at the work site.
  • the suspension is a state in which the construction machine 100 is stopped without actual work such as the loading work, the lifting work, the excavation work, the ground leveling work, the slope shaping work, and the running work. Say that.
  • FIG. 6 is a diagram showing the time-series posture data of the construction machine 100 in the data processing system 10.
  • time-series posture data relating to the boom angle, arm angle, bucket angle, and turning angle are shown.
  • a time-series change in the posture of the construction machine 100 when the excavation work is performed (time-series data of the posture) and a loading work performed after the excavation work are performed. It shows the time-series change of the posture of the construction machine 100 (time-series data of the posture) at the time of excavation.
  • Each of these operations is performed with a peculiar time-series change in terms of the posture of the construction machine 100. Therefore, the change in the posture of the construction machine 100 in time series is related to the work content of the construction machine 100 and serves as an index for determining the work content. Specifically, it is as follows.
  • the turning angle is constant in the excavation work as shown in FIG.
  • the boom angle and the arm angle gradually increase from the beginning to the end of the excavation work.
  • the bucket angle gradually increases from the beginning to the middle of the excavation work, and greatly increases at the end.
  • the turning angle starts to increase when the excavation work is switched to the loading work.
  • the turning angle and the boom angle gradually increase from the early stage to the middle stage of the loading work, and the arm angle and the bucket angle are constant from the early stage to the middle stage of the loading work.
  • the turning angle and the boom angle are constant at the end of the loading work, and the arm angle and the bucket angle gradually decrease at the end of the loading work.
  • FIG. 7 is a diagram for explaining a process of determining the work content from the time-series posture data of the construction machine 100 in the data processing system 10.
  • the output layer of the neural network executes, for example, an operation by a softmax function, and outputs scores for each of the plurality of work content candidates.
  • the work content determination unit 64 determines the work content candidate having the highest score as the work content based on the scores for each of the plurality of work content candidates output from the output layer of the neural network. In the specific example of FIG. 7, the work content determination unit 64 determines the “excavation work” having the highest score among the plurality of work content candidates as the work content.
  • the score shown in FIG. 7 indicates the accuracy of the determination by the work content determination unit 64.
  • the data synchronization unit 65 associates the time-series image data with the time-series operation data based on the time information given to each of the time-series image data and the time-series operation data, and establishes a correspondence relationship between the time-series image data and the time-series operation data.
  • the data synchronization unit 65 associates the time-series image data with the time-series operation data based on the time information given to each of the time-series image data and the time-series operation data, and establishes a correspondence relationship between the time-series image data and the time-series operation data.
  • FIG. 8 is a diagram showing an example of time-series changes in the work content by the construction machine 100 determined by the work content determination unit 64.
  • the plurality of work contents by the construction machine 100 determined by the work content determination unit 64 include excavation work W11, loading work W12, excavation work W13, loading work W14, traveling work W15, and ground leveling work. It is composed of W16, and FIG. 8 shows that these operations were performed in this order.
  • the data storage unit 62 is configured to store the plurality of work contents determined by the work content determination unit 64 as a work history.
  • the time-series image data of the first construction machine 100A captured by the first camera 30A of the imaging device 30 corresponds to the first image data corresponding to the excavation work W11 and the loading work W12.
  • a sixth image data corresponding to the ground preparation work W16 is included.
  • the time information of the time-series image data given by the time stamp processing unit 42 includes a first time information corresponding to the first image data and a second time corresponding to the second image data. Information, a third time information corresponding to the third image data, a fourth time information corresponding to the fourth image data, and a fifth time information corresponding to the fifth image data. , A sixth time information corresponding to the sixth image data, and the like.
  • the data synchronization unit 65 includes the first operation data, which is a portion of the time-series operation data stored in the data storage unit 62, which has time information corresponding to the first time information, and the first operation data. Is stored in association with the image data of.
  • the data synchronization unit 65 includes the second operation data, which is a portion of the time-series operation data stored in the data storage unit 62, which has time information corresponding to the second time information, and the second operation data. Is stored in association with the image data of.
  • the data synchronization unit 65 includes a third operation data, which is a portion of the time-series operation data stored in the data storage unit 62 and having time information corresponding to the third time information, and the third operation data. Is stored in association with the image data of.
  • the fourth data synchronization unit 65 is a portion of the time-series operation data stored in the data storage unit 62 that has time information corresponding to the fourth to sixth time information.
  • Each of the sixth operation data and each of the fourth to sixth image data are stored in association with each other.
  • FIG. 9 is a diagram showing an example of reduction rules set for each work site in the data processing system 10.
  • the reduction rule for the work site A determines the amount of data of the excavation image data, which is a portion of the time-series image data stored in the data storage unit 62, which corresponds to the excavation work.
  • the reduction rule of reducing at a reduction rate of 20% (thinning rate) the reduction rule of reducing the amount of loaded image data, which is the part corresponding to the loading work, at a reduction rate of 30%, and the ground preparation work.
  • the reduction rule of reducing by 60%, the reduction rule of reducing the amount of running image data corresponding to the running work at a reduction rate of 60%, and the state where the construction machine 100 is stopped (stop work). ) Includes a reduction rule that reduces the amount of still image data, which is the part corresponding to), at a reduction rate of 99%.
  • the reduction rule for the work site A is the abnormal image data which is a portion of the time-series image data stored in the data storage unit 62 corresponding to the work in which the abnormality has occurred. It also includes a reduction rule that reduces the amount of data in the data at a reduction rate of 0%. That is, "reducing the amount of data at a reduction rate of 0%" means that all of the abnormal image data remains.
  • the work in which the abnormality has occurred includes, for example, a work in which a failure of the construction machine 100 has occurred, a work in which a preset prohibited operation has been performed, and the like. As the prohibited operation, for example, an operation of simultaneously performing the excavation work and the traveling work is set. If the work corresponds to the work in which the abnormality has occurred and also corresponds to the other work described above, the reduction rule relating to the work in which the abnormality has occurred takes precedence.
  • the reduction rule for the work site B includes contents different from the reduction rule for the work site A.
  • the reduction rate of the work data related to the work is reduced (the data remaining ratio is increased). )
  • the reduction rule is set. Further, at the work site A, since the excavation work is of high importance, the reduction rule is set so that the reduction rate of the work data related to the excavation work is small. On the other hand, at the work site B, since the ground leveling work and the slope shaping work are of high importance, the reduction rule is set so that the reduction rate of work data related to these works is small.
  • the data amount reduction unit 66 has the data amount of the excavation image data which is a part corresponding to the excavation work W11 shown in FIG. 8 among the time series image data stored in the data storage unit 62. Is reduced at a reduction rate of 20% based on the reduction rule shown in FIG. Similarly, the data amount reduction unit 66 shows the data amount of the loaded image data, which is a portion of the time-series image data stored in the data storage unit 62 that corresponds to the loading operation W12 shown in FIG. Based on the reduction rule shown in 9, the reduction rate is 30%. The amount of data is similarly reduced for the other operations shown in FIG.
  • the method for reducing the amount of the image data is not particularly limited.
  • the amount of image data to be reduced may be reduced by reducing the frame rate based on the reduction rate set by the reduction rule.
  • the amount of excavation image data corresponding to the excavation work W11 shown in FIG. 8 is reduced so that the frame rate after reduction is a value obtained by multiplying the frame rate before reduction by 0.8.
  • the data amount reduction unit 66 has time information corresponding to the time information of the excavation work W11 shown in FIG. 8 among the time series operation data stored in the data storage unit 62. Reduce the amount of excavation operation data that is a part. Similarly, the data amount reduction unit 66 is a portion of the time-series operation data stored in the data storage unit 62 that has time information corresponding to the time information of the loading operation W12 shown in FIG. Reduce the amount of operation data. Similarly, the amount of operation data is reduced for the other operations shown in FIG.
  • the rule for reducing the amount of operation data may be the same as the rule for reducing the amount of image data shown in FIG. 9, for example.
  • the amount of excavation operation data which is a portion having time information corresponding to the time information of the excavation work W11 shown in FIG. 8, is reduced at a reduction rate of 20%.
  • the rule for reducing the amount of data of the operation data may be different from the rule for reducing the amount of data of the image data shown in FIG. 9, for example. Specifically, for example, all the operation data corresponding to the reduced image data may be deleted.
  • FIG. 10 is a diagram showing another example of the time-series change of the work content by the construction machine determined by the work content determination unit.
  • the plurality of work contents by the construction machine 100 determined by the work content determination unit 64 include a repetitive work composed of a plurality of excavation work and a plurality of loading work.
  • the combination of the excavation work and the loading work is continuously performed a plurality of times (five times in FIG. 10).
  • the data storage unit 62 is configured to store the plurality of work contents determined by the work content determination unit 64 as a work history.
  • the work content determination unit 64 outputs a score as shown in FIG. 7 described above when determining the work content of each of the plurality of tasks W21 to W30 shown in FIG.
  • the data amount reduction unit 66 includes a plurality of excavation image data and a plurality of loadings, which are portions corresponding to the plurality of excavation operations and the plurality of loading operations among the time-series image data stored in the data storage unit 62. The amount of at least one image data is reduced based on the score.
  • the data amount reduction unit 66 may reduce the image data corresponding to the excavation work having the lowest score among the plurality of excavation work W21, W23, W25, W27, W29, for example. .. In this case, the data amount reduction unit 66 may also reduce the image data corresponding to the loading work combined with the excavation work having the lowest score.
  • the data amount reduction unit 66 includes, for example, the image data corresponding to the excavation work having the lowest score among the plurality of excavation works W21, W23, W25, W27, and W29, and the excavation having the highest score.
  • the image data corresponding to the work may be reduced.
  • the data amount reduction unit 66 performs the image data corresponding to the loading work combined with the excavation work having the lowest score and the loading work combined with the excavation work having the highest score.
  • the corresponding image data may also be reduced.
  • the search unit 67 searches for information corresponding to the search condition from the work history stored in the data storage unit 62, and outputs the searched information.
  • the data storage unit 62 is configured to store the plurality of work contents determined by the work content determination unit 64 as a work history. Further, the data storage unit 62 may further store the time-series operation data acquired by the plurality of sensors.
  • the HMIs 68 and 69 have an input unit 68 such as a keyboard on which an operator can input the search conditions, and a display in which the information searched by the search unit 67 is output. Includes a display unit 69 such as a device.
  • FIG. 11 is a diagram showing an example of a screen of the display unit 69 when the operator inputs the search condition.
  • the operator can input, for example, a work type (work content), a date, a vehicle ID, sensor conditions, and the like on the screen.
  • FIG. 12 is a diagram showing an example of a screen of the display unit 69 in which the information searched by the search unit 67 is output.
  • the search result the vehicle ID, the work start time, the work time, and the image of the construction machine 100 are displayed on the display unit 69.
  • FIG. 13 is a diagram showing another example of the screen of the display unit 69 from which the information searched by the search unit 67 is output.
  • the search result the date, the image of the construction machine 100, the work content, and the operation parameter detected by the sensor are displayed on the display unit 69.
  • FIG. 14 is a diagram showing an example of a daily work report generated based on the information acquired by the data processing system 10.
  • the cloud server 70 includes a server communication unit 71, a data storage unit 72, and a search unit 73.
  • the server communication unit 71 is configured to be able to send and receive data to and from the communication unit 61 of the main controller 60 via the network.
  • the data storage unit 72 receives data stored in the data storage unit 62 of the main controller 60 via the communication unit 61 and the server communication unit 71, and stores the data.
  • the data storage unit 72 stores the time-series image data reduced by the data amount reduction unit 66. Further, the data storage unit 72 may store the plurality of work contents determined by the work content determination unit 64 as a work history. Further, the data storage unit 72 may further store the time-series operation data acquired by the plurality of sensors.
  • the search unit 73 searches for information corresponding to the search condition from the work history stored in the data storage unit 72, and outputs the searched information.
  • the cloud server 70 may be configured to be able to send and receive data to and from, for example, a terminal 80 via the network.
  • the terminal 80 is composed of a computer such as a mobile terminal used by a manager who manages the work at the work site, an operator who performs the work at the work site, and other work-related persons. The person involved in the work inputs the search condition into the input unit of the terminal 80.
  • the search unit 73 searches for information corresponding to the search condition from the work history stored in the data storage unit 72, and outputs the searched information.
  • the output information is input to the terminal 80.
  • the person involved in the work can confirm the information displayed on the display unit of the terminal 80.
  • FIG. 15 is a flowchart showing arithmetic processing of the data processing system 10.
  • the communication unit 61 of the main controller 60 receives the time-series image data of the image acquired by the image pickup device 30 (step S1). Further, the communication unit 61 receives time-series operation data of the operation parameters acquired by the plurality of sensors (step S2).
  • the communication unit 61 may receive the time-series image data in a plurality of times, or may receive the time-series image data in a batch. Similarly, the communication unit 61 may receive the time-series operation data in a plurality of times, or may receive the time-series operation data in a batch.
  • the data storage unit 62 stores the time-series image data and the time-series operation data (step S3).
  • the posture estimation unit 63 and the work content determination unit 64 determine a plurality of work contents based on the time-series image data (step S4).
  • the data synchronization unit 65 determines whether or not the time-series image data and the time-series operation data can be synchronized (step S5).
  • the data synchronization unit 65 is based on these time information. By associating the time-series image data with the time-series operation data, these data are synchronized (step S6).
  • the data amount reduction unit 66 is stored in the data storage unit 62 when the plurality of work contents determined by the work content determination unit 64 include a preset first specific work.
  • the amount of data of the first image data which is a part of the time-series image data corresponding to the first specific work, is reduced based on a preset first reduction rule.
  • the data amount reduction unit 66 includes a second specific work in which the plurality of work contents determined by the work content determination unit 64 are preset specific work and different from the first specific work.
  • the data amount of the second image data which is a portion of the time-series image data stored in the data storage unit 62 and corresponding to the second specific work, is reduced by a preset reduction rule. Reduction is performed based on a second reduction rule different from the first reduction rule (step S7).
  • the communication unit 61 transmits a part or all of the data stored in the data storage unit 62 to the cloud server 70 (step S8).
  • step S5 When the time-series image data and the time-series operation data cannot be synchronized in step S5, such as when time information is not properly added to the time-series operation data (NO in step S5).
  • the main controller 60 compares the posture information generated by the posture information generation unit 52 with the posture estimation information estimated by the posture estimation unit 63, and compares the time series corresponding to the time series image data.
  • the operation data is searched (step S9).
  • the data synchronization unit 65 synchronizes the searched time-series operation data with the time-series image data (step S6).
  • the amount of work data including the time series data of the image of the construction machine 100 at the work site can be reduced according to the work content of the construction machine 100.
  • the time-series image data in which the amount of data is reduced can be stored in the data storage unit 62. Further, it is possible to reduce the amount of communication in transmitting and receiving data via the communication unit.
  • the present invention is not limited to the embodiments described above.
  • the present invention can include, for example, the following aspects.
  • the data amount reduction unit 66 is configured to reduce both the data amount of the time-series image data and the data amount of the time-series operation data.
  • the data processing system is not limited to this aspect.
  • the data amount reduction unit may be configured to reduce at least the data amount of the time series image data. In this case, a part or all of the plurality of sensors 21 to 27 can be omitted, and the data synchronization unit 65 can be omitted.
  • Imaging device 30 may be configured by, for example, a stereo camera.
  • the data processing system 10 includes the cloud server 70, but the cloud server 70 can be omitted.
  • each of the camera controller 40 and the machine controller 50 includes a time stamp processing unit, but the data processing system is not limited to this aspect.
  • the main controller 60 may include a time stamp processing unit, and the time stamp processing unit may add time information to each of the time series image data and the time series operation data.
  • the time stamp processing units of the camera controller 40 and the machine controller 50 can be omitted.
  • the tip attachment is not limited to a bucket, and may be another tip attachment such as a grapple, a crusher, a breaker, or a fork.
  • the construction machine is not limited to the hydraulic excavator, and may be another construction machine.
  • the construction machine includes a traveling lower traveling body 101, but the present invention is not limited to this.
  • the construction machine may have a structure in which the upper swing body 102 is supported by a base installed at a specific place.
  • the posture estimation unit 63 estimates the posture of the construction machine 100 based on the image, and the neural network (posture estimation algorithm) machine-learned in advance is used.
  • the data processing system is not limited to this aspect.
  • the posture estimation of the construction machine may be performed by a method other than the method using the neural network.
  • a method using machine learning other than the method using the neural network, a time series algorithm, and the like can be exemplified.
  • the data processing system 20 according to the embodiment includes search units 67 and 73, but one or both of them can be omitted. Further, the machine controller 50 of the data processing system 20 according to the embodiment includes a posture information generation unit 52, but the posture information generation unit 52 can be omitted.
  • the construction machine data processing system is a construction machine data processing system for reducing the amount of work data related to the work of the construction machine, and is an image including the construction machine at the work site.
  • An imaging device that acquires time-series image data, which is time-series data, a data storage unit that stores the time-series image data, and a work of determining at least one work content of the construction machine based on the time-series image data.
  • a content determination unit and a data amount reduction unit are provided, and the data amount reduction unit includes a first specific work in which the at least one work content determined by the work content determination unit is preset.
  • the amount of data of the first image data is based on a preset first reduction rule.
  • the data storage is performed.
  • the data amount of the second image data which is the part corresponding to the second specific work, is set as a preset reduction rule and the first reduction rule. Is configured to reduce based on a different second reduction rule.
  • the first reduction rule for reducing the amount of the first image data corresponding to the first specific work and the second image corresponding to the second specific work is preset by the work-related person, and the data amount of the first image data among the time-series image data is the first.
  • the data amount of the second image data is reduced based on the second reduction rule. That is, the work-related persons set the first reduction rule and the second reduction rule, which are different from each other, so that the first specific work and the second specific work can be specified from the viewpoint of reducing the amount of data. You can give superiority or inferiority to the work.
  • the first reduction rule is set to reduce the amount of the data of the first image data at a preset first reduction rate
  • the second reduction rule is the first reduction rule.
  • the data amount of the image data of 2 may be set to be reduced at a preset reduction rate and a second reduction rate different from the first reduction rate.
  • the reduction rate of one of the first specific work and the second specific work which has a high importance, is set to be smaller than the reduction rate of the other work.
  • the amount of the work data can be reduced according to the importance of the work content.
  • the data processing system includes at least one sensor that acquires time-series operation data, which is time-series data of operation parameters that change in response to the operation of the construction machine, the time-series image data, and the time.
  • a time stamp processing unit that adds time information to each of the series operation data is further provided, and the data storage unit is configured to further store the time series operation data, and the time information of the time series image data. Includes first time information corresponding to the first image data and second time information corresponding to the second image data, and the data amount reduction unit is performed by the work content determination unit.
  • the determined at least one work content includes the first specific work, it has time information corresponding to the first time information among the time series operation data stored in the data storage unit.
  • the amount of data of the first operation data which is a part is reduced and the at least one work content determined by the work content determination unit includes the second specific work, it is stored in the data storage unit.
  • the data amount of the second operation data which is a portion having the time information corresponding to the second time information, is reduced.
  • the time-series operation data acquired by the at least one sensor is the time-series image based on the time information given to each of the time-series image data and the time-series operation data by the time stamp processing unit.
  • the data amount reduction unit not only reduces the data amount of the first image data, but also reduces the data amount of the first image data.
  • the amount of the data of the first operation data associated with the data is also reduced, and when the at least one work content includes the second specific work, the amount of the data of the second image data is reduced. Not only that, but also the amount of data of the second operation data associated with the second image data is reduced.
  • the amount of data of the time-series image data acquired by the imaging device and the amount of data of the time-series operation data acquired by the sensor are reduced according to the work content of the construction machine. be able to.
  • the work content determination unit when the work content determination unit includes a repetitive work composed of a plurality of preset specific work contents, the work content determination unit includes each of the plurality of third specific work.
  • the data amount reduction unit is configured to output a score indicating the accuracy of the determination of, and is a portion of the time-series image data stored in the data storage unit corresponding to the plurality of third specific operations. At least one data amount of a plurality of third image data may be configured to be reduced based on the score.
  • the amount of data in at least one third image data out of the plurality of third image data is reduced based on the score.
  • Specific examples of this embodiment are as follows. In this aspect, for example, the amount of the data of the third image data corresponding to the third specific work having a low score among the plurality of third specific operations is reduced, while the plurality of third specific operations.
  • the data amount reduction unit may be configured so that the data amount of the third image data corresponding to the third specific work having a high score is not reduced. Further, among the plurality of third specific operations, the third specific operation in which the amount of data of the third image data corresponding to the third specific operation having a low score corresponds to the third specific operation having a high score.
  • the data amount reduction unit may be configured so that the data amount of the image data of 3 is reduced more than the data amount.
  • the third specific work may be the same work as the first specific work or the second specific work, and is different from the first specific work and the second specific work. You may.
  • the data storage unit is configured to store at least one work content determined by the work content determination unit as a work history
  • the data processing system is a search unit that receives input of search conditions.
  • the search unit searches for information corresponding to the search condition from the work history stored in the data storage unit when the search condition is input, and outputs the searched information. It may be configured in.
  • the work-related person can obtain work data related to a desired work content from the work history stored in the data storage unit by inputting the search condition.
  • the data processing system further includes a posture estimation unit that estimates the posture of the construction machine based on the image constituting the time series image data, and the work content determination unit is performed by the posture estimation unit. It may be configured to determine the work content based on the time-series posture data which is the estimated time-series data of the posture.
  • the work content of the construction machine can be determined based on the dynamic change in the posture of the construction machine.
  • the work of the construction machine includes, for example, excavation work, ground leveling work, slope shaping work, loading work, etc., and each of these works is a unique time series in terms of the posture of the construction machine. It is done with the change of. Therefore, the time-series change in the posture of the construction machine is related to the work content of the construction machine and serves as an index for determining the work content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

建設機械のデータ処理システム（１０）のデータ量削減部（６６）は、データ記憶部（６２）に記憶された時系列画像データのうち予め設定された第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、前記データ記憶部（６２）に記憶された前記時系列画像データのうち予め設定された第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された第２の削減ルールに基づいて削減するように構成される。

Description

建設機械のデータ処理システム
　本発明は、作業現場における建設機械の作業に関する作業データのデータ量を削減するための建設機械のデータ処理システムに関するものである。
　従来、作業現場において行われる建設機械の作業に関する作業データは、記憶部（記憶装置）に記憶され、例えば前記建設機械の作業を管理するためのデータとして利用される。前記記憶部の記憶容量は有限であるため、記憶される前記作業データのデータ量を削減するための技術が提案されている。
　特許文献１は、作業機械に装着された複数のセンサの計測データを稼働データとして受信して稼働データ記憶部に記録する稼働データ収集装置を開示している。この稼働データ収集装置は、ダウンロード状況と、稼働データ記憶部の空き容量と、稼働データの情報鮮度とに応じて、収集する稼働データの記録範囲と記録間隔とを調整する。具体的に、この稼働データ収集装置では、稼働データ記録部に記録されているレコードの中で未だダウンロードされていないレコードについて、データ記録日からの経過日数に応じて記録レベルを変更し、また、稼働データ記録部の全体容量に対する空き容量の割合に応じて記録レベルを変更する。前記記録レベルは、記録条件であり、数値が高いほど記録情報量が多いことを示す（特許文献１の段落００５０，００５１）。
　ところで、実際の作業現場では、通常、作業内容の異なる複数の作業が建設機械によって行われる。
　しかしながら、特許文献１の装置では、前記作業内容にかかわらず、前記ダウンロード状況と前記稼働データ記憶部の空き容量と前記稼働データの情報鮮度とに基づいて前記稼働データの前記記録レベルが一律に変更される。このため、特許文献１の装置は、本来保存されるべき作業内容のデータを適切に保存することができない場合がある。
　また、特許文献１の装置のように前記センサの計測データを記憶部に記憶するだけではなく、作業現場において建設機械の画像データを時系列で記憶部に記憶することが考えられる。これにより、作業現場の作業を管理する管理者、作業現場の作業を行うオペレータなどの作業関係者は、前記記憶部に記憶された前記画像データを前記建設機械の作業を管理するために利用することができる。しかし、前記時系列の画像データは、前記センサの計測データに比べて、前記記憶部において大きな容量を必要とする。従って、前記時系列の画像データを記憶して当該画像データを前記建設機械の作業の管理に利用するためには、前記画像データのデータ量を削減することが特に重要となる。
特開２０１５－０９５０６９号公報
　本発明は、上記課題を解決するためになされたもので、作業現場における建設機械の画像の時系列データを含む作業データのデータ量を、当該建設機械の作業内容に応じて適切に削減することができる建設機械のデータ処理システムを提供することを目的とするものである。
　本発明の一態様に係る建設機械のデータ処理システムは、建設機械の作業に関する作業データのデータ量を削減するための建設機械のデータ処理システムであって、作業現場における前記建設機械を含む画像の時系列データである時系列画像データを取得する撮像装置と、前記時系列画像データを記憶するデータ記憶部と、前記時系列画像データに基づいて前記建設機械の少なくとも一つの作業内容を判定する作業内容判定部と、データ量削減部と、を備え、前記データ量削減部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減するように構成される。
実施形態に係るデータ処理システムの構成を示す概略図である。 実施形態に係るデータ処理システムの構成を示すブロック図である。 建設機械の一例を示す側面図である。 前記建設機械の複数の特徴点の一例を示す斜視図である。 前記データ処理システムにおいて前記建設機械の姿勢を推定する処理について説明するための図である。 前記データ処理システムにおいて前記建設機械の時系列姿勢データを示す図である。 前記データ処理システムにおいて前記建設機械の前記時系列姿勢データから作業内容を判定する処理について説明するための図である。 前記データ処理システムの作業内容判定部により判定された建設機械による作業内容の時系列の変化の一例を示す図である。 前記データ処理システムにおいて、作業現場毎に設定された削減ルールの一例を示す図である。 前記データ処理システムの前記作業内容判定部により判定された建設機械による作業内容の時系列の変化の他の例を示す図である。 前記データ処理システムにおけるＨＭＩの一例である表示装置の画面を示す図である。 前記データ処理システムにおけるＨＭＩの一例である表示装置の画面を示す図である。 前記データ処理システムにおけるＨＭＩの一例である表示装置の画面を示す図である。 前記データ処理システムにおいて取得される情報に基づいて生成される作業日報の一例を示す図である。 前記データ処理システムの演算処理を示すフローチャートである。
　以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
　図１は、実施形態に係るデータ処理システム１０の構成を示す概略図である。図２は、前記データ処理システム１０の構成を示すブロック図である。図３は、建設機械１００の一例を示す側面図である。本実施形態に係るデータ処理システム１０は、作業現場における前記建設機械１００の作業に関する作業データのデータ量を削減するためのシステムである。
　図１に示す具体例は、前記作業現場において、複数の建設機械１００が作業を行う場合を示している。図１に示すように、前記複数の建設機械１００は、第１の建設機械１００Ａと、第２の建設機械１００Ｂと、を含む。前記複数の建設機械１００のそれぞれは、油圧ショベルにより構成される。これらの油圧ショベルは、同様の基本的な構成を備えるので、以下では、前記複数の建設機械１００のうちの一方の建設機械１００について説明し、他方の建設機械１００についての説明は省略する。
　前記建設機械１００は、クローラ式の下部走行体１０１と、その走行面に対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体１０１の上に搭載される上部旋回体１０２と、この上部旋回体１０２に起伏可能に搭載されるアタッチメント１０３と、を備える。
　前記上部旋回体１０２は、当該上部旋回体１０２の前部（本体前部）を構成するキャブ１０２Ａと、前記上部旋回体１０２の後部（本体後部）を構成するカウンタウエイト１０２Ｂと、を有する。当該アタッチメント１０３は、前記上部旋回体１０２に起伏可能に支持されるブーム１０４と、当該ブーム１０４の先端に回動可能に連結されるアーム１０５と、当該アーム１０５の先端に回動可能に連結されるバケット１０６（先端アタッチメント）と、を含む。
　前記建設機械１００は、前記上部旋回体１０２に対して前記ブーム１０４を起伏動作させるように作動するブームシリンダ１０７と、当該ブーム１０４に対して前記アーム１０５を回動動作させるように作動するアームシリンダ１０８と、当該アーム１０５に対して前記先端アタッチメント１０６を回動動作させるように作動する先端アタッチメントシリンダ１０９と、を含む。
　図１及び図２に示すように、前記データ処理システム１０は、複数のセンサと、機械コントローラ５０と、撮像装置３０と、カメラコントローラ４０と、メインコントローラ６０と、クラウドサーバ７０と、を備える。前記機械コントローラ５０、前記カメラコントローラ４０、前記メインコントローラ６０、及び前記クラウドサーバ７０のそれぞれは、例えば、ＣＰＵ等のプロセッサとメモリとを備えるコンピュータにより構成される。
　前記複数のセンサ及び前記機械コントローラ５０は、前記建設機械１００に設けられる。前記複数のセンサは、前記建設機械１００の動作に対応して変化する動作パラメータの時系列データである時系列動作データを取得する。前記複数のセンサにより取得される前記動作パラメータは、前記機械コントローラ５０に入力される。
　図３に示すように、前記複数のセンサは、ブーム角度センサ２１と、アーム角度センサ２２と、バケット角度センサ２３と、旋回角度センサ２４と、車体傾斜角度センサ２５と、測位センサ２６と、回転数センサ２７と、を含む。従って、前記動作パラメータは、これらのセンサ２１～２７によりそれぞれ検出される検出値を含む。具体的には次の通りである。
　前記ブーム角度センサ２１は、前記上部旋回体１０２に対する前記ブーム１０４の角度であるブーム角度を特定するためのパラメータを検出するセンサである。前記ブーム角度は、例えば、前記上部旋回体１０２の旋回中心に直交する平面と、前記ブーム１０４の長手方向に沿って延びる直線とのなす角度である。前記ブーム１０４の前記長手方向に沿って延びる前記直線は、例えば、前記上部旋回体１０２と前記ブーム１０４の基端部との連結部分の回動中心（連結ピンの中心）と、前記ブーム１０４の先端部と前記アーム１０５の基端部との連結部分の回動中心（連結ピンの中心）とを結ぶ直線である。
　前記アーム角度センサ２２は、前記ブーム１０４に対する前記アーム１０５の角度であるアーム角度を特定するためのパラメータを検出するセンサである。前記アーム角度は、例えば、前記ブーム１０４の前記長手方向に沿って延びる前記直線と、前記アーム１０５の長手方向に沿って延びる直線とのなす角度である。前記アーム１０５の長手方向に沿って延びる前記直線は、例えば、前記ブーム１０４の先端部と前記アーム１０５の基端部との前記連結部分の回動中心（連結ピンの中心）と、前記アーム１０５の先端部と前記バケット１０６の基端部との連結部分の回動中心（連結ピンの中心）とを結ぶ直線である。
　前記バケット角度センサ２３は、前記アーム１０５に対する前記バケット１０６の角度であるバケット角度を特定するためのパラメータを検出するセンサである。前記バケット角度は、例えば、前記アーム１０５の長手方向に沿って延びる前記直線と、前記バケット１０６の方向を規定する予め設定された直線とのなす角度である。前記バケット１０６の方向を規定する前記直線は、例えば、前記アーム１０５の先端部と前記バケットの基端部との前記連結部分の回動中心（連結ピンの中心）と、前記バケットの先端部（例えば前記バケットの爪先部分）とを結ぶ直線である。
　前記ブーム角度センサ２１、前記アーム角度センサ２２、及び前記バケット角度センサ２３は、例えば、前記ブーム１０４の傾斜角度、前記アーム１０５の傾斜角度、及び前記バケット１０６の傾斜角度をそれぞれ検出する傾斜角度センサ（例えば加速度センサ）によって構成されていてもよい。また、前記ブーム角度センサ２１、前記アーム角度センサ２２、及び前記バケット角度センサ２３は、例えば、前記上部旋回体１０２と前記ブーム１０４の基端部との連結部分（連結ピン）の回転角度、前記ブーム１０４の先端部と前記アーム１０５の基端部との前記連結部分（連結ピン）の回転角度、及び前記アーム１０５の先端部と前記バケットの基端部との前記連結部分（連結ピン）の回転角度をそれぞれ検出する回転角度センサによって構成されていてもよい。また、前記ブーム角度センサ２１、前記アーム角度センサ２２、及び前記バケット角度センサ２３は、例えば、前記ブームシリンダ１０７のストローク量、前記アームシリンダ１０８のストローク量、及び前記バケットシリンダ１０９のストローク量をそれぞれ検出するストロークセンサによって構成されていてもよい。
　前記旋回角度センサ２４は、前記下部走行体１０１に対する前記上部旋回体１０２の角度である旋回角度を特定するためのパラメータを検出するセンサである。前記旋回角度は、例えば、前記下部走行体１０１の前進方向と、前記上部旋回体１０２の前方（前記アタッチメント１０３が延びる方向）とが一致する位置（位相）を基準として規定される。前記旋回角度センサ２４としては、例えば、ジャイロセンサ、ロータリーエンコーダなどを挙げることができる。
　前記車体傾斜角度センサ２５は、水平面に対する前記下部走行体１０１又は前記上部旋回体１０２の角度である車体傾斜角度を特定するためのパラメータを検出するセンサである。前記車体傾斜角度センサ２５としては、例えば、前記下部走行体１０１又は前記上部旋回体１０２のＸ軸回りの傾斜角度と、前記下部走行体１０１又は前記上部旋回体１０２のＹ軸回りの傾斜角度とを取得可能な２軸傾斜センサ（加速度センサ）を挙げることができる。前記Ｘ軸と前記Ｙ軸は互いに直交する水平な軸である。
　前記ブーム角度センサ２１、前記アーム角度センサ２２、前記バケット角度センサ２３、前記旋回角度センサ２４、及び前記車体傾斜角度センサ２５のそれぞれは、対応するパラメータを所定の時間間隔で周期的に検出し、検出された検出結果（検出信号）は、前記機械コントローラ５０に逐次入力される。角度センサ２１～２５の検出タイミングは、同期されていることが好ましい。
　前記測位センサ２６は、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）に関するデータを受信可能なＧＰＳセンサ、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）に関するデータを受信可能なＧＮＳＳセンサなどを備え、衛星測位システムの測位データ（ＧＰＳデータ、ＧＮＳＳデータなど）を受信する。前記測位センサ２６は、例えば、建設機械１００に取り付けられている。
　前記回転数センサ２７は、建設機械１００の油圧回路における油圧ポンプの駆動源である図略のエンジンに設けられ、当該エンジンの回転数を検出する。
　前記機械コントローラ５０は、センサデータ記憶部５１と、姿勢情報生成部５２と、タイムスタンプ処理部５３と、機械通信部５４と、を備える。
　前記センサデータ記憶部５１は、前記複数のセンサ２１～２７から入力される前記動作パラメータを記憶する。
　前記姿勢情報生成部５２は、前記センサデータ記憶部５１に記憶される前記動作パラメータに基づいて前記建設機械１００の姿勢に関する姿勢情報を生成する。具体的に、前記姿勢情報生成部５２は、前記ブーム角度センサ２１、前記アーム角度センサ２２、前記バケット角度センサ２３、前記旋回角度センサ２４及び前記車体傾斜角度センサ２５のそれぞれから入力される前記パラメータに基づいて、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度をそれぞれ演算する。
　前記タイムスタンプ処理部５３は、前記複数のセンサ２１～２７により取得される前記時系列動作データに時刻情報を付与する。具体的には次の通りである。
　前記タイムスタンプ処理部５３は、例えば、前記ブーム角度センサ２１による前記検出結果が前記機械コントローラ５０に入力された時刻又は前記姿勢情報生成部５２により前記ブーム角度が演算された時刻を、演算された前記ブーム角度（姿勢情報）と対応付けて記憶する。同様に、前記タイムスタンプ処理部５３は、前記アーム角度センサ２２、前記バケット角度センサ２３、前記旋回角度センサ２４、及び前記車体傾斜角度センサ２５のそれぞれによる前記検出結果が前記機械コントローラ５０に入力された時刻又は前記姿勢情報生成部５２により前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のそれぞれが演算された時刻を、演算された角度（姿勢情報）と対応付けて記憶する。
　前記タイムスタンプ処理部５３は、前記測位センサ２６による検出結果が前記機械コントローラ５０に入力された時刻を、前記検出結果と対応付けて記憶する。また、前記タイムスタンプ処理部５３は、前記回転数センサ２７による検出結果が前記機械コントローラ５０に入力された時刻を、前記検出結果と対応付けて記憶する。
　前記機械通信部５４は、ネットワークを介して前記メインコントローラ６０（具体的には後述の通信部６１）との間でデータを送受信可能なように構成されている。前記機械通信部５４は、前記時刻情報が付与された前記時系列動作データ、前記時刻情報が付与された前記姿勢情報などを送信する。送信された前記時系列動作データ、前記姿勢情報などの情報は、前記メインコントローラ６０に入力される。
　前記ネットワークは、例えば、インターネット、携帯電話通信網等の長距離情報通信網により構成されていてもよい。また、前記ネットワークは、例えば、特定省電力無線、ブルーツース（登録商標）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ　Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのように、前記機械通信部５４と前記通信部６１とを数十ｍ～数百ｍ程度の距離で無線通信させることが可能な通信網により構成されていてもよい。また、前記ネットワークは、例えば有線通信網であってもよい。
　前記撮像装置３０は、前記作業現場における少なくとも一つの建設機械１００を含む画像の時系列データである時系列画像データを取得する。すなわち、前記撮像装置３０は、前記画像を所定の時間間隔で周期的に撮像する。前記撮像装置３０により撮像された前記画像は、前記カメラコントローラ４０に逐次入力される。各カメラによる撮像の時間間隔は、例えば１／６０秒、１／３０秒、１／１０秒、１秒などに設定される。
　図１に示すように、本実施形態では、前記撮像装置３０は、第１のカメラ３０Ａと、第２のカメラ３０Ｂとを含む。前記第１のカメラ３０Ａは、前記作業現場において、前記第１の建設機械１００Ａを含む画像の時系列データである時系列画像データを取得することが可能な位置に配置される。前記第２のカメラ３０Ｂは、前記作業現場において、前記第２の建設機械１００Ｂを含む画像の時系列データである時系列画像データを取得することが可能な位置に配置される。
　前記カメラコントローラ４０は、撮像データ記憶部４１と、タイムスタンプ処理部４２と、カメラ通信部４３と、を備える。
　前記撮像データ記憶部４１は、前記第１のカメラ３０Ａ及び前記第２のカメラ３０Ｂのそれぞれから入力される前記時系列画像データを記憶する。
　前記タイムスタンプ処理部４２は、前記時系列画像データに時刻情報を付与する。具体的には次の通りである。前記タイムスタンプ処理部４２は、前記第１のカメラ３０Ａ及び前記第２のカメラ３０Ｂのそれぞれにより撮像された前記画像が前記カメラコントローラ４０に入力された時刻を、前記画像と対応付けて記憶する。
　前記カメラ通信部４３は、前記ネットワークを介して前記メインコントローラ６０（具体的には後述の通信部６１）との間でデータを送受信可能なように構成されている。前記カメラ通信部４３は、前記画像と、当該画像に付与された前記時刻情報と、を対応付けて送信する。送信された前記画像及び前記時刻情報は、前記メインコントローラ６０に入力される。
　前記メインコントローラ６０は、通信部６１と、データ記憶部６２と、姿勢推定部６３と、作業内容判定部６４と、データ同期部６５と、データ量削減部６６と、検索部６７と、ＨＭＩ６８，６９（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）と、を備える。
　前記通信部６１は、前記ネットワークを介して前記機械コントローラ５０及び前記カメラコントローラ４０のそれぞれとの間でデータを送受信可能なように構成されている。また、前記通信部６１は、前記ネットワークを介して前記クラウドサーバ７０（具体的には後述のサーバ通信部７１）との間でデータを送受信可能なように構成されている。
　前記データ記憶部６２は、前記機械コントローラ５０から入力される前記時系列動作データを記憶するとともに、前記カメラコントローラ４０から入力される前記時系列画像データを記憶する。
　前記姿勢推定部６３は、前記時系列画像データを構成する前記画像に基づいて前記建設機械１００の姿勢を推定し、推定された前記姿勢に関する姿勢推定情報を生成する。本実施形態では、前記姿勢推定情報は、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記バケット１０６の姿勢、前記下部走行体１０１に対する前記上部旋回体１０２の姿勢、及び水平面に対する前記下部走行体１０１又は前記上部旋回体１０２の姿勢を含む。より具体的には、前記姿勢推定情報は、前記ブーム角度（ブーム推定角度）、前記アーム角度（アーム推定角度）、前記バケット角度（バケット推定角度）、前記旋回角度（旋回推定角度）、及び前記車体傾斜角度（車体傾斜推定角度）を含む。
　具体的に、前記姿勢推定部６３は、前記第１のカメラ３０Ａにより取得される前記第１の建設機械１００Ａの画像に基づいて前記第１の建設機械１００Ａの姿勢を推定する。同様に、前記姿勢推定部６３は、前記第２のカメラ３０Ｂにより取得される前記第２の建設機械１００Ｂの画像に基づいて前記第２の建設機械１００Ｂの姿勢を推定する。前記姿勢推定部６３により推定された前記姿勢推定情報は、前記作業内容判定部６４に入力される。
　具体的に、前記姿勢推定部６３は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、畳み込みニューラルネットワーク）に前記画像を入力することにより、当該画像に含まれる建設機械１００の複数の特徴点を抽出する。すなわち、前記ニューラルネットワークは、建設機械１００の特徴点に関するデータを用いて予め学習した姿勢推定アルゴリズムである。前記姿勢推定部６３が参照する前記ニューラルネットワークは、例えば、前記建設機械１００（油圧ショベル）の画像と、当該画像中における前記特徴点の座標との対応関係を示す教師データによる学習処理により学習する。
　図４は、当該建設機械１００の複数の特徴点の一例を示している。本実施形態における前記ニューラルネットワークでは、前記建設機械１００（油圧ショベル）の複数の特徴点は、アタッチ先端（１）、アタッチ底（２）、アタッチ関節（３）、アーム関節（４）、ブーム関節１（５）、ブーム関節２（６）、本体前部（７）、本体右側部（８）、本体後部（９）、本体左側部（１０）、クローラ右前（１１）、クローラ右後（１２）、クローラ左前（１３）、及びクローラ左後（１４）を含む。なお、前記アタッチ先端（１）、前記アタッチ底（２）、及び前記アタッチ関節（３）は、前記バケット１０６の先端、前記バケット１０６の底、及び前記バケット１０６の関節をそれぞれ示す。また、図４において、前記本体左側部（１０）は図示されていない。
　図５は、前記データ処理システム１０において前記建設機械１００の姿勢を推定する処理について説明するための図である。図５に示すように、前記ニューラルネットワーク（姿勢推定アルゴリズム）は、入力される前記建設機械１００の画像に基づいて、上記の複数の特徴点のそれぞれの座標を抽出して出力する。そして、前記姿勢推定部６３は、前記ニューラルネットワークから出力された前記複数の特徴点の座標に基づいて、前記建設機械１００の姿勢、具体的には、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記先端アタッチメント１０６の姿勢、前記下部走行体１０１の姿勢、及び前記上部旋回体１０２の姿勢を推定する。
　前記ブーム１０４の姿勢は、例えば、前記上部旋回体１０２に対する前記ブーム１０４の角度（ブーム角度）により特定される。前記アーム１０５の姿勢は、例えば、前記ブーム１０４に対する前記アーム１０５の角度（アーム角度）により特定される。前記先端アタッチメント１０６の姿勢は、例えば、前記アーム１０５に対する前記バケット１０６の角度（バケット角度）により特定される。前記下部走行体１０１の姿勢及び前記上部旋回体１０２の姿勢は、例えば前記下部走行体１０１に対する前記上部旋回体１０２の角度（旋回角度）により特定される。前記姿勢推定部６３により推定された姿勢に関するデータ（姿勢推定情報）は、前記作業内容判定部６４に入力される。
　なお、前記姿勢推定部６３は、例えばＯｐｅｎｐｏｓｅ（登録商標）などの技術を用い、前記撮像装置により取得される前記画像に基づいて前記建設機械の姿勢を推定してもよい。
　前記作業内容判定部６４は、前記姿勢推定部６３により推定される前記第１の建設機械１００Ａの前記姿勢の時系列データである時系列姿勢データに基づいて、当該第１の建設機械１００Ａにより行われた作業内容を判定する。同様に、前記作業内容判定部６４は、前記姿勢推定部６３により推定される前記第２の建設機械１００Ｂの前記姿勢の時系列データである時系列姿勢データに基づいて、当該第２の建設機械１００Ｂにより行われた作業内容を判定する。
　具体的に、前記作業内容判定部６４は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、リカレントニューラルネットワーク）に前記姿勢の時系列データを入力することにより、当該姿勢の時系列データに含まれる特徴を抽出する。すなわち、前記ニューラルネットワークは、前記建設機械１００の特徴点の動きに関する時系列データを用いて予め学習した作業分類アルゴリズムである。前記作業内容判定部６４が参照する前記ニューラルネットワークは、例えば、予め定義された複数の作業内容候補と、前記建設機械１００のタグ付けされた前記姿勢の時系列データとの対応関係を示す教師データによる学習処理により学習する。前記予め定義された前記複数の作業内容候補は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業、休車、走行作業などを含む（図７参照）。
　前記掘削作業は、前記バケット１０６により地面の土砂を掘削するための作業である。前記整地作業は、前記バケット１０６により地面を整地するための作業である。前記法面整形作業は、切土又は盛土により作られる人工的な斜面である法面を整形するための作業である。前記積み込み作業は、前記バケット１０６に保持された土砂等の保持対象物を別の場所に積み込むための作業である。前記走行作業は、前記作業現場において、前記建設機械１００を次の作業場所に移動させるための作業である。前記休車は、前記積み込み作業、前記持ち上げ作業、前記掘削作業、前記整地作業、前記法面整形作業、前記走行作業などの実際の作業が行われずに、前記建設機械１００を停止させた状態のことをいう。
　図６は、前記データ処理システム１０において前記建設機械１００の前記時系列姿勢データを示す図である。図６に示す具体例では、ブーム角度、アーム角度、バケット角度及び旋回角度に関する時系列姿勢データが示されている。
　図６に示す具体例は、前記掘削作業が行われているときの前記建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、この掘削作業の後に行われる積み込み作業が行われているときの建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、を示している。これらの作業のそれぞれは、当該建設機械１００の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械１００の姿勢の時系列の変化は、前記建設機械１００の前記作業内容との関連性があり、当該作業内容の判定の指標となる。具体的には次の通りである。
　前記掘削作業は旋回動作を伴わないので、前記掘削作業では、図６に示すように旋回角度は一定である。前記ブーム角度及び前記アーム角度は、当該掘削作業の序盤から終盤にかけて次第に増加する。前記バケット角度は、当該掘削作業の序盤から中盤にかけて次第に増加し、終盤において大きく増加する。
　前記積み込み作業は旋回動作を伴うので、前記掘削作業から前記積み込み作業に切り換わるときに、前記旋回角度が増加し始める。前記旋回角度及び前記ブーム角度は、当該積み込み作業の序盤から中盤にかけて次第に増加し、前記アーム角度及び前記バケット角度は、当該積み込み作業の序盤から中盤にかけて一定である。一方、前記旋回角度及び前記ブーム角度は、当該積み込み作業の終盤において一定であり、前記アーム角度及び前記バケット角度は、当該積み込み作業の終盤において次第に減少する。
　図７は、前記データ処理システム１０において前記建設機械１００の前記時系列姿勢データから前記作業内容を判定する処理について説明するための図である。図７に示すように、前記ニューラルネットワーク（作業分類アルゴリズム）の出力層は、例えばソフトマックス関数による演算を実行し、前記複数の作業内容候補ごとのスコアを出力する。前記作業内容判定部６４は、前記ニューラルネットワークの出力層から出力された前記複数の作業内容候補ごとのスコアに基づいて、スコアの最も高い前記作業内容候補を前記作業内容として決定する。図７の具体例では、前記作業内容判定部６４は、前記複数の作業内容候補のうち、スコアの最も高い「掘削作業」を前記作業内容として判定する。図７に示す前記スコアは、前記作業内容判定部６４による判定の精度を示すものである。
　前記データ同期部６５は、前記時系列画像データ及び前記時系列動作データのそれぞれ付与された前記時刻情報に基づいて、前記時系列画像データと前記時系列動作データとを対応付け、その対応関係を記憶する。具体的には次の通りである。
　図８は、前記作業内容判定部６４により判定された建設機械１００による作業内容の時系列の変化の一例を示す図である。図８に示すように、前記作業内容判定部６４により判定された前記建設機械１００による複数の作業内容は、掘削作業Ｗ１１、積み込み作業Ｗ１２、掘削作業Ｗ１３、積み込み作業Ｗ１４、走行作業Ｗ１５及び整地作業Ｗ１６により構成され、図８は、これらの作業がこの順に行われたことを示している。前記データ記憶部６２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶するように構成される。
　前記撮像装置３０の前記第１のカメラ３０Ａにより撮像された前記第１の建設機械１００Ａの前記時系列画像データは、前記掘削作業Ｗ１１に対応する第１の画像データと、前記積み込み作業Ｗ１２に対応する第２の画像データと、前記掘削作業Ｗ１３に対応する第３の画像データと、前記積み込み作業Ｗ１４に対応する第４の画像データと、前記走行作業Ｗ１５に対応する第５の画像データと、前記整地作業Ｗ１６に対応する第６の画像データと、を含む。
　前記タイムスタンプ処理部４２により付与された前記時系列画像データの前記時刻情報は、前記第１の画像データに対応する第１の時刻情報と、前記第２の画像データに対応する第２の時刻情報と、前記第３の画像データに対応する第３の時刻情報と、前記第４の画像データに対応する第４の時刻情報と、前記第５の画像データに対応する第５の時刻情報と、前記第６の画像データに対応する第６の時刻情報と、を含む。
　前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第１の時刻情報に対応する時刻情報を有する部分である第１の動作データと、前記第１の画像データと、を対応付けて記憶する。前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第２の時刻情報に対応する時刻情報を有する部分である第２の動作データと、前記第２の画像データと、を対応付けて記憶する。前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第３の時刻情報に対応する時刻情報を有する部分である第３の動作データと、前記第３の画像データと、を対応付けて記憶する。以下同様に、前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第４～第６の時刻情報にそれぞれ対応する時刻情報を有する部分である第４～第６の動作データのそれぞれと、前記第４～第６の画像データのそれぞれと、を対応付けて記憶する。
　図９は、前記データ処理システム１０において、作業現場毎に設定された削減ルールの一例を示す図である。図９に示すように、作業現場Ａについての前記削減ルールは、前記データ記憶部６２に記憶される前記時系列画像データのうち、前記掘削作業に対応する部分である掘削画像データのデータ量を２０％の削減率（間引き率）で削減するという削減ルールと、前記積み込み作業に対応する部分である積み込み画像データのデータ量を３０％の削減率で削減するという削減ルールと、前記整地作業に対応する部分である整地画像データのデータ量を４０％の削減率で削減するという削減ルールと、前記法面整形作業に対応する部分である法面整形画像データのデータ量を５０％の削減率で削減するという削減ルールと、前記走行作業に対応する部分である走行画像データのデータ量を６０％の削減率で削減するという削減ルールと、前記建設機械１００が停止している状態（停止作業）に対応する部分である停止画像データのデータ量を９９％の削減率で削減するという削減ルールと、を含む。
　また、図９に示すように、作業現場Ａについての前記削減ルールは、前記データ記憶部６２に記憶される前記時系列画像データのうち、異常が発生した作業に対応する部分である異常画像データのデータ量を０％の削減率で削減するという削減ルールをさらに含む。すなわち、「データ量を０％の削減率で削減する」とは、当該異常画像データの全てを残存させることを意味する。前記異常が発生した作業には、例えば、建設機械１００の故障が発生した作業、予め設定された禁止操作が行われた作業などを含む。前記禁止操作としては、例えば、前記掘削作業と前記走行作業とを同時に行う操作が設定されている。前記異常が発生した作業に該当するとともに、上述した他の作業にも該当する場合には、前記異常が発生した作業に関する削減ルールが優先される。
　また、図９に示すように、作業現場Ｂについての削減ルールは、作業現場Ａについての前記削減ルールとは異なる内容を含む。
　前記作業現場Ａ及び前記作業現場Ｂの何れの現場においても、前記異常が発生した作業の重要度が高いため、当該作業に関する作業データの削減率が小さくなるように（データ残存割合が大きくなるように）、前記削減ルールが設定されている。また、前記作業現場Ａでは、前記掘削作業の重要度が高いため、当該掘削作業に関する作業データの削減率が小さくなるように前記削減ルールが設定されている。一方、前記作業現場Ｂでは、前記整地作業及び前記法面整形作業の重要度が高いため、これらの作業に関する作業データの削減率が小さくなるように前記削減ルールが設定されている。
　例えば作業現場Ａに関し、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列画像データのうち、図８に示す掘削作業Ｗ１１に対応する部分である掘削画像データのデータ量を、図９に示す前記削減ルールに基づいて、２０％の削減率で削減する。同様に、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列画像データのうち、図８に示す積み込み作業Ｗ１２に対応する部分である積み込み画像データのデータ量を、図９に示す前記削減ルールに基づいて、３０％の削減率で削減する。図８に示すその他の作業についても同様にデータ量が削減される。
　前記画像データのデータ量の削減方法は、特に限定されない。例えば、削減対象の画像データのデータ量は、フレームレートを前記削減ルールで設定された削減率に基づいて小さくすることにより削減されてもよい。この場合、例えば図８に示す掘削作業Ｗ１１に対応する部分である掘削画像データのデータ量は、削減後のフレームレートが削減前のフレームレートに０．８をかけた値となるように削減される。
　また、本実施形態では、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列動作データのうち、図８に示す前記掘削作業Ｗ１１の時刻情報に対応する時刻情報を有する部分である掘削動作データのデータ量を削減する。同様に、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列動作データのうち、図８に示す前記積み込み作業Ｗ１２の時刻情報に対応する時刻情報を有する部分である積み込み動作データのデータ量を削減する。図８に示すその他の作業についても同様に動作データのデータ量が削減される。
　前記動作データのデータ量の削減ルールは、例えば、図９に示す画像データのデータ量の削減ルールと同じであってもよい。この場合、例えば、図８に示す前記掘削作業Ｗ１１の時刻情報に対応する時刻情報を有する部分である掘削動作データのデータ量は、２０％の削減率で削減される。また、前記動作データのデータ量の削減ルールは、例えば、図９に示す画像データのデータ量の削減ルールと異なっていてもよい。具体的に、例えば、削減される画像データに対応する動作データは全て消去されてもよい。
　図１０は、前記作業内容判定部により判定された建設機械による作業内容の時系列の変化の他の例を示す図である。図１０に示すように、前記作業内容判定部６４により判定された前記建設機械１００による複数の作業内容は、複数の掘削作業と複数の積み込み作業とにより構成される繰り返し作業を含む。図１０に示す具体例では、前記掘削作業と前記積み込み作業の組み合わせが複数回（図１０では５回）連続して行われる。前記データ記憶部６２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶するように構成される。
　前記作業内容判定部６４は、図１０に示す複数の作業Ｗ２１～Ｗ３０のそれぞれの作業内容を判定するときに、上述した図７に示すようにスコアを出力する。
　前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列画像データのうち前記複数の掘削作業及び前記複数の積み込み作業に対応する部分である複数の掘削画像データ及び複数の積み込み画像データの少なくとも一つのデータ量を、前記スコアに基づいて削減する。
　具体的に、前記データ量削減部６６は、例えば、前記複数の掘削作業Ｗ２１，Ｗ２３，Ｗ２５，Ｗ２７，Ｗ２９のうち、前記スコアの最も低い掘削作業に対応する前記画像データを削減してもよい。この場合、前記データ量削減部６６は、前記スコアの最も低い掘削作業と組み合わせられている前記積み込み作業に対応する前記画像データも削減してもよい。
　また、前記データ量削減部６６は、例えば、前記複数の掘削作業Ｗ２１，Ｗ２３，Ｗ２５，Ｗ２７，Ｗ２９のうち、前記スコアの最も低い掘削作業に対応する前記画像データと、前記スコアの最も高い掘削作業に対応する前記画像データとを削減してもよい。この場合、前記データ量削減部６６は、前記スコアの最も低い掘削作業と組み合わせられている前記積み込み作業に対応する前記画像データと、前記スコアの最も高い掘削作業と組み合わせられている前記積み込み作業に対応する前記画像データも削減してもよい。
　前記検索部６７は、検索条件が入力された場合に前記データ記憶部６２に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力する。上述したように、前記データ記憶部６２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶するように構成される。また、前記データ記憶部６２は、前記複数のセンサにより取得される前記時系列動作データをさらに記憶していてもよい。
　図１及び図２に示すように、前記ＨＭＩ６８，６９は、オペレータが前記検索条件を入力することができるキーボードなどの入力部６８と、前記検索部６７により検索された前記情報が出力される表示装置などの表示部６９と、を含む。
　図１１は、前記オペレータが前記検索条件を入力するときの前記表示部６９の画面の一例を示す図である。前記オペレータは、当該画面において、例えば、作業種類（作業内容）、日付、車両ＩＤ、センサ条件などを入力することができる。
　図１２は、前記検索部６７により検索された前記情報が出力された前記表示部６９の画面の一例を示す図である。図１２に示す具体例では、検索結果として、車両ＩＤと、作業開始時間と、作業時間と、建設機械１００の画像とが前記表示部６９に表示される。
　図１３は、前記検索部６７により検索された前記情報が出力された前記表示部６９の画面の他の例を示す図である。図１３に示す具体例では、検索結果として、日付と、建設機械１００の画像と、作業内容と、センサにより検出される動作パラメータとが前記表示部６９に表示される。
　図１４は、前記データ処理システム１０において取得される情報に基づいて生成される作業日報の一例を示す図である。
　図２に示すように、前記クラウドサーバ７０は、サーバ通信部７１と、データ記憶部７２と、検索部７３と、を備える。
　前記サーバ通信部７１は、前記ネットワークを介して前記メインコントローラ６０の通信部６１との間でデータを送受信可能なように構成されている。
　前記データ記憶部７２は、前記通信部６１及び前記サーバ通信部７１を介して前記メインコントローラ６０の前記データ記憶部６２に記憶されているデータが入力され、当該データを記憶する。前記データ記憶部７２は、前記データ量削減部６６により削減された前記時系列画像データを記憶する。また、前記データ記憶部７２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶してもよい。また、前記データ記憶部７２は、前記複数のセンサにより取得される前記時系列動作データをさらに記憶していてもよい。
　前記検索部７３は、検索条件が入力された場合に前記データ記憶部７２に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力する。前記クラウドサーバ７０は、前記ネットワークを介して例えば端末８０との間でデータを送受信可能に構成されていてもよい。当該端末８０は、作業現場の作業を管理する管理者、作業現場の作業を行うオペレータなどの作業関係者が使用する携帯端末機などのコンピュータにより構成される。作業関係者は、前記端末８０の入力部に前記検索条件を入力する。
　前記検索部７３は、検索条件が入力された場合に前記データ記憶部７２に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力する。出力された前記情報は、前記端末８０に入力される。これにより、前記作業関係者は、前記端末８０の表示部に表示される前記情報を確認することができる。
　図１５は、前記データ処理システム１０の演算処理を示すフローチャートである。図１５に示すように、前記メインコントローラ６０の前記通信部６１は、前記撮像装置３０により取得される前記画像の前記時系列画像データを受信する（ステップＳ１）。また、前記通信部６１は、前記複数のセンサにより取得される前記動作パラメータの時系列動作データを受信する（ステップＳ２）。前記通信部６１は、前記時系列画像データを複数回に分けて受信してもよく、前記時系列画像データを一括で受信してもよい。同様に、前記通信部６１は、前記時系列動作データを複数回に分けて受信してもよく、前記時系列動作データを一括で受信してもよい。
　次に、前記データ記憶部６２は、前記時系列画像データ及び前記時系列動作データを記憶する（ステップＳ３）。
　次に、前記姿勢推定部６３及び前記作業内容判定部６４は、前記時系列画像データに基づいて、複数の作業内容を判定する（ステップＳ４）。
　次に、前記データ同期部６５は、前記時系列画像データと前記時系列動作データを同期可能であるか否かを判定する（ステップＳ５）。
　前記時系列画像データに前記時刻情報が付与され、前記時系列動作データに前記時刻情報が付与されている場合（ステップＳ５においてＹＥＳ）、前記データ同期部６５は、これらの時刻情報に基づいて、前記時系列画像データと前記時系列動作データとを対応付けることにより、これらのデータを同期する（ステップＳ６）。
　次に、前記データ量削減部６６は、前記作業内容判定部６４により判定された前記複数の作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部６２に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減する。前記データ量削減部６６は、前記作業内容判定部６４により判定された前記複数の作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部６２に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減する（ステップＳ７）。
　次に、前記通信部６１は、前記データ記憶部６２に記憶されているデータの一部又は全部を前記クラウドサーバ７０に送信する（ステップＳ８）。
　なお、前記時系列動作データに時刻情報が適切に付与されていない場合などのように、前記ステップＳ５において、前記時系列画像データと前記時系列動作データを同期できない場合（ステップＳ５においてＮＯ）、前記メインコントローラ６０は、前記姿勢情報生成部５２により生成された前記姿勢情報と、前記姿勢推定部６３により推定された前記姿勢推定情報とを比較し、前記時系列画像データに対応する前記時系列動作データを検索する（ステップＳ９）。前記データ同期部６５は、検索された前記時系列動作データと前記時系列画像データとを同期する（ステップＳ６）。
　以上説明したように、前記データ処理システム１０では、作業現場における建設機械１００の画像の時系列データを含む作業データのデータ量を、当該建設機械１００の作業内容に応じて削減することができる。これにより、データ量が削減された前記時系列画像データを前記データ記憶部６２に記憶させることができる。また、前記通信部を介したデータの送受信において通信量を削減することもできる。
　［変形例］
　本発明は、以上説明した実施形態に限定されない。本発明は、例えば次のような態様を含むことが可能である。
　（Ａ）データ量削減部について
　前記実施形態では、前記データ量削減部６６は、前記時系列画像データの前記データ量及び前記時系列動作データの前記データ量の両方を削減するように構成されるが、前記データ処理システムは、この態様に限られない。前記データ処理システムでは、前記データ量削減部が少なくとも前記時系列画像データの前記データ量を削減するように構成されていればよい。この場合、前記複数のセンサ２１～２７の一部又は全部は省略可能であり、前記データ同期部６５は省略可能である。
　（Ｂ）撮像装置について
　前記撮像装置３０は、例えばステレオカメラにより構成されていてもよい。
　（Ｃ）クラウドサーバについて
　前記実施形態では、前記データ処理システム１０は、前記クラウドサーバ７０を備えるが、前記クラウドサーバ７０は省略可能である。
　（Ｄ）タイムスタンプ処理部について
　前記実施形態では、前記カメラコントローラ４０及び前記機械コントローラ５０のそれぞれがタイムスタンプ処理部を備えるが、前記データ処理システムは、この態様に限られない。前記データ処理システムでは、例えば、前記メインコントローラ６０がタイムスタンプ処理部を備え、このタイムスタンプ処理部が前記時系列画像データ及び前記時系列動作データのそれぞれに時刻情報を付与してもよい。この場合、前記カメラコントローラ４０及び前記機械コントローラ５０のそれぞれのタイムスタンプ処理部を省略することができる。
　（Ｅ）建設機械について
　前記先端アタッチメントは、バケットに限られず、例えばグラップル、圧砕機、ブレーカ、フォークなどの他の先端アタッチメントであってもよい。また、前記建設機械は、前記油圧ショベルに限られず、他の建設機械であってもよい。また、前記実施形態では、前記建設機械は、走行可能な下部走行体１０１を備えるが、本発明はこれに限られない。本発明では、前記建設機械は、特定の場所に設置された基台に上部旋回体１０２が支持される構造を有するものであってもよい。
　（Ｆ）画像に基づく建設機械の姿勢の推定について
　前記実施形態では、前記姿勢推定部６３による前記画像に基づく前記建設機械１００の姿勢の推定が、予め機械学習したニューラルネットワーク（姿勢推定アルゴリズム）を用いて行われるが、前記データ処理システムは、この態様に限られない。前記データ処理システムでは、前記建設機械の姿勢の推定は、前記ニューラルネットワークを用いた手法以外の他の手法により行われるものであってもよい。前記他の手法としては、例えば、前記ニューラルネットワークを用いた手法以外の機械学習を用いた手法、時系列アルゴリズムなどを例示できる。
　（Ｇ）その他
　前記実施形態に係るデータ処理システム２０は、検索部６７，７３を備えるが、これらの一方又は両方は省略可能である。また、前記実施形態に係るデータ処理システム２０の機械コントローラ５０は、姿勢情報生成部５２を備えるが、当該姿勢情報生成部５２は省略可能である。
　上述した実施の形態の特徴をまとめると次のとおりである。
　本発明の一態様に係る建設機械のデータ処理システムは、建設機械の作業に関する作業データのデータ量を削減するための建設機械のデータ処理システムであって、作業現場における前記建設機械を含む画像の時系列データである時系列画像データを取得する撮像装置と、前記時系列画像データを記憶するデータ記憶部と、前記時系列画像データに基づいて前記建設機械の少なくとも一つの作業内容を判定する作業内容判定部と、データ量削減部と、を備え、前記データ量削減部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減するように構成される。
　この態様では、前記第１の特定作業に対応する前記第１の画像データの前記データ量を削減するための前記第１の削減ルールと、前記第２の特定作業に対応する前記第２の画像データの前記データ量を削減するための前記第２の削減ルールとが、前記作業関係者によって予め設定され、前記時系列画像データのうち、前記第１の画像データの前記データ量が前記第１の削減ルールに基づいて削減され、前記第２の画像データの前記データ量が前記第２の削減ルールに基づいて削減される。すなわち、前記作業関係者は、互いに異なる前記第１の削減ルールと前記第２の削減ルールを設定することにより、前記データ量の削減という観点で、前記第１の特定作業と前記第２の特定作業に優劣を付けることができる。このことは、保存されるべき作業内容の画像データを優先的に残す一方で、当該画像データよりも優先度（重要度）の劣る画像データのデータ量を相対的に多く削減することを可能にする。これにより、作業現場における建設機械の画像の時系列データを含む作業データのデータ量を、当該建設機械の作業内容に応じて適切に削減することができる。
　上記態様において、前記第１の削減ルールは、前記第１の画像データの前記データ量を予め設定された第１の削減率で削減するように設定され、前記第２の削減ルールは、前記第２の画像データの前記データ量を予め設定された削減率であって前記第１の削減率とは異なる第２の削減率で削減するように設定されていてもよい。
　この態様では、前記第１の特定作業及び前記第２の特定作業のうち、重要度の高い一方の作業の削減率が他方の作業の削減率よりも小さくなるように設定される。これにより、前記作業データの前記データ量を作業内容の重要度に応じて削減することができる。
　上記態様において、前記データ処理システムは、前記建設機械の動作に対応して変化する動作パラメータの時系列データである時系列動作データを取得する少なくとも一つのセンサと、前記時系列画像データ及び前記時系列動作データのそれぞれに時刻情報を付与するタイムスタンプ処理部と、をさらに備え、前記データ記憶部は、前記時系列動作データをさらに記憶するように構成され、前記時系列画像データの前記時刻情報は、前記第１の画像データに対応する第１の時刻情報と、前記第２の画像データに対応する第２の時刻情報と、を含み、前記データ量削減部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第１の時刻情報に対応する時刻情報を有する部分である第１の動作データのデータ量を削減し、前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第２の時刻情報に対応する時刻情報を有する部分である第２の動作データのデータ量を削減するように構成されることが好ましい。
　この態様では、前記少なくとも一つのセンサにより取得される前記時系列動作データは、前記タイムスタンプ処理部が前記時系列画像データ及び前記時系列動作データのそれぞれに付与する前記時刻情報によって前記時系列画像データと関連づけられる。そして、前記データ量削減部は、前記少なくとも一つの作業内容が前記第１の特定作業を含む場合には、前記第１の画像データの前記データ量を削減するだけでなく、当該第１の画像データに関連づけられた前記第１の動作データの前記データ量も削減し、前記少なくとも一つの作業内容が前記第２の特定作業を含む場合には、前記第２の画像データの前記データ量を削減するだけでなく、当該第２の画像データに関連づけられた前記第２の動作データの前記データ量も削減する。これにより、前記撮像装置により取得される前記時系列画像データの前記データ量と、前記センサにより取得される前記時系列動作データの前記データ量とを、当該建設機械の作業内容に応じて削減することができる。
　上記態様において、前記作業内容判定部は、前記少なくとも一つの作業内容が予め設定された複数の第３の特定作業により構成される繰り返し作業を含む場合に、前記複数の第３の特定作業のそれぞれの判定の精度を示すスコアを出力するように構成され、前記データ量削減部は、前記データ記憶部に記憶された前記時系列画像データのうち前記複数の第３の特定作業に対応する部分である複数の第３の画像データの少なくとも一つのデータ量を、前記スコアに基づいて削減するように構成されていてもよい。
　この態様では、前記複数の第３の画像データのうちの少なくとも一つの第３の画像データの前記データ量が前記スコアに基づいて削減される。この態様の具体例を挙げると次の通りである。この態様では、例えば、前記複数の第３の特定作業のうち低スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量が削減される一方で、前記複数の第３の特定作業のうち高スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量は削減されないように前記データ量削減部が構成されていてもよい。また、前記複数の第３の特定作業のうち、低スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量が高スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量よりも多く削減されるように前記データ量削減部が構成されていてもよい。なお、前記第３の特定作業は、前記第１の特定作業又は前記第２の特定作業と同じ作業であってもよく、前記第１の特定作業及び前記第２の特定作業と異なる作業であってもよい。
　上記態様において、前記データ記憶部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容を作業履歴として記憶するように構成され、前記データ処理システムは、検索条件の入力を受ける検索部をさらに備え、前記検索部は、前記検索条件が入力された場合に前記データ記憶部に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力するように構成されていてもよい。
　この態様では、前記作業関係者は、前記検索条件を入力することにより、前記データ記憶部に記憶された前記作業履歴から所望の作業内容に関する作業データを入手することができる。
　上記態様において、前記データ処理システムは、前記時系列画像データを構成する前記画像に基づいて前記建設機械の姿勢を推定する姿勢推定部をさらに備え、前記作業内容判定部は、前記姿勢推定部により推定される前記姿勢の時系列データである時系列姿勢データに基づいて前記作業内容を判定するように構成されていてもよい。
　この態様では、前記建設機械の前記作業内容を前記建設機械の姿勢の動的な変化に基づいて判定することができる。具体的に、前記建設機械の作業は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業などを含み、これらの作業のそれぞれは、当該建設機械の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械の姿勢の時系列の変化は、前記建設機械の前記作業内容との関連性があり、当該作業内容の判定の指標となる。

Claims (6)

  1. 　建設機械の作業に関する作業データのデータ量を削減するためのデータ処理システムであって、
    　作業現場における前記建設機械を含む画像の時系列データである時系列画像データを取得する撮像装置と、
    　前記時系列画像データを記憶するデータ記憶部と、
    　前記時系列画像データに基づいて前記建設機械の少なくとも一つの作業内容を判定する作業内容判定部と、
    　データ量削減部と、を備え、
    　前記データ量削減部は、
    　前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、
    　前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減するように構成される、建設機械のデータ処理システム。
  2. 　請求項１に記載の建設機械のデータ処理システムであって、
    　前記第１の削減ルールは、前記第１の画像データの前記データ量を予め設定された第１の削減率で削減するように設定され、
    　前記第２の削減ルールは、前記第２の画像データの前記データ量を予め設定された削減率であって前記第１の削減率とは異なる第２の削減率で削減するように設定される、建設機械のデータ処理システム。
  3. 　請求項１又は２に記載の建設機械のデータ処理システムであって、
    　前記建設機械の動作に対応して変化する動作パラメータの時系列データである時系列動作データを取得する少なくとも一つのセンサと、
    　前記時系列画像データ及び前記時系列動作データのそれぞれに時刻情報を付与するタイムスタンプ処理部と、をさらに備え、
    　前記データ記憶部は、前記時系列動作データをさらに記憶するように構成され、
    　前記時系列画像データの前記時刻情報は、前記第１の画像データに対応する第１の時刻情報と、前記第２の画像データに対応する第２の時刻情報と、を含み、
    　前記データ量削減部は、
    　前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第１の時刻情報に対応する時刻情報を有する部分である第１の動作データのデータ量を削減し、
    　前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第２の時刻情報に対応する時刻情報を有する部分である第２の動作データのデータ量を削減するように構成される、建設機械のデータ処理システム。
  4. 　請求項１～３の何れか１項に記載の建設機械のデータ処理システムであって、
    　前記作業内容判定部は、前記少なくとも一つの作業内容が予め設定された複数の第３の特定作業により構成される繰り返し作業を含む場合に、前記複数の第３の特定作業のそれぞれの判定の精度を示すスコアを出力するように構成され、
    　前記データ量削減部は、前記データ記憶部に記憶された前記時系列画像データのうち前記複数の第３の特定作業に対応する部分である複数の第３の画像データの少なくとも一つのデータ量を、前記スコアに基づいて削減するように構成される、建設機械のデータ処理システム。
  5. 　請求項１～４の何れか１項に記載の建設機械のデータ処理システムであって、
    　前記データ記憶部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容を作業履歴として記憶するように構成され、
    　前記データ処理システムは、検索条件の入力を受ける検索部をさらに備え、
    　前記検索部は、前記検索条件が入力された場合に前記データ記憶部に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力するように構成される、建設機械のデータ処理システム。
  6. 　請求項１～５の何れか１項に記載の建設機械のデータ処理システムであって、
    　前記時系列画像データを構成する前記画像に基づいて前記建設機械の姿勢を推定する姿勢推定部をさらに備え、
    　前記作業内容判定部は、前記姿勢推定部により推定される前記姿勢の時系列データである時系列姿勢データに基づいて前記作業内容を判定する、建設機械のデータ処理システム。
PCT/JP2020/024283 2019-07-29 2020-06-22 建設機械のデータ処理システム WO2021019950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/626,450 US20220237534A1 (en) 2019-07-29 2020-06-22 Data processing system for construction machine
CN202080053078.3A CN114127703A (zh) 2019-07-29 2020-06-22 工程机械的数据处理系统
EP20846813.2A EP3985584A1 (en) 2019-07-29 2020-06-22 Data processing system for construction machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-138434 2019-07-29
JP2019138434A JP2021022179A (ja) 2019-07-29 2019-07-29 建設機械のデータ処理システム

Publications (1)

Publication Number Publication Date
WO2021019950A1 true WO2021019950A1 (ja) 2021-02-04

Family

ID=74230281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024283 WO2021019950A1 (ja) 2019-07-29 2020-06-22 建設機械のデータ処理システム

Country Status (5)

Country Link
US (1) US20220237534A1 (ja)
EP (1) EP3985584A1 (ja)
JP (1) JP2021022179A (ja)
CN (1) CN114127703A (ja)
WO (1) WO2021019950A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055204A (ja) * 2009-09-01 2011-03-17 National Institute Of Advanced Industrial Science & Technology 動画像の圧縮方法及び圧縮装置
JP2015095069A (ja) 2013-11-12 2015-05-18 日立建機株式会社 作業機械の稼働データ収集装置
JP2017183837A (ja) * 2016-03-28 2017-10-05 大日本印刷株式会社 撮像装置、撮像システム、撮像方法及び撮像装置用プログラム
WO2019106999A1 (ja) * 2017-11-30 2019-06-06 ソニー株式会社 撮像装置および方法、並びに、撮像素子
JP2019092051A (ja) * 2017-11-15 2019-06-13 住友電気工業株式会社 映像伝送システム、映像送信装置、映像受信装置、映像送信方法、映像受信方法およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936895B2 (en) * 2017-07-26 2021-03-02 Vmware, Inc. Managing camera actions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055204A (ja) * 2009-09-01 2011-03-17 National Institute Of Advanced Industrial Science & Technology 動画像の圧縮方法及び圧縮装置
JP2015095069A (ja) 2013-11-12 2015-05-18 日立建機株式会社 作業機械の稼働データ収集装置
JP2017183837A (ja) * 2016-03-28 2017-10-05 大日本印刷株式会社 撮像装置、撮像システム、撮像方法及び撮像装置用プログラム
JP2019092051A (ja) * 2017-11-15 2019-06-13 住友電気工業株式会社 映像伝送システム、映像送信装置、映像受信装置、映像送信方法、映像受信方法およびコンピュータプログラム
WO2019106999A1 (ja) * 2017-11-30 2019-06-06 ソニー株式会社 撮像装置および方法、並びに、撮像素子

Also Published As

Publication number Publication date
US20220237534A1 (en) 2022-07-28
EP3985584A1 (en) 2022-04-20
CN114127703A (zh) 2022-03-01
JP2021022179A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
WO2021019948A1 (ja) 建設機械の位置特定システム
JP6782270B2 (ja) 施工管理システムおよび作業機械
JP2016212469A (ja) 施工計画システム
WO2017061511A1 (ja) 形状計測システム及び形状計測方法
EP3985183A1 (en) Construction machine work information generation system and work information generation method
JP2020117982A (ja) 作業機械
WO2021019950A1 (ja) 建設機械のデータ処理システム
JP2018146594A (ja) 形状計測システム
WO2021019949A1 (ja) 建設機械の作業内容判定システム及び作業判定方法
CN112074641B (zh) 控制装置和控制方法
JP7401696B2 (ja) 作業機械の状態管理装置
JP2020016147A (ja) 形状計測システム及び形状計測方法
JP2018112051A (ja) 作業機械の制御システム、作業機械、作業機械の制御方法及びナビゲーションコントローラ
JP2021155995A (ja) ショベルの支援装置、ショベルの管理装置
JP2019183636A (ja) 作業機械の制御システム、作業機械、作業機械の制御方法及びナビゲーションコントローラ
JP7489344B2 (ja) 地形情報管理システムおよび作業機械
JP7065002B2 (ja) 作業機械
JP7349956B2 (ja) 施工方法及び施工システム
JP7377391B1 (ja) 推定装置、推定方法及びプログラム
JP7390991B2 (ja) 作業機械および施工支援システム
US20220391811A1 (en) Work assist server, work assist method, and work assist system
JP2021158465A (ja) 遠隔操作用のデータ表示システム
JP2023057349A (ja) バケット情報取得装置およびこれを備えた建設機械
JP2021156000A (ja) 作業機械
JP2021149475A (ja) 施工履歴情報管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846813

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020846813

Country of ref document: EP

Effective date: 20220111

NENP Non-entry into the national phase

Ref country code: DE