WO2020091002A1 - ショベル、ショベル支援システム - Google Patents

ショベル、ショベル支援システム Download PDF

Info

Publication number
WO2020091002A1
WO2020091002A1 PCT/JP2019/042896 JP2019042896W WO2020091002A1 WO 2020091002 A1 WO2020091002 A1 WO 2020091002A1 JP 2019042896 W JP2019042896 W JP 2019042896W WO 2020091002 A1 WO2020091002 A1 WO 2020091002A1
Authority
WO
WIPO (PCT)
Prior art keywords
shovel
determination
unit
learned model
environment information
Prior art date
Application number
PCT/JP2019/042896
Other languages
English (en)
French (fr)
Inventor
亮太 黒澤
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to CN201980072913.5A priority Critical patent/CN112996963B/zh
Priority to EP19880206.8A priority patent/EP3875697B1/en
Priority to KR1020217012852A priority patent/KR20210106410A/ko
Priority to JP2020554050A priority patent/JP7472034B2/ja
Publication of WO2020091002A1 publication Critical patent/WO2020091002A1/ja
Priority to US17/241,261 priority patent/US20210246631A1/en
Priority to JP2024000097A priority patent/JP2024028372A/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2004—Control mechanisms, e.g. control levers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Definitions

  • the present disclosure relates to a shovel and a shovel support system.
  • a determination regarding the objects around the shovel for example, an object
  • environmental information indicating the surroundings of the shovel for example, a captured image of the surroundings of the shovel or reflected wave data of detection waves transmitted to the surroundings of the shovel
  • a determination regarding the objects around the shovel for example, an object
  • an object There is a known technique for determining the presence or absence of a product, determining the type, etc.
  • Patent Document 1 an image processing technique such as optical flow or pattern matching is used to detect a surrounding object based on a captured image around the shovel (see Patent Document 1).
  • An environmental information acquisition unit that acquires environmental information around the shovel, Using a learned model that has been machine-learned, based on the environmental information acquired by the environment information acquisition unit, a determination unit that performs a determination regarding the object around the shovel, The learned model is subjected to additional learning based on the teacher information generated from the acquired environment information, updated to the additional learned model, When the learned model is updated, the determination unit performs the determination based on the environment information acquired by the environment information acquisition unit using the updated learned model.
  • Excavators are provided.
  • a shovel support system including a first shovel, a second shovel, and an external device capable of communicating with the first shovel and the second shovel, A first environment information acquisition unit that is provided in the first shovel and acquires environment information around the first shovel; Determination of an object around the first shovel based on the environment information acquired by the first environment information acquisition unit using a learned model that has been machine-learned provided in the first shovel.
  • a recording unit which is provided in the second excavator and records the environmental information acquired by the second environmental information acquiring unit;
  • An environment information transmission unit that is provided in the second excavator and that transmits the environment information recorded by the recording unit to the external device;
  • a teacher information generation unit that is provided in the external device and that generates teacher information based on the environment information acquired by the second shovel and received from the second shovel; Based on the teacher information provided in the external device and generated by the teacher information generation unit, the additional learning is performed on the same learned model as the learned model used for the determination by the first shovel.
  • a learning unit that generates an additionally trained model
  • a model transmission unit that is provided in the external device and that transmits the additional learned model that has been subjected to additional learning by the learning unit to the first shovel
  • the trained model is updated to the additional trained model received from the external device at the first shovel
  • the determination unit uses the updated learned model to perform the determination based on the environment information acquired by the first environment information acquisition unit, A shovel support system is provided.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the shovel support system SYS.
  • the shovel support system SYS includes a plurality of shovels 100 and a management device 200, and assists the determination of objects around the shovel 100, which are executed by the respective shovels 100.
  • the determination regarding the object around the shovel 100 for example, the determination regarding the presence or absence of the object around the shovel 100 (that is, the determination regarding the detection of the object around the shovel 100) and the determination of the type of the object around the shovel 100 ( That is, the determination regarding the classification of the object detected around the shovel 100) is included.
  • description will be made on the premise that each of the plurality of shovels 100 has the same configuration regarding the shovel support system SYS.
  • the shovel 100 includes a lower traveling body 1, an upper revolving body 3 rotatably mounted on the lower traveling body 1 via a revolving mechanism 2, a boom 4, an arm 5, and a bucket 6 that form an attachment, and a cabin. Including 10 and.
  • the lower traveling body 1 includes a pair of left and right crawlers 1C, specifically, a left crawler 1CL and a right crawler 1CR.
  • the lower traveling body 1 causes the excavator 100 to travel by hydraulically driving the left crawler 1CL and the right crawler 1CR by traveling hydraulic motors 2M (2ML, 2MR).
  • the upper revolving structure 3 revolves with respect to the lower traveling structure 1 by being driven by the revolving hydraulic motor 2A. Further, the upper swing body 3 may be electrically driven by an electric motor instead of being hydraulically driven by the swing hydraulic motor 2A.
  • the side of the upper swing body 3 where the attachment AT is attached is referred to as the front side
  • the side where the counterweight is attached is referred to as the rear side.
  • the boom 4 is pivotally attached to the center of the front part of the upper swing body 3 so that it can be lifted and lowered.
  • An arm 5 is pivotally attached to the tip of the boom 4 so as to be vertically rotatable, and a bucket 6 is vertically attached to the tip of the arm 5. It is pivotally mounted so as to be rotatable.
  • the boom 4, the arm 5 and the bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8 and a bucket cylinder 9 as hydraulic actuators, respectively.
  • the cabin 10 is an operator's cab in which an operator is boarded, and is mounted on the front left side of the upper swing body 3.
  • the shovel 100 is equipped with a communication device 90.
  • the shovel 100 is provided with a management device through a predetermined communication network (hereinafter, simply referred to as “communication network”) that may include, for example, a mobile phone network having a base station as an end, a satellite communication network using a communication satellite in the sky, an internet network, and the like. 200 is communicatively connected. As a result, the shovel 100 can acquire various information from the management device 200 and can send various information to the management device 200. Details will be described later.
  • the shovel 100 operates operating elements (driven elements) such as the lower traveling body 1, the upper swing body 3, the boom 4, the arms 5, and the bucket 6 in accordance with an operation of the operating device 26 by an operator who is in the cabin 10.
  • the shovel 100 may be remotely operated by an operator of a predetermined external device (for example, the management device 200) instead of or in addition to being operated by the operator of the cabin 10.
  • the shovel 100 transmits, for example, image information (captured image) output by the imaging device 70 described below to the management device 200.
  • the operator can remotely operate the shovel 100 while confirming the image information displayed on the display device (for example, the display device 230 described later) provided in the management device 200.
  • the shovel 100 is driven by the lower traveling body 1, the upper swing body 3, the boom 4, the arm 5, the bucket 6, and the like in response to a remote operation signal indicating the content of the remote operation received from the management device 200.
  • the element may be activated.
  • the description will be made on the assumption that the operator's operation includes at least one of the operator's operation of the operation device 26 and the operator's remote operation of the management device 200.
  • the management device 200 (an example of an external device) is installed outside the shovel 100 at geographically distant positions and manages the plurality of shovels 100.
  • the management device 200 is, for example, a server device (terminal device) that is installed in a management center or the like provided outside the work site where the shovel 100 works, and is configured mainly by one or a plurality of server computers.
  • the server device may be an in-house server operated by a business operator operating the shovel support system SYS or a related business operator related to the business operator, or may be a so-called cloud server.
  • the management device 200 may be a stationary or portable computer terminal arranged in a management office or the like in the work site of the shovel 100.
  • the management device 200 is communicatively connected to each of the plurality of shovels 100 via a communication network. As a result, the management device 200 can transmit various information to the shovel 100 and receive various information from the shovel 100. Details will be described later.
  • the management device 200 may be configured so that the shovel 100 can be operated remotely. Specifically, the management device 200 causes the display device (for example, the display device 230) to display the image information of the imaging device 70 distributed from the shovel 100, and the operator of the remote operation confirms the image information, The shovel 100 may be operated remotely. At this time, the operator of the remote operation operates an operation device for remote operation (for example, a general-purpose operation device such as a touch panel, a touch pad, a joystick, or a dedicated operation device imitating the operation device 26) provided in the management device 200. Can be used.
  • the management device 200 transmits a remote control signal including the details of the remote control to the shovel 100 through the communication network. Thereby, the shovel 100 can operate, for example, under the control of the controller 30 described later according to the remote operation signal from the management apparatus 200, and the management apparatus 200 supports the remote operation of the shovel 100. You can
  • FIG. 2 is a top view of the shovel 100.
  • FIG. 3 is a configuration diagram showing an example of the configuration of the shovel support system SYS according to the present embodiment.
  • FIG. 4 (FIGS. 4A and 4B) is a conceptual diagram showing an example of determination processing by the determination unit 344 described later.
  • FIG. 5 is a diagram showing a specific example of the determination processing result by the determination unit 344.
  • the plurality of shovels 100 each have the same configuration with respect to the shovel support system SYS, so only the detailed configuration of one shovel 100 is shown in FIG. 3.
  • the excavator 100 includes hydraulic actuators such as the traveling hydraulic motor 2M (2ML, 2MR), the swing hydraulic motor 2A, the boom cylinder 7, the arm cylinder 8 and the bucket cylinder 9 as described above as a configuration related to the hydraulic system.
  • the shovel 100 includes the engine 11 and the operating device 26 as a configuration related to the hydraulic system.
  • the shovel 100 has a controller 30, a recording device 32, a determination device 34, a display device 40, an imaging device 70, an orientation detection device 85, a communication device 90, and a boom angle sensor as a configuration related to the control system. It includes S1, an arm angle sensor S2, a bucket angle sensor S3, a body tilt sensor S4, and a turning state sensor S5.
  • the engine 11 is a drive source of (the hydraulic system of) the shovel 100, and is mounted on the rear part of the upper swing body 3, for example.
  • the engine 11 is, for example, a diesel engine that uses light oil as a fuel.
  • the engine 11 operates, for example, under control of the controller 30 or the like so as to maintain a predetermined rotation speed (set rotation speed).
  • the rotating shaft of the engine 11 is connected to the rotating shafts of a main pump that supplies hydraulic oil to a hydraulic actuator, and a pilot pump that supplies hydraulic oil to operating-system hydraulic devices such as the operating device 26. It is transmitted to the main pump and pilot pump.
  • the operating device 26 is arranged within a range where limbs can be reached by an operator or the like seated in the driver's seat in the cabin 10, and various operating elements (the lower traveling body 1, the upper swing body 3, the boom 4, the arm 5, And bucket 6), in other words, operation input for operating a hydraulic actuator that drives various operating elements is performed.
  • the operation device 26 is, for example, a hydraulic pilot type.
  • the operating device 26 receives the supply of hydraulic oil from the pilot pump and generates a predetermined pilot pressure (pilot pressure corresponding to the operation content). Then, the operating device 26 causes the pilot pressure to act on the pilot port of the corresponding control valve in the control valve that drives and controls the hydraulic actuator.
  • the operation content for example, the operation direction and the operation amount
  • the operation of various operation elements (driven elements) according to the operation content of the operation device 26 is performed by the hydraulic actuator. Is realized.
  • the operation device 26 may be, for example, an electric type that outputs an electric signal corresponding to the operation content (hereinafter, “operation signal”).
  • operation signal an electric type that outputs an electric signal corresponding to the operation content
  • the electric signal output from the operation device 26 is, for example, taken in by the controller 30, and the controller 30 determines a control command corresponding to the operation signal, that is, a control command corresponding to the operation content of the operation device 26 to a predetermined value. It may be output to a hydraulic control valve (hereinafter, "control valve for operation”).
  • control valve for operation The operation control valve outputs the pilot pressure corresponding to the control command from the controller 30 by using the hydraulic oil supplied from the pilot pump or the main pump, and outputs the pilot pressure to the pilot port of the corresponding control valve in the control valve.
  • the pilot pressure may be applied.
  • the operation content of the operating device 26 is reflected in the operation of the control valve, and the hydraulic actuator realizes the operation of various operating elements according to the operation content of the operating device 26.
  • the controller 30 may realize the remote operation of the shovel 100 by using the operation control valve described above. Specifically, the controller 30 may output a control command corresponding to the content of the remote operation designated by the remote operation signal received by the communication device 90 to the operation control valve.
  • the operation control valve outputs the pilot pressure corresponding to the control command from the controller 30 by using the hydraulic oil supplied from the pilot pump or the main pump, and outputs the pilot pressure to the pilot port of the corresponding control valve in the control valve.
  • the pilot pressure may be applied.
  • the content of the remote operation is reflected in the operation of the control valve, and the hydraulic actuator realizes the operation of various operation elements (driven elements) according to the content of the remote operation.
  • the controller 30 is mounted inside the cabin 10, for example, and controls the drive of the shovel 100.
  • the function of the controller 30 may be realized by any hardware or a combination of any hardware and software.
  • the controller 30 includes a memory device (main storage device) such as a CPU (Central Processing Unit), a RAM (Random Access Memory), a non-volatile auxiliary storage device such as a ROM (Read Only Memory), and various input / output devices. It is mainly composed of a computer including an interface device.
  • the controller 30 takes in output signals of various sensors such as the orientation detection device 85, the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the body tilt sensor S4, and the turning state sensor S5, and various states of the shovel 100. (For example, the orientation and posture state of the upper swing body 3) are grasped. Then, the controller 30 performs various controls of the excavator 100 according to various grasped states.
  • various sensors such as the orientation detection device 85, the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the body tilt sensor S4, and the turning state sensor S5, and various states of the shovel 100.
  • various sensors such as the orientation detection device 85, the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the body tilt sensor S4, and the turning state sensor S5, and various states of the shovel 100.
  • various sensors such as the orientation detection device 85, the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the body tilt sensor S4, and the turning state sensor S5, and various states
  • the controller 30 causes the determination device 34 to monitor an object (for example, a person, a truck, or the like) within a predetermined monitoring area around the shovel 100 (for example, a work area within 5 meters from the shovel 100).
  • a control for avoiding contact between the shovel 100 and an object to be monitored hereinafter, “contact avoidance control”.
  • the controller 30 includes a notification unit 302 and an operation control unit 304 as functional units related to contact avoidance control, which are realized by, for example, executing one or more programs installed in an auxiliary storage device on the CPU. Including.
  • the recording device 32 records the captured image of the image capturing device 70 at a predetermined timing.
  • the recording device 32 may be realized by any hardware or a combination of any hardware and software.
  • the recording device 32 may be mainly configured by a computer similar to the controller 30.
  • the recording device 32 includes a recording control unit 322 as a functional unit realized by, for example, executing one or more programs installed in an auxiliary storage device or the like on the CPU.
  • the recording device 32 also includes, for example, a storage unit 324 as a storage area defined in an internal memory such as an auxiliary storage device.
  • the determination device 34 makes a determination regarding an object around the shovel 100 (for example, an object detection determination or an object classification determination) based on the captured image of the imaging device 70.
  • the determination device 34 may be realized by any hardware or a combination of any hardware and software.
  • the determination device 34 has the same configuration as the controller 30 or the like, that is, in addition to the CPU, the memory device, the auxiliary storage device, the interface device, and the like, performs high-speed calculation by parallel processing in cooperation with the processing by the CPU. It may be configured mainly with a computer including a computing device for processing.
  • the control device 210 of the management device 200 which will be described later, may have the same configuration.
  • the computing device for image processing may include GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), ASIC (Application Specific Integrated Circuit), and the like.
  • the determination device 34 includes a display control unit 342 and a determination unit 344 as functional units realized by executing one or more programs installed in an auxiliary storage device or the like on the CPU, for example.
  • the determination device 34 also includes, for example, a storage unit 346 as a storage area defined in an internal memory such as an auxiliary storage device.
  • controller 30, the recording device 32, and the determination device 34 may be partly or wholly integrated.
  • the display device 40 is provided in a place that is easily visible to an operator or the like seated in the driver's seat inside the cabin 10 and displays various information images.
  • the display device 40 is, for example, a liquid crystal display or an organic EL (Electroluminescence) display.
  • the display device 40 displays an image showing the surroundings of the excavator 100 based on the captured image of the imaging device 70 under the control of the determination device 34 (display control unit 342).
  • the display device 40 may display a captured image of the image capturing device 70.
  • the display device 40 displays a converted image generated by the determination device 34 (display control unit 342) in which the captured image of the imaging device 70 is subjected to predetermined conversion processing (for example, viewpoint conversion processing). You may.
  • the conversion image may be, for example, a viewpoint conversion image in which a bird's-eye view image viewed from directly above the shovel 100 and a horizontal image viewed from the shovel 100 in a horizontal direction are combined.
  • the viewpoint-converted image is obtained by converting the captured images of the front camera 70F, the rear camera 70B, the left camera 70L, and the right camera 70R, which will be described later, into a viewpoint-converted image of an overhead image and a horizontal image.
  • it may be a combined image.
  • the imaging device 70 (an example of an environmental information acquisition unit) images the surroundings of the shovel 100 and outputs a captured image (an example of environmental information).
  • the imaging device 70 includes a front camera 70F, a rear camera 70B, a left camera 70L, and a right camera 70R.
  • the images captured by the imaging device 70 are captured by the determination device 34.
  • the front camera 70F is attached to, for example, the front end of the upper surface of the cabin 10 and images the front of the upper swing body 3.
  • the rear camera 70B is attached to, for example, the rear end of the upper surface of the upper swing body 3, and captures an image of the rear of the upper swing body 3.
  • the left camera 70L is attached to, for example, the left end of the upper surface of the upper swing body 3, and captures an image of the left side of the upper swing body 3.
  • the right camera 70R is attached to, for example, the right end of the upper surface of the upper swing body 3, and captures an image of the right side of the upper swing body 3.
  • the orientation detection device 85 is configured to detect information regarding the relative relationship between the orientation of the upper swing body 3 and the orientation of the lower traveling body 1 (hereinafter, “information regarding orientation”).
  • the orientation detection device 85 may be configured by a combination of a geomagnetic sensor attached to the lower traveling body 1 and a geomagnetic sensor attached to the upper swing body 3.
  • the orientation detection device 85 may be configured by a combination of a GNSS (Global Navigation Satellite System) receiver attached to the undercarriage 1 and a GNSS receiver attached to the upper swing body 3.
  • the orientation detection device 85 may be configured by a resolver attached to the electric motor.
  • the orientation detection device 85 may be arranged, for example, in a center joint provided in association with the turning mechanism 2 that realizes relative rotation between the lower traveling body 1 and the upper rotating body 3. Information detected by the orientation detection device 85 is captured by the controller 30.
  • the communication device 90 is an arbitrary device that is connected to a communication network and communicates with the outside such as the management device 200.
  • the communication device 90 may be, for example, a mobile communication module compatible with a predetermined mobile communication standard such as LTE (Long Term Evolution), 4G (4th Generation), 5G (5th Generation).
  • the boom angle sensor S1 is attached to the boom 4 and detects the elevation angle (hereinafter, “boom angle”) ⁇ 1 of the boom 4 with respect to the upper swing body 3.
  • the boom angle ⁇ 1 is, for example, a rising angle from the state where the boom 4 is most lowered. In this case, the boom angle ⁇ 1 becomes maximum when the boom 4 is raised most.
  • the boom angle sensor S1 may include, for example, a rotary encoder, an acceleration sensor, an angular velocity sensor, a 6-axis sensor, an IMU (Inertial Measurement Unit), and the like.
  • the arm angle sensor S2, the bucket angle sensor S3, the body The same applies to the tilt sensor S4.
  • the boom angle sensor S1 may be a stroke sensor attached to the boom cylinder 7, and the arm angle sensor S2 and the bucket angle sensor S3 may be the same hereinafter.
  • the detection signal corresponding to the boom angle ⁇ 1 by the boom angle sensor S1 is fetched by the controller 30.
  • the arm angle sensor S2 is attached to the arm 5 and detects a rotation angle (hereinafter, “arm angle”) ⁇ 2 of the arm 5 with respect to the boom 4.
  • the arm angle ⁇ 2 is, for example, an opening angle when the arm 5 is in the most closed state. In this case, the arm angle ⁇ 2 becomes maximum when the arm 5 is most opened.
  • a detection signal corresponding to the arm angle ⁇ 2 by the arm angle sensor S2 is fetched by the controller 30.
  • the bucket angle sensor S3 is attached to the bucket 6 and detects a rotation angle (hereinafter, “bucket angle”) ⁇ 3 of the bucket 6 with respect to the arm 5.
  • the bucket angle ⁇ 3 is an opening angle from the state where the bucket 6 is most closed. In this case, the bucket angle ⁇ 3 becomes maximum when the bucket 6 is most opened.
  • a detection signal corresponding to the bucket angle ⁇ 3 by the bucket angle sensor S3 is captured by the controller 30.
  • the machine body tilt sensor S4 detects the tilted state of the machine body (for example, the upper swing body 3) with respect to a predetermined plane (for example, a horizontal plane).
  • the machine body inclination sensor S4 is attached to, for example, the upper revolving structure 3, and the inclination angles of the excavator 100 (that is, the upper revolving structure 3) around two axes in the front-rear direction and the left-right direction (hereinafter, “front-back inclination angle” and “left-right inclination angle”) Tilt angle ").
  • the detection signals corresponding to the tilt angles (forward and backward tilt angles and left and right tilt angles) of the machine body tilt sensor S4 are fetched by the controller 30.
  • the turning state sensor S5 is attached to the upper turning body 3 and outputs detection information regarding the turning state of the upper turning body 3.
  • the turning state sensor S5 detects, for example, a turning angular acceleration, a turning angular velocity, a turning angle, etc. of the upper-part turning body 3.
  • the turning state sensor S5 can include, for example, a gyro sensor, a resolver, a rotary encoder, and the like.
  • the machine body tilt sensor S4 includes a gyro sensor capable of detecting angular velocities around three axes, a six-axis sensor, an IMU, etc.
  • the turning state of the upper swing body 3 for example, turning Angular acceleration
  • the turning state sensor S5 may be omitted.
  • the notification unit 302 When the determination device 34 (determination unit 344) detects an object to be monitored in the monitoring area around the shovel 100, the notification unit 302 notifies the operator or the like to that effect. Thus, when the object to be monitored enters a relatively close range around the excavator 100, the operator or the like recognizes the entry and operates even if the object is located in the blind spot as viewed from the cabin 10. It is possible to ensure safety such as stopping the operation of the device 26.
  • the notification unit 302 outputs a control signal to a sound output device (for example, a speaker or a buzzer) mounted inside the cabin 10 so that the operator or the like is monitored within a monitoring area close to the shovel 100. Notify that an object to be monitored is detected.
  • a sound output device for example, a speaker or a buzzer
  • a notification indicating that the object to be monitored is detected in the monitoring area around the excavator 100 by the determination device 34 may be performed through the display device 40.
  • the notification unit 302 notifies the management device 200 of a signal indicating that a monitoring target is detected in the monitoring area around the shovel 100 (hereinafter, “notification signal”). You may send it.
  • the management device 200 controls the display device (for example, the display device 230) and the sound output device provided in the management device 200 according to the notification signal received from the shovel 100, and notifies the operator of the remote operation to that effect. Can be notified.
  • the operation control unit 304 limits the operation of the shovel 100 when the determination device 34 (determination unit 344) detects an object to be monitored in the monitoring area around the shovel 100. This limits the operation of the shovel 100 and reduces the possibility of contact between the shovel 100 and the object to be monitored when the object to be monitored enters the monitoring area close to the shovel 100. be able to.
  • the limitation of the operation of the shovel 100 includes delaying the operation of various operation elements (driven elements) of the shovel 100 as an output with respect to the operation content (operation amount) of the operator or the like on the operation device 26. You may.
  • the restriction of the operation of the shovel 100 may include stopping the operation of the operation element (driven element) of the shovel 100 regardless of the operation content of the operation device 26.
  • the operation elements (driven elements) of the shovel 100 which are the operation targets of the shovel 100, may be all the operation elements that can be operated by the operation device 26, or the operation elements of the shovel 100 and the object to be monitored. It may be a part of the moving elements necessary to avoid contact.
  • the operation control unit 304 outputs a control signal to the pressure reducing valve provided in the secondary pilot line of the hydraulic pilot type operating device 26 to reduce the pilot pressure corresponding to the operation content of the operator or the like on the operating device 26. You may let me. Further, the operation control unit 304 sends a control signal limited to an operation amount smaller than the operation content (operation amount) corresponding to the operation signal input from the electric operation device 26 to the solenoid valve (operation control valve). The solenoid valve may be controlled by outputting and the pilot pressure acting on the control valve from the solenoid valve may be reduced.
  • the operation control unit 304 outputs a control signal limited to an operation amount smaller than the content (operation amount) of the remote operation specified by the remote operation signal to the operation control valve, so that the operation control valve can operate.
  • the pilot pressure acting on the control valve may be reduced.
  • the pilot pressure that acts on the control valve that controls the hydraulic oil supplied to the hydraulic actuator and that corresponds to the operation content or remote operation content of the operating device 26 is reduced, and the operation of various operating elements (driven elements) is performed. Can be restricted.
  • the recording control unit 322 (an example of a recording unit) captures images of the imaging device 70 (front camera 70F, rear camera 70B, left camera 70L, and right camera 70R) at a predetermined timing (hereinafter, “recording timing”).
  • the image is recorded in the storage unit 324.
  • the storage unit 324 has a limited capacity, it is possible to predefine necessary timing and record the captured image of the imaging device 70 in the storage unit 324. Further, as will be described later, it is possible to suppress the transmission capacity when the captured image of the storage unit 324 is transmitted to the management device 200 and suppress the communication cost.
  • the recording control unit 322 acquires a captured image corresponding to the recording timing in the captured images in the ring buffer defined in the RAM and the like including the past. , In the storage unit 324.
  • the recording timing may be, for example, a predetermined periodic timing.
  • the recording timing is when the state of the shovel 100 is likely to be erroneously determined when the determination device 34 (determination unit 344) based on the captured image of the imaging device 70 determines the surrounding objects of the excavator 100. Good.
  • the recording timing may be when the excavator 100 is running or turning.
  • the recording timing may be when the determination unit 344 determines that an object is detected in the monitoring area around the shovel 100.
  • the recording timing may be started when the controller is turned on, when the gate lock lever is released, or when the operation lever is turned on. The same applies to the case of the shovel support system SYS (shovel 100) shown in FIGS. 7 and 8 described below.
  • the determination result of the determination unit 344 is input to the recording device 32 (recording control unit 322). However, when the recording timing is defined independently of the determination result of the determination unit 344, the determination unit 344 outputs the determination result. The determination result may not be input to the recording device 32. The same applies to the case of FIG. 8 described later.
  • the captured image IM1 is recorded in the storage unit 324 under the control of the recording control unit 322 from the completion of the initial processing after the start of the shovel 100 to the stop of the shovel 100 as described above.
  • the one or more captured images IM1 recorded in the storage unit 324 are transmitted to the management apparatus 200 at a predetermined timing (hereinafter, “image transmission timing”) through the communication device 90 (an example of an environment information transmission unit). ..
  • the image transmission timing may be, for example, when a stop operation of the shovel 100 (for example, a key switch OFF operation) is performed.
  • the transmission timing may be when the free space of the storage unit 324 falls below a predetermined threshold. This is because there is a possibility that the total capacity of the captured image IM1 recorded in the storage unit 324 may be relatively large between the start and stop of the shovel 100.
  • the image transmission timing may be, for example, after completion of initial processing after the start of the shovel 100.
  • the storage unit 324 is a storage area defined by a non-volatile internal memory, and in the mode in which the captured image IM ⁇ b> 1 recorded between the previous startup and stop of the shovel 100 is transmitted to the management device 200. You can The same applies to the case of the shovel support system SYS (shovel 100) shown in FIGS. 7 and 8 described below.
  • the captured image IM1 may be sequentially transmitted to the management device 200 via the communication device 90 each time it is recorded in the storage unit 324.
  • the display control unit 342 causes the display device 40 to display an image showing the surroundings of the shovel 100 (hereinafter, “excavator surrounding image”).
  • the display control unit 342 causes the display device 40 to display a captured image of the imaging device 70 as a shovel surrounding image. Specifically, the display control unit 342 displays on the display device 40 captured images of some cameras selected from the front camera 70F, the rear camera 70B, the left camera 70L, and the right camera 70R. Good. At this time, the display control unit 342 may be configured to switch the camera corresponding to the captured image displayed on the display device 40 according to a predetermined operation by the operator or the like. Further, the display control unit 342 may cause the display device 40 to display all captured images of the front camera 70F, the rear camera 70B, the left camera 70L, and the right camera 70R.
  • the display control unit 342 generates, as the shovel surrounding image, a converted image obtained by performing a predetermined conversion process on the captured image of the imaging device 70, and displays the generated converted image on the display device 40.
  • the conversion image may be, for example, a viewpoint conversion image in which a bird's-eye view image viewed from directly above the shovel 100 and a horizontal image viewed from the shovel 100 in the horizontal direction are combined.
  • the viewpoint conversion image is obtained by converting each of the captured images of the front camera 70F, the rear camera 70B, the left camera 70L, and the right camera 70R into a viewpoint conversion image that is a combination of an overhead view image and a horizontal image.
  • it may be a combined image combined by a predetermined method (hereinafter, “viewpoint conversion combined image”).
  • the display control unit 342 when the determination unit 344 detects an object to be monitored in a predetermined monitoring region around the shovel 100, an area corresponding to the detected object on the excavator surrounding image (hereinafter referred to as an area corresponding to the detected object). , "Detection object area”) are superimposed and displayed. This allows the operator or the like to easily confirm the detected object on the image around the shovel. A specific display mode will be described later (see FIG. 5).
  • the management device 200 may be provided with the same function as the display control unit 342. Thereby, the operator of the remote operation can confirm the excavator surrounding image or the detected object on the excavator surrounding image through the display device (for example, the display device 230) provided in the management device 200. You can
  • the determination unit 344 uses the learned model LM that has been machine-learned and is stored in the storage unit 346 to make a determination regarding an object around the shovel 100 based on the image captured by the image capturing apparatus 70. Specifically, the determination unit 344 loads the learned model LM from the storage unit 346 into the main storage device such as RAM (path 344A), and causes the CPU to execute the shovel based on the image captured by the imaging device 70. A determination is made on objects around 100.
  • the main storage device such as RAM (path 344A)
  • the determination unit 344 detects the monitoring target object while determining the presence or absence of the monitoring target object in the monitoring area around the shovel 100 as described above.
  • the determination unit 344 determines (specifies) the type of the detected monitoring target object, that is, the monitoring target classification list in which the detected monitoring target object is defined in advance (hereinafter, “monitoring target list”). ).
  • the monitoring target list may include people, trucks, other construction machines, utility poles, suspended loads, pylons, buildings, etc., as described above.
  • the determination unit 344 determines the state of the monitored object detected in the monitoring area around the shovel 100. Specifically, when the detected object to be monitored is a person, the determination unit 344 determines that the detected person is "sitting,” “standing,” “falling,” or the like. It may be determined which of the classifications related to the state defined in advance (hereinafter, “state classification”). In addition, when the detected object to be monitored is a truck, the determination unit 344 may determine the open / closed state of the left and right side seats of the cargo bed of the truck being detected.
  • the determination unit 344 determines that the truck is "closing the left and right side seats”, “opening only the left side seat”, “opening only the right side seat”, and " It may be determined to which state classification “the left and right side seats are open” is applicable.
  • the determination unit 344 determines the state of each part of the object to be monitored detected in the monitoring area around the shovel 100. Specifically, when the detected monitoring target is a person, the determination unit 344 determines the state of each part of the person (for example, the left and right arms, the left and right palms, the fingers of the left and right hands, etc.). Good. Thereby, the determination device 34 can recognize the movement of a person such as a gesture, for example.
  • the learned model LM is mainly composed of a neural network (Neural Network) 401.
  • the neural network 401 is a so-called deep neural network having one or more intermediate layers (hidden layers) between the input layer and the output layer.
  • a weighting parameter representing the connection strength with the lower layer is defined for each of the plurality of neurons that form each intermediate layer.
  • the neurons in each layer output the sum of the values obtained by multiplying the input values from the plurality of neurons in the upper layer by the weighting parameter defined for each neuron in the upper layer to the neurons in the lower layer through the threshold function.
  • the neural network 401 is configured.
  • the management device 200 (learning unit 2103) performs machine learning, specifically, deep learning (Deep Learning), and optimizes the above-described weighting parameters. Be done.
  • the neural network 401 receives the captured image of the image capturing device 70 as the input signal x and outputs the output signal y as a predefined monitoring target list (in this example, “ It is possible to output the probability (prediction probability) that there is an object for each type of object corresponding to “person”, “track”, ).
  • the neural network 401 is, for example, a convolutional neural network (CNN).
  • CNN is a neural network to which existing image processing technology (convolution processing and pooling processing) is applied.
  • the CNN retrieves feature amount data (feature map) smaller in size than the captured image by repeating the combination of the convolution processing and the pooling processing on the captured image of the imaging device 70. Then, the pixel value of each pixel of the extracted feature map is input to a neural network configured by a plurality of fully connected layers, and the output layer of the neural network outputs, for example, a prediction probability that an object exists for each type of object. can do.
  • the neural network 401 receives the captured image of the imaging device 70 as an input signal x, and outputs the position and size of the object in the captured image (that is, the occupied area of the object on the captured image) and the type of the object. It may be a configuration capable of outputting as y. That is, the neural network 401 may be configured to detect an object on the captured image (determine the area occupied by the object on the captured image) and determine the classification of the object. Further, in this case, the output signal y may be configured in the image data format in which the information regarding the occupied area of the object and the classification thereof is superimposedly added to the captured image as the input signal x.
  • the determination unit 344 outputs the object from the shovel 100 based on the position and size of the occupied area of the object in the captured image of the imaging device 70, which is output from the learned model LM (neural network 401).
  • the relative position can be specified.
  • the imaging device 70 (the front camera 70F, the rear camera 70B, the left camera 70L, and the right camera 70R) is fixed to the upper swing body 3 and the imaging range (angle of view) is defined (fixed) in advance. is there. Then, when the position of the object detected by the learned model LM is in the monitoring area and is classified into the objects in the monitoring target list, the determination unit 344 detects the monitoring target object in the monitoring area. It can be determined that it has been done.
  • the neural network 401 has a configuration including a neural network corresponding to each of a process of extracting an occupied area (window) in which an object exists in a captured image and a process of specifying the type of object in the extracted region. May be That is, the neural network 401 may be configured to detect an object and classify the object stepwise. Further, for example, the neural network 401 performs a process of defining an object classification and an object occupancy region (bounding box: bounding box) for each grid cell in which the entire region of the captured image is divided into a predetermined number of partial regions, and a grid.
  • bounding box bounding box
  • the neural network 401 may be configured to perform object detection and object classification in parallel.
  • the determination unit 344 calculates a prediction probability for each type of object on the captured image, for example, every predetermined control cycle.
  • the determination unit 344 may further increase the current prediction probability if the current determination result and the previous determination result match. For example, at the time of the previous determination, the object shown in the predetermined area on the captured image was determined to be "person" (y1), but this time, it was continuously determined to be "person” (y1). In this case, the prediction probability of being judged as the “person” (y1) of this time may be further increased. Thereby, for example, when the determination results regarding the classification of the objects regarding the same image region continuously match, the prediction probability is calculated to be relatively high. Therefore, the determination unit 344 can suppress erroneous determination.
  • the determination unit 344 may make a determination regarding the object on the captured image in consideration of the movement of the shovel 100 such as traveling or turning. This is because even if an object around the shovel 100 is stationary, the position of the object on the captured image may move due to the traveling or turning of the shovel 100, and the objects may not be recognized as the same object. For example, the image area determined to be "person" (y1) in the current processing and the image area determined to be "person” (y1) in the previous processing may be different due to the traveling or turning of the shovel 100. ..
  • the determining unit 344 determines that the image area determined to be “person” (y1) in the current process is within a predetermined range from the image area determined to be “person” (y1) in the previous process.
  • the objects may be regarded as the same object, and continuous coincidence determination (that is, determination of a state in which the same object is continuously detected) may be performed.
  • the determination unit 344 may include the image area used in the current determination, in addition to the image area used in the previous determination, and an image area within a predetermined range from this image area. As a result, even if the shovel 100 runs or turns, the determination unit 344 can perform continuous matching determination on the same object around the shovel 100.
  • the neural network 401 can input the captured image of the imaging device 70 as the input signal x and output the state of each part of the person detected on the captured image as the output signal y. It may be configured.
  • the neural network 401 outputs the output signals y1 (t) to y4 (t) corresponding to the state of the right arm, the state of the left arm, the state of the right palm, and the state of the left palm in time series. ..
  • the output signals y1 (t) to y4 (t) represent the output signals y1 to y4 at time t.
  • the determination device 34 changes the output signals y1 to y4 obtained from the plurality of captured images between the times t1 to tn, that is, the state of the right arm, the state of the left arm, the state of the right palm, and the state of the left palm. Based on the change of, the movement of the gesture of the worker shown in the image captured by the image capturing apparatus 70 can be recognized. In this way, the probability of each motion content of the object input to the classification table is calculated based on the time-series change of each part of the object. Then, the highest motion content is recognized as the motion content of the detected object. Specifically, in the case of the present example, the determination device 34 can recognize the gesture requesting the worker to make an abrupt stop.
  • the neural network 401 outputs output signals y1 (t1) to y4 (t1) corresponding to the raised right arm, the opened right palm, the raised left arm, and the opened left palm. ..
  • output signals y1 (t2) to y4 (t2) corresponding to the lowered right arm, the opened right palm, the lowered left arm, and the opened left palm are output.
  • the states of the output signals y1 to y4 at the times t1 and t2 are repeated until the time tn, so that the determination device 34 outputs the output signals y1 to y4 (that is, the determination unit) of the neural network 401 between the times t1 and tn.
  • the gesture requesting the sudden stop of the worker shown in the captured image of the imaging device 70 may be recognized.
  • the probability is calculated for each operation content (content of gesture) of the worker.
  • the "quick stop” for which the highest probability is calculated is recognized as the gesture requested by the worker.
  • the determination device 34 outputs a signal requesting a sudden stop to the controller 30, and the controller 30 (operation control unit 304) stops the operation of the actuator that drives the driven element according to the signal. You can In this way, the controller 30 can control the actuator based on the operation content of the object around the shovel 100.
  • the determination result by the determination unit 344 is displayed on the display device 40 through the display control unit 342, for example.
  • a main screen 41V is displayed on the display device 40, and a captured image of the imaging device 70 is displayed in a camera image display area 41m in the main screen 41V.
  • This captured image is a captured image corresponding to the input signal x in FIG. 4A.
  • the main screen 41V includes a date / time display area 41a, a driving mode display area 41b, an attachment display area 41c, an average fuel consumption display area 41d, an engine control status display area 41e, and an engine operating time display area.
  • 41f, a cooling water temperature display region 41g, a fuel remaining amount display region 41h, a rotation speed mode display region 41i, a urea water remaining amount display region 41j, and a hydraulic oil temperature display region 41k are included.
  • the date and time display area 41a is an area for displaying the current date and time in the main screen 41V.
  • the running mode display area 41b is an area in the main screen 41V for displaying a graphic representing the current running mode of the excavator 100.
  • the attachment display area 41c is an area in the main screen 41V for displaying a graphic representing the type of attachment currently mounted on the shovel 100.
  • the average fuel consumption display area 41d is an area for displaying the current average fuel consumption of the shovel 100 in the main screen 41V.
  • the average fuel consumption is, for example, the fuel consumption amount in a predetermined time.
  • the engine control status display area 41e is an area in the main screen 41V for displaying a graphic representing the control status of the engine 11 in a simulated manner.
  • the engine operating time display area 41f is an area for displaying the total operating time of the engine 11 from a predetermined timing on the main screen 41V.
  • the cooling water temperature display area 41g is an area for displaying the current cooling water temperature state of the engine 11 in the main screen 41V.
  • the remaining fuel amount display area 41h is an area in the main screen 41V for displaying the remaining amount state of the fuel stored in the fuel tank of the shovel 100.
  • the rotation speed mode display area 41i is an area for displaying a mode (rotation speed mode) relating to the current set rotation speed of the engine 11.
  • the urea water remaining amount display area 41j is an area in the main screen 41V for displaying the remaining amount state of the urea water stored in the urea water tank.
  • a captured image of the rear camera 70B of the image capturing apparatus 70 is displayed in the camera image display area 41m, and the captured image includes a worker PS who works behind the shovel 100 and the shovel 100. There is a truck TK parked behind the car.
  • the determination unit 344 inputs the image data of the imaged image of the rear camera 70B into the learned model LM (neural network 401) to output the object of the imaged image output from the learned model LM. It is possible to acquire the occupied area and the type of object in the occupied area. Therefore, in this example, the box icon 501 that is output from the learned model LM and surrounds the occupied area of the object (worker PS) classified as “person” and the detected (classified) object is a person. The character information icon 502 indicating that is displayed on the captured image.
  • a box icon 503 that is output from the learned model LM and surrounds an occupied area of an object (track TK) classified as “track”, and character information indicating that the detected (classified) object is a track.
  • the icon 504 is displayed so as to be superimposed on the captured image. Thereby, the operator or the like can easily recognize the detected object and also easily recognize the type of the detected object. Further, in the camera image display area 41m of the display device 40, the above-described prediction probabilities used in the determination by the determination unit 344, specifically, the prediction probabilities that "people" exist and "tracks” exist. ) May be displayed together.
  • the controller 30 (operation control unit 304) causes the controller 30 to operate the operation lever.
  • the actuator may be inoperable or may be limited to operation in a slow speed state.
  • the controller 30 operates the actuator by setting the gate lock valve to the locked state. It can be disabled.
  • the actuator can be made inoperable by disabling the signal from the controller 30 to the operation control valve.
  • the control for operation that outputs the pilot pressure corresponding to the control command from the controller 30 and causes the pilot pressure to act on the pilot port of the corresponding control valve in the control valve.
  • the operation of the actuator can be made at a very low speed by limiting the control signal from the controller 30 to the operation control valve to a content corresponding to a relatively small pilot pressure. ..
  • the actuator is not driven even if the operating device 26 is operated, or the operation input to the operating device 26 is performed.
  • the operation of the actuator may be stopped or decelerated regardless of the operation of the operator.
  • the operating device 26 is a hydraulic pilot type
  • the controller 30 sets the gate lock valve to a locked state to operate the actuator. Stop.
  • the controller 30 uses the operation control valve.
  • control valve for operation By invalidating the signal to the valve or outputting a deceleration command to the control valve for operation, it is possible to disable the actuator or decelerate its operation. Further, when the detected object is a truck, control regarding stop or deceleration of the actuator may not be performed. For example, the actuator may be controlled to avoid detected tracks. In this way, the detected type of object is recognized, and the actuator is controlled based on the recognition.
  • the captured image of the image capturing device 70 may be displayed in the entire display area of the display device 40. Further, the display device 40 may display a converted image based on the captured image of the above-described image capturing device 70 (for example, the above-described combined viewpoint converted image), and in this case, it corresponds to the occupied area of the object on the converted image. A box icon or a character information icon may be displayed so as to be superimposed on the portion to be displayed. Further, when the shovel 100 is remotely operated, the same contents as those in FIG. 5 may be displayed on the display device (for example, the display device 230) of the management device 200.
  • the learned model LM is stored in the storage unit 346.
  • the learned model LM of the storage unit 346 is an updated learned model from the management device 200 by the communication device 90, that is, a learned model that has undergone additional learning (hereinafter, “additionally learned model”) as described later. If received, it is updated to the received additional trained model. Accordingly, the determination unit 344 can use the additional learned model that has been additionally learned by the management device 200, and thus improves the determination accuracy of the object around the shovel 100 according to the update of the learned model. be able to.
  • the management device 200 includes a control device 210, a communication device 220, a display device 230, and an input device 240.
  • the control device 210 controls various operations of the management device 200.
  • the control device 210 includes, for example, a determination unit 2101, a teacher data generation unit 2102, as a functional unit realized by executing one or more programs stored in a ROM or a non-volatile auxiliary storage device on a CPU.
  • the learning unit 2103 is included.
  • the control device 210 also includes storage units 2104 and 2105 as storage regions defined by a non-volatile internal memory such as an auxiliary storage device.
  • the communication device 220 is an arbitrary device that connects to a communication network and communicates with the outside such as a plurality of shovels 100.
  • the display device 230 is, for example, a liquid crystal display or an organic EL display, and displays various information images under the control of the control device 210.
  • the input device 240 receives an operation input from the user.
  • the input device 240 includes, for example, a touch panel mounted on a liquid crystal display or an organic EL display. Further, the input device 240 may include a touch pad, a keyboard, a mouse, a trackball, or the like. Information regarding the operation state of the input device 240 is captured by the control device 210.
  • the determination unit 2101 uses the learned model LM stored in the storage unit 2105 and subjected to the machine learning by the learning unit 2103, and reads the captured images IM1 received from the plurality of shovels 100, that is, the storage unit 2104. Based on the captured image IM1 (path 2101A) that is taken, a determination is made regarding objects around the shovel 100. Specifically, the determination unit 2101 loads the learned model LM from the storage unit 346 into a main storage device such as a RAM (route 2101B) and causes the CPU to execute the captured image IM1 read from the storage unit 2104. Based on this, a determination is made regarding objects around the shovel 100.
  • a main storage device such as a RAM (route 2101B)
  • the determination unit 2101 sequentially inputs the plurality of captured images IM1 stored in the storage unit 2104 to the learned model LM, and determines the objects around the shovel 100.
  • the determination result 2101D of the determination unit 2101 is input to the teacher data generation unit 2102.
  • the determination result 2101D may be sequentially input to the teacher data generation unit 2102 for each captured image IM1, or may be input by the teacher data generation unit 2102 after being collected by a list or the like. Good.
  • the teacher data generating unit 2102 uses the teacher data (an example of the teacher information) for the learning unit 2103 to machine-learn the learning model based on the plurality of captured images IM1 received from the plurality of shovels 100. ) Is generated.
  • the teacher data represents a combination of an arbitrary captured image IM1 and a correct answer to be output by the learning model when the captured image IM1 is used as the input of the learning model.
  • the learning model is a target of machine learning, and as a matter of course, has a configuration similar to that of the learned model LM, for example, the neural network 401 described above as a center.
  • the teacher data generation unit 2102 reads the captured images IM1 received from the plurality of shovels 100 from the storage unit 2104 (route 2102A) and causes the display device 40 to display the images.
  • a GUI Graphic User Interface
  • GUI Graphic User Interface
  • the administrator, the worker, or the like uses the input device 240 to operate the teacher data creation GUI to instruct the correct answer corresponding to each captured image IM1, and thereby the format corresponding to the learning model algorithm is used.
  • Create teacher data In other words, the teacher data generation unit 2102 can generate a plurality of teacher data (teacher data sets) according to an operation (work) performed by a manager, a worker or the like on the plurality of captured images IM1. ..
  • the teacher data generation unit 2102 generates teacher data for the learning unit 2103 to additionally learn the learned model LM based on the plurality of captured images IM1 received from the plurality of shovels 100.
  • the teacher data generation unit 2102 reads a plurality of captured images IM1 from the storage unit 2104 (path 2102A), and each captured image IM1 and the determination result (output result) 2101D of the determination unit 2101 corresponding to the captured image IM1. And are displayed side by side on the display device 230.
  • the administrator, the operator, or the like of the management apparatus 200 selects, through the input device 240, a combination corresponding to an erroneous determination from among the combinations of the captured image IM1 displayed on the display device 230 and the determination results corresponding thereto. be able to.
  • the administrator, the worker, or the like uses the input device 240 to operate the teacher data creation GUI to cause the captured image IM1 of the combination corresponding to the erroneous determination, that is, the learned model LM to erroneously determine.
  • teacher data for additional learning represents a combination of the captured image IM1 and the correct answer that the learned model LM should output when the captured image IM1 is input.
  • the teacher data generation unit 2102 operates by a manager or a worker who targets the captured image IM1 selected from the plurality of captured images IM1 and corresponds to the erroneous determination in the learned model LM ( It is possible to generate a plurality of teacher data (teacher data set) for additional learning according to the (work).
  • the teacher data generation unit 2102 generates teacher data for generating the first learned model LM from the plurality of captured images IM1 received from the plurality of shovels 100. Then, the teacher data generation unit 2102 receives the captured images received from the plurality of shovels 100 after the latest learned model LM is mounted on the plurality of shovels 100 at each predetermined timing (hereinafter, “additional learning timing”). Teacher data for additional learning is generated from the captured image IM1 which is selected from IM1 and which has been erroneously determined by the learned model LM.
  • a part of the captured image IM1 received from each of the plurality of shovels 100 may be used as a base of the verification data set of the learned model LM. That is, the captured image IM1 received from each of the plurality of shovels 100 may be sorted into the captured image IM1 for generating the teacher data and the captured image IM1 for generating the verification data set.
  • the additional learning timing may be a regularly defined timing, for example, one month after the previous machine learning (additional learning).
  • the timing of additional learning is, for example, when the number of captured images IM1 exceeds a predetermined threshold, that is, the timing at which the number of captured images IM1 necessary for additional learning by the learning unit 2103 is collected. May be.
  • the learning unit 2103 causes the learning model to perform machine learning based on the teacher data 2102B (teacher data set) generated by the teacher data generation unit 2102, and generates the learned model LM. Then, the generated learned model LM is stored in the storage unit 2105 after being subjected to accuracy verification using a verification data set prepared in advance (path 2103B).
  • the learning unit 2103 also performs additional learning by causing the learned model LM (route 2103A) read from the storage unit 2105 to perform additional learning based on the teacher data (teacher data set) generated by the teacher data generation unit 2102. A completed model. Then, the additional learned model is subjected to accuracy verification using a verification data set prepared in advance, and then the learned model LM of the storage unit 2105 is an additional learned model to which accuracy verification has been performed. It is updated (route 2103B).
  • the learning unit 2103 applies the known algorithm such as the error back propagation method (back propagation) to the output of the learning model.
  • the weighting parameters are optimized so that the error with the teacher data is reduced, and the learned model LM is generated. The same applies to the generation of the additional learned model.
  • the first learned model LM generated from the learning model may be generated by an external device different from the management device 200.
  • the teacher data generating unit 2102 may generate only the teacher data for additional learning
  • the learning unit 2103 may only generate the additional learned model.
  • the captured image IM1 received from each of the plurality of shovels 100 via the communication device 220 is stored (saved) in the storage unit 2104.
  • the captured image IM1 that has been used to generate the teacher data by the teacher data generation unit 2102 may be stored in a storage device different from the storage unit 2104.
  • the learned model LM is stored (saved) in the storage unit 2105.
  • the learned model LM updated by the additional learned model generated by the learning unit 2103 has a plurality of shovels at predetermined timing (hereinafter, “model transmission timing”) through the communication device 220 (an example of the model transmission unit). Sent to each of the 100.
  • model transmission timing predetermined timing
  • the same updated learned model LM, that is, the additional learned model can be shared among the plurality of shovels 100.
  • the model transmission timing may be when the learned model LM in the storage unit 2105 is updated, that is, the timing immediately after the learned model LM is updated, or the timing when a predetermined time has elapsed after the update.
  • the model transmission timing is, for example, after the learned model LM is updated, the communication device 220 receives a confirmation reply to the notification of update of the learned model LM, which is transmitted to the plurality of shovels 100 through the communication device 220. It may be when
  • FIG. 6 is a sequence diagram showing an example of the operation of the shovel support system SYS.
  • step S10 the communication devices 90 of the plurality of shovels 100 transmit the captured image IM1 to the management device 200 at each image transmission timing.
  • the management apparatus 200 receives the captured images IM1 from each of the plurality of shovels 100 through the communication device 220, and stores the captured images IM1 in the storage unit 2104 in a cumulative manner.
  • step S12 the determination unit 2101 of the management device 200 inputs the plurality of captured images IM1 received from the plurality of shovels 100 and stored in the storage unit 2104 to the learned model LM, and performs the determination process.
  • step S14 the administrator, the worker, or the like of the management apparatus 200 verifies the determination result by the learned model LM, and makes an erroneous determination by the learned model LM from the plurality of captured images IM through the input device 240.
  • the captured image IM that has been taken is designated (selected).
  • step S16 the teacher data generation unit 2102 of the management apparatus 200 generates a teacher data set for additional learning according to the operation of the teacher data creation GUI through the input device 240 by the administrator or the worker.
  • step S18 the learning unit 2103 of the management device 200 performs additional learning of the learned model LM using the teacher data set for additional learning, generates an additional learned model, and stores the learned model in the storage unit 2104. Update the LM with the additionally trained model.
  • step S20 the communication device 220 of the management apparatus 200 transmits the updated learned model LM to each of the plurality of shovels 100.
  • the timing at which the updated version of the learned model LM is transmitted to the shovel 100 may be different for each of the plurality of shovels 100 as described above.
  • each of the plurality of shovels 100 updates the learned model LM in the storage unit 346 with the updated learned model received from the management device 200.
  • FIG. 7 is a functional block diagram showing another example of the functional configuration of the shovel support system SYS according to the present embodiment.
  • description will be given focusing on the part different from the above-described example (FIG. 3).
  • the shovel 100 includes a recording device 32, a determination device 34, and the like, as in the above-described example, as a configuration related to the control system, and the recording device 32 includes a recording control unit 322 and a storage unit 324, similarly to the above-described example. ..
  • the recording control unit 322 records the captured images of the imaging device 70 (the front camera 70F, the rear camera 70B, the left camera 70L, and the right camera 70R) in the storage unit 324 at a predetermined recording timing, as in the above example. To do. At this time, the recording control unit 322 also records the determination unit 344 based on the captured image of the recording target, that is, the determination result of the learned model LM. In this example, the recording control unit 322 records the captured image (hereinafter, “captured image with determination information”) IM2 including the information regarding the determination result (determination information) as tag information and the like in the storage unit 324.
  • the captured image and the determination information may be recorded as separate files, and in this case, the captured image and the determination information may be associated with each other in the storage unit 324.
  • the storage unit 324 From the completion of the initial processing after the start of the shovel 100 to the stop of the shovel 100, the storage unit 324 records the captured image IM2 with the determination information as described above under the control of the recording control unit 322. .. One or more captured images IM2 with determination information recorded in the storage unit 324 are transmitted to the management apparatus 200 via the communication device 90 at a predetermined image transmission timing.
  • the management device 200 includes a control device 210, a communication device 220, a display device 230, and an input device 240, as in the above example, and the control device 210 includes a teacher data generation unit 2102, a learning unit 2103, and a storage unit.
  • the parts 2104 and 2105 are included. That is, in this example, unlike the example of FIG. 3, the determination unit 2101 is omitted.
  • the teacher data generation unit 2102 receives the plurality of shovels 100 through the communication device 220, and the learning unit 2103 additionally learns the learned model LM based on the plurality of determination information-added captured images IM2 stored in the storage unit 2104. Generate teacher data for.
  • the teacher data generation unit 2102 causes the captured image included in the captured image IM2 with determination information and the determination information to be displayed side by side.
  • the administrator or operator of the management apparatus 200 through the input device 240, selects a combination that corresponds to an erroneous determination from among the combinations of the captured image displayed on the display device 230 and the corresponding determination information (determination result). Can be selected.
  • the administrator, the worker, or the like operates the teacher data creation GUI using the input device 240, and the captured image corresponding to the combination of erroneous determinations and the learned model LM when the captured image is input. It is possible to create teaching data for additional learning that represents a combination with the correct answer to be output by.
  • the teacher data generation unit 2102 performs an operation (work) by an administrator, a worker, or the like on a captured image selected from a plurality of captured images and corresponding to an erroneous determination in the learned model LM. Accordingly, a plurality of teacher data (teacher data set) for additional learning can be generated. Further, in this example, it is not necessary for the management device 200 side to input the plurality of captured images received from the plurality of shovels 100 to the learned model LM to perform the process of obtaining the determination result, and the processing efficiency related to the additional learning. Can be improved.
  • FIG. 8 is a functional block diagram showing still another example of the functional configuration of the shovel support system SYS according to the present embodiment.
  • description will be given focusing on the part different from the above-described example (FIG. 3).
  • the management device 200 includes a control device 210, a communication device 220, a display device 230, an input device 240, and a computer graphics generation device 250 (hereinafter, “CG (Computer Graphics) image generation device”) 250.
  • CG Computer Graphics
  • the CG image generation device 250 generates computer graphics (hereinafter, “CG image”) IM3 representing a state around the shovel 100 at the work site in response to an operation of the management device 200 by a worker or the like.
  • the CG image generation device 250 is mainly configured by a computer including a CPU, a memory device such as a RAM, an auxiliary storage device such as a ROM, an interface device for various inputs and outputs, and the like.
  • Application software capable of creating IM3 is pre-installed. Then, the worker or the like creates the CG image IM3 on the display screen of the CG image generating device 250 through a predetermined input device.
  • the CG image generating device 250 can generate a CG image IM3 that represents a state around the shovel 100 at the work site according to a work (operation) performed by a worker or the like of the management device 200.
  • the CG image generation device 250 is based on an actual captured image (for example, the captured image IM1) around the shovel 100, weather conditions corresponding to the captured image, weather conditions different from the sunshine conditions, and a work environment under the sunshine conditions. It is also possible to generate a CG image IM3 corresponding to, etc.
  • the CG image IM3 generated by the CG image generation device 250 is captured by the control device 210.
  • the CG image IM3 may be generated (created) outside the management device 200.
  • the control device 210 includes a determination unit 2101, a teacher data generation unit 2102, a learning unit 2103, and storage units 2104 and 2105, as in the above example.
  • the determination unit 2101 uses the learned model LM stored in the storage unit 2105 and subjected to the machine learning by the learning unit 2103 to read a plurality of captured images IM1 (route 2101A) and CG images IM3. Based on (route 2101C), the determination is made regarding the objects around the shovel 100. Specifically, the determination unit 2101 loads the learned model LM from the storage unit 346 into a main storage device such as a RAM (path 2101B) and causes the CPU to execute the captured image IM1 and the captured image IM1 read from the storage unit 2104. Based on the CG image IM3, a determination is made regarding objects around the shovel 100.
  • the determination unit 2101 sequentially inputs the plurality of captured images IM1 and CG images IM3 stored in the storage unit 2104 to the learned model LM, and determines the objects around the shovel 100.
  • the determination result 2101D of the determination unit 2101 is input to the teacher data generation unit 2102.
  • the determination result 2101D may be sequentially input to the teacher data generation unit 2102 for each of the plurality of captured images IM1 and CG images IM3. It may be input to the unit 2102.
  • the teacher data generation unit 2102 is learned by the learning unit 2103 based on the plurality of captured images IM1 received from the plurality of shovels 100 and the CG image IM3 (stored in the storage unit 2104) generated by the CG image generation device 250.
  • the teacher data for machine learning of the model is generated.
  • the teacher data generation unit 2102 reads the captured image IM1 received from the plurality of shovels 100 and the CG image IM3 generated by the CG image generation device 250 from the storage unit 2104 (routes 2102A and 2102C), and causes the display device 40 to display the image.
  • a GUI for creating teacher data is displayed.
  • the administrator, the worker, or the like uses the input device 240 to operate the GUI for creating teacher data to instruct the correct answer corresponding to each captured image IM1 or CG image IM3, thereby making the learning model algorithm.
  • the teacher data generation unit 2102 generates a plurality of teacher data (teacher data sets) according to an operation (work) performed by a manager, a worker or the like on the plurality of captured images IM1 and CG images IM3. can do.
  • the teacher data generation unit 2102 based on the plurality of captured images IM1 received from the plurality of shovels 100 and the CG image IM3 (stored in the storage unit 2104) generated by the CG image generation device 250, the learning unit 2103. Generates teacher data for additional learning of the learned model LM.
  • the teacher data generation unit 2102 reads a plurality of captured images IM1 and CG images IM3 from the storage unit 2104 (paths 2102A and 2102C), and associates each captured image IM1 or CG image IM3 with the captured image IM1 or CG image IM3.
  • the determination result (output result) of the determination unit 2101 (learned model LM) is displayed side by side on the display device 230.
  • the administrator, the operator, or the like of the management apparatus 200 can select, through the input device 240, a combination of the captured image IM1 or the CG image IM3 displayed on the display device 230 and the determination result of the learned model LM corresponding thereto. A combination corresponding to the erroneous determination can be selected.
  • the administrator, the operator, or the like operates the teacher data creation GUI using the input device 240, and the captured image IM1 or CG image IM3 corresponding to the combination of erroneous determinations, and the captured image IM1 or CG image IM3. It is possible to create teaching data for additional learning that represents a combination with the correct answer that should be output by the learned model LM when is input.
  • the teacher data generation unit 2102 targets at least one of the captured image IM1 and the CG image IM3 selected from the plurality of captured images IM1 and the CG image IM3 and corresponding to the erroneous determination in the learned model LM.
  • teacher data sets for additional learning according to an operation (work) by an administrator or a worker.
  • the teacher data can be generated using the CG image IM3 in addition to the captured images IM1 collected from the plurality of shovels 100, the teacher data can be enriched.
  • the teacher data set is generated using the CG image IM3, the learned model LM can realize relatively high determination accuracy corresponding to various work sites at an earlier timing.
  • the CG image generation device 250 can output to the control device 210, together with the CG image IM3, correct answer-related data (hereinafter, “correct answer data”) that the learned model LM should output when the CG image IM3 is input. is there.
  • the control device 210 (teacher data generation unit 2102) is erroneous in the determination processing by the learned model LM (determination unit 2101) that receives the CG image IM3 based on the correct answer data input from the CG image generation device 250.
  • a plurality of teacher data for additional learning representing a combination of the CG image IM3 corresponding to the extracted erroneous determination and the correct answer to be output by the learned model LM when the CG image IM3 is input. (Teacher data set) can be automatically generated.
  • the learning unit 2103 can perform additional learning of the learned model LM, for example, the above-described difference back propagation method (back propagation) based on the teacher data automatically generated by the teacher data generation unit 2102. .. That is, the control device 210 can automatically generate the additional learned model based on the CG image IM3 and the correct answer data generated by the CG image generation device 250.
  • the imaging device 70 acquires a captured image around the excavator 100 (hereinafter, referred to as “self-excavator”) on which the imaging device 70 is mounted.
  • the determination unit 344 uses the learned model LM that has been subjected to machine learning, and based on the captured image IM1 acquired by the imaging device 70, performs the determination regarding the object around the self-excavator.
  • the learned model LM is the acquired environment information, specifically, the teacher data generated from the imaged image of the imaging device 70 acquired by the own shovel and another shovel 100 (hereinafter, “other shovel”).
  • the determination unit 344 uses the updated learned model LM to acquire the model. The above determination is performed based on the captured image.
  • the teacher data generation unit 2102 of the management device 200 generates teacher data based on the captured image IM1 acquired by the shovel 100, which is received from the shovel 100.
  • the learning unit 2103 of the management device 200 based on the teacher data generated by the teacher data generation unit 2102, is the same learned model (that is, a learned model that is used by the shovel 100 for determination of surrounding objects) (that is, The learned model LM) is subjected to additional learning to generate an additional learned model.
  • the communication device 220 of the management device 200 transmits the additional learned model that has been additionally learned by the learning unit 2103 to the shovel 100, and updates the learned model LM of the shovel 100 with the additional learned model.
  • the learned model LM of the shovel 100 is an additionally learned model in which additional learning is performed using the teacher data generated from the imaged image of the imaging device 70 acquired by the own shovel or another shovel in various environments. Will be updated. Therefore, the shovel 100 can improve the determination accuracy under various environmental conditions when making the determination regarding the object around the shovel 100 based on the environmental information around the shovel 100 (the image captured by the imaging device 70). it can.
  • the shovel 100 (an example of a second shovel) that acquires a captured image of the surroundings that is the source of the teacher data and the learned model LM are used to make a determination regarding the surrounding objects based on the captured image. It may be different from the example of the first shovel).
  • the imaging device 70 of the former shovel 100 (an example of a second environment information acquisition unit) acquires a captured image of the periphery of the shovel 100 for generating teacher data
  • the imaging device 70 of the latter shovel 100 (One example of a first environment information acquisition unit) acquires a captured image of the periphery of the excavator 100 for making a determination regarding a surrounding object.
  • the management device 200 collects captured images of the surroundings from one or a plurality of shovels (an example of a second shovel) different from the shovel 100 that does not have a determination function regarding an object, and generates the learned model LM.
  • the learned model LM may be updated and transmitted to the shovel 100 (an example of the first shovel). That is, the learned model LM used by the shovel 100 (judgment unit 344) for the judgment regarding the objects around the shovel 100 is the environmental information (specifically, acquired by at least one of the own shovel and another shovel different from the own shovel.
  • the model may be updated to a model that has undergone additional learning based on teacher data generated from surrounding captured images).
  • each of the plurality of shovels 100 including the own shovel has the same learned model LM, and the surrounding model is determined using the learned model LM. That is, using the learned model LM, there are a plurality of shovels 100 (an example of the first shovel) that make a determination regarding the surrounding objects based on the surrounding environment information (the image captured by the imaging device 70). Then, the learned model LM of each of the plurality of shovels 100 may be updated to the same additional learned model generated by the management device 200.
  • a plurality of shovels 100 can uniformly achieve relatively high determination accuracy under various environmental conditions.
  • the learned model LM may be updated to the additionally learned model in which the additional learning is performed based on the teacher data generated from the captured images of the surroundings acquired by the plurality of shovels 100. That is, there are a plurality of shovels 100 (an example of a second shovel) that acquires surrounding environment information (an image captured by the imaging device 70) for generating teacher data.
  • the shovel 100 further improves the determination accuracy under various environmental conditions when performing the determination regarding the object around the shovel 100 based on the environmental information around the shovel 100 (the image captured by the imaging device 70). You can
  • the learned model LM may be updated to an additional learned model in which additional learning is performed based on teacher data generated from a captured image of the surroundings acquired by one shovel 100. That is, the number of the shovel 100 (an example of the second shovel) that acquires the surrounding environment information (the captured image of the imaging device 70) for generating the teacher data may be one.
  • the recording control unit 322 records the captured image as the environmental information acquired by the imaging device 70 at a predetermined recording timing. Then, the learned model LM of the shovel 100 is updated in the management device 200 to the additionally learned model in which the additional learning is performed based on the teacher data generated from the captured image recorded by the recording control unit 322.
  • a captured image with a quality suitable for use as teacher data for example, a captured image under an operating condition that should be applied to additional learning and in which an erroneous determination is likely to occur, or a specific erroneous determination may have occurred
  • teacher data for example, a captured image under an operating condition that should be applied to additional learning and in which an erroneous determination is likely to occur, or a specific erroneous determination may have occurred
  • the predetermined recording timing may be the turning operation or the traveling operation of the own shovel.
  • the determination unit 344 makes a determination regarding detection of an object around the own shovel. Then, the predetermined recording timing may be when the determination unit 344 determines that an object around the own shovel is detected.
  • the environment information around the shovel 100 as the input information for the learned model LM is a captured image of the imaging device 70, but is not limited to this mode.
  • the input information to the learned model LM is, for example, any spatial recognition sensor (such as an environment information acquisition unit) such as a LIDAR (Light Detecting and Ranging) mounted on the shovel 100, a millimeter wave radar, or a distance image sensor. It may be output information (distance image data, reflected wave spectrum data, or the like) from one example).
  • the management device 200 performs machine learning of the learning model and additional learning of the learned model LM based on the teacher data received from the plurality of shovels 100 and generated from the output information of the spatial recognition sensor.
  • one learned model LM is generated and the determination regarding the object around the shovel 100 is performed by one learned model LM, but the present invention is not limited to this mode. .. Specifically, a learned model is generated for each of a plurality of pre-specified environmental conditions around the shovel 100, and a learned model that matches the environmental conditions around the shovel 100 is selected and then selected. A determination regarding the object around the shovel 100 may be performed using the learned model that has been learned.
  • the environmental conditions around the shovel 100 include, for example, weather conditions such as rain, sunny, and cloudy, and the type of background reflected in the captured image (for example, a residential area in which a house is reflected, a mountainous area in which a forest is reflected). Geographical conditions such as, and conditions such as the presence or absence of pavement).
  • the learned model is subjected to additional learning in accordance with each environmental condition, so that the shovel 100 can improve the determination accuracy for each environmental condition.
  • the learned model LM to which the machine learning method centered on the neural network is applied is generated, but other machine learning may be used instead of or in addition to the neural network. May be applied.
  • FIG. 9 is a conceptual diagram showing another example of the determination processing by the learned model LM.
  • FIG. 9 is a diagram conceptually showing a determination method regarding an object when a support vector machine (SVM) is applied as a machine learning method.
  • SVM support vector machine
  • a two-dimensional vector of a predetermined feature amount acquired from the environment information around the shovel 100 (for example, an image captured by the imaging device 70) acquired by the shovel 100.
  • Information (hereinafter, “feature amount vector”) is plotted as teacher data.
  • the feature quantity vector group 902 (white circle plot group in the figure) and the feature quantity vector group 903 (black circle plot group in the figure) respectively correspond to environment information when an object does not exist and when it exists.
  • the separating straight line 901 can be defined between the feature amount vector group 902 as the teacher data and the feature amount vector group 903 plotted as a black circle.
  • the characteristic amount vector is calculated from the environment information acquired by the shovel 100, and whether the calculated characteristic amount vector is on the side of the characteristic amount vector group 902 as viewed from the separating line 901, Whether the object exists or not can be determined, that is, the object can be detected depending on whether the object is on the feature amount vector group 903 side. For example, since the feature amount vector 904 is on the side of the feature amount vector group 903 when viewed from the separation line 901, the presence of the object can be recognized from the environment information acquired by the shovel 100, and the object can be detected. By the same method, it is possible to classify the detected objects (classification of objects of a specific type or objects of other types).
  • the feature amount vector for example, image feature amount such as HOG (Histogram of Oriented Gradients) feature amount and LBP (Local Binary Pattern) feature amount of the image captured by the image capturing apparatus 70 is used.
  • HOG Heistogram of Oriented Gradients
  • LBP Large Binary Pattern
  • the feature quantity vector is usually specified in a multidimensional space that exceeds three dimensions, the presence or absence of an object in the multidimensional space corresponding to the feature quantity vector or a specific type of object (for example, "human ") And other types of objects, the separation hyperplane is defined by the SVM method.
  • the management device 200 by applying the SVM method, the management device 200 generates a feature amount vector as teacher data from a plurality of environment information collected from a plurality of shovels 100, and based on the teacher data, a learned model.
  • a separating hyperplane corresponding to the LM can be defined.
  • the management device 200 further generates a feature amount vector as additional teacher data from the environment information collected from the plurality of shovels 100, and sets the conventional teacher data and the additional teacher data.
  • the separation hyperplane may be updated.
  • the shovel 100 can improve the determination accuracy under various environmental conditions when performing the determination regarding the object around the shovel 100 based on the environmental information around the shovel 100. it can.
  • neural networks and SVMs In addition to neural networks and SVMs, other machine learning methods such as a method using a decision tree such as random forest, a nearest neighbor method, and a naive Bayes classifier can be applied.
  • a method using a decision tree such as random forest
  • a nearest neighbor method such as a nearest neighbor method
  • a naive Bayes classifier can be applied.
  • the shovel 100 uses the learned model LM to determine the surrounding objects, but another construction machine uses the learned model LM to determine the surrounding objects.
  • the excavator support system SYS according to the above-described embodiment is used in place of or in addition to the excavator 100, a road machine such as a bulldozer, a wheel loader, an asphalt finisher, or another construction machine such as a forestry machine including a harvester. May be included.
  • controller 32 recording device 34 determination device 40 display device 70 imaging device (environmental information acquisition unit, first environmental information acquisition unit, second environmental information acquisition unit) 90 Communication equipment (environmental information transmitter) 100 shovels (first shovel, second shovel) 200 Management device (external device) 210 control device 220 communication device (model transmission unit) 230 display device 240 input device 250 computer graphics generation device 302 notification unit 304 operation control unit (control unit) 322 Recording control unit (recording unit) 324 storage unit 342 display control unit 344 determination unit 346 storage unit 2101 determination unit 2102 teacher data generation unit (teacher information generation unit) 2103 learning unit 2104, 2105 storage unit IM1 imaged image IM2 imaged image with determination information IM3 computer graphics LM learned model SYS shovel support system

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

ショベルの周囲の環境情報に基づき、ショベルの周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることが可能な技術を提供する。本発明の一実施形態に係るショベル１００は、ショベル１００の周囲の環境情報としての撮像画像を取得する撮像装置７０と、機械学習が行われた学習済みモデルＬＭを用いて、撮像装置７０により取得される撮像画像に基づき、ショベル１００の周囲の物体に関する判定を行う判定部３４４と、を備え、学習済みモデルＭＬは、ショベル１００及び他のショベルのうちの少なくとも一方で取得される周囲の撮像画像から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、判定部３４４は、学習済みモデルが更新された場合、更新された学習済みモデルを用いて、撮像装置７０により取得される撮像画像に基づき、判定を行う。

Description

ショベル、ショベル支援システム
　本開示は、ショベル及びショベル支援システムに関する。
　例えば、ショベルの周囲の状況を表す環境情報（例えば、ショベルの周囲の撮像画像やショベルの周囲に送信された検出波の反射波データ等）に基づき、ショベルの周囲の物体に関する判定（例えば、物体の有無、種類の判定等）を行う技術が知られている。
　例えば、特許文献１では、オプティカルフロー、パターンマッチング等の画像処理技術を用いて、ショベルの周囲の撮像画像に基づき、周囲の物体を検出している（特許文献１参照）。
特許６２９０４９７号公報
　しかしながら、ショベルは、多様な環境下で使用されうるところ、特許文献１等では、予め規定された判定基準で判定が行われるため、環境条件によっては、適切な判定精度を確保できない可能性がある。
　そこで、上記課題に鑑み、ショベルの周囲の環境情報に基づき、ショベルの周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることが可能な技術を提供する。
　本開示の一実施形態において、
　ショベルの周囲の環境情報を取得する環境情報取得部と、
　機械学習が行われた学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、ショベルの周囲の物体に関する判定を行う判定部と、を備え、
　前記学習済みモデルは、取得された環境情報から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、
　前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、前記判定を行う、
　ショベルが提供される。
　また、本開示の他の実施形態において、
　第１のショベルと、第２のショベルと、前記第１のショベル及び前記第２のショベルと通信可能な外部装置と、を含むショベル支援システムであって、
　前記第１のショベルに設けられ、前記第１のショベルの周囲の環境情報を取得する第１の環境情報取得部と、
　前記第１のショベルに設けられ、機械学習が行われた学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記第１のショベルの周囲の物体に関する判定を行う判定部と、
　前記第２のショベルに設けられ、前記第２のショベルの周囲の環境情報を取得する第２の環境情報取得部と、
　前記第２のショベルに設けられ、前記第２の環境情報取得部により取得される環境情報を記録する記録部と、
　前記第２のショベルに設けられ、前記記録部により記録される環境情報を前記外部装置に送信する環境情報送信部と、
　前記外部装置に設けられ、前記第２のショベルから受信される、前記第２のショベルで取得された環境情報に基づき、教師情報を生成する教師情報生成部と、
　前記外部装置に設けられ、前記教師情報生成部により生成された教師情報に基づき、前記第１のショベルで前記判定に用いられている前記学習済みモデルと同一の学習済みモデルに追加学習を行わせ、追加学習済みモデルを生成する学習部と、
　前記外部装置に設けられ、前記学習部により追加学習が行われた前記追加学習済みモデルを前記第１のショベルに送信するモデル送信部と、を備え、
　前記学習済みモデルは、前記第１のショベルにおいて、前記外部装置から受信される前記追加学習済みモデルに更新され、
　前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記判定を行う、
　ショベル支援システムが提供される。
　上述の実施形態によれば、ショベルの周囲の環境情報に基づき、ショベルの周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることが可能な技術を提供することができる。
ショベル支援システムの構成の一例を示す概略図である。 ショベルの上面図である。 ショベル支援システムの機能的な構成の一例を示す機能ブロック図である。 判定部による判定処理の一例を示す概念図である。 判定部による判定処理の一例を示す概念図である。 判定部による判定処理の結果の具体例を示す図である。 ショベル支援システムの動作の一例を示すシーケンス図である。 ショベル支援システムの機能的な構成の他の例を示す機能ブロック図である。 ショベル支援システムの機能的な構成の更に他の例を示す機能ブロック図である。 判定部による判定処理の他の例を示す概念図である。
　以下、図面を参照して実施形態について説明する。
　［ショベル支援システムの概要］
　まず、図１を参照して、本実施形態に係るショベル支援システムＳＹＳについて説明する。
　図１は、ショベル支援システムＳＹＳの構成の一例を示す概略図である。
　ショベル支援システムＳＹＳは、複数のショベル１００と、管理装置２００とを含み、それぞれのショベル１００で実行される、ショベル１００の周囲の物体に関する判定を支援する。ショベル１００の周囲の物体に関する判定には、例えば、ショベル１００の周囲の物体の有無の判定（つまり、ショベル１００の周囲の物体の検出に関する判定）や、ショベル１００の周囲の物体の種類の判定（つまり、ショベル１００の周囲で検出された物体の分類に関する判定）を含む。以下、複数のショベル１００は、それぞれ、ショベル支援システムＳＹＳに関して同じ構成を有する前提で説明を進める。
　　＜ショベルの概要＞
　ショベル１００は、下部走行体１と、下部走行体１に旋回機構２を介して旋回自在に搭載される上部旋回体３と、アタッチメントを構成するブーム４、アーム５、及び、バケット６と、キャビン１０とを含む。
　下部走行体１は、左右一対のクローラ１Ｃ、具体的には、左クローラ１ＣＬ及び右クローラ１ＣＲを含む。下部走行体１は、左クローラ１ＣＬ及び右クローラ１ＣＲが走行油圧モータ２Ｍ（２ＭＬ，２ＭＲ）でそれぞれ油圧駆動されることにより、ショベル１００を走行させる。
　上部旋回体３は、旋回油圧モータ２Ａで駆動されることにより、下部走行体１に対して旋回する。また、上部旋回体３は、旋回油圧モータ２Ａで油圧駆動される代わりに、電動機により電気駆動されてもよい。以下、便宜上、上部旋回体３におけるアタッチメントＡＴが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。
　ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。
　キャビン１０は、オペレータが搭乗する運転室であり、上部旋回体３の前部左側に搭載される。
　また、ショベル１００は、通信機器９０を搭載する。ショベル１００は、例えば、基地局を末端とする携帯電話網、上空の通信衛星を利用する衛星通信網、インターネット網等を含みうる所定の通信ネットワーク（以下、単に「通信ネットワーク」）を通じて、管理装置２００と通信可能に接続される。これにより、ショベル１００は、管理装置２００から各種情報を取得したり、管理装置２００に各種情報を送信したりすることができる。詳細は、後述する。
　ショベル１００は、キャビン１０に搭乗するオペレータの操作装置２６に対する操作に応じて、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の動作要素（被駆動要素）を動作させる。
　また、ショベル１００は、キャビン１０のオペレータにより操作されるのに代えて、或いは、加えて、所定の外部装置（例えば、管理装置２００）のオペレータによって遠隔操作されてもよい。この場合、ショベル１００は、例えば、後述の撮像装置７０が出力する画像情報（撮像画像）を管理装置２００に送信する。これにより、オペレータは、管理装置２００に設けられる表示装置（例えば、後述の表示装置２３０）に表示される画像情報を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、管理装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させてよい。以下、オペレータの操作には、オペレータの操作装置２６に対する操作、及び管理装置２００のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
　　＜管理装置の概要＞
　管理装置２００（外部装置の一例）は、ショベル１００の外部の地理的に離れた位置に設置され、複数のショベル１００の管理を行う。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置（端末装置）である。この場合、サーバ装置は、ショベル支援システムＳＹＳを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置される定置型或いは携帯型のコンピュータ端末であってもよい。
　管理装置２００は、通信ネットワークを通じて、複数のショベル１００のそれぞれと通信可能に接続される。これにより、管理装置２００は、ショベル１００に各種情報を送信したり、ショベル１００から各種情報を受信したりすることができる。詳細は、後述する。
　また、管理装置２００は、ショベル１００を遠隔操作可能に構成されてもよい。具体的には、管理装置２００は、表示装置（例えば、表示装置２３０）にショベル１００から配信される撮像装置７０の画像情報を表示させ、遠隔操作のオペレータは、この画像情報を確認しながら、ショベル１００の遠隔操作を行ってよい。この際、遠隔操作のオペレータは、管理装置２００に設けられる遠隔操作用の操作装置（例えば、タッチパネル、タッチパッド、ジョイスティック等の汎用の操作装置や操作装置２６を模した専用の操作装置等）を用いることができる。管理装置２００は、通信ネットワークを通じて、遠隔操作の内容を含む遠隔操作信号をショベル１００に送信する。これにより、ショベル１００は、例えば、後述のコントローラ３０の制御下で、管理装置２００からの遠隔操作信号に応じて、動作することができ、管理装置２００は、ショベル１００の遠隔操作を支援することができる。
　［ショベル支援システムの構成の一例］
　図１に加えて、図２～図５を参照して、ショベル支援システムＳＹＳ（ショベル１００、管理装置２００）の具体的な構成について説明する。
　図２は、ショベル１００の上面図である。図３は、本実施形態に係るショベル支援システムＳＹＳの構成の一例を示す構成図である。図４（図４Ａ、図４Ｂ）は、後述する判定部３４４による判定処理の一例を示す概念図である。図５は、判定部３４４による判定処理結果の具体例を示す図である。
　尚、上述の如く、複数のショベル１００は、それぞれ、ショベル支援システムＳＹＳに関して同じ構成を有するため、図３では、一のショベル１００の詳細構成だけを記載している。
　　＜ショベルの構成＞
　ショベル１００は、油圧システムに関する構成として、上述の如く、走行油圧モータ２Ｍ（２ＭＬ，２ＭＲ）、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。また、ショベル１００は、油圧システムに関する構成として、エンジン１１と、操作装置２６とを含む。また、ショベル１００は、制御システムに関する構成として、コントローラ３０と、記録装置３２と、判定装置３４と、表示装置４０と、撮像装置７０と、向き検出装置８５と、通信機器９０と、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体傾斜センサＳ４と、旋回状態センサＳ５とを含む。
　エンジン１１は、ショベル１００（の油圧システム）の駆動源であり、例えば、上部旋回体３の後部に搭載される。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、コントローラ３０等による制御下で、所定の回転数（設定回転数）を維持するように動作する。エンジン１１の回転軸は、油圧アクチュエータに作動油を供給するメインポンプ、及び操作装置２６等の操作系の油圧機器に作動油を供給するパイロットポンプの回転軸に接続され、エンジン１１の動力は、メインポンプ及びパイロットポンプに伝達される。
　操作装置２６は、キャビン１０内の運転席に着座したオペレータ等から手足が届く範囲内に配置され、オペレータ等により、各種動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等）、換言すれば、各種動作要素を駆動する油圧アクチュエータの操作のための操作入力が行われる。
　操作装置２６は、例えば、油圧パイロット式である。この場合、操作装置２６は、パイロットポンプから作動油の供給を受けて所定のパイロット圧（操作内容に対応するパイロット圧）を生成する。そして、操作装置２６は、油圧アクチュエータを駆動制御するコントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる。これにより、操作装置２６における操作内容（例えば、操作方向及び操作量）がコントロールバルブの動作に反映され、油圧アクチュエータによって、操作装置２６の操作内容に沿った各種動作要素（被駆動要素）の動作が実現される。
　また、操作装置２６は、例えば、操作内容に対応する電気信号（以下、「操作信号」）を出力する電気式であってもよい。この場合、操作装置２６から出力される電気信号は、例えば、コントローラ３０に取り込まれ、コントローラ３０は、操作信号に対応する制御指令、即ち、操作装置２６の操作内容に対応する制御指令を所定の油圧制御弁（以下、「操作用制御弁」）に出力してよい。そして、操作用制御弁は、パイロットポンプ或いはメインポンプから供給される作動油を用いて、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させてよい。これにより、操作装置２６における操作内容がコントロールバルブの動作に反映され、油圧アクチュエータによって、操作装置２６の操作内容に沿った各種動作要素の動作が実現される。
　また、ショベル１００が遠隔操作される場合、例えば、コントローラ３０は、上記の操作用制御弁を用いて、ショベル１００の遠隔操作を実現してよい。具体的には、コントローラ３０は、通信機器９０により受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御指令を操作用制御弁に出力してよい。そして、操作用制御弁は、パイロットポンプ或いはメインポンプから供給される作動油を用いて、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させてよい。これにより、遠隔操作の内容がコントロールバルブの動作に反映され、油圧アクチュエータによって、遠隔操作の内容に沿った各種動作要素（被駆動要素）の動作が実現される。
　コントローラ３０は、例えば、キャビン１０の内部に搭載され、ショベル１００の駆動制御を行う。コントローラ３０は、その機能が、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置（主記憶装置）、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。
　例えば、コントローラ３０は、向き検出装置８５、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４、旋回状態センサＳ５等の各種センサの出力信号を取り込み、ショベル１００の各種状態（例えば、上部旋回体３の向きや姿勢状態等）を把握する。そして、コントローラ３０は、把握した各種状態に応じて、ショベル１００の各種制御を行う。
　また、例えば、コントローラ３０は、判定装置３４により、ショベル１００の周囲の所定の監視領域内（例えば、ショベル１００から５メートル以内の作業領域）で、監視対象の物体（例えば、人、トラック、他の建設機械、電柱、吊り荷、パイロン、建屋等）が検出された場合に、ショベル１００と監視対象の物体との当接等を回避させる制御（以下、「当接回避制御」）を行う。コントローラ３０は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される、当接回避制御に関する機能部として、報知部３０２と、動作制御部３０４とを含む。
　記録装置３２は、撮像装置７０の撮像画像を所定のタイミングで記録する。記録装置３２は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、記録装置３２は、コントローラ３０と同様のコンピュータを中心に構成されてよい。記録装置３２は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、記録制御部３２２を含む。また、記録装置３２は、例えば、補助記憶装置等の内部メモリに規定される記憶領域としての記憶部３２４を含む。
　判定装置３４は、撮像装置７０の撮像画像に基づき、ショベル１００の周囲の物体に関する判定（例えば、物体の検出判定や物体の分類判定等）を行う。判定装置３４は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、判定装置３４は、コントローラ３０等と同様の構成、つまり、ＣＰＵ、メモリ装置、補助記憶装置、及びインタフェース装置等に加えて、ＣＰＵでの処理と連動し並列処理による高速演算を行う、画像処理用の演算デバイスを含むコンピュータを中心に構成されてよい。以下、後述する管理装置２００の制御装置２１０についても同様の構成を有してよい。画像処理用の演算デバイスには、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field -Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等が含まれうる。判定装置３４は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、表示制御部３４２と、判定部３４４とを含む。また、判定装置３４は、例えば、補助記憶装置等の内部メモリに規定される記憶領域としての記憶部３４６を含む。
　尚、コントローラ３０、記録装置３２、及び判定装置３４の一部又は全部は、一つに統合されてもよい。
　表示装置４０は、キャビン１０の内部の運転席に着座したオペレータ等から視認し易い場所に設けられ、各種情報画像を表示する。表示装置４０は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイである。例えば、表示装置４０は、判定装置３４（表示制御部３４２）による制御下で、撮像装置７０の撮像画像に基づくショベル１００の周囲の様子を表す画像を表示する。具体的には、表示装置４０は、撮像装置７０の撮像画像を表示してよい。また、表示装置４０は、判定装置３４（表示制御部３４２）により生成される、撮像装置７０の撮像画像に対して所定の変換処理（例えば、視点変換処理）等が施された変換画像を表示してもよい。変換画像は、例えば、ショベル１００の真上から見た俯瞰画像と、ショベル１００から遠方を水平方向に見た水平画像とを組み合わせた視点変換画像であってよい。また、当該視点変換画像は、後述する前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒのそれぞれの撮像画像が、俯瞰画像及び水平画像による視点変換画像に変換された上で、合成された合成画像であってもよい。
　撮像装置７０（環境情報取得部の一例）は、ショベル１００の周囲の様子を撮像し、撮像画像（環境情報の一例）を出力する。撮像装置７０は、前方カメラ７０Ｆと、後方カメラ７０Ｂと、左方カメラ７０Ｌと、右方カメラ７０Ｒとを含む。撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒのそれぞれ）による撮像画像は、判定装置３４に取り込まれる。
　前方カメラ７０Ｆは、例えば、キャビン１０の上面前端に取り付けられ、上部旋回体３の前方の様子を撮像する。
　後方カメラ７０Ｂは、例えば、上部旋回体３の上面後端に取り付けられ、上部旋回体３の後方の様子を撮像する。
　左方カメラ７０Ｌは、例えば、上部旋回体３の上面左端に取り付けられ、上部旋回体３の左方の様子を撮像する。
　右方カメラ７０Ｒは、例えば、上部旋回体３の上面右端に取り付けられ、上部旋回体３の右方の様子を撮像する。
　向き検出装置８５は、上部旋回体３の向きと下部走行体１の向きとの相対的な関係に関する情報（以下、「向きに関する情報」）を検出するように構成されている。例えば、向き検出装置８５は、下部走行体１に取り付けられた地磁気センサと上部旋回体３に取り付けられた地磁気センサの組み合わせで構成されてよい。また、向き検出装置８５は、下部走行体１に取り付けられたＧＮＳＳ（Global Navigation Satellite System）受信機と上部旋回体３に取り付けられたＧＮＳＳ受信機の組み合わせで構成されていてもよい。上部旋回体３が電動機で駆動される構成の場合、向き検出装置８５は、電動機に取り付けられるレゾルバにより構成されていてもよい。また、向き検出装置８５は、例えば、下部走行体１と上部旋回体３との間の相対回転を実現する旋回機構２に関連して設けられるセンタージョイントに配置されていてもよい。向き検出装置８５による検出情報は、コントローラ３０に取り込まれる。
　通信機器９０は、通信ネットワークに接続し、管理装置２００等の外部との通信を行う任意のデバイスである。通信機器９０は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の所定の移動体通信規格に対応する移動体通信モジュールであってよい。
　ブーム角度センサＳ１は、ブーム４に取り付けられ、ブーム４の上部旋回体３に対する俯仰角度（以下、「ブーム角度」）θ１を検出する。ブーム角度θ１は、例えば、ブーム４を最も下降させた状態からの上昇角度である。この場合、ブーム角度θ１は、ブーム４を最も上昇させたときに最大となる。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等を含んでよく、以下、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４についても同様であってよい。また、ブーム角度センサＳ１は、ブームシリンダ７に取り付けられたストロークセンサであってもよく、以下、アーム角度センサＳ２、バケット角度センサＳ３についても同様であってよい。ブーム角度センサＳ１によるブーム角度θ１に対応する検出信号は、コントローラ３０に取り込まれる。
　アーム角度センサＳ２は、アーム５に取り付けられ、アーム５のブーム４に対する回動角度（以下、「アーム角度」）θ２を検出する。アーム角度θ２は、例えば、アーム５を最も閉じた状態からの開き角度である。この場合、アーム角度θ２は、アーム５を最も開いたときに最大となる。アーム角度センサＳ２によるアーム角度θ２に対応する検出信号は、コントローラ３０に取り込まれる。
　バケット角度センサＳ３は、バケット６に取り付けられ、バケット６のアーム５に対する回動角度（以下、「バケット角度」）θ３を検出する。バケット角度θ３は、バケット６を最も閉じた状態からの開き角度である。この場合、バケット角度θ３は、バケット６を最も開いたときに最大となる。バケット角度センサＳ３によるバケット角度θ３に対応する検出信号は、コントローラ３０に取り込まれる。
　機体傾斜センサＳ４は、所定の平面（例えば、水平面）に対する機体（例えば、上部旋回体３）の傾斜状態を検出する。機体傾斜センサＳ４は、例えば、上部旋回体３に取り付けられ、ショベル１００（即ち、上部旋回体３）の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する。機体傾斜センサＳ４による傾斜角度（前後傾斜角及び左右傾斜角）に対応する検出信号は、コントローラ３０に取り込まれる。
　旋回状態センサＳ５は、上部旋回体３に取り付けられ、上部旋回体３の旋回状態に関する検出情報を出力する。旋回状態センサＳ５は、例えば、上部旋回体３の旋回角加速度、旋回角速度、旋回角度等を検出する。旋回状態センサＳ５は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含みうる。
　尚、機体傾斜センサＳ４に３軸回りの角速度を検出可能なジャイロセンサ、６軸センサ、ＩＭＵ等が含まれる場合、機体傾斜センサＳ４の検出信号に基づき上部旋回体３の旋回状態（例えば、旋回角加速度）が検出されてもよい。この場合、旋回状態センサＳ５は、省略されてよい。
　報知部３０２は、判定装置３４（判定部３４４）により、ショベル１００の周囲の監視領域内で、監視対象の物体が検出された場合に、オペレータ等にその旨を報知する。これにより、オペレータ等は、ショベル１００の周囲の比較的近い範囲に、監視対象の物体が侵入した場合に、当該物体がキャビン１０から見て死角に位置していても、侵入を認識し、操作装置２６に対する操作を中止する等の安全確保を図ることができる。
　例えば、報知部３０２は、キャビン１０の内部に搭載される音出力装置（例えば、スピーカやブザー等）に制御信号を出力することにより、オペレータ等に対して、ショベル１００に近接する監視領域内で監視対象の物体が検出されたことを報知する。
　また、例えば、後述の如く、表示装置４０を通じて、判定装置３４によりショベル１００の周囲の監視領域内で、監視対象の物体が検出されたことを表す報知が行われてもよい。
　また、例えば、ショベル１００が遠隔操作される場合、報知部３０２は、ショベル１００の周囲の監視領域内で監視対象が検出された旨を表す信号（以下、「報知信号」）を管理装置２００に送信してよい。これにより、管理装置２００は、ショベル１００から受信される報知信号に応じて、管理装置２００に設けられる表示装置（例えば、表示装置２３０）や音出力装置を制御し、遠隔操作のオペレータにその旨を通知することができる。
　動作制御部３０４（制御部の一例）は、判定装置３４（判定部３４４）により、ショベル１００の周囲の監視領域内で監視対象の物体が検出された場合に、ショベル１００の動作を制限する。これにより、ショベル１００に近接する監視領域内に監視対象の物体が侵入してしまった場合に、ショベル１００の動作を制限し、ショベル１００と監視対象の物体との接触等の可能性を低減させることができる。このとき、ショベル１００の動作の制限には、操作装置２６でのオペレータ等の操作内容（操作量）に対する出力としてのショベル１００の各種動作要素（被駆動要素）の動作を遅くすることが含まれてよい。また、ショベル１００の動作の制限には、操作装置２６の操作内容に依らず、ショベル１００の動作要素（被駆動要素）の動作を停止させることが含まれてもよい。また、ショベル１００の動作の制限対象となるショベル１００の動作要素（被駆動要素）は、操作装置２６により操作可能な動作要素の全てであってもよいし、ショベル１００と監視対象の物体との接触を回避させるのに必要な一部の動作要素であってもよい。
　例えば、動作制御部３０４は、油圧パイロット式の操作装置２６の二次側のパイロットラインに設けられる減圧弁に制御信号を出力し、操作装置２６に対するオペレータ等の操作内容に対応するパイロット圧を減圧させてよい。また、動作制御部３０４は、電気式の操作装置２６から入力される操作信号に対応する操作内容（操作量）よりも小さい操作量に制限された制御信号を電磁弁（操作用制御弁）へ出力することで電磁弁を制御し、電磁弁からコントロールバルブに作用するパイロット圧を減圧させてもよい。また、動作制御部３０４は、遠隔操作信号で指定される遠隔操作の内容（操作量）よりも小さい操作量に制限された制御信号を操作用制御弁へ出力することで、操作用制御弁からコントロールバルブに作用するパイロット圧を減圧させてもよい。これにより、油圧アクチュエータに供給する作動油を制御するコントロールバルブに作用する、操作装置２６に対する操作内容や遠隔操作の内容に対応するパイロット圧を減圧させ、各種動作要素（被駆動要素）の動作を制限することができる。
　記録制御部３２２（記録部の一例）は、所定のタイミング（以下、「記録タイミング」）で、撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒ）の撮像画像を記憶部３２４に記録する。これにより、記憶部３２４の容量が限られるところ、必要なタイミングを予め規定して、撮像装置７０の撮像画像を記憶部３２４に記録することができる。また、後述の如く、記憶部３２４の撮像画像が管理装置２００に送信される際の送信容量を抑制し、通信コストを抑制することができる。具体的には、記録制御部３２２は、例えば、記録タイミングになると、過去の分を含め、ＲＡＭ等に規定されるリングバッファ内の撮像画像の中の当該記録タイミングに対応する撮像画像を取得し、記憶部３２４に記録する。
　記録タイミングは、例えば、予め規定される周期的なタイミングであってよい。また、記録タイミングは、撮像装置７０の撮像画像に基づく判定装置３４（判定部３４４）によるショベル１００の周囲の物体に関する判定の際に誤判定が生じ易いショベル１００の状態が生じたときであってよい。具体的には、記録タイミングは、ショベル１００の走行時や旋回時であってよい。また、記録タイミングは、判定部３４４がショベル１００の周囲の監視領域で物体を検出したと判定したときであってもよい。また、記録タイミングは、コントローラＯＮで開始してもよく、ゲートロックレバー解除で開始してもよく、操作レバーＯＮで開始してもよい。以下、後述する図７、図８のショベル支援システムＳＹＳ（ショベル１００）場合についても同様である。
　尚、図３では、判定部３４４の判定結果が記録装置３２（記録制御部３２２）に入力されるが、記録タイミングが判定部３４４の判定結果に依らず規定されている場合、判定部３４４の判定結果は、記録装置３２に入力されなくてもよい。後述する図８の場合についても同様である。
　記憶部３２４には、ショベル１００の起動後の初期処理の完了後からショベル１００の停止までの間において、記録制御部３２２による制御下で、上述の如く、撮像画像ＩＭ１が記録される。記憶部３２４に記録された一又は複数の撮像画像ＩＭ１は、所定のタイミング（以下、「画像送信タイミング」）で、通信機器９０（環境情報送信部の一例）を通じて、管理装置２００に送信される。
　画像送信タイミングは、例えば、ショベル１００の停止操作（例えば、キースイッチのＯＦＦ操作）が行われたときであってよい。また、送信タイミングは、記憶部３２４の空き容量が所定閾値を下回ったときであってもよい。ショベル１００の起動から停止までの間で、記憶部３２４に記録される撮像画像ＩＭ１の全容量が相対的に多くなる場合もありうるからである。また、画像送信タイミングは、例えば、ショベル１００の起動後の初期処理の完了後であってもよい。この場合、記憶部３２４は、不揮発性の内部メモリに規定される記憶領域であり、前回のショベル１００の起動から停止までの間で記録された撮像画像ＩＭ１が管理装置２００に送信される態様であってよい。以下、後述する図７、図８のショベル支援システムＳＹＳ（ショベル１００）の場合についても同様である。
　尚、撮像画像ＩＭ１は、記憶部３２４に記録されるたびに、逐次、通信機器９０を通じて、管理装置２００に送信される態様であってもよい。
　表示制御部３４２は、上述の如く、ショベル１００の周囲の様子を表す画像（以下、「ショベル周囲画像」）を表示装置４０に表示させる。
　例えば、表示制御部３４２は、ショベル周囲画像として、撮像装置７０の撮像画像を表示装置４０に表示させる。具体的には、表示制御部３４２は、前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒの中から選択される一部のカメラの撮像画像を表示装置４０に表示してよい。このとき、表示制御部３４２は、オペレータ等による所定の操作に応じて、表示装置４０に表示させる撮像画像に対応するカメラを切り替える態様であってよい。また、表示制御部３４２は、前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒの全ての撮像画像を表示装置４０に表示させてもよい。
　また、例えば、表示制御部３４２は、ショベル周囲画像として、撮像装置７０の撮像画像に所定の変換処理を施した変換画像を生成し、生成した変換画像を表示装置４０に表示させる。当該変換画像は、例えば、ショベル１００の真上から見た俯瞰画像と、ショベル１００から遠方を水平方向に見た水平画像とを組み合わせた視点変換画像であってよい。また、当該視点変換画像は、前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒのそれぞれの撮像画像が、俯瞰画像及び水平画像の組み合わせによる視点変換画像に変換された上で、所定の方法で合成された合成画像（以下、「視点変換合成画像」）であってもよい。
　また、表示制御部３４２は、判定部３４４により、ショベル１００の周囲の所定の監視領域内で、監視対象の物体が検出された場合、ショベル周囲画像上の検出された物体に相当する領域（以下、「検出物体領域」）を強調させる画像を重畳して表示させる。これにより、オペレータ等は、ショベル周囲画像上で、検出された物体を容易に確認することができる。具体的な表示態様については、後述する（図５参照）。
　尚、ショベル１００が遠隔操作される場合、表示制御部３４２と同様の機能が管理装置２００に設けられてよい。これにより、遠隔操作のオペレータは、管理装置２００に設けられる表示装置（例えば、表示装置２３０）を通じて、ショベル周囲画像を確認したり、ショベル周囲画像上で、検出された物体を確認したりすることができる。
　判定部３４４は、記憶部３４６に格納される、機械学習が行われた学習済みモデルＬＭを用いて、撮像装置７０の撮像画像に基づき、ショベル１００の周囲の物体に関する判定を行う。具体的には、判定部３４４は、記憶部３４６から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロードし（経路３４４Ａ）、ＣＰＵに実行させることにより、撮像装置７０の撮像画像に基づき、ショベル１００の周囲の物体に関する判定を行う。
　例えば、判定部３４４は、上述の如く、ショベル１００の周囲の監視領域内で、監視対象の物体の有無を判定しながら、監視対象の物体を検出する。
　また、例えば、判定部３４４は、検出した監視対象の物体の種類を判定（特定）する、つまり、検出した監視対象の物体を予め規定される監視対象の分類リスト（以下、「監視対象リスト」）の中で分類する。監視対象リストには、上述の如く、人、トラック、他の建設機械、電柱、吊り荷、パイロン、建屋等が含まれうる。
　また、例えば、判定部３４４は、ショベル１００の周囲の監視領域内で検出されている監視対象の物体の状態を判定する。具体的には、検出されている監視対象の物体が人である場合、判定部３４４は、検出されている人が"座っている"、"立っている"、及び"倒れている"等の予め規定される状態に関する分類（以下、「状態分類」）の何れに該当するかを判定してよい。また、検出されている監視対象の物体がトラックである場合、判定部３４４は、検出されているトラックの荷台の左右のサイドシートの開閉状態を判定してよい。より具体的には、判定部３４４は、トラックが"左右のサイドシートを閉じている"、"左側のサイドシートだけを開いている"、"右側のサイドシートだけを開いている"、及び"左右のサイドシートを開いている"の何れの状態分類に該当するかを判定してよい。
　また、例えば、判定部３４４は、ショベル１００の周囲の監視領域内で検出されている監視対象の物体の各部位の状態を判定する。具体的には、検出されている監視対象が人である場合、判定部３４４は、人の各部位（例えば、左右の腕、左右の手のひら、左右の手の指等）の状態を判定してよい。これにより、判定装置３４は、例えば、ジェスチャ等の人の動きを認識することができる。
　例えば、図４Ａ、図４Ｂに示すように、学習済みモデルＬＭは、ニューラルネットワーク（Neural Network）４０１を中心に構成される。
　本例では、ニューラルネットワーク４０１は、入力層及び出力層の間に一層以上の中間層（隠れ層）を有する、いわゆるディープニューラルネットワークである。ニューラルネットワーク４０１では、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワーク４０１が構成される。
　ニューラルネットワーク４０１を対象とし、後述の如く、管理装置２００（学習部２１０３）により機械学習、具体的には、深層学習（ディープラーニング：Deep Learning）が行われ、上述の重み付けパラメータの最適化が図られる。これにより、例えば、図４Ａに示すように、ニューラルネットワーク４０１は、入力信号ｘとして、撮像装置７０の撮像画像が入力され、出力信号ｙとして、予め規定される監視対象リスト（本例では、"人"、"トラック"、・・・）に対応する物体の種類ごとの物体が存在する確率（予測確率）を出力することができる。ニューラルネットワーク４０１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。ＣＮＮは、既存の画像処理技術（畳み込み処理及びプーリング処理）を適用したニューラルネットワークである。具体的には、ＣＮＮは、撮像装置７０の撮像画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより撮像画像よりもサイズの小さい特徴量データ（特徴マップ）を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力することができる。
　また、ニューラルネットワーク４０１は、入力信号ｘとして撮像装置７０の撮像画像が入力され、撮像画像における物体の位置及び大きさ（つまり、撮像画像上の物体の占有領域）及びその物体の種類を出力信号ｙとして出力可能な構成であってもよい。つまり、ニューラルネットワーク４０１は、撮像画像上の物体の検出（撮像画像上で物体の占有領域部分の判定）と、その物体の分類の判定とを行う構成であってもよい。また、この場合、出力信号ｙは、入力信号ｘとしての撮像画像に対して物体の占有領域及びその分類に関する情報が重畳的に付加された画像データ形式で構成されていてもよい。これにより、判定部３４４は、学習済みモデルＬＭ（ニューラルネットワーク４０１）から出力される、撮像装置７０の撮像画像の中の物体の占有領域の位置及び大きさに基づき、当該物体のショベル１００からの相対位置（距離や方向）を特定することができる。撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒ）は、上部旋回体３に固定され、撮像範囲（画角）が予め規定（固定）されているからである。そして、判定部３４４は、学習済みモデルＬＭにより検出された物体の位置が監視領域内であり、且つ、監視対象リストの物体に分類されている場合、監視領域内で、監視対象の物体が検出されたと判定できる。
　例えば、ニューラルネットワーク４０１は、撮像画像の中の物体が存在する占有領域（ウィンドウ）を抽出する処理、及び、抽出された領域の物体の種類を特定する処理のそれぞれに相当するニューラルネットワークを有する構成であってよい。つまり、ニューラルネットワーク４０１は、物体の検出と、物体の分類とを段階的に行う構成であってよい。また、例えば、ニューラルネットワーク４０１は、撮像画像の全領域が所定数の部分領域に区分されたグリッドセルごとに物体の分類及び物体の占有領域（バウンディングボックス：Bounding box）を規定する処理と、グリッドセルごとの物体の分類に基づき、種類ごとの物体の占有領域を結合し、最終的な物体の占有領域を確定させる処理とのそれぞれに対応するニューラルネットワークを有する構成であってもよい。つまり、ニューラルネットワーク４０１は、物体の検出と、物体の分類とを並列的に行う構成であってもよい。
　判定部３４４は、例えば、所定の制御周期ごとに、撮像画像上における物体の種類ごとの予測確率を算出する。判定部３４４は、予測確率を算出する際、今回の判定結果と前回の判定結果とが一致する場合、今回の予測確率を更に上げるようにしてもよい。例えば、前回の判定時に、撮像画像上の所定の領域に映っている物体が"人"（ｙ１）と判定される予測確率に対し、今回も継続して"人"（ｙ１）と判定された場合、今回の"人"（ｙ１）と判定される予測確率を更に高めてよい。これにより、例えば、同じ画像領域に関する物体の分類に関する判定結果が継続的に一致している場合に、予測確率が相対的に高く算出される。そのため、判定部３４４は、誤判定を抑制することができる。
　また、判定部３４４は、ショベル１００の走行や旋回等の動作を考慮して、撮像画像上の物体に関する判定を行ってもよい。ショベル１００の周囲の物体が静止している場合であっても、ショベル１００の走行や旋回によって、撮像画像上の物体の位置が移動し、同じ物体として認識できなくなる可能性があるからである。例えば、ショベル１００の走行や旋回によって、今回の処理で"人"（ｙ１）と判定された画像領域と前回の処理で"人"（ｙ１）と判定された画像領域とが異なる場合がありうる。この場合、判定部３４４は、今回の処理で"人"（ｙ１）と判定された画像領域が前回の処理で"人"（ｙ１）と判定された画像領域から所定の範囲内にあれば、同一の物体とみなし、継続的な一致判定（即ち、同じ物体を継続して検出している状態の判定）を行ってよい。判定部３４４は、継続的な一致判定を行う場合、今回の判定で用いる画像領域を、前回の判定に用いた画像領域に加え、この画像領域から所定の範囲内の画像領域も含めてよい。これにより、ショベル１００が走行したり、旋回したりしたとしても、判定部３４４は、ショベル１００の周囲の同じ物体に関して継続的な一致判定を行うことができる。
　また、図４Ｂに示すように、ニューラルネットワーク４０１は、入力信号ｘとして撮像装置７０の撮像画像が入力され、撮像画像上で検出されている人の各部位の状態を出力信号ｙとして出力可能な構成であってもよい。本例では、ニューラルネットワーク４０１は、右腕の状態、左腕の状態、右手のひらの状態、左手のひらの状態のそれぞれに対応する出力信号ｙ１（ｔ）～ｙ４（ｔ）が時系列的に出力される。出力信号ｙ１（ｔ）～ｙ４（ｔ）は、時刻ｔにおける出力信号ｙ１～ｙ４を表す。これにより、判定装置３４は、時刻ｔ１～ｔｎの間の複数の撮像画像から得られる出力信号ｙ１～ｙ４の変化、即ち、右腕の状態、左腕の状態、右手のひらの状態、及び左手のひらの状態の変化に基づき、撮像装置７０の撮像画像に映っている作業者のジェスチャの動きを認識することができる。このように、物体の各部位の時系列的な変化に基づき、分類テーブルに入力された物体の動作内容ごとの確率が算出される。そして、最も高い動作内容が検出されている物体の動作内容として認識される。具体的には、本例の場合、判定装置３４は、作業者の急停止を要求するジェスチャを認識することができる。
　例えば、時刻ｔ１において、ニューラルネットワーク４０１は、上げられた右腕、開かれた右手のひら、上げられた左腕、及び開かれた左手のひらに対応する出力信号ｙ１（ｔ１）～ｙ４（ｔ１）を出力する。その後、時刻ｔ２において、下げられた右腕、開かれた右手のひら、下げられた左腕、及び開かれた左手のひらに対応する出力信号ｙ１（ｔ２）～ｙ４（ｔ２）を出力する。そして、時刻ｔ１，ｔ２の出力信号ｙ１～ｙ４の状態が時刻ｔｎまで繰り返されることにより、判定装置３４は、時刻ｔ１～時刻ｔｎの間におけるニューラルネットワーク４０１の出力信号ｙ１～ｙ４（即ち、判定部３４４の判定結果）に基づき、撮像装置７０の撮像画像に映っている作業者の急停止を要求するジェスチャを認識してよい。この際、"アタッチメント上げ"、"アタッチメント下げ"、"水平移動（旋回）"、"水平移動（走行）"、"クローラスピンターン"、"停止"、"急停止"、及び"解除"等の作業者の動作内容（ジェスチャの内容）ごとに、確率が算出される。そして、最も高い確率が算出された"急停止"が作業者の要求するジェスチャとして認識される。これにより、判定装置３４は、コントローラ３０に急停止を要求する信号を出力し、コントローラ３０（動作制御部３０４）は、当該信号に応じて、被駆動要素を駆動するアクチュエータの動作を停止させることができる。このように、コントローラ３０は、ショベル１００の周囲の物体の動作内容に基づきアクチュエータを制御することができる。
　判定部３４４による判定結果は、例えば、表示制御部３４２を通じて、表示装置４０に表示される。
　例えば、図５に示すように、表示装置４０には、メイン画面４１Ｖが表示されており、メイン画面４１Ｖの中のカメラ画像表示領域４１ｍに撮像装置７０の撮像画像が表示されている。この撮像画像は、図４Ａの入力信号ｘに対応する撮像画像である。また、メイン画面４１Ｖには、カメラ画像表示領域４１ｍの他、日時表示領域４１ａ、走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、平均燃費表示領域４１ｄ、エンジン制御状態表示領域４１ｅ、エンジン作動時間表示領域４１ｆ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、回転数モード表示領域４１ｉ、尿素水残量表示領域４１ｊ、作動油温表示領域４１ｋが含まれる。
　日時表示領域４１ａは、メイン画面４１Ｖの中で、現在の日時を表示する領域である。
　走行モード表示領域４１ｂは、メイン画面４１Ｖの中で、ショベル１００の現在の走行モードを表す図形を表示する領域である。
　アタッチメント表示領域４１ｃは、メイン画面４１Ｖの中で、ショベル１００に現在装着されているアタッチメントの種類を模擬的に表す図形を表示する領域である。
　平均燃費表示領域４１ｄは、メイン画面４１Ｖの中で、ショベル１００の現在の平均燃費を表示する領域である。平均燃費は、例えば、所定時間における燃料消費量である。
　エンジン制御状態表示領域４１ｅは、メイン画面４１Ｖの中で、エンジン１１の制御状態を模擬的に表す図形を表示する領域である。
　エンジン作動時間表示領域４１ｆは、メイン画面４１Ｖの中で、所定のタイミングからのエンジン１１の総作動時間を表示する領域である。
　冷却水温表示領域４１ｇは、メイン画面４１Ｖの中で、現在のエンジン１１の冷却水の温度状態を表示する領域である。
　燃料残量表示領域４１ｈは、メイン画面４１Ｖの中で、ショベル１００の燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。
　回転数モード表示領域４１ｉは、現在のエンジン１１の設定回転数に関するモード（回転数モード）を表示する領域である。
　尿素水残量表示領域４１ｊは、メイン画面４１Ｖの中で、尿素水タンクに貯蔵されている尿素水の残量状態を表示する領域である。
　本例では、カメラ画像表示領域４１ｍに、撮像装置７０のうちの後方カメラ７０Ｂの撮像画像が表示されており、当該撮像画像には、ショベル１００の後方で作業を行う作業員ＰＳと、ショベル１００の後方に駐車されるトラックＴＫが映っている。
　上述の如く、判定部３４４は、学習済みモデルＬＭ（ニューラルネットワーク４０１）に後方カメラ７０Ｂの撮像画像の画像データを入力することにより、学習済みモデルＬＭから出力される、撮像画像の中の物体の占有領域及びその占有領域の物体の種類を取得することができる。よって、本例では、学習済みモデルＬＭから出力される、"人"に分類される物体（作業員ＰＳ）の占有領域を取り囲む態様のボックスアイコン５０１、及び、検出（分類）された物体が人であることを表す文字情報アイコン５０２を撮像画像に重畳して表示させる。また、学習済みモデルＬＭから出力される"トラック"に分類される物体（トラックＴＫ）の占有領域を取り囲む態様のボックスアイコン５０３及び、検出（分類）された物体がトラックであることを表す文字情報アイコン５０４を撮像画像に重畳して表示させる。これにより、オペレータ等は、検出された物体を容易に認識することができると共に、検出された物体の種類を容易に認識することができる。また、表示装置４０のカメラ画像表示領域４１ｍには、判定部３４４による判定時に用いられる、上述の予測確率、具体的には、"人"が存在する予測確率や"トラック"が存在する予測確率）が併せて表示されてもよい。そして、オペレータが操作装置２６を操作する前に、ショベル１００の周囲の所定範囲内に人が存在すると判定された場合、コントローラ３０（動作制御部３０４）は、オペレータが操作レバーを操作しても、アクチュエータを動作不能、或いは、微速状態での動作に制限してもよい。具体的には、油圧パイロット式の操作装置２６の場合、コントローラ３０は、ショベル１００の周囲の所定範囲内に人が存在すると判定された場合、ゲートロック弁をロック状態にすることでアクチュエータを動作不能にすることができる。電気式の操作装置２６の場合には、コントローラ３０から操作用制御弁への信号を無効にすることで、アクチュエータを動作不能にすることができる。他の方式の操作装置２６が用いられる場合にも、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる操作用制御弁を用いる場合には、同様である。アクチュエータの動作を微速にしたい場合には、コントローラ３０から操作用制御弁への制御信号を相対的に小さいパイロット圧に対応する内容に制限することで、アクチュエータの動作を微速状態にすることができる。このように、検出される物体がショベル１００の周囲の所定範囲内に存在すると判定されると、操作装置２６が操作されてもアクチュエータは駆動されない、或いは、操作装置２６への操作入力に対応する動作速度よりも低い動作速度（微速）で駆動される。更に、オペレータが操作装置２６の操作中において、ショベル１００の周囲の所定範囲内に人が存在すると判定された場合、オペレータの操作に関わらずアクチュエータの動作を停止、或いは、減速させてもよい。具体的には、操作装置２６が油圧パイロット式である場合、ショベル１００の周囲の所定範囲内に人が存在すると判定されると、コントローラ３０は、ゲートロック弁をロック状態にすることでアクチュエータを停止させる。また、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる操作用制御弁を用いる場合、コントローラ３０は、操作用制御弁への信号を無効にする、或いは、操作用制御弁に減速指令を出力することで、アクチュエータを動作不能にしたり、その動作を減速させたりすることができる。また、検出された物体がトラックの場合、アクチュエータの停止或いは減速に関する制御は実施されなくてもよい。例えば、検出されたトラックを回避するようにアクチュエータは制御されてよい。このように、検出された物体の種類が認識され、その認識に基づきアクチュエータは制御される。
　尚、撮像装置７０の撮像画像は、表示装置４０の表示領域全体に表示されてもよい。また、表示装置４０には、上述した撮像装置７０の撮像画像に基づく変換画像（例えば、上述の合成視点変換画像）が表示されてもよく、この場合、変換画像上の物体の占有領域に相当する部分にボックスアイコンや文字情報アイコンが重畳して表示されてよい。また、ショベル１００が遠隔操作される場合、図５と同様の内容は、管理装置２００の表示装置（例えば、表示装置２３０）に表示されてよい。
　記憶部３４６には、学習済みモデルＬＭが保存されている。記憶部３４６の学習済みモデルＬＭは、通信機器９０により管理装置２００から更新版の学習済みモデル、つまり、後述の如く、追加学習がなされた学習済みモデル（以下、「追加学習済みモデル」）が受信された場合、受信された追加学習済みモデルに更新される。これにより、判定部３４４は、管理装置２００で追加学習がなされた追加学習済みモデルを利用することができるため、学習済みモデルの更新に応じて、ショベル１００の周囲の物体に関する判定精度を向上させることができる。
　　＜管理装置の構成＞
　管理装置２００は、制御装置２１０と、通信機器２２０と、表示装置２３０と、入力装置２４０を含む。
　制御装置２１０は、管理装置２００の各種動作を制御する。制御装置２１０は、例えば、ＲＯＭや不揮発性の補助記憶装置に格納される一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、判定部２１０１と、教師データ生成部２１０２と、学習部２１０３を含む。また、制御装置２１０は、例えば、補助記憶装置等の不揮発性の内部メモリ等に規定される記憶領域としての記憶部２１０４，２１０５を含む。
　通信機器２２０は、通信ネットワークに接続し、複数のショベル１００等の外部との通信を行う任意のデバイスである。
　表示装置２３０は、例えば、液晶ディスプレイや有機ＥＬディスプレイであり、制御装置２１０の制御下で、各種情報画像を表示する。
　入力装置２４０は、ユーザからの操作入力を受け付ける。入力装置２４０は、例えば、液晶ディスプレイや有機ＥＬディスプレイの上に実装されるタッチパネルを含む。また、入力装置２４０は、タッチパッド、キーボード、マウス、トラックボール等を含んでもよい。入力装置２４０の操作状態に関する情報は、制御装置２１０に取り込まれる。
　判定部２１０１は、記憶部２１０５に格納される、学習部２１０３により機械学習が行われた学習済みモデルＬＭを用いて、複数のショベル１００から受信された撮像画像ＩＭ１、即ち、記憶部２１０４から読み出される撮像画像ＩＭ１（経路２１０１Ａ）に基づき、ショベル１００の周囲の物体に関する判定を行う。具体的には、判定部２１０１は、記憶部３４６から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロード（経路２１０１Ｂ）し、ＣＰＵに実行させることにより、記憶部２１０４から読み出される撮像画像ＩＭ１に基づき、ショベル１００の周囲の物体に関する判定を行う。より具体的には、判定部２１０１は、記憶部２１０４に格納される複数の撮像画像ＩＭ１を学習済みモデルＬＭに順次入力し、ショベル１００の周囲の物体に関する判定を行う。判定部２１０１の判定結果２１０１Ｄは、教師データ生成部２１０２に入力される。このとき、判定結果２１０１Ｄは、撮像画像ＩＭ１ごとに、順次、教師データ生成部２１０２に入力されてもよいし、例えば、リスト化等によりまとめられた上で、教師データ生成部２１０２に入力されてもよい。
　教師データ生成部２１０２（教師情報生成部の一例）は、複数のショベル１００から受信された複数の撮像画像ＩＭ１に基づき、学習部２１０３が学習モデルを機械学習させるための教師データ（教師情報の一例）を生成する。教師データは、任意の撮像画像ＩＭ１と、当該撮像画像ＩＭ１を学習モデルの入力としたときの学習モデルが出力すべき正解との組み合わせを表す。また、学習モデルは、機械学習の対象であり、当然の如く、学習済みモデルＬＭと同様の構成、例えば、上述のニューラルネットワーク４０１を中心として構成される。
　例えば、教師データ生成部２１０２は、複数のショベル１００から受信された撮像画像ＩＭ１を記憶部２１０４から読み出し（経路２１０２Ａ）、表示装置４０に表示させると共に、管理装置２００の管理者や作業者等が教師データを作成するためのＧＵＩ（Graphical User Interface）（以下、「教師データ作成用ＧＵＩ」）を表示させる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、それぞれの撮像画像ＩＭ１に対応する正解を指示することにより、学習モデルのアルゴリズムに沿った形式の教師データを作成する。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１を対象とする管理者や作業者等による操作（作業）に応じて、複数の教師データ（教師データセット）を生成することができる。
　また、教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１に基づき、学習部２１０３が学習済みモデルＬＭを追加学習させるための教師データを生成する。
　例えば、教師データ生成部２１０２は、記憶部２１０４から複数の撮像画像ＩＭ１を読み出し（経路２１０２Ａ）、それぞれの撮像画像ＩＭ１と、当該撮像画像ＩＭ１に対応する判定部２１０１の判定結果（出力結果）２１０１Ｄとを表示装置２３０に並べて表示させる。これにより、管理装置２００の管理者や操作者等は、入力装置２４０を通じて、表示装置２３０に表示される撮像画像ＩＭ１と対応する判定結果との組み合わせの中から誤判定に対応する組み合わせを選択することができる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、誤判定に対応する組み合わせの撮像画像ＩＭ１、即ち、学習済みモデルＬＭに誤判定をさせてしまった撮像画像ＩＭ１と、当該撮像画像ＩＭ１を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の教師データを作成することができる。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１の中から選択された、学習済みモデルＬＭでの誤判定に対応する撮像画像ＩＭ１を対象とする管理者や作業者等による操作（作業）に応じて、追加学習用の複数の教師データ（教師データセット）を生成することができる。
　つまり、教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１から最初の学習済みモデルＬＭを生成するための教師データを生成する。そして、教師データ生成部２１０２は、所定のタイミング（以下、「追加学習タイミング」）ごとに、直近の学習済みモデルＬＭが複数のショベル１００に実装された後に複数のショベル１００から受信された撮像画像ＩＭ１の中から選択される、学習済みモデルＬＭが誤判定をしてしまう撮像画像ＩＭ１から追加学習用の教師データを生成する。
　尚、複数のショベル１００のそれぞれから受信される撮像画像ＩＭ１の一部は、学習済みモデルＬＭの検証用データセットのベースとして利用されてもよい。つまり、複数のショベル１００のそれぞれから受信される撮像画像ＩＭ１は、教師データ生成用の撮像画像ＩＭ１と検証用データセット生成用の撮像画像ＩＭ１とに振り分けられてもよい。
　追加学習タイミングは、定期的に規定されるタイミング、例えば、前回の機械学習（追加学習）から１ヶ月が経過したときであってよい。また、追加学習のタイミングは、例えば、撮像画像ＩＭ１の枚数が所定閾値を超えたとき、つまり、学習部２１０３による追加学習が行われるのに必要な枚数の撮像画像ＩＭ１が収集されたタイミングであってもよい。
　学習部２１０３は、教師データ生成部２１０２により生成される教師データ２１０２Ｂ（教師データセット）に基づき、学習モデルに機械学習を行わせ、学習済みモデルＬＭを生成する。そして、生成された学習済みモデルＬＭは、予め準備される検証用データセットを用いて、精度検証が実施された上で、記憶部２１０５に格納される（経路２１０３Ｂ）。
　また、学習部２１０３は、教師データ生成部２１０２により生成される教師データ（教師データセット）に基づき、記憶部２１０５から読み出した学習済みモデルＬＭ（経路２１０３Ａ）に追加学習を行わせることにより追加学習済みモデルを生成する。そして、追加学習済みモデルは、予め準備される検証用データセットを用いて、精度検証が実施された上で、記憶部２１０５の学習済みモデルＬＭは、精度検証が実施された追加学習済みモデルで更新される（経路２１０３Ｂ）。
　例えば、上述の如く、学習モデルがニューラルネットワーク４０１を中心として構成される場合、学習部２１０３は、誤差逆伝搬法（バックプロパゲーション）等の既知のアルゴリズムを適用することにより、学習モデルの出力と教師データとの誤差が小さくなるように、重み付けパラメータの最適化を行い、学習済みモデルＬＭを生成する。追加学習済みモデルの生成についても同様である。
　尚、学習モデルから生成される最初の学習済みモデルＬＭは、管理装置２００とは異なる外部装置で生成されてもよい。この場合、教師データ生成部２１０２は、追加学習用の教師データだけを生成し、学習部２１０３は、追加学習済みモデルの生成だけを行う構成であってよい。
　記憶部２１０４には、通信機器２２０を通じて、複数のショベル１００のそれぞれから受信される撮像画像ＩＭ１が格納（保存）される。
　尚、教師データ生成部２１０２による教師データの生成に利用済みの撮像画像ＩＭ１は、記憶部２１０４とは別の記憶装置に保存されてもよい。
　記憶部２１０５には、学習済みモデルＬＭが格納（保存）される。学習部２１０３により生成される追加学習済みモデルで更新された学習済みモデルＬＭは、所定のタイミング（以下、「モデル送信タイミング」）で、通信機器２２０（モデル送信部の一例）を通じて、複数のショベル１００のそれぞれに送信される。これにより、複数のショベル１００の間で、更新された同じ学習済みモデルＬＭ、つまり、追加学習済みモデルを共有化させることができる。
　モデル送信タイミングは、記憶部２１０５の学習済みモデルＬＭが更新されたとき、つまり、学習済みモデルＬＭの更新後のすぐのタイミング、或いは、更新後に所定時間が経過したタイミング等であってよい。また、モデル送信タイミングは、例えば、学習済みモデルＬＭの更新後に、通信機器２２０を通じて、複数のショベル１００に送信される、学習済みモデルＬＭの更新のお知らせに対する確認の返信が通信機器２２０により受信されたときであってもよい。
　［ショベル支援システムの具体的な動作］
　次に、図６を参照して、ショベル支援システムＳＹＳの具体的な動作について説明する。
　図６は、ショベル支援システムＳＹＳの動作の一例を示すシーケンス図である。
　ステップＳ１０にて、複数のショベル１００の通信機器９０は、それぞれの画像送信タイミングで、管理装置２００に撮像画像ＩＭ１を送信する。これにより、管理装置２００は、通信機器２２０を通じて、複数のショベル１００のそれぞれからの撮像画像ＩＭ１を受信し、記憶部２１０４に蓄積的に格納する。
　ステップＳ１２にて、管理装置２００の判定部２１０１は、複数のショベル１００から受信され、記憶部２１０４に格納された複数の撮像画像ＩＭ１を学習済みモデルＬＭに入力し、判定処理を行う。
　ステップＳ１４にて、管理装置２００の管理者や作業者等は、学習済みモデルＬＭによる判定結果を検証し、入力装置２４０を通じて、複数の撮像画像ＩＭの中から学習済みモデルＬＭで誤判定がなされた撮像画像ＩＭを指定（選択）する。
　ステップＳ１６にて、管理装置２００の教師データ生成部２１０２は、管理者や作業者等による入力装置２４０を通じた教師データ作成用ＧＵＩの操作に応じて、追加学習用の教師データセットを生成する。
　ステップＳ１８にて、管理装置２００の学習部２１０３は、追加学習用の教師データセットを用いて、学習済みモデルＬＭの追加学習を行い、追加学習済みモデルを生成し、記憶部２１０４の学習済みモデルＬＭを追加学習済みモデルで更新させる。
　ステップＳ２０にて、管理装置２００の通信機器２２０は、更新版の学習済みモデルＬＭを複数のショベル１００のそれぞれに送信する。
　尚、更新版の学習済みモデルＬＭがショベル１００に送信されるタイミング（モデル送信タイミング）は、上述の如く、複数のショベル１００ごとに異なっていてもよい。
　ステップＳ２２にて、複数のショベル１００は、それぞれ、記憶部３４６の学習済みモデルＬＭを管理装置２００から受信された更新版の学習済みモデルに更新する。
　［ショベル支援システムの構成の他の例］
　次に、図７を参照して、本実施形態に係るショベル支援システムＳＹＳの構成の他の例について説明する。
　図７は、本実施形態に係るショベル支援システムＳＹＳの機能的な構成の他の例を示す機能ブロック図である。以下、本例では、上述の一例（図３）とは異なる部分を中心に説明する。
　　＜ショベルの構成＞
　ショベル１００は、制御システムに関する構成として、上述の一例と同様、記録装置３２と、判定装置３４等を含み、記録装置３２は、上述の一例と同様、記録制御部３２２と、記憶部３２４を含む。
　記録制御部３２２は、上述の一例と同様、所定の記録タイミングで、撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒ）の撮像画像を記憶部３２４に記録する。このとき、記録制御部３２２は、記録対象の撮像画像に基づく判定部３４４、つまり、学習済みモデルＬＭの判定結果を併せて記録する。本例では、記録制御部３２２は、判定結果に関する情報（判定情報）をタグ情報等として含む撮像画像（以下、「判定情報付き撮像画像」）ＩＭ２を記憶部３２４に記録する。
　尚、撮像画像と判定情報とは別のファイルとして記録されてもよく、この場合、記憶部３２４において、撮像画像と判定情報との対応付けがなされるとよい。
　記憶部３２４には、ショベル１００の起動後の初期処理の完了後からショベル１００の停止までの間において、記録制御部３２２による制御下で、上述の如く、判定情報付き撮像画像ＩＭ２が記録される。記憶部３２４に記録された一又は複数の判定情報付き撮像画像ＩＭ２は、所定の画像送信タイミングで、通信機器９０を通じて、管理装置２００に送信される。
　　＜管理装置の構成＞
　管理装置２００は、上述の一例と同様、制御装置２１０と、通信機器２２０と、表示装置２３０と、入力装置２４０を含み、制御装置２１０は、教師データ生成部２１０２と、学習部２１０３と、記憶部２１０４，２１０５を含む。つまり、本例では、図３の一例と異なり、判定部２１０１が省略される。
　教師データ生成部２１０２は、通信機器２２０を通じて複数のショベル１００から受信され、記憶部２１０４に格納された複数の判定情報付き撮像画像ＩＭ２に基づき、学習部２１０３が学習済みモデルＬＭを追加学習させるための教師データを生成する。
　例えば、教師データ生成部２１０２は、判定情報付き撮像画像ＩＭ２に含まれる撮像画像と判定情報とを並べて表示させる。これにより、管理装置２００の管理者や操作者等は、入力装置２４０を通じて、表示装置２３０に表示される撮像画像と対応する判定情報（判定結果）との組み合わせの中から誤判定に対応する組み合わせを選択することができる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、誤判定の組み合わせに対応する撮像画像と、当該撮像画像を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の教師データを作成することができる。換言すれば、教師データ生成部２１０２は、複数の撮像画像の中から選択された、学習済みモデルＬＭでの誤判定に対応する撮像画像を対象とする管理者や作業者等による操作（作業）に応じて、追加学習用の複数の教師データ（教師データセット）を生成することができる。また、本例では、管理装置２００側で、複数のショベル１００から受信された複数の撮像画像を学習済みモデルＬＭに入力し、判定結果を得る処理を行う必要がなく、追加学習に係る処理効率を向上させることができる。
　［ショベル支援システムの構成の更に他の例］
　次に、図８を参照して、本実施形態に係るショベル支援システムＳＹＳの構成の更に他の例について説明する。
　図８は、本実施形態に係るショベル支援システムＳＹＳの機能的な構成の更に他の例を示す機能ブロック図である。以下、本例では、上述の一例（図３）とは異なる部分を中心に説明する。
　　＜管理装置の構成＞
　管理装置２００は、制御装置２１０と、通信機器２２０と、表示装置２３０と、入力装置２４０と、コンピュータグラフィクス生成装置２５０（以下、「ＣＧ（Computer Graphics）画像生成装置」）２５０を含む。
　ＣＧ画像生成装置２５０は、管理装置２００の作業者等による操作に応じて、作業現場におけるショベル１００の周囲の様子を表すコンピュータグラフィクス（以下、「ＣＧ画像」）ＩＭ３を生成する。例えば、ＣＧ画像生成装置２５０は、例えば、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成され、作業者等がＣＧ画像ＩＭ３を作成可能なアプリケーションソフトウェアが予めインストールされる。そして、作業者等は、所定の入力装置を通じて、ＣＧ画像生成装置２５０の表示画面上で、ＣＧ画像ＩＭ３を作成する。これにより、ＣＧ画像生成装置２５０は、管理装置２００の作業者等による作業（操作）に応じて、作業現場におけるショベル１００の周囲の様子を表すＣＧ画像ＩＭ３を生成することができる。また、ＣＧ画像生成装置２５０は、実際のショベル１００の周囲の撮像画像（例えば、撮像画像ＩＭ１）を基に、撮像画像に対応する気象条件、日照条件とは異なる気象条件、日照条件における作業環境等に対応するＣＧ画像ＩＭ３を生成することもできる。ＣＧ画像生成装置２５０により生成されるＣＧ画像ＩＭ３は、制御装置２１０に取り込まれる。
　尚、ＣＧ画像ＩＭ３は、管理装置２００の外部で生成（作成）されてもよい。
　制御装置２１０は、上述の一例と同様、判定部２１０１と、教師データ生成部２１０２と、学習部２１０３と、記憶部２１０４，２１０５を含む。
　判定部２１０１は、記憶部２１０５に格納される、学習部２１０３により機械学習が行われた学習済みモデルＬＭを用いて、記憶部２１０４から読み出される複数の撮像画像ＩＭ１（経路２１０１Ａ）及びＣＧ画像ＩＭ３（経路２１０１Ｃ）に基づき、ショベル１００の周囲の物体に関する判定を行う。具体的には、判定部２１０１は、記憶部３４６から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロード（経路２１０１Ｂ）し、ＣＰＵに実行させることにより、記憶部２１０４から読み出される撮像画像ＩＭ１及びＣＧ画像ＩＭ３に基づき、ショベル１００の周囲の物体に関する判定を行う。より具体的には、判定部２１０１は、記憶部２１０４に格納される複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３を学習済みモデルＬＭに順次入力し、ショベル１００の周囲の物体に関する判定を行う。判定部２１０１の判定結果２１０１Ｄは、教師データ生成部２１０２に入力される。このとき、判定結果２１０１Ｄは、複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３ごとに、順次、教師データ生成部２１０２に入力されてもよいし、例えば、リスト化等によりまとめられた上で、教師データ生成部２１０２に入力されてもよい。
　教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１及びＣＧ画像生成装置２５０で生成された（記憶部２１０４に格納された）ＣＧ画像ＩＭ３に基づき、学習部２１０３が学習モデルを機械学習させるための教師データを生成する。
　例えば、教師データ生成部２１０２は、複数のショベル１００から受信された撮像画像ＩＭ１及びＣＧ画像生成装置２５０で生成されたＣＧ画像ＩＭ３を記憶部２１０４から読み出し（経路２１０２Ａ，２１０２Ｃ）、表示装置４０に表示させると共に、教師データ作成用ＧＵＩを表示させる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、それぞれの撮像画像ＩＭ１或いはＣＧ画像ＩＭ３に対応する正解を指示することにより、学習モデルのアルゴリズムに沿った形式の教師データを作成する。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３を対象とする管理者や作業者等による操作（作業）に応じて、複数の教師データ（教師データセット）を生成することができる。
　また、教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１及びＣＧ画像生成装置２５０で生成された（記憶部２１０４に格納された）ＣＧ画像ＩＭ３に基づき、学習部２１０３が学習済みモデルＬＭを追加学習させるための教師データを生成する。
　教師データ生成部２１０２は、記憶部２１０４から複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３を読み出し（経路２１０２Ａ，２１０２Ｃ）、それぞれの撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と、当該撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と対応する判定部２１０１（学習済みモデルＬＭ）の判定結果（出力結果）とを表示装置２３０に並べて表示させる。これにより、管理装置２００の管理者や操作者等は、入力装置２４０を通じて、表示装置２３０に表示される撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と対応する学習済みモデルＬＭの判定結果との組み合わせの中から誤判定に対応する組み合わせを選択することができる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、誤判定の組み合わせに対応する撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と、当該撮像画像ＩＭ１或いはＣＧ画像ＩＭ３を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の教師データを作成することができる。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３の中から選択された、学習済みモデルＬＭでの誤判定に対応する撮像画像ＩＭ１及びＣＧ画像ＩＭ３の少なくとも一方を対象とする管理者や作業者等による操作（作業）に応じて、追加学習用の複数の教師データ（教師データセット）を生成することができる。これにより、複数のショベル１００から収集される撮像画像ＩＭ１の他、ＣＧ画像ＩＭ３を利用して教師データを生成できるため、教師データの充実化を図ることができる。特に、ＣＧ画像ＩＭ３では、仮想的に、多様な作業現場の状況、つまり、多様な環境条件を自在に作り込むことが可能である。そのため、ＣＧ画像ＩＭ３を利用して教師データセットが生成されることにより、学習済みモデルＬＭは、より早いタイミングで、多様な作業現場に対応した相対的に高い判定精度を実現することができる。
　尚、ＣＧ画像生成装置２５０により生成されるＣＧ画像ＩＭ３は、人為的に作成されることから、ＣＧ画像ＩＭ３における人、トラック、パイロン、電柱等の監視対象の有無やその位置等は、既知である、つまり、ＣＧ画像ＩＭ３を入力としたときの学習済みモデルＬＭが出力すべき正解は、既知である。そのため、ＣＧ画像生成装置２５０は、ＣＧ画像ＩＭ３と共に、ＣＧ画像ＩＭ３を入力としたときに学習済みモデルＬＭが出力すべき正解関するデータ（以下、「正解データ」）を制御装置２１０に出力可能である。よって、制御装置２１０（教師データ生成部２１０２）は、ＣＧ画像生成装置２５０から入力される正解データに基づき、ＣＧ画像ＩＭ３を入力とする学習済みモデルＬＭ（判定部２１０１）による判定処理での誤判定を自動で抽出し、抽出した誤判定に対応するＣＧ画像ＩＭ３と、ＣＧ画像ＩＭ３を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の複数の教師データ（教師データセット）を自動で生成することができる。そして、学習部２１０３は、教師データ生成部２１０２により自動で生成される教師データに基づき、学習済みモデルＬＭの追加学習、例えば、上述の差逆伝搬法（バックプロパゲーション）等を行うことができる。つまり、制御装置２１０は、ＣＧ画像生成装置２５０により生成されるＣＧ画像ＩＭ３及び正解データに基づき、追加学習済みモデルを自動で生成することもできる。
　［作用］
　次に、上述した本実施形態に係るショベル支援システムＳＹＳの作用について説明する。
　本実施形態では、撮像装置７０は、自己が搭載されるショベル１００（以下、「自ショベル」）の周囲の撮像画像を取得する。また、判定部３４４は、機械学習が行われた学習済みモデルＬＭを用いて、撮像装置７０により取得される撮像画像ＩＭ１に基づき、自ショベルの周囲の物体に関する判定を行う。そして、学習済みモデルＬＭは、取得された環境情報、具体的には、自ショベル及び他のショベル１００（以下、「他ショベル」）で取得される撮像装置７０の撮像画像から生成される教師データに基づき追加学習が行われた、追加学習済みモデルに更新され、判定部３４４は、学習済みモデルＬＭが更新された場合、更新された学習済みモデルＬＭを用いて、撮像装置７０により取得される撮像画像に基づき、上記判定を行う。
　具体的には、管理装置２００の教師データ生成部２１０２は、ショベル１００から受信される、ショベル１００で取得された撮像画像ＩＭ１に基づき、教師データを生成する。また、管理装置２００の学習部２１０３は、教師データ生成部２１０２により生成された教師データに基づき、ショベル１００で周囲の物体に関する判定に用いられている学習済みモデルと同一の学習済みモデル（つまり、学習済みモデルＬＭ）に追加学習を行わせ、追加学習済みモデルを生成する。そして、管理装置２００の通信機器２２０は、学習部２１０３により追加学習が行われた追加学習済みモデルをショベル１００に送信し、ショベル１００の学習済みモデルＬＭを追加学習済みモデルで更新させる。
　これにより、ショベル１００の学習済みモデルＬＭは、自ショベルや他ショベルによって多様な環境下で取得される撮像装置７０の撮像画像から生成される教師データで追加学習が行われた追加学習済みモデルで更新される。よって、ショベル１００は、ショベル１００の周囲の環境情報（撮像装置７０の撮像画像）に基づき、ショベル１００の周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることができる。
　尚、教師データの元になる周囲の撮像画像を取得するショベル１００（第２のショベルの一例）と、学習済みモデルＬＭを用いて、撮像画像に基づき、周囲の物体に関する判定を行うショベル１００（第１のショベルの一例）とは、別であってもよい。この場合、前者のショベル１００の撮像装置７０（第２の環境情報取得部の一例）は、教師データを生成するためのショベル１００の周囲の撮像画像を取得し、後者のショベル１００の撮像装置７０（第１の環境情報取得部の一例）は、周囲の物体に関する判定を行うためのショベル１００の周囲の撮像画像を取得する。また、例えば、管理装置２００は、物体に関する判定機能を有さないショベル１００とは異なる一又は複数のショベル（第２のショベル一例）から周囲の撮像画像を収集して、学習済みモデルＬＭの生成及び更新を行い、学習済みモデルＬＭをショベル１００（第１のショベルの一例）に送信する構成であってもよい。つまり、ショベル１００（判定部３４４）によりショベル１００の周囲の物体に関する判定に用いられる学習済みモデルＬＭは、自ショベル及び自ショベルとは異なる他ショベルのうちの少なくとも一方で取得される環境情報（具体的には、周囲の撮像画像）から生成される教師データに基づき追加学習が行われた、追加学習済みモデルに更新されてよい。
　また、本実施形態では、自ショベルを含む複数のショベル１００は、それぞれ、同一の学習済みモデルＬＭを有すると共に、当該学習済みモデルＬＭを用いて、周囲の物体に関する判定を行う。つまり、学習済みモデルＬＭを用いて、周囲の環境情報（撮像装置７０の撮像画像）に基づき、周囲の物体に関する判定を行うショベル１００（第１のショベルの一例）は、複数ある。そして、複数のショベル１００のそれぞれが有する学習済みモデルＬＭは、管理装置２００で生成される同じ追加学習済みモデルに更新されてよい。
　これにより、複数のショベル１００において、一様に、多様な環境条件下での相対的に高い判定精度を実現できる。
　また、本実施形態では、学習済みモデルＬＭは、複数のショベル１００で取得される周囲の撮像画像から生成される教師データに基づき追加学習が行われた追加学習済みモデルに更新されてよい。つまり、教師データを生成するための周囲の環境情報（撮像装置７０の撮像画像）を取得するショベル１００（第２のショベルの一例）は、複数ある。
　これにより、複数のショベル１００からの撮像画像を利用できるため、より多様な環境に対応した教師データが準備されうる。よって、ショベル１００は、ショベル１００の周囲の環境情報（撮像装置７０の撮像画像）に基づき、ショベル１００の周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を更に向上させることができる。
　尚、学習済みモデルＬＭは、一台のショベル１００で取得される周囲の撮像画像から生成される教師データに基づき追加学習が行われた追加学習済みモデルに更新されてもよい。つまり、教師データを生成するための周囲の環境情報（撮像装置７０の撮像画像）を取得するショベル１００（第２のショベルの一例）は、一台であってもよい。
　また、本実施形態では、記録制御部３２２は、所定の記録タイミングで、撮像装置７０により取得される環境情報としての撮像画像を記録する。そして、ショベル１００の学習済みモデルＬＭは、管理装置２００において、記録制御部３２２により記録された撮像画像から生成される教師データに基づき追加学習が行われた、追加学習済みモデルに更新される。
　これにより、教師データに利用するのに適切な品質の撮像画像（例えば、追加学習に適用すべき、誤判定が生じ易い動作条件での撮像画像や具体的に誤判定が発生している可能性があるときの撮像画像等）を選択的に記録することができる。よって、学習済みモデルＬＭの過学習等を抑制し、ショベル１００の周囲の物体に関する判定精度を更に向上させることができる。
　また、本実施形態では、所定の記録タイミングは、自ショベルの旋回動作時又は走行動作時であってよい。
　これにより、追加学習に適用すべき誤判定が生じ易い動作条件としてのショベル１００の旋回動作時や走行動作時の撮像画像を具体的に記録することができる。
　また、本実施形態では、判定部３４４は、自ショベルの周囲の物体の検出に関する判定を行う。そして、所定の記録タイミングは、判定部３４４が自ショベルの周囲の物体を検出したと判定したときであってよい。
　これにより、ショベル１００の周囲の物体の検出に関する誤判定、つまり、誤検出が発生している可能性がある時点の撮像画像を記録することができる。
　［変形・改良］
　以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲の要旨の範囲内において、種々の変形・変更が可能である。
　例えば、上述した実施形態では、学習済みモデルＬＭに対する入力情報としてのショベル１００の周囲の環境情報は、撮像装置７０の撮像画像であるが、当該態様には限定されない。具体的には、学習済みモデルＬＭに対する入力情報は、例えば、ショベル１００に搭載されるＬＩＤＡＲ（Light Detecting and Ranging）、ミリ波レーダ、距離画像センサ等の任意の空間認識センサ（環境情報取得部の一例）からの出力情報（距離画像データや反射波のスペクトルデータ等）であってもよい。この場合、管理装置２００は、複数のショベル１００から受信される、空間認識センサの出力情報から生成した教師データに基づき、学習モデルの機械学習や学習済みモデルＬＭの追加学習を行う。
　また、上述した実施形態及び変形例では、一つの学習済みモデルＬＭが生成されると共に、一つの学習済みモデルＬＭで、ショベル１００の周囲の物体に関する判定が行われるが、当該態様には限定されない。具体的には、ショベル１００の周囲の予め規定される複数の環境条件ごとの学習済みモデルが生成されると共に、ショベル１００の周囲の環境条件に合わせた学習済みモデルが選択された上で、選択された学習済みモデルで、ショベル１００の周囲の物体に関する判定が行われてもよい。このとき、ショベル１００の周囲の環境条件には、例えば、雨、晴れ、曇り等の天候条件や、撮像画像に映り込む背景の種別（例えば、住宅が映り込む住宅街、森林が映り込む山間地等の地理的な条件や、舗装の有無等の条件）等が含まれうる。これにより、学習済みモデルは、それぞれの環境条件に合わせて、追加学習がなされるため、ショベル１００は、環境条件ごとの判定精度を向上させることができる。
　また、上述した実施形態及び変形例では、ニューラルネットワークを中心とする機械学習の手法が適用された学習済みモデルＬＭが生成されるが、ニューラルネットワークに代えて、或いは、加えて、他の機械学習の手法が適用されてもよい。
　例えば、図９は、学習済みモデルＬＭによる判定処理の他の例を示す概念図である。具体的には、図９は、機械学習の手法として、サポートベクターマシーン（Support Vector Machine：ＳＶＭ）を適用した場合の物体に関する判定方法を概念的に示す図である。
　図９に示すように、二次元平面上に、ショベル１００で取得される、ショベル１００の周囲の環境情報（例えば、撮像装置７０の撮像画像）から抽出された所定の特徴量の二次元のベクトル情報（以下、「特徴量ベクトル」）が教師データとしてプロットされている。
　例えば、特徴量ベクトル群９０２（図中の白丸のプロット群）及び特徴量ベクトル群９０３（図中の黒丸のプロット群）は、それぞれ、物体が存在しない場合及び存在する場合の環境情報に対応していると仮定する。すると、ＳＶＭの手法により、教師データとしての特徴量ベクトル群９０２及び黒丸でプロットされる特徴量ベクトル群９０３との間に、分離直線９０１を規定することができる。よって、分離直線９０１を用いることにより、ショベル１００で取得された環境情報から特徴量ベクトルを算出し、算出された特徴量ベクトルが分離直線９０１から見て、特徴量ベクトル群９０２側にあるのか、特徴量ベクトル群９０３側にあるのかによって、物体の存在の有無に関する判定、つまり、物体検出を行うことができる。例えば、特徴量ベクトル９０４は、分離直線９０１から見て、特徴量ベクトル群９０３側にあるため、ショベル１００で取得された環境情報から物体の存在を認識し、物体を検出することができる。同様の方法で、検出した物体の分類（特定の種類の物体であるか、それ以外の種類の物体であるかの分類）も可能である。
　具体的には、特徴量ベクトルとして、例えば、撮像装置７０の撮像画像のＨＯＧ（Histogram of Oriented Gradients）特徴量やＬＢＰ（Local Binary Pattern）特徴量等の画像特徴量が用いられる。また、特徴量ベクトルは、通常、三次元を超える多次元空間上で特定されるため、特徴量ベクトルに対応する多次元空間を物体の存在の有無や、特定の種類の物体（例えば、"人"）とそれ以外の種類の物体とに分類する場合、ＳＶＭの手法により、分離超平面が規定される。
　このように、ＳＶＭの手法を適用することにより、管理装置２００は、複数のショベル１００から収集される複数の環境情報から教師データとしての特徴量ベクトルを生成し、教師データに基づき、学習済みモデルＬＭに対応する分離超平面を規定することができる。そして、管理装置２００は、分離超平面の規定後、更に、複数のショベル１００から収集された環境情報から追加の教師データとしての特徴量ベクトルを生成し、従来の教師データと追加の教師データとに基づき、分離超平面を更新させてよい。これにより、上述の実施形態と同様、ショベル１００は、ショベル１００の周囲の環境情報に基づき、ショベル１００の周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることができる。
　また、ニューラルネットワークやＳＶＭの他、他の機械学習の手法、例えば、ランダムフォレスト等の決定木による手法、最近傍法、単純ベイズ分類器等の既知の手法が適用されうる。
　また、上述した実施形態及び変形例では、ショベル１００が学習済みモデルＬＭを用いて周囲の物体に関する判定を行うが、他の建設機械が学習済みモデルＬＭを用いて周囲の物体に関する判定を行ってもよい。即ち、上述した実施形態に係るショベル支援システムＳＹＳは、ショベル１００に代えて、或いは、加えて、ブルドーザ、ホイールローダ、アスファルトフィニッシャ等の道路機械や、ハーベスタ等を備える林業機械等の他の建設機械を含む態様であってもよい。
　最後に、本願は、２０１８年１０月３１日に出願した日本国特許出願２０１８－２０５９０６号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
　３０　コントローラ
　３２　記録装置
　３４　判定装置
　４０　表示装置
　７０　撮像装置（環境情報取得部、第１の環境情報取得部、第２の環境情報取得部）
　９０　通信機器（環境情報送信部）
　１００　ショベル（第１のショベル、第２のショベル）
　２００　管理装置（外部装置）
　２１０　制御装置
　２２０　通信機器（モデル送信部）
　２３０　表示装置
　２４０　入力装置
　２５０　コンピュータグラフィクス生成装置
　３０２　報知部
　３０４　動作制御部（制御部）
　３２２　記録制御部（記録部）
　３２４　記憶部
　３４２　表示制御部
　３４４　判定部
　３４６　記憶部
　２１０１　判定部
　２１０２　教師データ生成部（教師情報生成部）
　２１０３　学習部
　２１０４，２１０５　記憶部
　ＩＭ１　撮像画像
　ＩＭ２　判定情報付き撮像画像
　ＩＭ３　コンピュータグラフィクス
　ＬＭ　学習済みモデル
　ＳＹＳ　ショベル支援システム

Claims (13)

  1. 　ショベルの周囲の環境情報を取得する環境情報取得部と、
    　機械学習が行われた学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、ショベルの周囲の物体に関する判定を行う判定部と、を備え、
    　前記学習済みモデルは、取得された環境情報から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、
    　前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、前記判定を行う、
    　ショベル。
  2. 　前記学習済みモデルは、自ショベル及び自ショベルとは異なる他ショベルのうちの少なくとも一方で取得される環境情報から生成される前記教師情報に基づき追加学習が行われた、追加学習済みモデルに更新される、
    　請求項１に記載のショベル。
  3. 　自ショベルを含む複数のショベルは、同一の前記学習済みモデルを有すると共に、前記学習済みモデルを用いて、前記判定を行い、
    　前記複数のショベルのそれぞれが有する前記学習済みモデルは、前記追加学習済みモデルに更新される、
    　請求項１に記載のショベル。
  4. 　前記学習済みモデルは、複数のショベルで取得される周囲の環境情報から生成される前記教師情報に基づき前記追加学習が行われた前記追加学習済みモデルに更新される、
    　請求項１に記載のショベル。
  5. 　所定のタイミングで、前記環境情報取得部により取得される環境情報を記録する記録部を更に備え、
    　前記学習済みモデルは、前記記録部により記録された環境情報から生成される前記教師情報に基づき追加学習が行われた前記追加学習済みモデルに更新される、
    　請求項１に記載のショベル。
  6. 　前記所定のタイミングは、自ショベルの旋回動作時又は走行動作時である、
    　請求項５に記載のショベル。
  7. 　前記判定部は、自ショベルの周囲の物体の検出に関する判定を行い、
    　前記所定のタイミングは、前記判定部が自ショベルの周囲の物体を検出したと判定したときである、
    　請求項５に記載のショベル。
  8. 　アクチュエータと、
    　前記判定に基づき、前記アクチュエータを制御する制御部と、を更に備える、
    　請求項１に記載のショベル。
  9. 　操作装置と、
    　前記操作装置に対する操作に基づき、駆動されるアクチュエータと、を備え、
    　前記判定に基づき、前記物体が自ショベルの周囲の所定範囲内に存在すると判定されると、前記操作装置が操作されても前記アクチュエータは駆動されない、
    　請求項１に記載のショベル。
  10. 　第１のショベルと、第２のショベルと、前記第１のショベル及び前記第２のショベルと通信可能な外部装置と、を含むショベル支援システムであって、
    　前記第１のショベルに設けられ、前記第１のショベルの周囲の環境情報を取得する第１の環境情報取得部と、
    　前記第１のショベルに設けられ、機械学習が行われた学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記第１のショベルの周囲の物体に関する判定を行う判定部と、
    　前記第２のショベルに設けられ、前記第２のショベルの周囲の環境情報を取得する第２の環境情報取得部と、
    　前記第２のショベルに設けられ、前記第２の環境情報取得部により取得される環境情報を記録する記録部と、
    　前記第２のショベルに設けられ、前記記録部により記録される環境情報を前記外部装置に送信する環境情報送信部と、
    　前記外部装置に設けられ、前記第２のショベルから受信される、前記第２のショベルで取得された環境情報に基づき、教師情報を生成する教師情報生成部と、
    　前記外部装置に設けられ、前記教師情報生成部により生成された教師情報に基づき、前記第１のショベルで前記判定に用いられている前記学習済みモデルと同一の学習済みモデルに追加学習を行わせ、追加学習済みモデルを生成する学習部と、
    　前記外部装置に設けられ、前記学習部により追加学習が行われた前記追加学習済みモデルを前記第１のショベルに送信するモデル送信部と、を備え、
    　前記学習済みモデルは、前記第１のショベルにおいて、前記外部装置から受信される前記追加学習済みモデルに更新され、
    　前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記判定を行う、
    　ショベル支援システム。
  11. 　前記第１のショベルと前記第２のショベルは、同一のショベルであり、
    　前記第１の環境情報取得部と前記第２の環境情報取得部は、同一の環境情報取得部である、
    　請求項１０に記載のショベル支援システム。
  12. 　複数の前記第１のショベルと、複数の前記第１のショベルのそれぞれと通信可能な前記外部装置と、を含む、
    　請求項１０に記載のショベル支援システム。
  13. 　複数の前記第２のショベルと、複数の前記第２のショベルのそれぞれと通信可能な前記外部装置と、を含む、
    　請求項１０に記載のショベル支援システム。
PCT/JP2019/042896 2018-10-31 2019-10-31 ショベル、ショベル支援システム WO2020091002A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201980072913.5A CN112996963B (zh) 2018-10-31 2019-10-31 挖土机、挖土机支援系统
EP19880206.8A EP3875697B1 (en) 2018-10-31 2019-10-31 Excavator and excavator assisting system
KR1020217012852A KR20210106410A (ko) 2018-10-31 2019-10-31 쇼벨, 쇼벨지원시스템
JP2020554050A JP7472034B2 (ja) 2018-10-31 2019-10-31 ショベル、ショベル支援システム
US17/241,261 US20210246631A1 (en) 2018-10-31 2021-04-27 Shovel and shovel assist system
JP2024000097A JP2024028372A (ja) 2018-10-31 2024-01-04 ショベル

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018205906 2018-10-31
JP2018-205906 2018-10-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/241,261 Continuation US20210246631A1 (en) 2018-10-31 2021-04-27 Shovel and shovel assist system

Publications (1)

Publication Number Publication Date
WO2020091002A1 true WO2020091002A1 (ja) 2020-05-07

Family

ID=70462088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042896 WO2020091002A1 (ja) 2018-10-31 2019-10-31 ショベル、ショベル支援システム

Country Status (6)

Country Link
US (1) US20210246631A1 (ja)
EP (1) EP3875697B1 (ja)
JP (2) JP7472034B2 (ja)
KR (1) KR20210106410A (ja)
CN (1) CN112996963B (ja)
WO (1) WO2020091002A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014477A (ko) * 2020-07-28 2022-02-07 현대엠시스템즈 주식회사 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템
WO2022070872A1 (ja) * 2020-09-29 2022-04-07 ソニーセミコンダクタソリューションズ株式会社 物体検出システム及び物体検出方法
JP7444098B2 (ja) 2021-02-15 2024-03-06 Ｊｆｅスチール株式会社 スラグ流出判定方法、転炉操業方法、溶鋼製造方法、スラグ流出判定装置、転炉操業設備、及び溶鋼製造設備
JP7473914B2 (ja) 2020-07-29 2024-04-24 株式会社安藤・間 自己位置推定システム、及び建設機械位置推定システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
JP7287047B2 (ja) * 2019-03-27 2023-06-06 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
WO2020203596A1 (ja) * 2019-04-04 2020-10-08 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094627A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
JP6290497B2 (ja) 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
WO2018180562A1 (ja) * 2017-03-27 2018-10-04 株式会社日立ハイテクノロジーズ 画像処理システム及び画像処理を行うためのコンピュータープログラム
JP2018205906A (ja) 2017-05-31 2018-12-27 キヤノン株式会社 画像処理装置、方法、プログラム及びシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0990739A4 (en) * 1998-03-18 2002-11-05 Hitachi Construction Machinery AUTOMATICALLY CONTROLLED EXCAVATOR AND STONE CRUSHING DEVICE THAT IS EQUIPPED WITH IT
CN101675195B (zh) * 2007-08-09 2012-02-15 日立建机株式会社 工程机械的机器诊断装置及机器诊断系统
CN102460325A (zh) * 2009-05-01 2012-05-16 悉尼大学 集成式自动化系统
CA2730951A1 (en) * 2009-05-29 2010-12-02 Mark Damm Method and system to manage complex systems knowledge
WO2011104703A1 (en) * 2010-02-23 2011-09-01 Israel Aerospace Industries Ltd. A system and method of autonomous operation of multi-tasking earth moving machinery
JP2016023489A (ja) * 2014-07-23 2016-02-08 住友重機械工業株式会社 ショベル支援装置及びショベル管理方法
JP6391656B2 (ja) * 2016-11-29 2018-09-19 住友重機械工業株式会社 作業機械用周辺監視装置及び作業機械
US10867377B2 (en) * 2016-12-21 2020-12-15 Massachusetts Institute Of Technology Determining soil state and controlling equipment based on captured images
EP3748089B1 (en) * 2018-01-30 2023-03-15 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel and shovel management system
WO2020032267A1 (ja) * 2018-08-10 2020-02-13 住友建機株式会社 ショベル
JP7316052B2 (ja) * 2019-01-29 2023-07-27 株式会社小松製作所 作業機械を含むシステム、およびコンピュータによって実行される方法
US11320830B2 (en) * 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094627A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
WO2018180562A1 (ja) * 2017-03-27 2018-10-04 株式会社日立ハイテクノロジーズ 画像処理システム及び画像処理を行うためのコンピュータープログラム
JP2018205906A (ja) 2017-05-31 2018-12-27 キヤノン株式会社 画像処理装置、方法、プログラム及びシステム
JP6290497B2 (ja) 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3875697A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014477A (ko) * 2020-07-28 2022-02-07 현대엠시스템즈 주식회사 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템
KR102476268B1 (ko) 2020-07-28 2022-12-14 현대엠시스템즈 주식회사 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템
JP7473914B2 (ja) 2020-07-29 2024-04-24 株式会社安藤・間 自己位置推定システム、及び建設機械位置推定システム
WO2022070872A1 (ja) * 2020-09-29 2022-04-07 ソニーセミコンダクタソリューションズ株式会社 物体検出システム及び物体検出方法
JP7444098B2 (ja) 2021-02-15 2024-03-06 Ｊｆｅスチール株式会社 スラグ流出判定方法、転炉操業方法、溶鋼製造方法、スラグ流出判定装置、転炉操業設備、及び溶鋼製造設備

Also Published As

Publication number Publication date
US20210246631A1 (en) 2021-08-12
EP3875697B1 (en) 2023-12-06
EP3875697A1 (en) 2021-09-08
KR20210106410A (ko) 2021-08-30
CN112996963A (zh) 2021-06-18
JP7472034B2 (ja) 2024-04-22
EP3875697A4 (en) 2022-01-05
JPWO2020091002A1 (ja) 2021-09-24
JP2024028372A (ja) 2024-03-04
CN112996963B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
WO2020091002A1 (ja) ショベル、ショベル支援システム
WO2020204007A1 (ja) ショベル及び施工システム
WO2020196874A1 (ja) 建設機械、支援システム
WO2021025123A1 (ja) ショベル、情報処理装置
JPWO2020095945A1 (ja) ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
US20220307233A1 (en) System comprising work machine, and work machine
US20220307226A1 (en) Method for producing trained work type estimation model, training data, computer-implemented method, and system comprising work machine
US20240026654A1 (en) Construction machine and support system of construction machine
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
US20220002970A1 (en) Excavator
JP2023151642A (ja) ショベル、ショベルの支援システム
JP2023093109A (ja) 建設機械、及び情報処理装置
JP2023063989A (ja) ショベル
JP2023063990A (ja) ショベル
JP2023063991A (ja) ショベル
JP2023063988A (ja) ショベル
JP2023063993A (ja) ショベル
JP2023063992A (ja) ショベル
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2023006459A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2021197668A (ja) 情報処理装置、情報処理装置の制御方法及び制御プログラム
JP2022085617A (ja) 周辺監視システム、表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19880206

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020554050

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019880206

Country of ref document: EP

Effective date: 20210531