WO2020196874A1 - 建設機械、支援システム - Google Patents

建設機械、支援システム Download PDF

Info

Publication number
WO2020196874A1
WO2020196874A1 PCT/JP2020/014204 JP2020014204W WO2020196874A1 WO 2020196874 A1 WO2020196874 A1 WO 2020196874A1 JP 2020014204 W JP2020014204 W JP 2020014204W WO 2020196874 A1 WO2020196874 A1 WO 2020196874A1
Authority
WO
WIPO (PCT)
Prior art keywords
excavator
information
work area
construction machine
controller
Prior art date
Application number
PCT/JP2020/014204
Other languages
English (en)
French (fr)
Inventor
亮太 黒澤
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to JP2021509668A priority Critical patent/JP7387718B2/ja
Priority to EP20777179.1A priority patent/EP3951084A4/en
Priority to KR1020217031425A priority patent/KR20210139297A/ko
Priority to CN202080024831.6A priority patent/CN113661296A/zh
Publication of WO2020196874A1 publication Critical patent/WO2020196874A1/ja
Priority to US17/448,396 priority patent/US20220002978A1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2095—Control of electric, electro-mechanical or mechanical equipment not otherwise provided for, e.g. ventilators, electro-driven fans
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management

Definitions

  • This disclosure relates to construction machinery and support systems.
  • Patent Document 1 A construction machine that acquires useful information about a work area around a construction machine (for example, information about detection of an object to be monitored by a surrounding worker or the like) is known (for example, Patent Document 1).
  • the information about the work area acquired by one construction machine may be useful for other construction machines that work in the same work area (work site). Therefore, it is desirable that the information about the surrounding work area acquired by one construction machine is also available to other construction machines.
  • the acquisition department that acquires information about the work area around the construction machine
  • a transmission unit that transmits information acquired by the acquisition unit to other construction machines around the construction machine is provided. Construction machinery is provided.
  • a support system that includes multiple construction machines located within a given work area.
  • the plurality of construction machines are each An acquisition unit that acquires information about the work area, A transmission unit that transmits information acquired by the acquisition unit to the other construction machine is provided.
  • a support system is provided.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the excavator support system SYS.
  • the excavator support system SYS includes a plurality of excavators 100 arranged at relatively close distances to each other (for example, work is performed at the same work site (work area)), and supports the work by each excavator 100.
  • the description of the plurality of excavators 100 will proceed on the premise that they each have the same configuration with respect to the excavator support system SYS.
  • the excavator 100 (an example of a construction machine) includes a lower traveling body 1, an upper rotating body 3 that is rotatably mounted on the lower traveling body 1 via a turning mechanism 2, a boom 4, an arm 5, and an attachment. , Bucket 6 and cabin 10.
  • the lower traveling body 1 includes a pair of left and right crawlers 1C, specifically, a left crawler 1CL and a right crawler 1CR.
  • the lower traveling body 1 travels the excavator 100 by hydraulically driving the left crawler 1CL and the right crawler 1CR by the traveling hydraulic motors 2M (2ML, 2MR), respectively.
  • the upper swing body 3 turns with respect to the lower traveling body 1 by being driven by the swing hydraulic motor 2A. Further, the upper swing body 3 may be electrically driven by an electric motor instead of being hydraulically driven by the swing hydraulic motor 2A.
  • the side of the upper swing body 3 to which the attachment AT is attached is referred to as the front, and the side to which the counterweight is attached is referred to as the rear.
  • the boom 4 is pivotally attached to the center of the front portion of the upper swing body 3 so as to be vertically movable, an arm 5 is pivotally attached to the tip of the boom 4 so as to be vertically rotatable, and a bucket 6 is vertically attached to the tip of the arm 5. It is rotatably pivoted.
  • the boom 4, arm 5, and bucket 6 are hydraulically driven by the boom cylinder 7, arm cylinder 8, and bucket cylinder 9 as hydraulic actuators, respectively.
  • the cabin 10 is a driver's cab on which the operator is boarded, and is mounted on the front left side of the upper swing body 3.
  • the excavator 100 is in a connection state capable of communicating with another excavator 100 by a predetermined method of short-range wireless communication conforming to a predetermined communication protocol such as Bluetooth (registered trademark) communication or WiFi (registered trademark) communication, for example, equality.
  • P2P Peer to Peer
  • the excavator 100 can acquire various information from the other excavator 100 and transmit various information to the other excavator 100. Details will be described later.
  • FIG. 2 is a top view of the excavator 100.
  • FIG. 3 is a configuration diagram showing an example of the configuration of the excavator 100.
  • the excavator 100 includes hydraulic actuators such as a traveling hydraulic motor 2M (2ML, 2MR), a swing hydraulic motor 2A, a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9 as a configuration related to a hydraulic system. Further, the excavator 100 has an engine 11, a regulator 13, a main pump 14, an oil temperature sensor 14c, a pilot pump 15, a control valve 17, an operating device 26, and a discharge pressure sensor 28 as configurations related to a hydraulic system. The operation pressure sensor 29, the pressure reducing valve 50, and the control valve 60 are included.
  • the excavator 100 has a controller 30, an engine control unit (ECU: Engine Control Unit) 74, an engine rotation speed adjustment dial 75, a boom angle sensor S1, an arm angle sensor S2, and a bucket as configurations related to the control system.
  • the engine 11 is the main power source of the hydraulic system, and is mounted on the rear part of the upper swing body 3, for example. Specifically, the engine 11 rotates constantly at a preset target rotation speed under the control of the ECU 74 to drive the main pump 14, the pilot pump 15, and the like.
  • the engine 11 is, for example, a diesel engine that uses light oil as fuel.
  • the regulator 13 controls the discharge amount of the main pump 14. For example, the regulator 13 adjusts the angle of the swash plate of the main pump 14 (hereinafter, “tilt angle”) in response to a control command from the controller 30.
  • the main pump 14 is mounted on the rear part of the upper swing body 3 like the engine 11, and is driven by the engine 11 as described above to supply hydraulic oil to the control valve 17 through the high-pressure hydraulic line.
  • the main pump 14 is, for example, a variable displacement hydraulic pump, and under the control of the controller 30, as described above, the tilt angle of the swash plate is adjusted by the regulator 13 to adjust the stroke length of the piston and discharge.
  • the flow rate (discharge pressure) is controlled.
  • the oil temperature sensor 14c detects the temperature of the hydraulic oil flowing into the main pump 14. The detection signal corresponding to the detected hydraulic oil temperature is taken into the controller 30.
  • the pilot pump 15 is mounted on the rear part of the upper swing body 3, for example, and supplies the pilot pressure to the operating device 26 via the pilot line.
  • the pilot pump 15 is, for example, a fixed displacement hydraulic pump, and is driven by the engine 11 as described above.
  • the control valve 17 is, for example, a hydraulic control device mounted in the central portion of the upper swing body 3 and controlling a hydraulic actuator in response to an operator's operation on the operating device 26.
  • the control valve 17 is connected to the main pump 14 via the high-pressure hydraulic line, and the hydraulic oil supplied from the main pump 14 is supplied to the hydraulic actuator (operation content) according to the operating state (operation content) of the operating device 26. It is selectively supplied to the traveling hydraulic motors 2ML, 2MR, the turning hydraulic motor 2A, the boom cylinder 7, the arm cylinder 8, and the bucket cylinder 9).
  • the operation device 26 is provided near the driver's seat of the cabin 10, and is an operation input for the operator to operate various driven elements (lower traveling body 1, upper turning body 3, boom 4, arm 5, bucket 6, etc.). It is a means.
  • the operating device 26 is a hydraulic actuator (that is, a traveling hydraulic motor 2ML, 2MR, a swing hydraulic motor 2A, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, etc.) in which an operator drives each driven element. It is an operation input means for performing an operation.
  • the operating device 26 is connected to the control valve 17 through a pilot line on the secondary side thereof.
  • the control valve 17 can selectively drive each hydraulic actuator according to the operating state of the operating device 26.
  • the discharge pressure sensor 28 detects the discharge pressure of the main pump 14. The detection signal corresponding to the discharge pressure detected by the discharge pressure sensor 28 is taken into the controller 30.
  • the operation pressure sensor 29 is a pilot pressure on the secondary side of the operation device 26, that is, a pilot pressure (hereinafter, operation content) corresponding to an operation state (that is, operation content) of each driven element (that is, hydraulic actuator) in the operation device 26. , "Operating pressure" is detected.
  • the detection signal of the pilot pressure corresponding to the operating state of the lower traveling body 1, the upper swinging body 3, the boom 4, the arm 5, the bucket 6 and the like in the operating device 26 by the operating pressure sensor 29 is taken into the controller 30.
  • the pressure reducing valve 50 is provided in the pilot line on the secondary side of the operating device 26, that is, in the pilot line between the operating device 26 and the control valve 17, and the operation content (operation) of the operating device 26 is controlled by the controller 30. Adjust (decompress) the pilot pressure corresponding to the amount). As a result, the controller 30 can control (limit) the operation of various driven elements by controlling the pressure reducing valve 50.
  • the control valve 60 switches between an enabled state and an invalid state of the operation of the operating device 26, that is, the operation of various driven elements of the excavator 100.
  • the control valve 60 is, for example, a gate lock valve configured to operate in response to a control command from the controller 30.
  • the control valve 60 is arranged on the pilot line between the pilot pump 15 and the operating device 26, and switches the communication / interruption (non-communication) of the pilot line in response to the control command from the controller 30.
  • the gate lock lever provided near the entrance of the driver's seat of the cabin 10 is pulled up, the gate lock valve is in a communication state, the operation on the operation device 26 is in an effective state (operable state), and the gate lock lever is released.
  • the controller 30 can limit (stop) the operation of the excavator 100 by outputting a control command to the control valve 60.
  • the controller 30 is, for example, a control device mounted inside the cabin 10 to drive and control the excavator 100.
  • the controller 30 operates on the electric power supplied from the storage battery BT.
  • the function of the controller 30 may be realized by arbitrary hardware or a combination of arbitrary hardware and software.
  • the controller 30 includes, for example, a memory device such as a CPU (Central Processing Unit) and a RAM (Random Access Memory), a non-volatile auxiliary storage device such as a ROM (Read Only Memory), and an interface device for input / output to / from the outside. It is mainly composed of computers including. In this case, the controller 30 can realize various functions by reading one or more programs stored (installed) in the auxiliary storage device, loading them into the memory device, and executing them on the CPU.
  • a memory device such as a CPU (Central Processing Unit) and
  • controller 30 may be realized by another controller (control device). That is, the function of the controller 30 may be realized in a manner distributed by a plurality of controllers. Further, the storage battery BT is charged by the generated power of the alternator 11b driven by the engine 11.
  • the controller 30 controls the regulator 13 and the like based on detection signals taken from various sensors such as the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the discharge pressure sensor 28, and the operating pressure sensor 29. ..
  • the controller 30 uses the object detection device 70 to monitor an object (for example, a person, a truck, etc.) within a predetermined monitoring area around the excavator 100 (for example, a work area within 5 meters from the excavator 100).
  • an object for example, a person, a truck, etc.
  • control for avoiding contact between the shovel 100 and the object to be monitored (hereinafter, “contact avoidance control”) is performed.
  • the controller 30 may output a control command to the alarm device 49 to output an alarm as an example of contact avoidance control.
  • the controller 30 may output a control command to the pressure reducing valve 50 or the control valve 60 to limit the operation of the excavator 100.
  • the target of the operation restriction may be all the driven elements, or may be only a part of the driven elements necessary for avoiding the contact between the object to be monitored and the excavator 100. ..
  • the controller 30 acquires information about the work area around the excavator 100 (hereinafter, “work area information”) and is useful for other excavators 100 around the acquired excavator 100.
  • Area information is transmitted to other excavators 100 around it through a communication device 90 (an example of a transmission unit).
  • the controller 30 acquires information regarding the presence / absence of object detection by the object detection device 70, which will be described later, that is, information regarding the determination result of the presence / absence of an object around the excavator 100 (hereinafter, “object detection information”). Then, it is transmitted to other excavators 100 around the excavator 100 through the communication device 90.
  • the object detection information includes, for example, information such as the presence / absence of an object, the type of the object, and the position of the object. Further, the object detection information may be transmitted only when the object is detected by the object detection device 70, or may be transmitted regardless of the presence or absence of detection. Details of the function (hereinafter, “information sharing function”) among the plurality of excavators 100 in the excavator support system SYS will be described later (see FIGS. 5 to 7).
  • the controller 30 controls a function for analyzing the situation of the work site including the work area around the excavator 100 (hereinafter, “work site situation analysis function”). Specifically, the controller 30 recognizes surrounding objects in time series based on the outputs of the object detection device 70 and the image pickup device 80, and analyzes the situation at the work site. Details of the work site situation analysis function will be described later (see FIG. 8).
  • the ECU 74 drives and controls the engine 11 under the control of the controller 30.
  • the ECU 74 appropriately controls the fuel injection device and the like in accordance with the operation of the starter 11a driven by the electric power from the storage battery BT in response to the ignition on operation, and starts the engine 11.
  • the ECU 74 appropriately controls the fuel injection device and the like so that the engine 11 rotates constantly at a set rotation speed specified by a control signal from the controller 30 (isochronous control).
  • the engine 11 may be directly controlled by the controller 30.
  • the ECU 74 may be omitted.
  • the engine speed adjustment dial 75 is an operating means for adjusting the speed of the engine 11 (hereinafter, "engine speed").
  • engine speed The data regarding the engine speed setting state output from the engine speed adjustment dial 75 is taken into the controller 30.
  • the engine speed adjustment dial 75 is configured so that the engine speed can be switched in four stages of SP (Super Power) mode, H (Heavy) mode, A (Auto) mode, and idling mode.
  • the SP mode is an engine speed mode selected when it is desired to prioritize the amount of work, and a target speed having the highest engine speed is set.
  • the H mode is an engine speed mode selected when it is desired to achieve both work load and fuel consumption, and the engine speed is set to the second highest target speed.
  • the A mode is an engine speed mode selected when it is desired to operate the excavator 100 with low noise while giving priority to fuel consumption, and the engine speed is set to the third highest target speed.
  • the idling mode is an engine speed mode selected when the engine 11 is desired to be in an idling state, and the engine speed is set to the lowest target speed. Under the control of the ECU 74, the engine 11 is controlled so as to be constant at a target rotation speed corresponding to the engine rotation speed mode set by the engine rotation speed adjustment dial 75.
  • the boom angle sensor S1 is attached to the boom 4 and detects the elevation angle (hereinafter, “boom angle”) ⁇ 1 of the boom 4 with respect to the upper swing body 3.
  • the boom angle ⁇ 1 is, for example, an ascending angle from the state in which the boom 4 is most lowered. In this case, the boom angle ⁇ 1 becomes maximum when the boom 4 is raised most.
  • the boom angle sensor S1 may include, for example, a rotary encoder, an acceleration sensor, a 6-axis sensor, an IMU (Inertial Measurement Unit) and the like, and hereinafter, an arm angle sensor S2, a bucket angle sensor S3, and a body tilt sensor S4. The same applies to.
  • the boom angle sensor S1 may be a stroke sensor attached to the boom cylinder 7, and the same applies to the arm angle sensor S2 and the bucket angle sensor S3 below.
  • the detection signal corresponding to the boom angle ⁇ 1 by the boom angle sensor S1 is taken into the controller 30.
  • the arm angle sensor S2 is attached to the arm 5 and detects the rotation angle (hereinafter, “arm angle”) ⁇ 2 of the arm 5 with respect to the boom 4.
  • the arm angle ⁇ 2 is, for example, an opening angle from the most closed state of the arm 5. In this case, the arm angle ⁇ 2 becomes maximum when the arm 5 is opened most.
  • the detection signal corresponding to the arm angle by the arm angle sensor S2 is taken into the controller 30.
  • the bucket angle sensor S3 is attached to the bucket 6 and detects the rotation angle (hereinafter, “bucket angle”) ⁇ 3 of the bucket 6 with respect to the arm 5.
  • the bucket angle ⁇ 3 is an opening angle from the most closed state of the bucket 6. In this case, the bucket angle ⁇ 3 becomes maximum when the bucket 6 is opened most.
  • the detection signal corresponding to the bucket angle by the bucket angle sensor S3 is taken into the controller 30.
  • the airframe tilt sensor S4 detects the tilted state of the airframe (for example, the upper swivel body 3) with respect to a predetermined plane (for example, a horizontal plane).
  • the airframe tilt sensor S4 is attached to, for example, the upper swing body 3, and tilt angles around two axes in the front-rear direction and the left-right direction of the shovel 100 (that is, the upper swing body 3) (hereinafter, “front-back tilt angle” and “left-right” Tilt angle ”) is detected.
  • the detection signal corresponding to the tilt angle (front-back tilt angle and left-right tilt angle) by the aircraft tilt sensor S4 is taken into the controller 30.
  • the swivel state sensor S5 is attached to the upper swivel body 3 and outputs detection information regarding the swivel state of the upper swivel body 3.
  • the turning state sensor S5 detects, for example, the turning angular velocity and the turning angle of the upper swing body 3.
  • the swivel state sensor S5 includes, for example, a gyro sensor, a resolver, a rotary encoder, and the like.
  • the body tilt sensor S4 includes a gyro sensor, a 6-axis sensor, an IMU, etc. capable of detecting angular velocities around three axes
  • the upper swivel body 3 is swiveled (for example, swiveled) based on the detection signal of the body tilt sensor S4.
  • Angular velocity may be detected.
  • the turning state sensor S5 may be omitted.
  • the alarm device 49 alerts a person involved in the work of the excavator 100 (for example, an operator in the cabin 10 or a worker around the excavator 100).
  • the alarm device 49 includes, for example, an indoor alarm device for alerting an operator or the like inside the cabin 10.
  • the indoor alarm device includes, for example, at least one of an audio output device, a vibration generator, and a light emitting device provided in the cabin 10.
  • the indoor alarm device may include a display device DS.
  • the alarm device 49 may include an outdoor alarm device for alerting workers and the like outside the cabin 10 (for example, around the excavator 100).
  • the outdoor alarm device includes, for example, at least one of an audio output device and a light emitting device provided outside the cabin 10.
  • the voice output device may be, for example, a traveling alarm device attached to the bottom surface of the upper swing body 3.
  • the outdoor alarm device may be a light emitting device provided on the upper swivel body 3.
  • the alarm device 49 notifies a person involved in the work of the excavator 100 under the control of the controller 30 as described above. You can.
  • the object detection device 70 detects an object existing around the excavator 100.
  • Objects to be detected include, for example, people, animals, vehicles, construction machinery, buildings, walls, fences, holes, and the like.
  • the object detection device 70 includes, for example, at least one such as a monocular camera (an example of a camera), an ultrasonic sensor, a millimeter wave radar, a stereo camera, a LIDAR (Light Detecting and Ringing), a range image sensor, and an infrared sensor.
  • the object detection device 70 may be configured to detect a predetermined object in a predetermined area set around the excavator 100.
  • the object detection device 70 may be configured in a mode in which the types of objects can be distinguished, for example, a mode in which a person and a non-human object can be distinguished.
  • the object detection device 70 may have a configuration capable of detecting a predetermined object or distinguishing the type of the object based on a predetermined model such as a pattern recognition model or a machine learning model.
  • the object detection device 70 includes a front sensor 70F, a rear sensor 70B, a left sensor 70L, and a right sensor 70R.
  • the output signal corresponding to the detection result by the object detection device 70 (front sensor 70F, rear sensor 70B, left sensor 70L, and right sensor 70R, respectively) is taken into the controller 30.
  • the front sensor 70F is attached to, for example, the front end of the upper surface of the cabin 10 and detects an object existing in front of the upper swing body 3.
  • the rear sensor 70B is attached to, for example, the rear end of the upper surface of the upper swing body 3 and detects an object existing behind the upper swing body 3.
  • the left sensor 70L is attached to, for example, the left end of the upper surface of the upper swing body 3 and detects an object existing on the left side of the upper swing body 3.
  • the right sensor 70R is attached to, for example, the right end of the upper surface of the upper swing body 3 and detects an object existing on the right side of the upper swing body 3.
  • the object detection device 70 acquires environmental information around the excavator 100, which is the base for object detection (for example, captured images, reflected wave data for detection waves such as millimeter waves and lasers transmitted to the surroundings). Only, the specific object detection process, the process of distinguishing the type of the object, and the like may be executed by the outside of the object detection device 70 (for example, the controller 30).
  • the image pickup device 80 takes an image of the surroundings of the excavator 100 and outputs the captured image.
  • the image pickup apparatus 80 includes a front camera 80F, a rear camera 80B, a left camera 80L, and a right camera 80R.
  • the images captured by the image pickup device 80 (front camera 80F, rear camera 80B, left camera 80L, and right camera 80R, respectively) are captured in the display device DS.
  • the image captured by the imaging device 80 is captured by the controller 30 via the display device DS.
  • the image captured by the imaging device 80 may be directly captured by the controller 30 without going through the display device DS.
  • the front camera 80F is attached to the front end of the upper surface of the cabin 10 so as to be adjacent to the front sensor 70F, and images the front state of the upper swing body 3.
  • the rear camera 80B is attached to the rear end of the upper surface of the upper swivel body 3 so as to be adjacent to the rear sensor 70B, and images the rear state of the upper swivel body 3.
  • the left camera 80L is attached to the left end of the upper surface of the upper swing body 3 so as to be adjacent to the left sensor 70L, for example, and images the state of the left side of the upper swing body 3.
  • the right camera 80R is attached to the upper right end of the upper swing body 3 so as to be adjacent to the right sensor 70R, and images the state of the right side of the upper swing body 3.
  • the object detection device 70 includes an image pickup device such as a monocular camera or a stereo camera
  • some or all the functions of the image pickup device 80 may be integrated in the object detection device 70.
  • the front sensor 70F includes an image pickup device
  • the functions of the front camera 80F may be integrated into the front sensor 70F.
  • the functions of the rear camera 80B, the left camera 80L, and the right camera 80R when the rear sensor 70B, the left sensor 70L, and the right sensor 70R each include an imaging device.
  • the orientation detection device 85 is configured to detect information regarding the relative relationship between the orientation of the upper swivel body 3 and the orientation of the lower traveling body 1 (hereinafter, referred to as "direction information").
  • the orientation detection device 85 may be composed of a combination of a geomagnetic sensor attached to the lower traveling body 1 and a geomagnetic sensor attached to the upper rotating body 3.
  • the orientation detection device 85 may be composed of a combination of a GNSS (Global Navigation Satellite System) receiver attached to the lower traveling body 1 and a GNSS receiver attached to the upper turning body 3.
  • the orientation detection device 85 may be configured by a resolver attached to the electric motor.
  • the orientation detection device 85 may be arranged, for example, at a center joint provided in connection with the turning mechanism 2 that realizes the relative rotation between the lower traveling body 1 and the upper turning body 3. The detection information by the orientation detection device 85 is taken into the controller 30.
  • the communication device 90 includes various devices in the work site (for example, a position information management device that measures and manages position information of other construction machines and workers in the work site) and other excavators around the excavator 100. It is an arbitrary device that performs short-range communication of a predetermined method with 100 or the like.
  • the position information management device is, for example, a terminal device installed in a temporary office or the like in the work site of the excavator 100.
  • the terminal device may be, for example, a stationary terminal device such as a desktop computer terminal, or may be a mobile terminal such as a smartphone, a tablet terminal, or a laptop computer terminal.
  • the position information management device is installed in, for example, a temporary office in the work site of the excavator 100 or a place relatively close to the work site (for example, a communication facility such as a station building or a base station near the work site). It may be an edge server to be used. Further, the location information management device may be, for example, a cloud server installed in a facility such as a management center installed outside the work site of the excavator 100.
  • the communication device 90 may be, for example, a Bluetooth communication module, a WiFi communication module, or the like.
  • the display device DS is attached to a place that is easily visible to an operator or the like seated in the cockpit inside the cabin 10, and displays various information images.
  • the display device DS is, for example, a liquid crystal display or an organic EL (Electroluminescence) display.
  • the display device DS may be an image captured from the image pickup device 80, or a converted image obtained by subjecting the captured image to a predetermined conversion process (for example, a viewpoint conversion image or a composite image obtained by synthesizing a plurality of captured images). ) Is displayed.
  • the display device DS includes a display control unit DSa, an image display unit DS1, and an operation input unit DS2.
  • the display control unit DSa performs control processing for displaying various information images on the image display unit DS1 in response to an operation input by an operator or the like to the operation input unit DS2. Similar to the controller 30, the display control unit DSa may be configured around a computer including, for example, a CPU, a memory device, an auxiliary storage device, an interface device, and the like.
  • the function of the display control unit DSa may be provided outside the display device DS, and may be realized by, for example, the controller 30.
  • the image display unit DS1 is an area portion for displaying an information image on the display device DS.
  • the image display unit DS1 is composed of, for example, a liquid crystal panel, an organic EL panel, or the like.
  • the operation input unit DS2 receives the operation input related to the display device DS.
  • the operation input signal corresponding to the operation input to the operation input unit DS2 is taken into the display control unit DSa.
  • the operation input unit DS2 may accept various operation inputs related to the excavator 100 other than the display device DS.
  • the operation input signals corresponding to the various operation inputs to the operation input unit DS2 are taken into the controller 30 directly or indirectly via the display control unit DSa.
  • the operation input unit DS2 includes, for example, a touch panel mounted on a liquid crystal panel or an organic EL panel as the image display unit DS1.
  • the operation input unit DS2 may include an arbitrary operation member such as a touch pad, a button, a switch, a toggle, a lever, etc., which are separate from the image display unit DS1.
  • the operation input unit that receives various operation inputs related to the excavator 100 other than the display device DS may be provided separately from the display device DS (operation input unit DS2), for example, the lever button LB.
  • the lever button LB is provided on the operation device 26 and receives a predetermined operation input regarding the excavator 100.
  • the lever button LB is provided at the tip of the operating lever as the operating device 26.
  • the operator or the like can operate the lever button LB while operating the operation lever (for example, the lever button LB can be pressed with the thumb while holding the operation lever by hand).
  • FIG. 4 is a diagram illustrating an example of an object detection method.
  • the object detection device 70 detects an object around the excavator 100 by using a trained model composed mainly of a neural network DNN.
  • the neural network DNN is a so-called deep neural network having one or more intermediate layers (hidden layers) between the input layer and the output layer.
  • a weighting parameter representing the connection strength with the lower layer is defined for each of the plurality of neurons constituting each intermediate layer. Then, the neurons in each layer output the sum of the values obtained by multiplying the input values from the plurality of neurons in the upper layer by the weighting parameters defined for each neuron in the upper layer to the neurons in the lower layer through the threshold function.
  • the neural network DNN is configured.
  • Machine learning specifically, deep learning (deep learning) is performed on the neural network DNN, and the above-mentioned weighting parameters are optimized.
  • the neural network DNN receives the environmental information (for example, the captured image) acquired by the object detection device 70 as the input signal x, and the output signal y of the object corresponding to the predetermined monitoring target list. It is possible to output the probability (prediction probability) that an object of each type exists.
  • the output signal y1 output from the neural network DNN has a 10% prediction probability that a "person" exists around the excavator 100, specifically, within the range of acquisition of environmental information by the object detection device 70. It represents that there is.
  • the neural network DNN is, for example, a convolutional neural network (CNN).
  • CNN is a neural network to which existing image processing techniques (convolution processing and pooling processing) are applied. Specifically, the CNN extracts feature amount data (feature map) smaller in size than the captured image by repeating a combination of a convolution process and a pooling process on the captured image acquired by the object detection device 70. Then, the pixel value of each pixel of the extracted feature map is input to the neural network composed of a plurality of fully connected layers, and the output layer of the neural network outputs, for example, the prediction probability that an object exists for each type of object. can do.
  • an captured image acquired by the object detection device 70 is input as an input signal x, and the position and size of the object in the captured image (that is, the occupied area of the object on the captured image) and the object thereof.
  • the type may be configured to be output as an output signal y. That is, the neural network DNN may be configured to detect an object on the captured image (determine the occupied region portion of the object on the captured image) and determine the classification of the object. Further, in this case, the output signal y may be configured in an image data format in which information regarding the occupied area of the object and its classification is superimposed on the captured image as the input signal x.
  • the object detection device 70 is based on the position and size of the occupied area of the object in the captured image output from the trained model (neural network DNN), and the relative position (distance) of the object from the excavator 100. And direction) can be specified. This is because the object detection device 70 (front sensor 70F, rear sensor 70B, left sensor 70L, and right sensor 70R) is fixed to the upper swing body 3 and the imaging range (angle of view) is predetermined (fixed). Is.
  • the output signal y1 output from the neural network DNN has the coordinates of the position where the "person" exists around the excavator 100, specifically, within the acquisition range of the environmental information by the object detection device 70.
  • the object detection device 70 monitors the object in the monitoring area. It can be determined that the target object has been detected.
  • the neural network DNN has a neural network corresponding to each of a process of extracting an occupied area (window) in which an object exists in a captured image and a process of specifying the type of an object in the extracted area. It may be. That is, the neural network DNN may have a configuration in which object detection and object classification are performed step by step. Further, for example, in the neural network DNN, a process of classifying an object and defining an occupied area (bounding box) of an object for each grid cell in which the entire area of the captured image is divided into a predetermined number of partial areas, and a grid.
  • the configuration may have a neural network corresponding to the process of combining the occupied areas of the objects for each type and determining the final occupied area of the object. That is, the neural network DNN may have a configuration in which object detection and object classification are performed in parallel.
  • the object detection device 70 calculates, for example, the prediction probability for each type of object on the captured image for each predetermined control cycle.
  • the object detection device 70 may further increase the current prediction probability when the current judgment result and the previous judgment result match. For example, the predicted probability that an object appearing in a predetermined area on a captured image is determined to be a "person" (y1) during the previous object detection process is continuously determined to be a "person" (y1) this time as well. If so, the prediction probability of being judged as the "person" (y1) this time may be further increased.
  • the prediction probability is calculated to be relatively high. Therefore, the object detection device 70 makes an erroneous determination that the prediction probability of the object of the type is relatively low due to some noise even though the object of the type actually exists. It can be suppressed.
  • the object detection device 70 may make a determination regarding an object on the captured image in consideration of operations such as traveling and turning of the excavator 100. This is because even when an object around the excavator 100 is stationary, the position of the object on the captured image may move due to the traveling or turning of the excavator 100, and the object may not be recognized as the same object. For example, the image area determined to be "person" (y1) in the current process may be different from the image area determined to be "person” (y1) in the previous process due to the running or turning of the excavator 100. ..
  • the object detection device 70 if the image area determined to be "person” (y1) in the current process is within a predetermined range from the image area determined to be “person” (y1) in the previous process, the object detection device 70 , It may be regarded as the same object, and a continuous match judgment (that is, a judgment of a state in which the same object is continuously detected) may be performed.
  • the image area used in this determination may include an image area within a predetermined range from this image area in addition to the image area used in the previous determination. ..
  • the object detection device 70 can make a continuous match determination with respect to the same object around the excavator 100.
  • the object detection device 70 may detect an object around the excavator 100 by using an object detection method based on any machine learning other than the method using the neural network DNN.
  • the range of the type of object and the range of the non-type of object are classified for each type of object in the multivariable space.
  • a trained model representing the boundaries to be (classified) may be generated by supervised learning.
  • the machine learning (supervised learning) method applied to the generation of information about the boundary may be, for example, a support vector machine (SVM: Support Vector Machine), a k-nearest neighbor method, a mixed Gaussian distribution model, or the like.
  • SVM Support Vector Machine
  • the object detection device 70 is based on the trained model and based on whether the local feature amount acquired from the captured image is in the range of the object of a predetermined type or in the range of not the object of the type. It can detect objects.
  • FIG. 5 and 6 are diagrams for explaining a first example of the operation related to the information sharing function of the excavator support system SYS according to the present embodiment.
  • FIG. 5 is a diagram illustrating a situation in which object detection information is shared by excavator 100s in the same work site (work area 400) by an information sharing function.
  • FIG. 6 is a diagram for explaining a recognition state of surrounding objects for each excavator 100 in the same work site (work area 400), and more specifically, the excavator 100 during operation related to the information sharing function of FIG. It is a figure which shows the recognition state about the surrounding object for each.
  • excavator 100A the excavator 100 during excavation work
  • excavator 100B the traveling excavator 100
  • the excavator 100A is excavating the construction target area 401 in the work area 400, and the excavator pile 402 is formed on the right side of the excavator 100A. Further, in the work area 400, the excavator 100B is traveling in a manner of passing the excavator 100A and the left side of the construction target area 401. Further, the worker W is performing the work in the monitoring area relatively close to the excavator 100 between the excavator 100A and the band-shaped range through which the excavator 100B travels.
  • the object detection device 70 of the excavator 100A cannot recognize the face even if it tries to detect the worker W from the captured image, for example, and depending on the object detection algorithm, the object detection device 70 is the object (person) to be monitored. ) May not be detected. Therefore, in this example, the object detection device 70 of the excavator 100A cannot detect the worker W, and the contact avoidance control is performed because the worker W originally invades the monitoring area close to the excavator 100A.
  • the alarm device 49 should be activated, but the alarm device 49 does not operate, resulting in a false alarm state.
  • a control command is output to the pressure reducing valve 50 and the control valve 60, and the operation of the excavator 100 should be restricted, but the operation of the excavator 100 is not restricted.
  • the operator of the excavator 100A turns the upper swivel body 3 to the right in order to discharge the excavated earth and sand to the excavated pile 402 without noticing the worker W
  • the excavator 100A and the rear part of the upper swivel body 3 The positional relationship with the worker W becomes very close, and in the worst case, there is a possibility of contact.
  • the excavator 100B is running so as to pass in front of the worker W, and the worker W is working with his face facing forward when viewed from the excavator 100B. Therefore, although the object detection device 70 of the excavator 100B has a long distance from the excavator 100B to the worker W, for example, there is a possibility that the face of the worker W can be recognized from the captured image and the worker W can be detected. high. Therefore, in this example, the object detection device 70 of the excavator 100B can detect the worker W.
  • the controller 30 of the excavator 100B acquires the object detection information related to the detection of the worker W from the object detection device 70, and the object related to the detection of the worker W from the excavator 100B to the excavator 100A through the communication device 90. Notify the detection information.
  • the controller 30 of the excavator 100A can recognize that the worker W is present at a close position on the left side of the excavator 100A based on the object detection information received from the excavator 100B through the communication device 90. Therefore, the controller 30 of the excavator 100A may activate the alarm device 49 to notify the operator and the surrounding worker W that the worker W has been detected in the monitoring area around the excavator 100A. it can.
  • the operator of the excavator 100 can temporarily suspend the work of the excavator 100, the worker W can move away from the excavator 100, and each of them can take actions for ensuring safety, and the excavator support system SYS provides information.
  • the safety of the work area 400 on which the excavators 100A and 100B work can be improved.
  • the controller 30 of the excavator 100B passes through the communication device 90 from the position information management device in the work site to the local coordinate system having the reference point RP of the work area 400 as the origin (hereinafter, The position information of the excavator 100B itself in the "local coordinate system") can be acquired and confirmed. Further, the controller 30 of the excavator 100B can confirm the relative position of the worker W with respect to the excavator 100B based on the object detection information of the object detection device 70. Further, the controller 30 of the excavator 100B can confirm the relative position of the excavator 100A with respect to the excavator 100B during the excavation work based on the object detection information of the object detection device 70.
  • the controller 30 of the excavator 100B can derive the positional relationship between the excavator 100A and the worker W on the local coordinate system by using this information. Therefore, the controller 30 of the excavator 100B can notify the excavator 100A of information regarding the positional relationship between the excavator 100A and the worker W through the communication device 90.
  • the object detection device 70 of the shovel 100A cannot detect the worker.
  • the object detection device 70 of the excavator 100B can detect the worker. In this way, the excavator 100B (object detection device 70) can also interpolate and monitor the blind spot region of the object detection device 70 of the excavator 100A.
  • the controller 30 of the excavator 100B uses the local coordinate system based on the detection information of the positioning device (for example, the GNSS receiver) mounted on the excavator 100B and the information regarding the reference point RP of the local coordinate system defined in advance.
  • the position information of the excavator 100B may be acquired, and the same applies to the case of the excavator 100A.
  • the controller 30 of the excavator 100B can acquire the position information of the excavator 100B in an absolute coordinate system (for example, a world geodetic system represented by latitude, longitude, and altitude) instead of the local coordinate system, or can use the excavator 100A.
  • the positional relationship with the worker W may be derived, and the same applies to the case of the excavator 100A.
  • the controller 30 of the excavator 100A can acquire and confirm the position information of the excavator 100A itself in the local coordinate system from the position information management device in the work site through the communication device 90. Further, the controller 30 of the excavator 100A can confirm the positional relationship between the excavator 100A itself and the worker W by receiving the notification from the excavator 100B while traveling. Therefore, the controller 30 of the excavator 100A can recognize the relative position of the worker W as seen from the excavator 100A on the local coordinate system by using this information. Therefore, the controller 30 of the excavator 100A may activate the alarm device 49 or restrict the operation of the excavator 100 such as braking and stopping after confirming that the operator W is in the monitoring area.
  • a correspondence relationship regarding the safety level such as whether to continue the operation, slow down the operation, or stop the operation is set in advance.
  • the correspondence relationship such as whether to continue the operation, slow down the operation, or stop the operation is determined for each actuator based on the type of the detected object. It may be set in advance.
  • the excavator 100A receives the object detection information from one excavator 100B, but may further receive the object detection information from the other excavator 100. That is, one excavator 100 may receive object detection information from a plurality of excavators 100 that perform surrounding work. In this case, one excavator 100 may comprehensively determine the object detection information received from the plurality of excavators 100 to determine the presence or absence of a monitoring target such as a surrounding worker. Specifically, among the object detection information received from the plurality of excavators 100, the object detection information affirming the existence of a certain monitoring target and the notification from the excavator 100 at a position where the monitoring target can be detected.
  • the controller 30 of one excavator 100 on the receiving side may preferentially adopt, for example, object detection information that prioritizes safety and affirms the existence of the monitoring target. Further, the controller 30 of one excavator 100 on the receiving side emphasizes the balance between the safety of the excavator 100 and the deterioration of workability due to false alarms, and the number of object detection information that affirms the existence of the monitored object and the object that denies it. It may be determined which is adopted by comparing the number of detected information or comparing the accuracy information of the object detection device 70 of the excavator 100 which is the transmission source of the object detection information.
  • the controller 30 of one excavator 100 compares the two. Therefore, the one with higher identification accuracy can be adopted. For example, for an object existing at the same position, the controller 30 of one excavator 100 identifies it as wood with an identification rate of 50%, and the controller 30 of another excavator 100 around it identifies it as a person with an identification rate of 60%. In this case, the controller of one excavator 100 adopts the identification result by the controller 30 of another excavator 100 around which the object detection device 70 with higher accuracy is mounted.
  • the controller 30 of the one excavator 100 compares the two. You can control your own aircraft based on the information of the one with the higher degree of safety. For example, for an object existing at the same position, the controller 30 of one excavator 100 makes a determination of continuation of operation (that is, a determination of low safety) based on the identification result of being identified as wood with an identification rate of 50%.
  • the controller 30 of the other excavators 100 in the surroundings makes a judgment of stopping the operation (that is, a judgment of high safety) based on the identification result of being identified as a person with an identification rate of 30%, the other excavators 100 in the surroundings Even if the identification result by the controller 30 is a judgment that the person is a person with an identification rate of 30%, the controller 30 of one excavator 100 has a relatively high degree of safety, that is, the other excavators 100 around it. Control your own machine based on the judgment result.
  • the information sharing function naturally causes a false alarm of the alarm device 49 on the excavator 100. It may be used to avoid it.
  • the object detection device 70 of the excavator 100A detects a monitoring target that does not actually exist at the position of the worker W in FIGS. 5 and 6.
  • the object detection device 70 of the excavator 100B is likely to determine that the monitoring target does not exist on the left side of the excavator 100A and output the object detection information indicating that the monitoring target does not exist.
  • the controller 30 of the excavator 100B transmits the object detection information denying the existence of the monitoring target from the excavator 100B to the excavator 100A through the communication device 90. Therefore, the controller 30 of the excavator 100A gives priority to the notification from the excavator 100B based on some judgment criteria, determines that the monitoring target does not exist, cancels the operation of the alarm device 49, or cancels the operation of the alarm device 49, or the alarm device after the operation starts. It is possible to stop the 49, cancel the operation restriction of the excavator 100, or stop the operation restriction of the excavator 100 after the restriction starts.
  • the determination criteria include, for example, that the accuracy information of the object detection device 70 of the excavator 100B, which is the source of the object detection information, exceeds a certain standard, and that there is no monitoring target included in the object detection information. It may include that the information on the existence probability (prediction probability) of the monitoring target when it is judged to be below a certain standard.
  • the excavator 100B determines whether or not the monitoring target exists in the monitoring area of the excavator 100B, and also determines whether or not the monitoring target exists outside the monitoring area of the excavator 100B.
  • the controller 30 of the excavator 100B stores each determination result (for example, information on the presence / absence of the monitoring target, the type of the monitoring target, the position of the monitoring target, etc.) in a predetermined storage unit (for example, an auxiliary storage device). Let me.
  • the excavator 100A also determines whether or not a monitoring target exists within the monitoring area of the excavator 100A, and also determines whether or not a monitoring target exists outside the monitoring area of the excavator 100A.
  • the controller 30 of the excavator 100A stores each determination result (for example, information on the presence / absence of the monitoring target, the type of the monitoring target, the position of the monitoring target, etc.) in a predetermined storage unit (for example, an auxiliary storage device). Let me. Therefore, the blind spot region of the object detection device 70 of the excavator 100 can be mutually interpolated and monitored. Further, the determination of whether or not there is a monitoring target outside the monitoring area of the excavator 100 is executed even when the excavator 100 is inoperable.
  • a predetermined storage unit for example, an auxiliary storage device
  • the excavator 100A may be installed at a fixed point in the work area 400 in place of or in addition to the excavator 100B, and may receive object detection information from a stationary device including an object detection device similar to the object detection device 70. .. That is, the excavator support system SYS is arranged at a position relatively close to the plurality of excavators 100 in addition to the plurality of excavators 100 (for example, a work site (work area) where the plurality of excavators 100 work).
  • the above-mentioned stationary device may be included.
  • the excavator 100A can receive object detection information regarding the presence or absence of surrounding objects not only from the excavator 100B but also from the stationary device.
  • the work area information shared among the plurality of excavators 100 may be information on the construction area in the work area.
  • the controller 30 of one excavator 100 determines the shape of the groove set by the excavator 100, or the side surface of the groove.
  • Information about the target construction surface corresponding to the bottom surface may be transmitted to the other excavator 100 through the communication device 90.
  • the information regarding the target construction surface instructing the shape of the groove may be set by the operation input of the operator through the operation input unit DS2, for example, a part of the excavator has already been excavated.
  • the wall surface and the bottom surface of the groove, the sheet piles installed on the wall surface, and the like may be automatically set by being recognized through the captured image of the image pickup apparatus 80.
  • the controller 30 of one excavator 100 transmits information on the work range virtual surface set by the excavator 100 through the communication device 90 to other excavators 100. It may be transmitted to the excavator 100.
  • the information about the work range virtual surface may be set by the operation input of the operator through the operation input unit DS2, for example, a plurality of load cones or obstacles that define the work range.
  • An object for example, a fence, a utility pole, an electric wire
  • the like may be automatically recognized by being recognized through an image captured by the image pickup apparatus 80 or the like.
  • the excavator support system SYS includes a drone 700 in addition to a plurality of excavators 100.
  • FIG. 7 is a diagram illustrating a third example of the operation related to the information sharing function of the excavator support system SYS according to the present embodiment.
  • the excavators 100A and 100B are in the same situation as in the case of the first example (FIGS. 5 and 6) described above, and further, have an object detection function similar to that of the excavator 100 above the work area 400.
  • the explanation will proceed on the assumption that the drone 700 is flying.
  • Worker W in the work area 400 is facing backward when viewed from the excavator 100A and is working in a state where his face cannot be seen. Therefore, in this example, the object detection device 70 of the excavator 100A outputs that the prediction probability that "people" exist is 10% even if the acquired captured image is input to the trained model (neural network DNN). The worker W at the position "(e1, n1, h1)" on the local coordinate system cannot be detected.
  • the excavator 100B is running so as to pass in front of the worker W, and the worker W is working with his face facing forward when viewed from the excavator 100B. Therefore, the object detection device 70 of the excavator 100B outputs the predicted probability that a "person" exists as 80% by inputting the acquired captured image into the trained model (neural network DNN), and is on the local coordinate system. The worker W at the position "(e1, n1, h1)" can be detected. Therefore, the controller 30 of the excavator 100B transmits the object detection information regarding the detection of the worker W acquired from the object detection device 70 to the excavator 100A through the communication device 90 as in the case of the first example described above.
  • the drone 700 is flying over the front side of the worker W, and the worker W is working with his face facing forward when viewed from the drone 700. Therefore, by inputting the captured image acquired by the image pickup device mounted on the drone 700 into the trained model (neural network), the prediction probability that "people” exist is output as 80%, and the local coordinates. The worker W at the position "(e1, n1, h1)" on the system can be detected. Therefore, the drone 700 transmits the object detection information related to the detection of the worker W to the excavators 100A and 100B through a predetermined communication device mounted on the drone 700.
  • the drone 700 may detect an object by using environmental information or an object detection method different from that of the excavator 100 (object detection device 70).
  • the excavator 100A cannot detect the worker W by using its own object detection device 70, but the worker W at the coordinates "(e1, n1, h1)" of the local coordinate system from the excavator 100B and the drone 700. It is possible to receive object detection information related to the detection of. As a result, the excavator 100A can recognize the existence of the worker W that cannot be detected by its own object detection device 70 by the information sharing function between the excavator 100B and the drone 700. Further, the excavator 100A can receive the object detection information from the drone 700 in addition to the object detection information from the excavator 100B.
  • the excavator 100A can improve the detection accuracy of surrounding objects.
  • the excavator 100 (100A, 100B) has an information sharing function capable of receiving object detection information from another device capable of detecting an object in the work area 400 in place of or in addition to the drone 700. You may.
  • the other device may be, for example, a fixed point camera installed in the work area 400.
  • FIG. 8 is a diagram illustrating an operation related to the work site situation analysis function of the excavator 100. Specifically, the movement status (movement history) of the dump truck DT in the work site in the time series from time t1 to time tn (n: an integer of 3 or more) is analyzed, and the dump truck DT travels in the work site. It is a figure which shows the process of grasping a road.
  • the excavator 100 grasps the movement status of the dump truck DT in the work site in the time series from time t1 to time tun.
  • the excavator 100 is carrying out the work of loading earth and sand into the stopped dump truck DT.
  • the excavator 100 determines the position of the dump truck DT at the time of loading the earth and sand from the coordinates of the dump truck DT on the local coordinate system in the work site at time t1 detected by the object detection device 70. Can be grasped.
  • the work of loading the earth and sand of the excavator 100 is completed, and the dump truck DT is at the work site for carrying out the earth and sand. It is moving toward the doorway of.
  • the excavator 100 grasps the position of the dump truck DT at the time of carrying out from the coordinates of the dump truck DT on the local coordinate system in the work site at the time tk detected by the object detection device 70. be able to.
  • the dump truck DT has reached the doorway of the work site.
  • the excavator 100 (controller 30) can grasp the movement of the dump truck DT from the time t1 (at the time of loading) to the time tun (when passing through the doorway of the work site).
  • the controller 30 can grasp the travel road (travel route) of the vehicle such as the dump truck DT at the work site by analyzing the movement history from the time t1 to the time tn.
  • the traveling road includes a loading place 811 for the dump truck DT, a turning point 812 when the dump truck DT is carried out and carried in, and an loading / unloading road 813 where the dump truck DT travels toward the entrance / exit of the work site.
  • controller 30 may grasp not only the movement history of the dump truck DT but also the position of the building (for example, a temporary office) in the work site detected by the object detection device 70.
  • a fixed road is not laid at the work site of the excavator 100, and road information or the like indicating a running road such as a dump truck at the work site usually does not exist in many cases.
  • the installation location of the temporary building at the work site may be changed from the plan depending on the situation at the work site.
  • the traveling route of a dump truck or the like may often be changed depending on the progress of work at the work site, the weather, or the like. Therefore, for example, it is difficult to grasp the situation of the work site only by the information representing the current situation of the work site.
  • the excavator 100 (controller 30) analyzes the movement history of the vehicle in the work site such as the dump truck DT by using the object detection information in the time series, and works on the traveling road or the like. You can grasp the situation at the site.
  • the excavator 100 tells the worker when a person such as a worker invades a high-risk place (for example, a range relatively close to the driving road) based on the grasped situation of the work site. You may call attention to it.
  • the controller 30 may activate the alarm device 49, for example, to alert the operator.
  • the controller 30 may vibrate the mobile terminal by transmitting a predetermined signal to the mobile terminal possessed by the operator by using the communication device 90 to alert the operator.
  • the control roller 30 may activate the alarm device 49.
  • a predetermined signal may be transmitted to the mobile terminal of the worker W by using the communication device 90.
  • the excavator 100 can improve the safety of the work site.
  • FIG. 9 is a schematic view showing another example of the configuration of the excavator support system SYS.
  • the excavator management system SYS includes a support device 200 and a management device 300 in addition to the plurality of excavators 100.
  • the excavator management system SYS manages a plurality of excavators 100 by the management device 300.
  • the number of support devices 200 included in the excavator management system SYS may be one or a plurality.
  • the number of management devices 300 included in the excavator management system SYS may be one or a plurality.
  • the support device 200 is communicably connected to the management device 300 through a predetermined communication line. Further, the support device 200 may be communicably connected to the excavator 100 through a predetermined communication line.
  • the predetermined communication line includes, for example, a mobile communication network having a base station as a terminal, a satellite communication network using a communication satellite, a short-range wireless communication network based on communication standards such as Bluetooth (registered trademark) and WiFi. You can.
  • the support device 200 is a user used by, for example, an operator or owner of the excavator 100, a worker or supervisor at a work site, or a user such as a manager or worker of the management device 300 (hereinafter, “support device user”). It is a terminal.
  • the support device 200 is, for example, a mobile terminal such as a laptop computer terminal, a tablet terminal, or a smartphone. Further, the support device 200 may be, for example, a stationary terminal device such as a desktop computer terminal.
  • the management device 300 is communicably connected to the excavator 100 and the support device 200 through a predetermined communication line.
  • the management device 300 is, for example, a cloud server installed in a management center or the like outside the work site. Further, the management device 300 may be, for example, an edge server installed in a temporary office or the like in the work site or a communication facility (for example, a base station or a station building) relatively close to the work site. Further, the management device 300 may be, for example, a terminal device used in the work site.
  • the terminal device may be, for example, a mobile terminal such as a laptop computer terminal, a tablet terminal, or a smartphone, or may be, for example, a stationary terminal device such as a desktop computer terminal.
  • At least one of the support device 200 and the management device 300 may be provided with a display device or an operation device for remote control.
  • the operator who uses the support device 200 or the management device 300 may remotely control the excavator 100 by using the remote control operation device.
  • the support device 200 and the management device 300 equipped with the operation device for remote control are controllers mounted on the excavator 100 through predetermined communication lines such as a short-range wireless communication network, a mobile communication network, and a satellite communication network. Connected to 30 communicably.
  • information images similar to the contents that can be displayed on the display device DS of the cabin 10 are displayed on the display devices of the support device 200 and the management device 300. It may be displayed as.
  • the image information representing the surrounding state of the excavator 100 may be generated based on the image captured by the image pickup apparatus 80 or the like.
  • the management device 300 may perform a function corresponding to, for example, the position information management device of the above-mentioned example.
  • the controller 30 of the excavator 100 may transmit various information to at least one of the support device 200 and the management device 300 by using, for example, the communication device 90.
  • the controller 30 may transmit, for example, at least one of the output of the object detection device 70 (object detection information) and the captured image of the image pickup device 80 to at least one of the support device 200 and the management device 300.
  • the controller 30 of the excavator 100 may transmit, for example, information on the analysis result by the work site situation analysis function (that is, information representing the state of the work site) to at least one of the support device 200 and the management device 300.
  • the excavator management system SYS can store various information such as object detection information acquired by the excavator 100 and information indicating the situation at the work site in the support device 200 and the management device 300 in a predetermined storage unit. .. Further, the support device user and the management device user can confirm the object detection information, the information indicating the situation at the work site, and the like through the display device of the support device 200 and the management device 300.
  • the excavator management system SYS can share the information related to the excavator 100 (information acquired by the excavator 100) to the support device user and the management device user. Further, in this example, the excavator management system SYS can store the object detection information of the excavator 100 in a predetermined storage unit in the support device 200 and the management device 300. For example, the support device 200 and the management device 300 can store information about the monitoring target such as the type of the monitoring target and the position of the monitoring target outside the monitoring area of the excavator 100 in the storage unit in chronological order.
  • the information about the monitoring target stored in the storage unit of the support device 200 or the management device 300 is outside the monitoring area of the excavator 100, and the type of monitoring target or the monitoring target in the monitoring area of the other excavator 100. It may be information about the position of.
  • the controller 30 acquires information about the work area around the construction machine, and the communication device 90 transmits the information acquired by the controller 30 to other excavators 100 around the excavator 100.
  • the information about the work area acquired by the controller 30 is determined based on the image captured by the camera (object detection device 70) that images the work area around the excavator 100. (For example, determination of the presence or absence of an object in the work area, determination of the type of object, etc.) may be included.
  • the information regarding the work area acquired by the controller 30 may include information regarding the construction area of the work area (for example, information regarding the target construction surface and information regarding the work range virtual surface).
  • the communication device 90 is a predetermined device located around the excavator 100 (for example, another excavator 100, a stationary device having a stationary camera for photographing the surrounding work area, and an sky above the work area. You may receive information about the work area from a drone 700, etc. flying in.
  • the excavator 100 on the side of transmitting information on the work area can also use the information on the work area acquired by a predetermined device such as another excavator 100, a stationary device, or a drone 700.
  • the communication device 90 receives an image captured by the stationary camera or information on a work area based on the captured image (for example, information on determining the presence or absence of an object in the work area) from the stationary device. You can do it.
  • the excavator 100 can specifically use the captured image of the stationary camera included in the stationary device and the information regarding the work area based on the captured image.
  • the plurality of excavators 100 send and receive work area information and the like to each other, but instead of or in addition to the excavator 100, a plurality of construction machines including other construction machines work with each other. It may be configured to send and receive area information and the like. That is, the excavator support system SYS according to the above-described embodiment replaces or in addition to the excavator 100, road machines such as bulldozers, wheel loaders, and asphalt finishers, and other construction machines such as forestry machines provided with harvesters and the like. It may be an aspect including.

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

一の建設機械で取得される作業領域に関する情報を同じ作業領域で作業を行う他の建設機械でも利用できるようにすることが可能な技術を提供する。本開示の一実施形態に係るショベル１００は、ショベル１００（自機）の周囲の作業領域に関する情報を取得するコントローラ３０と、コントローラ３０により取得された情報を当該ショベル１００の周囲の他のショベル１００に送信する通信機器９０と、を備える。また、本開示の他の実施形態に係るショベル支援システムＳＹＳは、所定の作業領域内に位置する複数のショベル１００を含むショベル支援システムＳＹＳであって、複数のショベル１００は、それぞれ、作業領域に関する情報を取得するコントローラ３０と、コントローラ３０により取得された情報を他のショベル１００に送信する通信機器９０と、を備える。

Description

建設機械、支援システム
　本開示は、建設機械及び支援システムに関する。
　建設機械の周囲の作業領域に関する有用な情報（例えば、周囲の作業者等の監視対象の物体検知に関する情報）を取得する建設機械が知られている（例えば、特許文献１）。
特許６２９０４９７号公報
　しかしながら、一の建設機械で取得される作業領域に関する情報は、同じ作業領域（作業現場）で作業を行う他の建設機械にとっても有用な場合が有りうる。よって、一の建設機械で取得される周囲の作業領域に関する情報は、他の建設機械でも利用可能であることが望ましい。
　そこで、上記課題に鑑み、一の建設機械で取得される作業領域に関する情報を同じ作業領域で作業を行う他の建設機械でも利用できるようにすることが可能な技術を提供する。
　本開示の一実施形態において、
　建設機械の周囲の作業領域に関する情報を取得する取得部と、
　前記取得部により取得された情報を当該建設機械の周囲の他の建設機械に送信する送信部と、を備える、
　建設機械が提供される。
　また、本開示の他の実施形態において、
　所定の作業領域内に位置する複数の建設機械を含む支援システムであって、
　前記複数の建設機械は、それぞれ、
　前記作業領域に関する情報を取得する取得部と、
　前記取得部により取得された情報を他の前記建設機械に送信する送信部と、を備える、
　支援システムが提供される。
　上述の実施形態によれば、一の建設機械で取得される作業領域に関する情報を同じ作業領域で作業を行う他の建設機械でも利用できるようにすることが可能な技術を提供することができる。
ショベル支援システムの構成の一例を示す概略図である。 ショベルの上面図である。 ショベルの構成の一例を示すブロック図である。 物体検知方法の一例を説明する図である。 ショベル支援システムの情報共有機能に関する動作の第１例を説明する図である。 ショベル支援システムの情報共有機能に関する動作の第１例を説明する図である。 ショベル支援システムの情報共有機能に関する動作の第３例を説明する図である。 ショベルの作業現場状況分析機能に関する動作の一例を説明する図である。 ショベル支援システムの構成の他の例を示す概略図である。
　以下、図面を参照して実施形態について説明する。
　［ショベル支援システムの一例］
　図１～図８を参照して、本実施形態に係るショベル支援システムＳＹＳの一例について説明する。
　　＜ショベル支援システムの概要＞
　まず、図１を参照して、本例に係るショベル支援システムＳＹＳについて説明する。
　図１は、ショベル支援システムＳＹＳの構成の一例を示す概略図である。
　ショベル支援システムＳＹＳは、相互に比較的近い距離で配置される（例えば、同じ作業現場（作業領域）で作業を行う）複数のショベル１００を含み、それぞれのショベル１００による作業を支援する。以下、複数のショベル１００は、それぞれ、ショベル支援システムＳＹＳに関して同じ構成を有する前提で説明を進める。
　ショベル１００（建設機械の一例）は、下部走行体１と、下部走行体１に旋回機構２を介して旋回自在に搭載される上部旋回体３と、アタッチメントを構成するブーム４、アーム５、及び、バケット６と、キャビン１０を含む。
　下部走行体１は、左右一対のクローラ１Ｃ、具体的には、左クローラ１ＣＬ及び右クローラ１ＣＲを含む。下部走行体１は、左クローラ１ＣＬ及び右クローラ１ＣＲが走行油圧モータ２Ｍ（２ＭＬ，２ＭＲ）でそれぞれ油圧駆動されることにより、ショベル１００を走行させる。
　上部旋回体３は、旋回油圧モータ２Ａで駆動されることにより、下部走行体１に対して旋回する。また、上部旋回体３は、旋回油圧モータ２Ａで油圧駆動される代わりに、電動機により電気駆動されてもよい。以下、便宜上、上部旋回体３におけるアタッチメントＡＴが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。
　ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。
　キャビン１０は、オペレータが搭乗する運転室であり、上部旋回体３の前部左側に搭載される。
　ショベル１００は、例えば、ブルートゥース（登録商標）通信やＷｉＦｉ（登録商標）通信等の所定の通信プロトコルに準拠する所定方式の近距離無線通信により他のショベル１００と通信可能な接続状態、例えば、対等なＰ２Ｐ（Peer to Peer）接続を確立することができる。これにより、ショベル１００は、他のショベル１００から各種情報を取得したり、他のショベル１００に各種情報を送信したりすることができる。詳細は、後述する。
　　＜ショベル支援システムの構成＞
　続いて、図１に加えて、図２、図３を参照して、ショベル支援システムＳＹＳ（ショベル１００）の具体的な構成について説明する。
　図２は、ショベル１００の上面図である。図３は、ショベル１００の構成の一例を示す構成図である。
　ショベル１００は、油圧システムに関する構成として、上述の如く、走行油圧モータ２Ｍ（２ＭＬ，２ＭＲ）、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。また、ショベル１００は、油圧システムに関する構成として、エンジン１１と、レギュレータ１３と、メインポンプ１４と、油温センサ１４ｃと、パイロットポンプ１５と、コントロールバルブ１７と、操作装置２６と、吐出圧センサ２８と、操作圧センサ２９と、減圧弁５０と、制御弁６０とを含む。また、ショベル１００は、制御システムに関する構成として、コントローラ３０と、エンジン制御装置（ＥＣＵ：Engine Control Unit）７４と、エンジン回転数調整ダイヤル７５と、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体傾斜センサＳ４と、旋回状態センサＳ５と、警報装置４９と、物体検知装置７０と、撮像装置８０と、向き検出装置８５と、通信機器９０と、表示装置ＤＳと、レバーボタンＬＢとを含む。
　エンジン１１は、油圧システムのメイン動力源であり、例えば、上部旋回体３の後部に搭載される。具体的には、エンジン１１は、ＥＣＵ７４による制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５等を駆動する。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。
　レギュレータ１３は、メインポンプ１４の吐出量を制御する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。
　メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、上述の如く、エンジン１１により駆動されることにより、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、コントローラ３０による制御下で、上述の如く、レギュレータ１３により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。
　油温センサ１４ｃは、メインポンプ１４に流入する作動油の温度を検出する。検出される作動油の温度に対応する検出信号は、コントローラ３０に取り込まれる。
　パイロットポンプ１５は、例えば、上部旋回体３の後部に搭載され、パイロットラインを介して操作装置２６にパイロット圧を供給する。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。
　コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載され、オペレータによる操作装置２６に対する操作に応じて、油圧アクチュエータの制御を行う油圧制御装置である。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、操作装置２６の操作状態（操作内容）に応じて、油圧アクチュエータ（走行油圧モータ２ＭＬ，２ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９）に選択的に供給する。
　操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素（下部走行体１、上部旋回体３、ブーム４、アーム５、バケット６等）の操作を行うための操作入力手段である。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータ（即ち、走行油圧モータ２ＭＬ，２ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、バケットシリンダ９等）の操作を行うための操作入力手段である。操作装置２６は、その二次側のパイロットラインを通じて、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、操作装置２６における下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の操作状態に応じたパイロット圧が入力される。そのため、コントロールバルブ１７は、操作装置２６における操作状態に応じて、それぞれの油圧アクチュエータを選択的に駆動することができる。
　吐出圧センサ２８は、メインポンプ１４の吐出圧を検出する。吐出圧センサ２８により検出された吐出圧に対応する検出信号は、コントローラ３０に取り込まれる。
　操作圧センサ２９は、操作装置２６の二次側のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（即ち、油圧アクチュエータ）の操作状態（即ち、操作内容）に対応するパイロット圧（以下、「操作圧」）を検出する。操作圧センサ２９による操作装置２６における下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。
　減圧弁５０は、操作装置２６の二次側のパイロットライン、つまり、操作装置２６とコントロールバルブ１７との間のパイロットラインに設けられ、コントローラ３０による制御下で、操作装置２６の操作内容（操作量）に相当するパイロット圧を調整（減圧）する。これにより、コントローラ３０は、減圧弁５０を制御することにより、各種被駆動要素の動作を制御（制限）できる。
　制御弁６０は、操作装置２６に対する操作、つまり、ショベル１００の各種被駆動要素の操作の有効状態と無効状態とを切り換える。制御弁６０は、例えば、コントローラ３０からの制御指令に応じて動作するように構成されるゲートロック弁である。具体的には、制御弁６０は、パイロットポンプ１５と操作装置２６との間のパイロットラインに配置され、コントローラ３０からの制御指令に応じて、パイロットラインの連通／遮断（非連通）を切り換える。ゲートロック弁は、例えば、キャビン１０の操縦席の入口付近に設けられるゲートロックレバーが引き上げられると、連通状態となり、操作装置２６に対する操作が有効状態（操作可能状態）になり、ゲートロックレバーが押し下げられると、遮断状態となり、操作装置２６に対する操作が無効状態（操作不可状態）になる。よって、コントローラ３０は、制御弁６０に制御指令を出力することにより、ショベル１００の動作を制限（停止）させることができる。
　コントローラ３０は、例えば、キャビン１０の内部に取り付けられ、ショベル１００を駆動制御する制御装置である。コントローラ３０は、蓄電池ＢＴから供給される電力で動作する。以下、表示装置ＤＳや各種センサ（例えば、物体検知装置７０、撮像装置８０、ブーム角度センサＳ１等）についても同様である。コントローラ３０の機能は、任意のハードウェアや任意のハードウェアとソフトウェアとの組み合わせ等により実現されてよい。コントローラ３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。この場合、コントローラ３０は、補助記憶装置に格納（インストール）される一以上のプログラムを読み出してメモリ装置にロードし、ＣＰＵ上で実行させることにより各種機能を実現することができる。
　尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散される態様で実現されてもよい。また、蓄電池ＢＴは、エンジン１１により駆動されるオルタネータ１１ｂの発電電力で充電される。
　例えば、コントローラ３０は、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、吐出圧センサ２８、及び操作圧センサ２９等の各種センサから取り込まれる検出信号に基づき、レギュレータ１３等の制御を行う。
　また、例えば、コントローラ３０は、物体検知装置７０により、ショベル１００の周囲の所定の監視領域内（例えば、ショベル１００から５メートル以内の作業領域）で、監視対象の物体（例えば、人、トラック、他の建設機械等）が検出された場合、ショベル１００と監視対象の物体との当接等を回避させる制御（以下、「当接回避制御」）を行う。具体的には、コントローラ３０は、当接回避制御の一例として、警報装置４９に制御指令を出力し、警報を出力させてよい。また、コントローラ３０は、当接回避制御の一例として、減圧弁５０或いは制御弁６０に制御指令を出力し、ショベル１００の動作を制限してもよい。このとき、動作制限の対象は、全ての被駆動要素であってもよいし、監視対象の物体とショベル１００との当接回避のために必要な一部の被駆動要素だけであってもよい。
　また、例えば、コントローラ３０（取得部の一例）は、当該ショベル１００の周囲の作業領域に関する情報（以下、「作業領域情報」）を取得すると共に、取得した周囲の他のショベル１００に有用な作業領域情報を、通信機器９０（送信部の一例）を通じて、周囲の他のショベル１００に送信する。具体的には、コントローラ３０は、後述する物体検知装置７０による物体検知の有無に関する情報、つまり、当該ショベル１００の周囲の物体の有無の判断結果に関する情報（以下、「物体検知情報」）を取得し、通信機器９０を通じて、当該ショベル１００の周囲の他のショベル１００に送信する。物体検知情報は、例えば、物体の存在の有無、物体の種類、物体の位置等の情報を含む。また、物体検知情報は、物体検知装置７０により物体が検知されている場合だけ送信されてもよいし、検知の有無に依らず送信されてもよい。ショベル支援システムＳＹＳにおける複数のショベル１００の間での当該機能（以下、「情報共有機能」）の詳細は、後述する（図５～図７参照）。
　また、例えば、コントローラ３０は、ショベル１００の周囲の作業領域を含む作業現場の状況を分析する機能（以下、「作業現場状況分析機能」）に関する制御を行う。具体的には、コントローラ３０は、物体検知装置７０や撮像装置８０の出力に基づき、周囲の物体を時系列的に認識し、作業現場の状況を分析する。作業現場状況分析機能の詳細は、後述する（図８参照）。
　ＥＣＵ７４は、コントローラ３０による制御下で、エンジン１１を駆動制御する。例えば、ＥＣＵ７４は、イグニッションオン操作に応じて、蓄電池ＢＴからの電力で駆動されるスタータ１１ａの動作に合わせて、燃料噴射装置等を適宜制御し、エンジン１１を始動させる。また、例えば、ＥＣＵ７４は、コントローラ３０からの制御信号で指定される設定回転数でエンジン１１が定回転するように、燃料噴射装置等を適宜制御する（アイソクロナス制御）。
　尚、エンジン１１は、コントローラ３０により直接的に制御されてもよい。この場合、ＥＣＵ７４は、省略されてよい。
　エンジン回転数調整ダイヤル７５は、エンジン１１の回転数（以下、「エンジン回転数」）を調整する操作手段である。エンジン回転数調整ダイヤル７５から出力される、エンジン回転数の設定状態に関するデータは、コントローラ３０に取り込まれる。エンジン回転数調整ダイヤル７５は、ＳＰ（Super Power）モード、Ｈ（Heavy）モード、Ａ（Auto）モード及びアイドリングモードの４段階でエンジン回転数を切り換え可能に構成されている。ＳＰモードは、作業量を優先したい場合に選択されるエンジン回転数モードであり、エンジン回転数が最も高い目標回転数を設定される。Ｈモードは、作業量と燃費を両立させたい場合に選択されるエンジン回転数モードであり、エンジン回転数が二番目に高い目標回転数に設定される。Ａモードは、燃費を優先させながら低騒音でショベル１００を稼働させたい場合に選択されるエンジン回転数モードであり、エンジン回転数が三番目に高い目標回転数に設定される。アイドリングモードは、エンジン１１をアイドリング状態にしたい場合に選択されるエンジン回転数モードであり、エンジン回転数が最も低い目標回転数に設定される。エンジン１１は、ＥＣＵ７４の制御下で、エンジン回転数調整ダイヤル７５で設定されたエンジン回転数モードに対応する目標回転数で一定となるように制御される。
　ブーム角度センサＳ１は、ブーム４に取り付けられ、ブーム４の上部旋回体３に対する俯仰角度（以下、「ブーム角度」）θ１を検出する。ブーム角度θ１は、例えば、ブーム４を最も下降させた状態からの上昇角度である。この場合、ブーム角度θ１は、ブーム４を最も上昇させたときに最大となる。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等を含んでよく、以下、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４についても同様である。また、ブーム角度センサＳ１は、ブームシリンダ７に取り付けられたストロークセンサであってもよく、以下、アーム角度センサＳ２、バケット角度センサＳ３についても同様である。ブーム角度センサＳ１によるブーム角度θ１に対応する検出信号は、コントローラ３０に取り込まれる。
　アーム角度センサＳ２は、アーム５に取り付けられ、アーム５のブーム４に対する回動角度（以下、「アーム角度」）θ２を検出する。アーム角度θ２は、例えば、アーム５を最も閉じた状態からの開き角度である。この場合、アーム角度θ２は、アーム５を最も開いたときに最大となる。アーム角度センサＳ２によるアーム角度に対応する検出信号は、コントローラ３０に取り込まれる。
　バケット角度センサＳ３は、バケット６に取り付けられ、バケット６のアーム５に対する回動角度（以下、「バケット角度」）θ３を検出する。バケット角度θ３は、バケット６を最も閉じた状態からの開き角度である。この場合、バケット角度θ３は、バケット６を最も開いたときに最大となる。バケット角度センサＳ３によるバケット角度に対応する検出信号は、コントローラ３０に取り込まれる。
　機体傾斜センサＳ４は、所定の平面（例えば、水平面）に対する機体（例えば、上部旋回体３）の傾斜状態を検出する。機体傾斜センサＳ４は、例えば、上部旋回体３に取り付けられ、ショベル１００（即ち、上部旋回体３）の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する。機体傾斜センサＳ４による傾斜角度（前後傾斜角及び左右傾斜角）に対応する検出信号は、コントローラ３０に取り込まれる。
　旋回状態センサＳ５は、上部旋回体３に取り付けられ、上部旋回体３の旋回状態に関する検出情報を出力する。旋回状態センサＳ５は、例えば、上部旋回体３の旋回角速度や旋回角度を検出する。旋回状態センサＳ５は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含む。
　尚、機体傾斜センサＳ４に３軸回りの角速度を検出可能なジャイロセンサ、６軸センサ、ＩＭＵ等が含まれる場合、機体傾斜センサＳ４の検出信号に基づき上部旋回体３の旋回状態（例えば、旋回角速度）が検出されてもよい。この場合、旋回状態センサＳ５は、省略されてよい。
　警報装置４９は、ショベル１００の作業に携わる人（例えば、キャビン１０内のオペレータやショベル１００の周囲の作業者等）に対する注意喚起を行う。警報装置４９は、例えば、キャビン１０の内部のオペレータ等に対する注意喚起のための室内警報装置を含む。室内警報装置は、例えば、キャビン１０内に設けられた音声出力装置、振動発生装置、及び発光装置の少なくとも一つを含む。また、室内警報装置は、表示装置ＤＳを含んでもよい。また、警報装置４９は、キャビン１０の外部（例えば、ショベル１００の周囲）の作業者等に対する注意喚起のための室外警報装置を含んでもよい。室外警報装置は、例えば、キャビン１０の外部に設けられた音声出力装置及び発光装置の少なくとも１つを含む。当該音声出力装置は、例えば、上部旋回体３の底面に取り付けられている走行アラーム装置であってもよい。室外警報装置は、上部旋回体３に設けられる発光装置であってもよい。警報装置４９は、例えば、監視領域内で物体検知装置７０により監視対象の物体が検知された場合、上述の如く、コントローラ３０の制御下で、ショベル１００の作業に携わる人にその旨を報知してよい。
　物体検知装置７０は、ショベル１００の周囲に存在する物体を検知する。検知対象の物体は、例えば、人、動物、車両、建設機械、建造物、壁、柵、穴等を含む。物体検知装置７０は、例えば、単眼カメラ（カメラの一例）、超音波センサ、ミリ波レーダ、ステレオカメラ、ＬＩＤＡＲ（Light Detecting and Ranging）、距離画像センサ、赤外線センサ等の少なくとも一つを含む。物体検知装置７０は、ショベル１００の周囲に設定される所定領域内の所定の物体を検知するように構成されていてもよい。また、物体検知装置７０は、物体の種類を区別可能な態様、例えば、人と人以外の物体とを区別可能な態様で構成されていてもよい。例えば、物体検知装置７０は、パターン認識モデルや機械学習モデル等の所定のモデルに基づき、所定の物体を検知したり、物体の種類を区別したりすることが可能な構成であってよい。物体検知装置７０は、前方センサ７０Ｆと、後方センサ７０Ｂと、左方センサ７０Ｌと、右方センサ７０Ｒとを含む。物体検知装置７０（前方センサ７０Ｆと、後方センサ７０Ｂと、左方センサ７０Ｌと、右方センサ７０Ｒとのそれぞれ）による検知結果に対応する出力信号は、コントローラ３０に取り込まれる。
　前方センサ７０Ｆは、例えば、キャビン１０の上面前端に取り付けられ、上部旋回体３の前方に存在する物体を検知する。
　後方センサ７０Ｂは、例えば、上部旋回体３の上面後端に取り付けられ、上部旋回体３の後方に存在する物体を検知する。
　左方センサ７０Ｌは、例えば、上部旋回体３の上面左端に取り付けられ、上部旋回体３の左方に存在する物体を検知する。
　右方センサ７０Ｒは、例えば、上部旋回体３の上面右端に取り付けられ、上部旋回体３の右方に存在する物体を検知する。
　尚、物体検知装置７０は、物体検知のベースとなるショベル１００の周囲の環境情報（例えば、撮像画像や周囲に送出されるミリ波やレーザ等の検出波に対する反射波のデータ等）を取得するだけで、具体的な物体の検知処理や物体の種類を区別する処理等は、物体検知装置７０の外部（例えば、コントローラ３０）により実行されてもよい。
　撮像装置８０は、ショベル１００の周囲の様子を撮像し、撮像画像を出力する。撮像装置８０は、前方カメラ８０Ｆと、後方カメラ８０Ｂと、左方カメラ８０Ｌと、右方カメラ８０Ｒとを含む。撮像装置８０（前方カメラ８０Ｆ、後方カメラ８０Ｂ、左方カメラ８０Ｌ、及び右方カメラ８０Ｒのそれぞれ）による撮像画像は、表示装置ＤＳに取り込まれる。また、撮像装置８０による撮像画像は、表示装置ＤＳを介して、コントローラ３０に取り込まれる。また、撮像装置８０による撮像画像は、表示装置ＤＳを介さず、直接的に、コントローラ３０に取り込まれてもよい。
　前方カメラ８０Ｆは、例えば、前方センサ７０Ｆに隣接するように、キャビン１０の上面前端に取り付けられ、上部旋回体３の前方の様子を撮像する。
　後方カメラ８０Ｂは、例えば、後方センサ７０Ｂに隣接するように、上部旋回体３の上面後端に取り付けられ、上部旋回体３の後方の様子を撮像する。
　左方カメラ８０Ｌは、例えば、左方センサ７０Ｌに隣接するように、上部旋回体３の上面左端に取り付けられ、上部旋回体３の左方の様子を撮像する。
　右方カメラ８０Ｒは、右方センサ７０Ｒに隣接するように、上部旋回体３の上面右端に取り付けられ、上部旋回体３の右方の様子を撮像する。
　尚、物体検知装置７０に単眼カメラやステレオカメラ等の撮像装置が含まれる場合、撮像装置８０の一部或いは全部の機能は、物体検知装置７０に集約されてよい。例えば、前方センサ７０Ｆに撮像装置が含まれる場合、前方カメラ８０Ｆの機能は、前方センサ７０Ｆに集約されてよい。後方センサ７０Ｂ、左方センサ７０Ｌ、及び右方センサ７０Ｒのそれぞれに撮像装置が含まれる場合の後方カメラ８０Ｂ、左方カメラ８０Ｌ、及び右方カメラ８０Ｒのそれぞれの機能についても同様である。
　向き検出装置８５は、上部旋回体３の向きと下部走行体１の向きとの相対的な関係に関する情報（以下、「向きに関する情報」とする。）を検出するように構成されている。例えば、向き検出装置８５は、下部走行体１に取り付けられた地磁気センサと上部旋回体３に取り付けられた地磁気センサの組み合わせで構成されていてもよい。また、向き検出装置８５は、下部走行体１に取り付けられたＧＮＳＳ（Global Navigation Satellite System）受信機と上部旋回体３に取り付けられたＧＮＳＳ受信機の組み合わせで構成されていてもよい。上部旋回体３が電動機で駆動される構成の場合、向き検出装置８５は、電動機に取り付けられるレゾルバにより構成されていてもよい。また、向き検出装置８５は、例えば、下部走行体１と上部旋回体３との間の相対回転を実現する旋回機構２に関連して設けられるセンタージョイントに配置されていてもよい。向き検出装置８５による検出情報は、コントローラ３０に取り込まれる。
　通信機器９０は、作業現場内の各種装置（例えば、作業現場内の他の建設機械や作業者等の位置情報を計測・管理する位置情報管理装置等）や当該ショベル１００の周囲の他のショベル１００等と所定方式の近距離通信を行う任意のデバイスである。位置情報管理装置は、例えば、ショベル１００の作業現場内の仮設事務所等に設置される端末装置である。端末装置は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよいし、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等の携帯端末であってもよい。また、位置情報管理装置は、例えば、ショベル１００の作業現場内の仮設事務所等や作業現場から相対的に近い場所（例えば、作業現場の近くの局舎や基地局等の通信施設）に設置されるエッジサーバであってもよい。また、位置情報管理装置は、例えば、ショベル１００の作業現場の外部に設置される管理センタ等の施設に設置されるクラウドサーバであってもよい。通信機器９０は、例えば、ブルートゥース通信モジュールやＷｉＦｉ通信モジュール等であってよい。
　表示装置ＤＳは、例えば、キャビン１０の内部の操縦席に着座したオペレータ等から視認し易い場所に取り付けられ、各種情報画像を表示する。表示装置ＤＳは、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイである。例えば、表示装置ＤＳは、撮像装置８０から取り込まれる撮像画像、或いは、当該撮像画像に対して所定の変換処理を施した変換画像（例えば、視点変換画像や複数の撮像画像を合成した合成画像等）を表示する。表示装置ＤＳは、表示制御部ＤＳａと、画像表示部ＤＳ１と、操作入力部ＤＳ２を含む。
　表示制御部ＤＳａは、操作入力部ＤＳ２に対するオペレータ等の操作入力に応じて、画像表示部ＤＳ１に各種情報画像を表示させる制御処理を行う。表示制御部ＤＳａは、コントローラ３０と同様、例えば、ＣＰＵ、メモリ装置、補助記憶装置、及びインタフェース装置等を含むコンピュータを中心に構成されてよい。
　尚、表示制御部ＤＳａの機能は、表示装置ＤＳの外部に設けられてもよく、例えば、コントローラ３０により実現されてもよい。
　画像表示部ＤＳ１は、表示装置ＤＳにおける情報画像を表示する領域部分である。画像表示部ＤＳ１は、例えば、液晶パネルや有機ＥＬパネル等により構成される。
　操作入力部ＤＳ２は、表示装置ＤＳに関する操作入力を受け付ける。操作入力部ＤＳ２に対する操作入力に対応する操作入力信号は、表示制御部ＤＳａに取り込まれる。また、操作入力部ＤＳ２は、表示装置ＤＳ以外のショベル１００に関する各種操作入力を受け付けてもよい。この場合、操作入力部ＤＳ２に対する各種操作入力に対応する操作入力信号は、直接、或いは、表示制御部ＤＳａを介して間接的に、コントローラ３０に取り込まれる。操作入力部ＤＳ２は、例えば、画像表示部ＤＳ１としての液晶パネルや有機ＥＬパネルに実装されるタッチパネルを含む。また、操作入力部ＤＳ２は、画像表示部ＤＳ１と別体のタッチパッド、ボタン、スイッチ、トグル、レバー等の任意の操作部材を含んでもよい。
　尚、表示装置ＤＳ以外のショベル１００に関する各種操作入力を受け付ける操作入力部は、例えば、レバーボタンＬＢのように、表示装置ＤＳ（操作入力部ＤＳ２）と別に設けられてもよい。
　レバーボタンＬＢは、操作装置２６に設けられ、ショベル１００に関する所定の操作入力を受け付ける。例えば、レバーボタンＬＢは、操作装置２６としての操作レバーの先端に設けられる。これにより、オペレータ等は、操作レバーを操作しながらレバーボタンＬＢを操作することができる（例えば、操作レバーを手で握った状態でレバーボタンＬＢを親指で押すことができる）。
　　＜物体検知方法の具体例＞
　続いて、図４を参照して、物体検知方法の具体例について説明する。
　図４は、物体検知方法の一例を説明する図である。
　図４に示すように、本例では、物体検知装置７０は、ニューラルネットワーク（Neural Network）ＤＮＮを中心に構成される学習済みモデルを用いて、ショベル１００の周囲の物体を検知する。
　ニューラルネットワークＤＮＮは、入力層及び出力層の間に一層以上の中間層（隠れ層）を有する、いわゆるディープニューラルネットワークである。ニューラルネットワークＤＮＮでは、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワークＤＮＮが構成される。
　ニューラルネットワークＤＮＮを対象とし、機械学習、具体的には、深層学習（ディープラーニング：Deep Learning）が行われ、上述の重み付けパラメータの最適化が図られる。これにより、ニューラルネットワークＤＮＮは、入力信号ｘとして、物体検知装置７０で取得される環境情報（例えば、撮像画像）が入力され、出力信号ｙとして、予め規定される監視対象リストに対応する物体の種類ごとの物体が存在する確率（予測確率）を出力することができる。本例では、ニューラルネットワークＤＮＮから出力される出力信号ｙ１は、ショベル１００の周囲、具体的には、物体検知装置７０による環境情報の取得範囲内に"人"が存在する予測確率が１０％であることを表している。
　ニューラルネットワークＤＮＮは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。ＣＮＮは、既存の画像処理技術（畳み込み処理及びプーリング処理）を適用したニューラルネットワークである。具体的には、ＣＮＮは、物体検知装置７０で取得される撮像画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより撮像画像よりもサイズの小さい特徴量データ（特徴マップ）を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力することができる。
　また、ニューラルネットワークＤＮＮは、入力信号ｘとして物体検知装置７０で取得される撮像画像が入力され、撮像画像における物体の位置、大きさ（即ち、撮像画像上の物体の占有領域）、及びその物体の種類を出力信号ｙとして出力可能な構成であってもよい。つまり、ニューラルネットワークＤＮＮは、撮像画像上の物体の検知（撮像画像上で物体の占有領域部分の判断）と、その物体の分類の判断とを行う構成であってもよい。また、この場合、出力信号ｙは、入力信号ｘとしての撮像画像に対して物体の占有領域及びその分類に関する情報が重畳的に付加された画像データ形式で構成されていてもよい。これにより、物体検知装置７０は、学習済みモデル（ニューラルネットワークＤＮＮ）から出力される、撮像画像の中の物体の占有領域の位置及び大きさに基づき、当該物体のショベル１００からの相対位置（距離や方向）を特定することができる。物体検知装置７０（前方センサ７０Ｆ、後方センサ７０Ｂ、左方センサ７０Ｌ、及び右方センサ７０Ｒ）は、上部旋回体３に固定され、撮像範囲（画角）が予め規定（固定）されているからである。本例では、ニューラルネットワークＤＮＮから出力される出力信号ｙ１は、ショベル１００の周囲、具体的には、物体検知装置７０による環境情報の取得範囲内に"人"が存在する位置の座標が"（ｅ１，ｎ１，ｈ１）"であることを表している。そして、物体検知装置７０は、学習済みモデル（ニューラルネットワークＤＮＮ）により検知された物体の位置が監視領域内であり、且つ、監視対象リストの物体に分類されている場合、監視領域内で、監視対象の物体を検知したと判断できる。
　例えば、ニューラルネットワークＤＮＮは、撮像画像の中の物体が存在する占有領域（ウィンドウ）を抽出する処理、及び、抽出された領域の物体の種類を特定する処理のそれぞれに相当するニューラルネットワークを有する構成であってよい。つまり、ニューラルネットワークＤＮＮは、物体の検知と、物体の分類とを段階的に行う構成であってよい。また、例えば、ニューラルネットワークＤＮＮは、撮像画像の全領域が所定数の部分領域に区分されたグリッドセルごとに物体の分類及び物体の占有領域（バウンディングボックス：Bounding box）を規定する処理と、グリッドセルごとの物体の分類に基づき、種類ごとの物体の占有領域を結合し、最終的な物体の占有領域を確定させる処理とのそれぞれに対応するニューラルネットワークを有する構成であってもよい。つまり、ニューラルネットワークＤＮＮは、物体の検知と、物体の分類とを並列的に行う構成であってもよい。
　物体検知装置７０は、例えば、所定の制御周期ごとに、撮像画像上における物体の種類ごとの予測確率を算出する。物体検知装置７０は、予測確率を算出する際、今回の判断結果と前回の判断結果とが一致する場合、今回の予測確率を更に上げるようにしてもよい。例えば、前回の物体検知処理時に、撮像画像上の所定の領域に映っている物体が"人"（ｙ１）と判断される予測確率に対し、今回も継続して"人"（ｙ１）と判断された場合、今回の"人"（ｙ１）と判断される予測確率を更に高めてよい。これにより、例えば、同じ画像領域に関する物体の分類に関する判断結果が継続的に一致している場合に、予測確率が相対的に高く算出される。そのため、物体検知装置７０は、実際には、その種類の物体が存在するにも関わらず、何等かのノイズでその種類の物体の予測確率を相対的に低く判断してしまうような誤判断を抑制することができる。
　また、物体検知装置７０は、ショベル１００の走行や旋回等の動作を考慮して、撮像画像上の物体に関する判断を行ってもよい。ショベル１００の周囲の物体が静止している場合であっても、ショベル１００の走行や旋回によって、撮像画像上の物体の位置が移動し、同じ物体として認識できなくなる可能性があるからである。例えば、ショベル１００の走行や旋回によって、今回の処理で"人"（ｙ１）と判断された画像領域と前回の処理で"人"（ｙ１）と判断された画像領域とが異なる場合がありうる。この場合、物体検知装置７０は、今回の処理で"人"（ｙ１）と判断された画像領域が前回の処理で"人"（ｙ１）と判断された画像領域から所定の範囲内にあれば、同一の物体とみなし、継続的な一致判断（即ち、同じ物体を継続して検知している状態の判断）を行ってよい。物体検知装置７０は、継続的な一致判断を行う場合、今回の判断で用いる画像領域を、前回の判断に用いた画像領域に加え、この画像領域から所定の範囲内の画像領域も含めてよい。これにより、ショベル１００が走行したり、旋回したりしたとしても、物体検知装置７０は、ショベル１００の周囲の同じ物体に関して継続的な一致判断を行うことができる。
　また、物体検知装置７０は、ニューラルネットワークＤＮＮを用いる方法以外の任意の機械学習に基づく物体検知方法を用いて、ショベル１００の周囲の物体を検知してもよい。
　例えば、物体検知装置７０の撮像画像から取得される多変数の局所特徴量について、この多変数の空間上で物体の種類ごとにその種類の物体である範囲とその種類の物体でない範囲とを区分（分類）する境界を表す学習済みモデルが、教師あり学習により生成されてよい。境界に関する情報の生成に適用される機械学習（教師あり学習）の手法は、例えば、サポートベクターマシーン（ＳＶＭ：Support Vector Machine）、ｋ近傍法、混合ガウス分布モデル等であってよい。これにより、物体検知装置７０は、当該学習済みモデルに基づき、撮像画像から取得される局所特徴量が所定の種類の物体である範囲にあるのか、その種類の物体でない範囲にあるのかに基づき、物体を検知することができる。
　　＜ショベル支援システムの情報共有機能に関する動作（第１例）＞
　続いて、図５、図６を参照して、ショベル支援システムＳＹＳの動作、具体的には、ショベル支援システムＳＹＳにおける複数のショベル１００の間での情報共有機能に関する動作の第１例について説明する。
　図５、図６は、本実施形態に係るショベル支援システムＳＹＳの情報共有機能に関する動作の第１例を説明する図である。具体的には、図５は、同じ作業現場（作業領域４００）内のショベル１００同士で、情報共有機能によって、物体検知情報が共有される状況を説明する図である。図６は、同じ作業現場（作業領域４００）内でのショベル１００ごとの周囲の物体に関する認識状態を説明する図であり、より具体的には、図５の情報共有機能に関する動作時におけるショベル１００ごとの周囲の物体に関する認識状態を示す図である。以下、本例では、複数のショベル１００を区別するため、掘削作業中のショベル１００を便宜的に"ショベル１００Ａ"と称し、走行中のショベル１００を便宜的に"ショベル１００Ｂ"と称する。
　図５に示すように、作業領域４００内において、ショベル１００Ａは、施工対象領域４０１の掘削作業を行っており、ショベル１００Ａの右側方に排土山４０２が形成されている。また、作業領域４００内において、ショベル１００Ｂは、ショベル１００Ａ及び施工対象領域４０１の左側方を通過する態様で、走行している。また、ショベル１００Ａとショベル１００Ｂが走行して通過する帯状の範囲との間のショベル１００に相対的に近接した監視領域内で、作業者Ｗが作業を行っている。
　作業者Ｗは、ショベル１００Ａから見たときに、後を向いて、顔が見えない状態で作業を行っている。そのため、ショベル１００Ａの物体検知装置７０は、例えば、撮像画像から作業者Ｗを検知しようとしても、顔を認識することができず、物体検知アルゴリズムによっては、作業者Ｗを監視対象の物体（人）として検知することができない場合がある。よって、本例では、ショベル１００Ａの物体検知装置７０は、作業者Ｗを検知できず、本来、作業者Ｗがショベル１００Ａに近接した監視領域内に侵入していることを以て、当接回避制御が実行され、警報装置４９が作動すべきところ、警報装置４９が作動せず、失報状態になってしまっている。また、同様に、減圧弁５０や制御弁６０に制御指令が出力され、ショベル１００の動作が制限されるべきところ、ショベル１００の動作が制限されない状態が継続している。この場合、ショベル１００Ａのオペレータは、作業者Ｗに気付かないまま、掘削した土砂等を排土山４０２に排土させるために、上部旋回体３を右旋回させると、上部旋回体３の後部と作業者Ｗとの位置関係が非常に近くなり、最悪の場合、接触してしまう可能性がある。
　一方、ショベル１００Ｂは、作業者Ｗの前を通過するように走行しており、作業者Ｗは、ショベル１００Ｂから見たときに、前を向いて、顔が見える状態で作業を行っている。そのため、ショベル１００Ｂの物体検知装置７０は、ショベル１００Ｂから作業者Ｗまでの距離は遠いものの、例えば、撮像画像から作業者Ｗの顔を認識し、作業者Ｗを検知することができる可能性が高い。よって、本例では、ショベル１００Ｂの物体検知装置７０は、作業者Ｗを検知することができている。
　ここで、ショベル１００Ｂのコントローラ３０は、上述の如く、物体検知装置７０から作業者Ｗの検知に関する物体検知情報を取得し、通信機器９０を通じて、ショベル１００Ｂからショベル１００Ａに作業者Ｗの検知に関する物体検知情報を通知する。これにより、ショベル１００Ａのコントローラ３０は、通信機器９０を通じてショベル１００Ｂから受信される物体検知情報に基づき、作業者Ｗがショベル１００Ａの左側方の近接する位置に存在することを認識することができる。そのため、ショベル１００Ａのコントローラ３０は、警報装置４９を作動させて、オペレータや周囲の作業者Ｗに向けて、ショベル１００Ａの周囲の監視領域内で作業者Ｗが検知されたことを報知することができる。よって、ショベル１００のオペレータがショベル１００の作業を一時中断させたり、作業者Ｗがショベル１００から離れたり等、それぞれが安全確保のための行動をとることが可能となり、ショベル支援システムＳＹＳは、情報共有機能を通じて、ショベル１００Ａ，１００Ｂが作業する作業領域４００の安全性を向上させることができる。
　具体的には、図６に示すように、ショベル１００Ｂのコントローラ３０は、通信機器９０を通じて、作業現場内の位置情報管理装置から作業領域４００の基準点ＲＰを原点とするローカル座標系（以下、単に「ローカル座標系」）でのショベル１００Ｂ自身の位置情報を取得し、確認できる。また、ショベル１００Ｂのコントローラ３０は、物体検知装置７０の物体検知情報に基づき、作業者Ｗのショベル１００Ｂに対する相対位置を確認できる。更に、ショベル１００Ｂのコントローラ３０は、物体検知装置７０の物体検知情報に基づき、掘削作業中のショベル１００Ａのショベル１００Ｂに対する相対位置を確認できる。そのため、ショベル１００Ｂのコントローラ３０は、これらの情報を用いて、ローカル座標系上でのショベル１００Ａと作業者Ｗとの位置関係を導出することができる。よって、ショベル１００Ｂのコントローラ３０は、通信機器９０を通じて、ショベル１００Ｂからショベル１００Ａにショベル１００Ａと作業者Ｗとの位置関係に関する情報を通知することができる。
　また、例えば、ショベル１００Ａの上部旋回体３の上面で作業している作業員がいる場合、ショベル１００Ａの物体検知装置７０は、当該作業員を検出することができない。これに対して、ショベル１００Ｂの物体検知装置７０は、当該作業員を検知することができる。このように、ショベル１００Ｂ（の物体検知装置７０）は、ショベル１００Ａの物体検知装置７０の死角領域も補間監視することができる。
　尚、ショベル１００Ｂのコントローラ３０は、ショベル１００Ｂに搭載される測位装置（例えば、ＧＮＳＳ受信機）の検出情報と、予め規定されるローカル座標系の基準点ＲＰに関する情報とに基づき、ローカル座標系でのショベル１００Ｂの位置情報を取得してもよく、ショベル１００Ａの場合についても同様である。また、ショベル１００Ｂのコントローラ３０は、ローカル座標系に代えて、絶対座標系（例えば、緯度、経度、高度で表される世界測地系）で、ショベル１００Ｂの位置情報を取得したり、ショベル１００Ａと作業者Ｗとの位置関係等を導出したりしてもよく、ショベル１００Ａの場合についても同様である。
　一方、ショベル１００Ａのコントローラ３０は、通信機器９０を通じて、作業現場内の位置情報管理装置からローカル座標系でのショベル１００Ａ自身の位置情報を取得し、確認できる。また、ショベル１００Ａのコントローラ３０は、走行中のショベル１００Ｂから通知を受信することにより、ショベル１００Ａ自身と作業者Ｗとの位置関係を確認することができる。そのため、ショベル１００Ａのコントローラ３０は、これらの情報を用いて、ローカル座標系上でショベル１００Ａから見た作業者Ｗの相対位置を認識することができる。よって、ショベル１００Ａのコントローラ３０は、作業者Ｗが監視領域内にいるかを確認した上で、警報装置４９を作動させたり、ショベル１００の動作の制動、停止等の動作制限を行ったりすることができる。この場合、検知された物体の種類に基づき、動作を継続させるか、動作を減速させるか、動作を停止させるか等の安全度に関する対応関係が予め設定されている。特に、ショベル１００の場合は、アクチュエータの種類が多いため、検知された物体の種類に基づいて、動作を継続させるか、動作を減速させるか、動作を停止させるか等の対応関係がアクチュエータごとに予め設定されてもよい。
　また、本例では、ショベル１００Ａは、一台のショベル１００Ｂから物体検知情報を受信するが、他のショベル１００から更に物体検知情報を受信してもよい。つまり、一のショベル１００は、周囲の作業を行う複数のショベル１００から物体検知情報を受信してもよい。この場合、一のショベル１００は、複数のショベル１００から受信された物体検知情報を総合的に判断して、周囲の作業者等の監視対象の存在の有無を判断してよい。具体的には、複数のショベル１００から受信された物体検知情報の中には、ある監視対象の存在を肯定する物体検知情報と、当該監視対象を検知できる位置にいたショベル１００からの通知であるにも関わらず、当該監視対象の存在を否定する物体検知情報との双方が存在する場合が有りうる。そのため、受信側の一のショベル１００のコントローラ３０は、例えば、安全性を優先し、監視対象の存在を肯定する物体検知情報を優先的に採用してよい。また、受信側の一のショベル１００のコントローラ３０は、ショベル１００の安全性と誤報による作業性の悪化とのバランスを重視し、監視対象の存在を肯定する物体検知情報の数と、否定する物体検知情報の数を比較したり、物体検知情報の送信元のショベル１００の物体検知装置７０の精度情報を比較したりすることによって、どちらを採用するかを判断してもよい。
　また、一のショベル１００で検知された物体の位置情報と、周囲の他のショベル１００から送信された物体検知情報の位置情報とが同一の場合、一のショベル１００のコントローラ３０は、両者を比較して識別精度が高い方を採用することができる。例えば、同一の位置に存在する物体に対して、一のショベル１００のコントローラ３０では識別率５０％で木材と識別され、周囲の他のショベル１００のコントローラ３０では識別率６０％で人と識別された場合、一のショベル１００のコントローラは、より精度が高い物体検知装置７０を搭載する周囲の他のショベル１００のコントローラ３０による識別結果を採用する。
　また、一のショベル１００で検知された物体の位置情報と、周囲のショベル１００から送信された物体検知情報の位置情報とが同一の場合、一のショベル１００のコントローラ３０は、両者を比較して安全度が高い方の情報に基づき、自機の制御を行うことができる。例えば、同一の位置に存在する物体に対して、一のショベル１００のコントローラ３０では識別率５０％で木材と識別された識別結果に基づき動作継続の判断（即ち、安全度が低い判断）がなされ、周囲の他のショベル１００のコントローラ３０では識別率３０％で人と識別された識別結果に基づき動作停止の判断（即ち、安全度が高い判断）がなされた場合、周囲の他のショベル１００のコントローラ３０による識別結果が識別率３０％で人とする判断であったとしても、一のショベル１００のコントローラ３０は、相対的に安全度が高い判断結果、つまり、周囲の他のショベル１００での判断結果に基づき、自機を制御する。
　また、本例では、ショベル１００（ショベル１００Ａ）での警報装置４９の失報等を回避する場合を例示したが、情報共有機能は、当然の如く、ショベル１００での警報装置４９の誤報等を回避する場合に用いられてもよい。例えば、ショベル１００Ａの周囲に監視対象が存在しない状況で、ショベル１００Ａの物体検知装置７０が、実際は存在しない監視対象を図５、図６の作業者Ｗの位置に検知した場合を想定する。この場合、ショベル１００Ｂの物体検知装置７０は、ショベル１００Ａの左側方に監視対象が存在しないと判断し、監視対象が存在しないことを表す物体検知情報を出力する可能性が高い。そのため、ショベル１００Ｂのコントローラ３０は、通信機器９０を通じて、ショベル１００Ｂからショベル１００Ａに監視対象の存在を否定する物体検知情報を送信する。よって、ショベル１００Ａのコントローラ３０は、何等かの判断基準に基づき、ショベル１００Ｂから通知を優先し、監視対象が存在しないと判断し、警報装置４９の作動の取りやめ、或いは、作動開始後の警報装置４９の停止を行ったり、ショベル１００の動作制限の取りやめ、或いは、制限開始後のショベル１００の動作制限の停止を行ったりすることができる。このとき、当該判断基準には、例えば、物体検知情報の送信元のショベル１００Ｂの物体検知装置７０の精度情報がある基準を超えていることや、物体検知情報に含まれる、監視対象が存在しないと判断したときの監視対象の存在確率（予測確率）に関する情報がある基準を下回っていること等が含まれうる。
　このように、ショベル１００Ｂは、ショベル１００Ｂの監視領域内において監視対象が存在するかどうかを判断するとともに、ショベル１００Ｂの監視領域外においても監視対象が存在するかどうかも判断する。このとき、ショベル１００Ｂのコントローラ３０は、それぞれの判断結果（例えば、監視対象の有無、監視対象の種類、監視対象の位置等に関する情報）を所定の記憶部（例えば、補助記憶装置等）に記憶させる。同様に、ショベル１００Ａは、ショベル１００Ａの監視領域内において監視対象が存在するかどうかも判断するとともに、ショベル１００Ａの監視領域外においても監視対象が存在するかどうかも判断する。このとき、ショベル１００Ａのコントローラ３０は、それぞれの判断結果（例えば、監視対象の有無、監視対象の種類、監視対象の位置等に関する情報）を所定の記憶部（例えば、補助記憶装置等）に記憶させる。そのため、ショベル１００の物体検知装置７０の死角領域を相互に補間監視することができる。また、ショベル１００の監視領域外における監視対象が存在するかどうかの判断は、ショベル１００が操作不可状態においても、実行される。
　また、ショベル１００Ａは、ショベル１００Ｂに代えて、或いは、加えて、作業領域４００内に定点設置され、物体検知装置７０と同様の物体検知装置を含む定置装置から物体検知情報を受信してもよい。つまり、ショベル支援システムＳＹＳは、複数のショベル１００に加えて、複数のショベル１００と比較的近い位置に配置される（例えば、複数のショベル１００が作業する作業現場（作業領域））に定置される上述の定置装置を含んでもよい。これにより、ショベル１００Ａは、ショベル１００Ｂからだけでなく、定置装置からも周囲の物体の有無に関する物体検知情報を受信することができる。
　　＜ショベル支援システムの情報共有機能に関する動作（第２例）＞
　続いて、ショベル支援システムＳＹＳの情報共有機能に関する動作の第２例を説明する。
　複数のショベル１００の間で共有される作業領域情報は、作業領域内の施工領域に関する情報であってよい。
　例えば、複数のショベル１００が同じ施工領域を担当する場合に、一のショベル１００で設定された目標施工面に関する情報や作業範囲（下部走行体１、上部旋回体３、アタッチメント等の被駆動要素が作業中の動作が許可される範囲）の外縁を表す仮想面（以下、「作業範囲仮想面」）等の施工領域に関する情報をその他のショベル１００に送信する。これにより、一のショベル１００で設定された施工領域に関する情報をその他のショベル１００でそのまま利用できるため、作業効率を向上させることができる。
　具体的には、二台のショベル１００が両端から比較的長い溝の掘削を開始する際、一方のショベル１００のコントローラ３０は、当該ショベル１００で設定された溝の形状を指示する溝の側面や底面に対応する目標施工面に関する情報を、通信機器９０を通じて、他方のショベル１００に送信してよい。このとき、一のショベル１００において、溝の形状を指示する目標施工面に関する情報は、例えば、操作入力部ＤＳ２を通じたオペレータの操作入力によって設定されてもよいし、例えば、既に一部が掘削された溝の壁面及び底面や壁面に設置される矢板等が撮像装置８０の撮像画像等を通じて認識されることによって自動的に設定されてもよい。
　また、例えば、複数のショベル１００が同じ作業領域内で作業を行う際、一のショベル１００のコントローラ３０は、当該ショベル１００で設定される作業範囲仮想面に関する情報を、通信機器９０を通じて、その他のショベル１００に送信してよい。このとき、一のショベル１００において、作業範囲仮想面に関する情報は、例えば、操作入力部ＤＳ２を通じたオペレータの操作入力によって設定されてもよいし、例えば、作業範囲を規定する複数のロードコーンや障害物（例えば、柵、電柱、電線）等が撮像装置８０の撮像画像等を通じて認識されることによって自動的に認識されてもよい。
　　＜ショベル支援システムの情報共有機能に関する動作（第３例）＞
　続いて、図７を参照して、ショベル支援システムＳＹＳの情報共有機能に関する動作の第３例を説明する。
　本例では、ショベル支援システムＳＹＳは、複数のショベル１００に加えて、ドローン７００を含む。
　図７は、本実施形態に係るショベル支援システムＳＹＳの情報共有機能に関する動作の第３例を説明する図である。本例では、ショベル１００Ａ、１００Ｂは、上述の第１例（図５、図６）の場合と同様の状況にあり、更に、作業領域４００の上空に、ショベル１００と同様の物体検知機能を有するドローン７００が飛行している前提で説明を進める。
　作業領域４００の作業者Ｗは、ショベル１００Ａから見たときに、後を向いて、顔が見えない状態で作業を行っている。そのため、本例では、ショベル１００Ａの物体検知装置７０は、取得される撮像画像を学習済みモデル（ニューラルネットワークＤＮＮ）に入力しても、"人"が存在する予測確率が１０％と出力され、ローカル座標系上の位置"（ｅ１，ｎ１，ｈ１）"の作業者Ｗを検知できていない。
　一方、ショベル１００Ｂは、作業者Ｗの前を通過するように走行しており、作業者Ｗは、ショベル１００Ｂから見たときに、前を向いて、顔が見える状態で作業を行っている。そのため、ショベル１００Ｂの物体検知装置７０は、取得される撮像画像を学習済みモデル（ニューラルネットワークＤＮＮ）に入力することで、"人"が存在する予測確率が８０％と出力され、ローカル座標系上の位置"（ｅ１，ｎ１，ｈ１）"の作業者Ｗを検知できている。よって、ショベル１００Ｂのコントローラ３０は、物体検知装置７０から取得される、作業者Ｗの検知に関する物体検知情報を、上述の第１例の場合と同様、通信機器９０を通じてショベル１００Ａに送信する。
　更に、ドローン７００は、作業者Ｗの正面側の上空を飛行しており、作業者Ｗは、ドローン７００から見たときに、前を向いて、顔が見える状態で作業を行っている。そのため、ドローン７００は、自身に搭載される撮像装置で取得される撮像画像を学習済みモデル（ニューラルネットワーク）に入力することで、"人"が存在する予測確率が８０％と出力され、ローカル座標系上の位置"（ｅ１，ｎ１，ｈ１）"の作業者Ｗを検知できている。よって、ドローン７００は、自身に搭載される所定の通信機器を通じて、作業者Ｗの検知に関する物体検知情報をショベル１００Ａ，１００Ｂに送信する。
　尚、ドローン７００は、ショベル１００（物体検知装置７０）と異なる環境情報や物体検知方法を用いて、物体を検知してもよい。
　ショベル１００Ａは、上述の如く、自身の物体検知装置７０を用いて作業者Ｗを検知できないものの、ショベル１００Ｂ及びドローン７００からローカル座標系の座標"（ｅ１，ｎ１，ｈ１）"にいる作業者Ｗの検知に関する物体検知情報を受信することができる。これにより、ショベル１００Ａは、ショベル１００Ｂやドローン７００との間の情報共有機能によって、自身の物体検知装置７０では検知できない作業者Ｗの存在を認識することができる。また、ショベル１００Ａは、ショベル１００Ｂからの物体検知情報に加えて、ドローン７００からの物体検知情報を受信することができる。そのため、複数の装置からの物体検知情報を用いることで、ローカル座標系の座標"（ｅ１，ｎ１，ｈ１）"に人（作業者Ｗ）がいる確からしさを高めることができる。よって、ショベル１００Ａは、周囲の物体の検知精度を向上させることができる。
　尚、ショベル１００（１００Ａ，１００Ｂ）は、ドローン７００に代えて、或いは、加えて、作業領域４００内の物体を検知可能な他の装置から物体検知情報を受信可能な情報共有機能を有していてもよい。他の装置は、例えば、作業領域４００に設置される定点カメラであってよい。
　　＜ショベルの作業現場状況分析機能＞
　次に、図８を参照して、ショベル１００の作業現場状況分析機能に関する動作について説明する。
　図８は、ショベル１００の作業現場状況分析機能に関する動作を説明する図である。具体的には、時刻ｔ１～時刻ｔｎ（ｎ：３以上の整数）の時系列での作業現場内のダンプトラックＤＴの移動状況（移動履歴）を分析し、作業現場内におけるダンプトラックＤＴの走行道路を把握する過程を表す図である。
　図８に示すように、ショベル１００は、時刻ｔ１～時刻ｔｎの時系列での作業現場内のダンプトラックＤＴの移動状況を把握する。
　例えば、状況８０１に示すように、時刻ｔ１では、ショベル１００は、停車中のダンプトラックＤＴへの土砂の積み込み作業を行っている。これにより、ショベル１００（コントローラ３０）は、物体検知装置７０により検知される、時刻ｔ１における作業現場内のローカル座標系上のダンプトラックＤＴの座標から、土砂の積み込み時のダンプトラックＤＴの位置を把握することができる。
　また、例えば、状況８０２に示すように、時刻ｔｋ（ｋ：１＜ｋ＜ｎの整数）では、ショベル１００の土砂の積み込み作業が終了し、ダンプトラックＤＴは、土砂の搬出のために作業現場の出入口に向かって走行して移動している。これにより、ショベル１００（コントローラ３０）は、物体検知装置７０により検知される、時刻ｔｋにおける作業現場内のローカル座標系上のダンプトラックＤＴの座標から、搬出時のダンプトラックＤＴの位置を把握することができる。
　また、例えば、状況８０３に示すように、時刻ｔｎでは、ダンプトラックＤＴは、作業現場の出入口に到達している。これにより、ショベル１００（コントローラ３０）は、時刻ｔ１（積み込み時）～時刻ｔｎ（作業現場の出入口の通過時）までの一連のダンプトラックＤＴの移動を把握することができる。
　コントローラ３０は、時刻ｔ１～時刻ｔｎの移動履歴を分析することにより、作業現場のダンプトラックＤＴ等の車両の走行道路（走行経路）を把握することができる。走行道路には、ダンプトラックＤＴの積み込み場所８１１、ダンプトラックＤＴの搬出時や搬入時の切り返し場所８１２、ダンプトラックＤＴが作業現場の出入口に向けて走行する搬入出道路８１３等が含まれる。
　また、コントローラ３０は、ダンプトラックＤＴの移動履歴だけでなく、物体検知装置７０により検知される、作業現場内の建屋（例えば，仮設事務所等）の位置を把握してもよい。
　例えば、ショベル１００の作業現場には、決められた道路が敷設されている訳ではなく、作業現場におけるダンプトラック等の走行道路を表す道路情報等は、通常、存在しない場合が多い。また、作業現場の仮設の建屋等は、作業現場の状況等によって、設置箇所が計画から変更される場合もある。更に、作業現場の作業の進捗や天候等によって、ダンプトラック等の走行経路も変更されることが度々生じうる。そのため、例えば、現在の作業現場の状況を表す情報だけで、作業現場の状況を把握するのは難しい。
　これに対して、本例では、ショベル１００（コントローラ３０）は、時系列での物体検知情報を用いて、ダンプトラックＤＴ等の作業現場内の車両の移動履歴を分析し、走行道路等の作業現場の状況を把握することができる。
　また、ショベル１００（コントローラ３０）は、把握した作業現場の状況に基づき、作業者等の人が危険性の高い場所（例えば、走行道路に相対的に近い範囲）に侵入すると、作業者に対して注意喚起を行ってもよい。コントローラ３０は、例えば、警報装置４９を作動させて、作業者に注意喚起を行ってよい。また、コントローラ３０は、通信機器９０を用いて、作業者が所持する携帯端末に所定の信号を送信することにより、携帯端末を振動させて、作業者に注意喚起を図ってもよい。例えば、図８に示すように、コンローラ３０は、物体検知装置７０によって、走行道路（搬入出道路８１３）に非常に近い位置に作業者Ｗが検知される場合、警報装置４９を作動させたり、通信機器９０を用いて、作業者Ｗの携帯端末に所定の信号を送信したりしてよい。これにより、ショベル１００は、作業現場の安全性を向上させることができる。
　［ショベル支援システムの他の例］
　次に、図９を参照して、ショベル支援システムＳＹＳの他の例について説明する。
　図９は、ショベル支援システムＳＹＳの構成の他の例を示す概略図である。
　図９に示すように、本例では、ショベル管理システムＳＹＳは、複数台のショベル１００に加えて、支援装置２００と、管理装置３００とを含む。ショベル管理システムＳＹＳは、管理装置３００によって、複数台のショベル１００を管理する。
　ショベル管理システムＳＹＳに含まれる支援装置２００は、一つであってもよいし、複数であってもよい。同様に、ショベル管理システムＳＹＳに含まれる管理装置３００は、一つであってもよいし、複数であってもよい。
　支援装置２００は、所定の通信回線を通じて、管理装置３００と通信可能に接続される。また、支援装置２００は、所定の通信回線を通じて、ショベル１００と通信可能に接続されてもよい。所定の通信回線には、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、ブルートゥース（登録商標）やＷｉＦｉ等の通信規格による近距離無線通信網等が含まれてよい。支援装置２００は、例えば、ショベル１００のオペレータやオーナ等、作業現場の作業者や監督者等、管理装置３００の管理者や作業者等のユーザ（以下、「支援装置ユーザ」）が利用するユーザ端末である。支援装置２００は、例えば、ラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の携帯端末である。また、支援装置２００は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
　管理装置３００は、所定の通信回線を通じて、ショベル１００や支援装置２００と通信可能に接続される。管理装置３００は、例えば、作業現場の外部の管理センタ等に設置されるクラウドサーバである。また、管理装置３００は、例えば、作業現場内の仮設事務所等や作業現場に相対的に近い通信施設（例えば、基地局や局舎等）に設置されるエッジサーバであってもよい。また、管理装置３００は、例えば、作業現場内で使用される端末装置であってもよい。端末装置は、例えば、ラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の携帯端末であってもよいし、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
　支援装置２００及び管理装置３００の少なくとも一方には、表示装置や遠隔操作用の操作装置が設けられていてもよい。この場合、支援装置２００や管理装置３００を利用するオペレータは、遠隔操作用の操作装置を用いて、ショベル１００を遠隔操作してもよい。遠隔操作用の操作装置を搭載する支援装置２００や管理装置３００は、例えば、近距離無線通信網、移動体通信網、衛星通信網等の所定の通信回線を通じて、ショベル１００に搭載されているコントローラ３０に通信可能に接続される。
　また、キャビン１０の表示装置ＤＳに表示されうる内容（例えば、ショベル１００の周囲の様子を表す画像情報や各種の設定画面等）と同様の情報画像が、支援装置２００や管理装置３００の表示装置で表示されてもよい。ショベル１００の周囲の様子を表す画像情報は、撮像装置８０の撮像画像等に基づき生成されてよい。これにより、支援装置ユーザや管理装置ユーザは、ショベル１００の周囲の様子を確認しながら、ショベル１００の遠隔操作を行ったり、ショベル１００に関する各種の設定を行ったりすることができる。
　また、管理装置３００は、例えば、上述の一例の位置情報管理装置に相当する機能を果たしてもよい。
　また、ショベル１００のコントローラ３０は、例えば、通信機器９０を用いて、支援装置２００及び管理装置３００の少なくとも一方に各種情報を送信してもよい。コントローラ３０は、例えば、物体検知装置７０の出力（物体検知情報）、及び、撮像装置８０の撮像画像等の少なくとも一つを支援装置２００及び管理装置３００の少なくとも一方に送信してよい。また、ショベル１００のコントローラ３０は、例えば、作業現場状況分析機能による分析結果に関する情報（即ち、作業現場の状況を表す情報）を支援装置２００及び管理装置３００の少なくとも一方に送信してもよい。これにより、ショベル管理システムＳＹＳは、支援装置２００や管理装置３００において、ショベル１００で取得される物体検知情報や作業現場の状況を表す情報等の各種情報を所定の記憶部に記憶させることができる。また、支援装置ユーザや管理装置ユーザは、支援装置２００や管理装置３００の表示装置を通じて、物体検知情報や作業現場の状況を表す情報等を確認することができる。
　このように、本例では、ショベル管理システムＳＹＳは、ショベル１００関する情報（ショベル１００で取得される情報）を支援装置ユーザや管理装置ユーザに共有させることができる。また、本例では、ショベル管理システムＳＹＳは、支援装置２００や管理装置３００において、ショベル１００の物体検知情報を所定の記憶部に記憶させることができる。例えば、支援装置２００や管理装置３００は、ショベル１００の監視領域外における監視対象の種類と監視対象の位置等の監視対象に関する情報を時系列的に記憶部に記憶することができる。このとき、支援装置２００や管理装置３００の記憶部に記憶される監視対象に関する情報は、ショベル１００の監視領域外であり、且つ、他のショベル１００の監視領域内における監視対象の種類や監視対象の位置等に関する情報であってよい。
　［作用］
　次に、本実施形態に係るショベル支援システムＳＹＳの作用について説明する。
　本実施形態では、コントローラ３０は、建設機械の周囲の作業領域に関する情報を取得し、通信機器９０は、コントローラ３０により取得された情報を当該ショベル１００の周囲の他のショベル１００に送信する。
　これにより、一のショベル１００で取得される作業領域に関する情報を同じ作業領域で作業を行う他のショベル１００でも利用できるようにすることができる。
　また、本実施形態では、コントローラ３０により取得される作業領域に関する情報には、当該ショベル１００の周囲の作業領域を撮像するカメラ（物体検知装置７０）の撮像画像に基づき行われる、作業領域に関する所定の判断（例えば、作業領域における物体の有無の判断や物体の種類の判断等）の判断結果を含まれてよい。
　これにより、一のショベル１００で取得される作業領域における物体の有無の判断や物体の種類の判断等に関する情報を同じ作業領域で作業を行う他のショベル１００でも利用できるようにすることができる。そのため、例えば、他のショベル１００で監視領域内の物体を検知できていないような場合であっても、他のショベル１００は、一のショベル１００で検知された当該物体に関する情報を利用し、当該物体との接触等を回避するための当接回避制御を行うことができる。よって、ショベル１００の安全性を向上させることができる。
　また、本実施形態では、コントローラ３０により取得される作業領域に関する情報には、作業領域の施工領域に関する情報（例えば、目標施工面に関する情報や作業範囲仮想面に関する情報）が含まれてよい。
　これにより、一のショベル１００で取得される施工領域に関する情報を同じ作業領域で作業を行う他のショベル１００で利用できるようにすることができる。そのため、例えば、他のショベル１００は、一のショベル１００で設定された施工領域に関する情報をそのまま利用することができる。よって、複数のショベル１００で行われる作業全体の作業効率を向上させることができる。
　また、本実施形態では、通信機器９０は、当該ショベル１００の周囲に位置する所定の機器（例えば、他のショベル１００、周囲の作業領域を撮像する定置型カメラを有する定置機器、作業領域の上空を飛行するドローン７００等）から作業領域に関する情報を受信してよい。
　これにより、作業領域に関する情報を送信する側のショベル１００も、他のショベル１００、定置機器、ドローン７００等の所定の機器で取得された作業領域に関する情報を利用することができる。
　また、本実施形態では、通信機器９０は、定置型カメラの撮像画像、或いは、当該撮像画像に基づく作業領域に関する情報（例えば、作業領域における物体の有無の判断に関する情報等）を定置機器から受信してよい。
　これにより、ショベル１００は、具体的に、定置機器に含まれる定置型カメラの撮像画像や、当該撮像画像に基づく作業領域に関する情報を利用することができる。
　［変形・改良］
　以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
　例えば、上述した実施形態では、複数のショベル１００が相互に作業領域情報等を送受信し合うが、ショベル１００に代えて、或いは、加えて、他の建設機械を含む複数の建設機械が相互に作業領域情報等を送受信し合う構成であってもよい。即ち、上述した実施形態に係るショベル支援システムＳＹＳは、ショベル１００に代えて、或いは、加えて、ブルドーザ、ホイールローダ、アスファルトフィニッシャ等の道路機械や、ハーベスタ等を備える林業機械等の他の建設機械を含む態様であってもよい。
　最後に、本願は、２０１９年３月２７日に出願した日本国特許出願２０１９－６１７７１号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
　３０　コントローラ（取得部）
　４９　警報装置
　５０　減圧弁
　６０　制御弁
　７０　物体検知装置（カメラ）
　７０Ｂ　後方センサ（カメラ）
　７０Ｆ　前方センサ（カメラ）
　７０Ｌ　左方センサ（カメラ）
　７０Ｒ　右方センサ（カメラ）
　９０　通信機器（送信部）
　１００　ショベル（建設機械）
　７００　ドローン
　ＳＹＳ　ショベル支援システム（支援システム）

Claims (10)

  1. 　建設機械の周囲の作業領域に関する情報を取得する取得部と、
    　前記取得部により取得された情報を当該建設機械の周囲の他の建設機械に送信する送信部と、を備える、
    　建設機械。
  2. 　当該建設機械の周囲の作業領域を撮像するカメラを更に備え、
    　前記取得部により取得される前記作業領域に関する情報は、前記カメラの撮像画像に基づき行われる、前記作業領域に関する所定の判断の判断結果を含む、
    　請求項１に記載の建設機械。
  3. 　前記所定の判断は、前記作業領域における物体の有無の判断を含む、
    　請求項２に記載の建設機械。
  4. 　前記取得部により取得される前記作業領域に関する情報は、前記作業領域の施工領域に関する情報を含む、
    　請求項１に記載の建設機械。
  5. 　当該建設機械の周囲に位置する所定の機器から前記作業領域に関する情報を受信する受信部を更に備える、
    　請求項１に記載の建設機械。
  6. 　前記所定の機器は、前記作業領域を撮像する定置型カメラを有する定置機器を含み、
    　前記受信部は、前記定置型カメラの撮像画像、又は、当該撮像画像に基づく前記作業領域に関する情報を前記定置機器から受信する、
    　請求項５に記載の建設機械。
  7. 　前記所定の機器は、前記他の建設機械を含み、
    　前記受信部は、前記他の建設機械で取得された前記作業領域に関する情報を受信する、
    　請求項５に記載の建設機械。
  8. 　所定の作業領域内に位置する複数の建設機械を含む支援システムであって、
    　前記複数の建設機械は、それぞれ、
    　前記作業領域に関する情報を取得する取得部と、
    　前記取得部により取得された情報を他の前記建設機械に送信する送信部と、を備える、
    　支援システム。
  9. 　記憶部を備え、
    　前記取得部により取得された情報は、前記建設機械の監視領域外における監視対象に関する情報であり、
    　前記記憶部には、前記監視対象に関する情報が記憶される、
    　請求項８に記載の支援システム。
  10. 　前記記憶部に記憶される前記監視対象に関する情報は、前記他の建設機械の監視領域内における監視対象に関する情報である、
    　請求項９に記載の支援システム。
PCT/JP2020/014204 2019-03-27 2020-03-27 建設機械、支援システム WO2020196874A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021509668A JP7387718B2 (ja) 2019-03-27 2020-03-27 建設機械、支援システム
EP20777179.1A EP3951084A4 (en) 2019-03-27 2020-03-27 CONSTRUCTION MACHINE AND AUXILIARY SYSTEM
KR1020217031425A KR20210139297A (ko) 2019-03-27 2020-03-27 건설기계, 지원시스템
CN202080024831.6A CN113661296A (zh) 2019-03-27 2020-03-27 施工机械、支援系统
US17/448,396 US20220002978A1 (en) 2019-03-27 2021-09-22 Construction machine and support system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019061771 2019-03-27
JP2019-061771 2019-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/448,396 Continuation US20220002978A1 (en) 2019-03-27 2021-09-22 Construction machine and support system

Publications (1)

Publication Number Publication Date
WO2020196874A1 true WO2020196874A1 (ja) 2020-10-01

Family

ID=72609575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014204 WO2020196874A1 (ja) 2019-03-27 2020-03-27 建設機械、支援システム

Country Status (6)

Country Link
US (1) US20220002978A1 (ja)
EP (1) EP3951084A4 (ja)
JP (1) JP7387718B2 (ja)
KR (1) KR20210139297A (ja)
CN (1) CN113661296A (ja)
WO (1) WO2020196874A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023120598A1 (ja) * 2021-12-22 2023-06-29 住友建機株式会社 情報処理システム、プログラム、及び情報処理方法
DE112022001908T5 (de) 2021-03-31 2024-02-08 Sumitomo Heavy Industries, Ltd. Baumaschine und baumaschinen-unterstützungssystem

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11773567B2 (en) * 2020-07-22 2023-10-03 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106685A1 (ja) * 2005-03-31 2006-10-12 Hitachi Construction Machinery Co., Ltd. 作業機械の周囲監視装置
WO2017208997A1 (ja) * 2016-05-31 2017-12-07 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
JP6290497B2 (ja) 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
JP2019061771A (ja) 2017-09-25 2019-04-18 トヨタ自動車株式会社 プラズマ処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3007239B2 (ja) 1993-03-31 2000-02-07 新日本製鐵株式会社 光磁気記録媒体用ガーネット二層膜及び光磁気記録ディスク
JP2002188183A (ja) * 2000-10-12 2002-07-05 Komatsu Ltd 作機機械の管理装置
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP4964321B2 (ja) * 2010-04-16 2012-06-27 三菱電機株式会社 乗員保護装置
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
CN104943689B (zh) * 2015-06-03 2017-05-10 奇瑞汽车股份有限公司 一种汽车主动防撞系统的控制方法
JP6980391B2 (ja) * 2017-01-25 2021-12-15 住友重機械工業株式会社 作業機械用周辺監視システム
US10109198B2 (en) * 2017-03-08 2018-10-23 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
JP6960279B2 (ja) * 2017-08-31 2021-11-17 古野電気株式会社 車載装置、基地局装置、映像情報提供システム、映像情報提供方法、及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106685A1 (ja) * 2005-03-31 2006-10-12 Hitachi Construction Machinery Co., Ltd. 作業機械の周囲監視装置
WO2017208997A1 (ja) * 2016-05-31 2017-12-07 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
JP6290497B2 (ja) 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
JP2019061771A (ja) 2017-09-25 2019-04-18 トヨタ自動車株式会社 プラズマ処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3951084A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112022001908T5 (de) 2021-03-31 2024-02-08 Sumitomo Heavy Industries, Ltd. Baumaschine und baumaschinen-unterstützungssystem
WO2023120598A1 (ja) * 2021-12-22 2023-06-29 住友建機株式会社 情報処理システム、プログラム、及び情報処理方法

Also Published As

Publication number Publication date
EP3951084A4 (en) 2022-05-18
KR20210139297A (ko) 2021-11-22
JP7387718B2 (ja) 2023-11-28
JPWO2020196874A1 (ja) 2020-10-01
US20220002978A1 (en) 2022-01-06
EP3951084A1 (en) 2022-02-09
CN113661296A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
WO2020196874A1 (ja) 建設機械、支援システム
WO2020204007A1 (ja) ショベル及び施工システム
JP7472034B2 (ja) ショベル、ショベル支援システム
WO2020218455A1 (ja) ショベル
WO2021025123A1 (ja) ショベル、情報処理装置
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
EP3885495B1 (en) Excavator and excavator control device
US20220341124A1 (en) Shovel and remote operation support apparatus
US20240026654A1 (en) Construction machine and support system of construction machine
US20230008338A1 (en) Construction machine, construction machine management system, and machine learning apparatus
JP2021095718A (ja) ショベル、情報処理装置
CN113661295B (zh) 挖土机
WO2021149775A1 (ja) 作業機械、情報処理装置
JP2022154722A (ja) ショベル
JP7488753B2 (ja) 周辺監視装置
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
WO2022210613A1 (ja) ショベル及びショベルの制御装置
JP2022085617A (ja) 周辺監視システム、表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777179

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509668

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217031425

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020777179

Country of ref document: EP

Effective date: 20211027